大语言模型预训练的相对泛化不变性
提出相对泛化不变性(RGI):优化器与架构变化下近似成立,数据流变化则显著改变相对泛化。
基于采样内原始-对偶引导的可行流匹配图重建
提出约束原始-对偶PIFM,以采样中演化的拉格朗日乘子引导图重建,可行性提升11–26个百分点且无需重训。
强化学习中的自确认叠加陷阱
RL训练可陷入自确认叠加陷阱,拟合全局最优仍维持低回报;保留被忽视状态可减少干扰并提升控制。
表格数据噪声标签的自适应集成选择
集成模块依数据属性为多类检测器赋权,诊断并清洗噪声标签;受控噪声下媲美置信学习,效果随数据属性变化。
超越令牌节省:LLM智能体上下文压缩的系统性研究
系统研究LLM智能体上下文压缩,发现令牌减少未必更快更省,策略效果因模型和任务而异。
数据应当教会什么?在电路、存储与使用间迁移瓶颈
电路视角揭示形成计算、内容可用与路径选择三瓶颈,按缺失操作设计监督;实验证明早期电路训练助益后续学习。
基于通用函数逼近的抗饱和对决老虎机
研究BTL偏好模型下通用函数逼近的上下文对决老虎机,提出SI-CDB,消除饱和导致的1/σ'因子。
约束流策略更新:广义薛定谔桥视角
提出RAFALE,沿流策略生成路径直接优化增广拉格朗日,免估计得分,在七个安全任务中兼顾奖励与约束。
裁剪还是不裁剪?重尾噪声下平均 SGD 的有限样本权衡
重尾噪声下,裁剪未必提升平均SGD主导精度,但可让重尾修正对置信度的依赖由多项式降为对数。
偏微分方程先验的高效消息传递
基于因子图消息传递与矩匹配推断PDE参数后验,无需采样或全局优化,精度媲美基线且具结构化不确定性。
为了规划,世界模型必须区分什么?
规划无需保留全部物理差异;需保留什么取决于查询、候选集与规划器;建议查询定搜索、动作模型预测的模块化设计。
未知链接下的低秩单指标赌博机:从矩阵到张量
研究未知链接与低秩指数的矩阵/张量赌博机,T-ESTOR和T-BSTOR分别在单调与非单调链接下达到最优遗憾率。
卢卡西维茨神经网络扩展:面向可解释规则提取的残差架构与结晶策略
残差连接将卢卡西维茨网络扩展至任意深度并保持合并神经元符号对应;分析三种结晶策略以促进可解释规则提取。
面向矩阵优化器中自适应 Newton–Schulz 的零开销谱估计
用牛顿–舒尔茨迭代中的格拉姆矩阵谱矩,无额外矩阵乘法即可估计奇异值谱,自适应选择多项式,降低正交化误差。
平衡早期性能牺牲与长期收益:跨训练时长缩放学习率预热时长
预热时长应随训练时长与峰值学习率缩放,短训练拟合可预测长时训练最优预热。
生成模型增强推荐系统相关的算法危害
论文扩展算法危害分类体系,涵盖生成模型增强推荐引发的新型表征、服务质量与内生危害,并作因果分析。
SketchSSM:写入完整状态,从紧凑草图读取
SketchSSM通过缓存基向量输出构建紧凑草图,避免解码时全状态读取,状态访问流量减少约10倍,内核加速最高7.78倍。
意大利儿童语音音素识别的深度学习技术
Broca仅用不足3小时意大利儿童语音微调,音素错误率达13.36%,助力低资源临床语音评估。
DevelopmentODE:面向十年间早期脑发育动态的结构化神经常微分方程
提出结构化连续时间模型,融合群体轨迹与个体差异,能从稀疏纵向fMRI预测儿童脑发育,长短时程均优于基线。
基于边界动力学的零存储程序化神经合成:Lean 4 形式化验证与裸机严苛测试验证
提出WERR/OED零存储程序化神经合成,以24字节种子沿Mandelbrot边界生成决策;Lean 4验证10条定理,EVM gas≤22557,无VRAM,达15397决策/秒。
面向结构化表示学习的几何感知算子族
提出GIOF,从固定几何构造传播算子族并按上下文动态选择,理论完备,交通缺失场景MAE更低。
Mycelium:面向配电系统的可泛化跨电网多任务模型
提出可泛化跨电网多任务模型Mycelium,基于异构图与物理仿真,在未见配电网多数指标上超越专用基线。
从宪法到控制:面向语言模型对齐的可解释奖励
提出基于评分标准的框架,将通用宪法转为可解释、可调的奖励模型,通过重加权定向控制行为并缓解偏见。
KernelZero:协同进化提议器与编码器,持续改进 GPU 内核生成
KernelZero 通过提议器与编码器协同进化,按能力生成训练模块,先确保正确再优化性能,持续提升 GPU 内核生成。
自动微分的精确性局限:论物理信息机器学习中自动微分的失效
自动微分虽能精确计算导数,却无法感知物理结构,数值精确不等于物理保真,这一缺陷将重塑PDE神经代理模型的构建。
D-JEPA:具有可互换物理解码器的设计可恢复JEPA表示
D-JEPA从几何学得设计可恢复表示,配可换物理解码器复用,抑制塌缩,兼顾预测精度与可微设计优化。
ECG-Scroll:面向动态心电图解读的长时程流式基准与智能体环境
提出长时程流式心电图解读基准与智能体环境,按块流式输入,在线定位阵发事件,规则奖励并可衡量检测延迟。
从非规则观测中免模拟学习高斯过程随机微分方程
提出免模拟变分框架GP-SDE Matching,处理不规则观测,提升漂移恢复与预测。
线性注意力如何记忆
线性注意力用固定循环状态存储事实,读写集中,多事实共享表征且相互干扰,负载越高召回与可编辑性越差。
CARVE:利用可复用专家经验打破芯片布局数据壁垒
以冻结基础策略和验证专家复用经验,新任务先复用否则新训;宏布局耗时降58.5%,免训复用6/7电路。
OMP-MoE:基于正交匹配追踪的混合专家大语言模型高效专家剪枝
OMP-MoE免训练框架,用正交匹配追踪把专家剪枝转为稀疏信号重建,25-50%剪枝率下性能领先。
域适应何时有助于物理振动传感器?基于留出轴承的神经算子与卷积模型研究
留出轴承协议下迁移仅0.36;傅里叶神经算子在阶次域达0.95,表明输入表征而非对齐方法决定域适应成效。
EEGAgentBench:面向短时程与长时程脑电分析的LLM智能体基准测试
提出EEGAgentBench基准,含6类脑电任务、2秒至23小时信号与10种工具,评测29个LLM,发现其长时程证据累积与多步推理不足。
对称商平坦性与泛化
建立对称商平坦性理论,关联商线性稳定性、输入平滑性与泛化。
将视觉语言模型锚定于驾驶语义:面向可解释推理的多数据集谓词框架
提出跨数据集谓词框架,从可测证据推导驾驶语义并构建谓词知识图谱,F1达0.94/0.93,提升九项问答中七项准确率。
静默自由度中的回放:无需离线阶段的持续学习
无需离线阶段,靠静默自由度回放巩固;旋转增益最大,隔离保不变,类增量MNIST达91.6%。
下一事件准确率无法揭示的问题:急诊科轨迹模拟器的闭环评估
急诊轨迹模拟器仅靠下一事件准确率不足;闭环评估揭示误差累积、模型分歧及下游任务排名反转。
FIDAL:真实世界分布偏移下的多样性感知联邦主动学习
FIDAL融合不确定性、多样性与自适应OOD剔除,在开放集联邦主动学习中提升医学影像标注效率与精度。
提升端壁气膜冷却预测泛化能力:将叠加原理融入基于Transformer的神经算子
提出融合叠加原理的Transformer神经算子SDNO,两阶段预测端壁气膜冷却温度场,对未见10–20孔布局泛化强且更准。
Energy-aware frugal Bayesian optimization
超越图模型:自适应元学习器融合可解释性、天气与动力学,实现鲁棒的公交到站时间预测
提出HYB(nm)元学习混合框架,融合时序、图模型与天气特征,实现高精度稳健的公交到站预测。
MaD-RL:通过强化学习匹配分布以校准大语言模型
提出强化学习分布匹配框架,可将模型输出属性分布对齐目标分布,缓解多样性下降,并在数学与编程任务验证。
面向博弈型与学习型对手的信息设计
带弃权二分类器须依对手设计弃权:近边界弃权利博弈型却泄露给学习型,两种防御不可比。
STAR:面向统一微服务事件管理的自适应时空归一化
提出STAR,以时空自适应归一化统一支持微服务异常检测、故障分诊与根因定位,性能显著领先。
面向开源游戏发布事件模拟支撑预测的类型化时序交互特征
提出类型化时序交互特征模拟预测开源游戏发布风险,AUPRC 0.520,与基线相当,仅证协议可复现。
从相变到系统性失效:面向GNN鲁棒性的解耦分析框架
构建合成基准解耦标签噪声与分布偏移,发现GNN噪声约50%前稳健、之后骤降,极端偏移致误差增48–316倍。
波形协变量偏移下磁芯损耗预测的跨材料支撑迁移
提出MIST跨材料支撑迁移,材料D的p95误差由20.39%降至12.38%,优于基线且无需微调。
能源视觉-语言-动作:面向意图条件化住宅能源管理的受控多模态基准
提出EVLA基准,将住宅电池调度建模为视觉-语言-动作轨迹预测;语言通路显著影响预测质量,视觉通路无聚合优势。
在稳态中衡量学习:BIRD-SQL 一级方程式案例研究
以BIRD-SQL F1晚期窗口评估学习:无界ICL探测骤降但成本翻倍、命中仅微增,不适宜作为学习机制。
面向量化矩阵乘法的乘积感知确定性舍入
量化矩阵乘法中,提出乘积感知确定性舍入:动态激活条件期望近似最优,静态权重NP难,实验优于最近舍入。