矩匹配Q学习
提出MoMa QL框架,用MMD匹配所有阶矩,实现分布级收敛,计算高效,离线在线RL表现优异。
策略感知模拟器学习的理论基础与高效算法
以策略鲁棒性为目标,零和博弈学习模拟器,理论保证与算法降低关键区域误差1.5-2.2倍。
面向临床数据的离散化贝叶斯网络分类器的并行自适应多目标演化学习
提出并行自适应多目标演化学习Baymex,在临床分类上快54倍,生成紧凑可解释贝叶斯网络。
面向实际数据能耗预测修正的集成得分滤波器
EnSF利用得分扩散模型同化含噪观测,修正能耗预测,无需重训练,优于开环传播和EnKF。
知识卸载:将大语言模型分解为稀疏骨干网络和记忆模块
提出知识卸载框架,将大模型分解为稀疏骨干和外部记忆,通过剪枝和LoRA/KV缓存保持性能。
OISD:语言模型的在策略内部自蒸馏方法
OISD框架通过最终层向中间层进行在策略自蒸馏,利用logit和注意力对齐机制,显著提升数学推理能力。
输出空间投影下的模型合并
将模型合并形式化为凸二次规划,优化残差更新以最小化输出校准误差,在多层合并中取得一致改进。
基于图学习辅助混合组合优化的空间碎片捕获主动绳网系统设计
用图神经网络推荐组合,将混合组合优化简化为NLP,显著加速收敛。
回报目标不止数字:Q引导的回报条件监督学习对齐
提出Q-ALIGN DT框架,通过Q函数确保策略与回报目标对齐,实现精确可控且性能优越。
通过蒸馏与量化扩展Apertus LLM模型家族
基于Apertus 8B,用蒸馏和量化生成最高4B参数的Apertus-v1.1系列,成本低且准确。
深度网络是否会遗忘初始化?从遗忘时间视角看实际归纳偏好
网络实际归纳偏好是架构先验经训练遗忘动态过滤的结果,低学习率SGD保留初始化记忆,而Adam和强正则化消除记忆。
RUBRIC-ARROW: 交替点状评分规则奖励建模用于大语言模型在不可验证领域的后训练
提出RUBRIC-ARROW框架,交替训练评分规则生成器与评判器,结合概率评分与偏好奖励,提升点状奖励建模性能。
揭示科学机器学习中的多机制模式:不同的失效模式与针对性优化
科学机器学习存在一致的三模式结构,优化因模式而异,细粒度失效挑战常规指标,为鲁棒性提供新视角。
Parallax:参数化局部线性注意力用于语言建模
Parallax是一种可扩展的参数化局部线性注意力,通过硬件优化与Muon优化器,在预训练中提升性能。
何时与多久?时间推理中的读出-中介角度
探针解码方向与模型计算正交,角度如随机,高置信度却无因果影响,是探针可解释性常见失效模式。
使用生成式机器学习对季节预报进行概率偏差调整:以北极海冰预测为例
基于条件变分自编码器改进季节预测偏差,采用生成器与CRPS目标函数,提升校准度、分辨率与频谱能量。
私有随机决策理论在线学习的最优间隔相关遗憾
提出纯DP算法,证明间隙依赖遗憾上界为O(logK/Δmin+logK/ε),匹配下界,解决COLT开放问题。
方案:蛋白质同源搜索的后期交互检索
ProtoCol模型采用残基级后期交互检索,在低相似性区域显著提升蛋白质远程同源搜索性能。
生成图拓扑的进化精炼:一种混合WGAN-GA方法
采用遗传算法精炼GAN生成图的边,有效降低MMD,使图更匹配真实结构。
KLAS:利用相似性拼接神经网络以改进精度-效率权衡
KLAS通过KL散度自动选择最优缝合点,提升模型精度-效率权衡,相同成本下准确率提高1.21%或计算量降低1.33倍。
影响引导的符号回归:通过大语言模型驱动的方程搜索与细粒度反馈实现科学发现
提出IGSR方法,利用LLM生成方程项并结合细粒度影响分数修剪,在多个领域实现科学发现,如DNA甲基化与RNA聚合酶II暂停新关系。
TIMEGATE:资源约束下持续ML自适应的可持续时间盒式提升门控
TIMEGATE通过时间盒门控和度量信号M实现部分评估,节省66%计算,标签优于训练2.3倍,迁移至LLaMA后节能89%。
从流行文本记忆推断大语言模型规模
基于流行文本记忆黑盒推断大模型参数量下限,验证有效并揭示行业策略差异。
When RL Suppresses Its Own Vocabulary: Recovering Reasoning Diversity in Puzzle-to-Math Transfer
随机提升法:用于生成随机物理系统轨迹
随机升维法为状态转换附加随机标签,回归学习映射,推理时采样标签自回归生成多样轨迹,单次网络评估。
通过黑盒成员推断审计生成音乐模型中的训练数据
提出黑盒成员推断方法,凭查询访问判定音乐样本是否用于训练,准确率达98.6%,实现可靠数据审计。
BlockBatch: 面向高效扩散语言模型推理的多尺度共识解码
BlockBatch通过多分支并行与共识解码,减少NFE 26.6%,提速1.33倍且保持精度。
传统机器学习与深度学习在蛋白质三维折叠动态图表示下的结构分类任务对比
动态PSN分类任务中,传统机器学习与深度学习精度相近,但深度学习平均慢10倍以上。
SigmaMedStat:面向ICU误报警减少的时间信号建模
提出SigmaMedStat,用时间分块和LSTM建模ICU警报信号,AUC达0.822,有效降低误报。
Causal Label Recovery in Payment Networks
LoopFM:基于基础模型历史表示学习的推荐框架
LoopFM通过将FM中间嵌入作为输入特征,在知识蒸馏基础上将近翻倍知识转移比率,显著提升推荐转化率。
针对可穿戴脑电增强的鲁棒频率校准虚拟脑电通道生成:基于四个额叶电极
提出FAVC-Net从四个额叶电极生成13个虚拟通道,联合优化波形与频谱,频谱距离降30%、KL散度降38%,支持穿戴脑电双域增强。
NeuroEdge:边缘端基于高密度肌电图的实时手势识别深度学习系统
提出NeuroEdge系统,在微控制器上实现192通道HD-EMG实时手势识别,准确率90%,延迟83ms。
一种新型自适应学习算法的理论与实验研究
针对自适应优化器收敛性问题,提出基于视线方法的C-Adam,理论证明收敛,实验验证有效性。
物理学基础模型是否学到了可泛化的物理?一个跨物理机制和分布偏移的偏差感知基准
物理基础模型仅为条件性泛化,依赖机制与尺度;数据或规模无法消除偏差,需改进学习机制。
Neural-Behavioral Representation of Natural Whole-body Movement in Monkeys
注意力机制作为上下文经验贝叶斯:基于粒子动力学的两阶段视角
两阶段粒子动力学实现注意力上下文推断,无需噪声调度即可有效去噪并逼近贝叶斯最优预测。
并行退火求解整数线性规划
提出无求解器采样框架,结合局部平衡提议与并行退火求解整数线性规划,性能优于SCIP,与Gurobi相当,鲁棒性更强。
反问题贝叶斯推断的深度自适应降维方法
提出基于变分流(VF)的深度自适应降维贝叶斯推断框架,整合VAE降维与双正则流,迭代更新先验与代理模型,有效处理高维、非高斯反问题。
信息导向的离线到在线强化学习
用条件互信息量化残留不确定性,提出信息导向采样,理论证明其贝叶斯遗憾界,实验表明在信息性离线数据下优于汤普森采样。
TRACER: 面向鲁棒多模态微调的持久正则化方法
提出TRACER,用加权移动平均教师实现持久正则化,防止灾难性遗忘,提升多模态微调分布外鲁棒性。
诚实的谎言:理解反射智能体中的记忆虚构
反射智能体会自我生成并坚持错误记忆(记忆虚构),导致任务失败;提出RRR指标检测,并用程序化提取失败信号缓解。
论神经标度律的优化器依赖性
实验发现缩放指数α取决于优化器,预条件优化器(如自然梯度)显著增大α,最高提升2.6倍。
GDSD:扩散语言模型的引导去噪器自蒸馏强化学习
GDSD通过引导自蒸馏优化扩散语言模型去噪器,消除ELBO偏差,在规划、数学和编码任务上准确率提升达19.6%。
重新思考多模态时间序列预测的后训练方案
提出PostTime方法,将LLM作为上下文引导的修正器,结合SFT与RLVR,在多模态预测中显著超越现有模型。
数据集的价值有多大?缩放定律、Vendi得分与矩阵谱函数
本文揭示数据评估目标均为子模函数,提出加速优化算法,比较发现设施选址最优,且Vendi高分未必可靠。
遗忘更少,泛化更强:动态图中时序与结构适应的统一
DSRD框架通过双尺度保留状态与自适应衰减核统一时序结构动态,在14个基准数据集上达到SOTA。
机器学习中成员推理攻击评估的全流程框架
提出全流程评估框架,系统分析隐私风险,揭示攻击效果高度依赖威胁模型与评估指标,并提供审计工具。
马尔可夫边界在表格预测中的好、坏与丑
理论上最优的马尔可夫边界,实际因果发现恢复后预测效果常不及全特征集,源于结构恢复与预测目标错配。
访问集至关重要:为可扩展的权重空间模型合并预算专家读取
MergePipe将大模型合并转化为专家访问集问题,在I/O预算下选择专家增量块,实现10倍读取减少和11倍加速。