PE-means:通过私有进化改进的差分隐私k-means聚类
提出PE-means算法,利用常数灵敏度直方图引导进化,实现差分隐私k-means聚类,平均损失降低20%。
GLENS:通过求解器迭代与扩散模型进行全局搜索
提出GLENS,利用扩散模型学习最优解局部几何及求解器行为,生成高质量多样初始点,加速全局搜索。
漂移Q学习
DriftQL结合漂移正则化与评论家驱动策略改进,单步生成动作,在离线RL中超越扩散方法,且对数据退化鲁棒。
中文标题:考虑成对偏好的长期决策问题中的强化学习
中文摘要:提出马尔可夫决策竞赛模型,解决成对偏好强化学习在长期问题中的低效与理论缺陷,算法收敛快。
Muon需要多少正交化?
实验表明,5次立方牛顿-舒尔茨迭代(10次矩阵乘法)即可达到与高阶方法相近的训练质量,正交化精度并非单调决定效果。
通过约束策略优化的检测器规避性LLM释义
提出DEPO算法,以规避检测为主目标、语义保持为约束,采用拉格朗日对偶及GRPO策略更新,精准平衡两者,实验证实强规避且语义保留。
基于检索锚定的概率融合:实现忠实RAG的接地解码
提出Grounded Decoding框架,通过KL-重心融合全RAG与仅检索分布并动态调整权重,提升事实一致性和引用质量,无需训练。
PR2:基于MoE的大语言模型强化学习的预测路由重放
PR2通过预测路由演化减少路由漂移,提高MoE-LLM强化学习的稳定性和性能。
多目标参考对齐的机器遗忘
RAUL框架用有界KL对齐替代无界损失,通过雅可比下降协调遗忘与保留,效果最接近完全重训练。
审计近最优策略可能指数级困难:基于占用率拉什蒙容量的条件查询下界
本文证明审计近最优策略需指数级查询,基于占用率拉什蒙容量得到条件下界。
动态代理混合:将回放控制器从小模型迁移至大模型,用于持续指令微调
提出PROXYMIX框架,利用小模型学习动态回放控制器并冻结迁移至大模型,显著提升持续指令微调性能并降低策略学习成本。
基于缠结核的马尔可夫决策过程拓扑感知状态抽象
提出缠结核状态抽象,利用图缠结处理重叠接口,保证价值保持,在导航等任务中优于传统方法。
基于规范化的稳定列表重放的语言模型嵌入私有联邦持续学习
提出CSLR方法,利用公共锚句签名对齐客户端私有重放列表,在差分隐私下提升联邦持续学习任务指标3.9-5.6点。
重访广义线性赌博机的方差敏感汤普森采样
证明广义线性赌博机中汤普森采样的方差敏感遗憾界,利用高斯Poincaré不等式绕过乐观分析局限,但去除预热仍待解决。
低秩PEFT的精细参数步长:基于CP张量适配器的受控研究
CP适配器实现精细参数步长,填补LoRA间隙,但性能增益任务依赖,不必然优化精度-预算曲线。
GNMR: 低精度大语言模型训练中的运行时稳定性控制
提出GNMR轻量控制器,通过梯度范数均值比和增量监测,在低精度训练中实现稳定控制且不改变后端。
TabChange:表格数据中的精确属性修改
TabChange通过分析属性关系,弱翻转强对抗,实现表格数据精确修改,生成自然近似的反事实。
EST-PRM: 在过程奖励模型被广泛采用前进行压力测试
EST-PRM通过步骤膨胀、重排序和置信标记三种变换压力测试过程奖励模型,发现不同模型脆弱性模式各异,并评估了缓解策略。
利用权重空间对称性近似曲率
通过损失不变性下的对称群平均,从单梯度构造可估计的Hessian近似,平衡精度与成本,统一现有方法。
ProjQ:面向适配器感知的大语言模型压缩的投影与量化
ProjQ通过正交投影将量化噪声约束为低秩结构,让适配器高效补偿误差,仅用3比特实现4比特性能。
大规模神经相位分析的环面图模型
提出随机评分匹配使环面图模型可扩展至数千变量,用于LFP相位分析揭示脑状态依赖的耦合变化。
带噪声代理协变量的半监督学习:泛化界与分布回归
提出两阶段估计器,利用带噪声代理协变量学习核特征并拟合岭回归,证明快速收敛,低标签率下效果显著。
显著性感知的模型合并
提出SA-Merging,基于连通性显著性实现数据无关的模型合并,降低任务干扰,提升跨域性能。
DREAM-S:面向多模态生成的可搜索草稿与目标感知精炼的推测解码
提出DREAM-S框架,通过神经架构搜索和目标感知蒸馏实现多模态生成加速,最高达3.85倍。
重建空间生成,语义空间匹配:一步生成中的传输几何
研究语义自监督特征空间中的Sinkhorn散度用于一步生成,FID降低39倍,匹配稳定性是关键选择标准。
重新思考克罗内克因子优化器中的布雷格曼散度
研究Bregman散度在Kronecker近似中的误差分布,据此提出子空间感知优化器,提升性能。
论从批量基因表达数据中恢复因果关系的可行性
仅在线性聚合和仿射结构方程下因果关系可恢复,但实际数据偏离线性,恢复需谨慎。
助手作为特权角色:跨角色自我识别中的规范参照
研究发现语言模型中助手角色具有特权地位,仅以助手为参照的不对称熵差可预测独特角色的作者身份。
标准化相关性度量:解释神经网络潜在结构的统一框架
提出NRM框架,通过归一化度量归因任意神经元,统一解释算法,揭示VGG16多层信息流。
逃离模式抽签:多响应训练提升语言模型泛化能力
多响应训练保留多个响应,降低输出不确定性,提升泛化,在响应多样、提示冗余低时增益最大。
半监督噪声适应:从噪声域迁移知识
提出半监督噪声适应问题,利用合成噪声域提升目标域泛化,设计噪声适应框架NAF,实验证明有效。
通过辅助重建实现更丰富的神经算法推理表示
提出辅助重建任务改进编码器表示,增强特征依赖捕捉,提升神经算法推理性能。
A Practical Upper Bound on Selection Bias Effects in Medical Prediction Models
相同载荷,不同渠道:衡量使用工具的语言模型中的信任不对称性
研究发现语言模型对恶意指令的敏感性因传递渠道不同而呈现系统性不对称,且模型类型间方向相反。
可解释的策略蒸馏用于电网拓扑控制
压力聚焦蒸馏将PPO电网策略压缩为可解释决策树,性能更优且推理成本低,但表征从线路负载转向拓扑变量。
利用深度学习绘制巴西1984年至2025年小型水库演变图
深度学习模型绘制巴西1984-2025年小型水库演变,数量增近四倍,面积增至8550平方公里。
LASER:面向高效低精度视觉语言模型的损失感知奇异值分解与秩分配
提出LASER低秩压缩框架,采用曲率加权SVD和损失感知秩分配,在低精度推理下实现2.3倍加速且保持高精度。
带层归一化的循环变压器可证明学习幂法
带层归一化的循环变压器训练后隐式实现幂法,揭示算法隐式偏置,相比无归一化版本有显著性能提升。
CARE-RL:面向缓解跨域冲突的能力感知强化学习
CARE-RL提出协议感知生成奖励与能力感知优化,缓解跨域冲突,在多领域任务上显著超越基线。
MESA:通过去中心化专家机制提升MoE模型的安全对齐
MESA基于最优传输理论分散安全责任,增强MoE模型对抗鲁棒性且不损害有用性。
神经损失如何塑造VAE潜在表示
神经损失替代点似然后,减少潜变量信息,使潜空间更各向同性且不确定性均匀分布,挑战了率失真权衡的适用性。
训练数据选择中元网络学习的困难
MTS因梯度信噪比低与信息特征不足而效果差,增大批次并设计特征有效提升性能。
多类分类中最优公平分类器揭秘
提出两种属性盲算法(训练干预与事后微调),理论证明收敛到最优准确率-公平性帕累托前沿,实验表现优越。
结果优化的悖论:大语言模型中推理捷径的因果信息论边界
因果信息论揭示大模型结果优化导致推理捷径,提出语义覆盖度泛化界及过程监督的数学基础。
面向行程级公交预测的时空多任务图Transformer
本文提出SMT-GraphFormer时空多任务图Transformer,通过行程级序列建模预测公交上下车人数,在挪威公交数据上显著提升精度。
量子隧穿感知机器学习:基于物理的噪声模型实现鲁棒部署
基于WKB近似导出隧穿噪声结构,提出TAC算法,无需重训和标签,大幅降低ECC开销至33.6倍。
COPF:演化图中部署稳定的反事实公平性在线框架
COPF通过反事实暴露与残差审计,在演化图中实现部署稳定的公平性监控,有效降低群体差异。
傅里叶神经算子的分辨率等变性局限
直接高分辨率推理不如低分辨率加升采样,非线性混叠是跨分辨率等变性失效主因。
对齐的辩证法:利用不安全知识实现动态安全路由
提出SafeMoE框架,隔离不安全知识并动态路由,实现安全与信息丰富兼得,安全响应率提升20%以上。
先验引导的多组学Transformer推断单细胞基因调控网络
EpiAwareNet利用轻量级先验和交叉注意力,结合批量GRN弱监督,有效提升单细胞基因调控网络推断准确性。