TRACER: 面向鲁棒多模态微调的持久正则化方法
提出TRACER,用加权移动平均教师实现持久正则化,防止灾难性遗忘,提升多模态微调分布外鲁棒性。
诚实的谎言:理解反射智能体中的记忆虚构
反射智能体会自我生成并坚持错误记忆(记忆虚构),导致任务失败;提出RRR指标检测,并用程序化提取失败信号缓解。
论神经标度律的优化器依赖性
实验发现缩放指数α取决于优化器,预条件优化器(如自然梯度)显著增大α,最高提升2.6倍。
GDSD:扩散语言模型的引导去噪器自蒸馏强化学习
GDSD通过引导自蒸馏优化扩散语言模型去噪器,消除ELBO偏差,在规划、数学和编码任务上准确率提升达19.6%。
重新思考多模态时间序列预测的后训练方案
提出PostTime方法,将LLM作为上下文引导的修正器,结合SFT与RLVR,在多模态预测中显著超越现有模型。
数据集的价值有多大?缩放定律、Vendi得分与矩阵谱函数
本文揭示数据评估目标均为子模函数,提出加速优化算法,比较发现设施选址最优,且Vendi高分未必可靠。
遗忘更少,泛化更强:动态图中时序与结构适应的统一
DSRD框架通过双尺度保留状态与自适应衰减核统一时序结构动态,在14个基准数据集上达到SOTA。
机器学习中成员推理攻击评估的全流程框架
提出全流程评估框架,系统分析隐私风险,揭示攻击效果高度依赖威胁模型与评估指标,并提供审计工具。
马尔可夫边界在表格预测中的好、坏与丑
理论上最优的马尔可夫边界,实际因果发现恢复后预测效果常不及全特征集,源于结构恢复与预测目标错配。
访问集至关重要:为可扩展的权重空间模型合并预算专家读取
MergePipe将大模型合并转化为专家访问集问题,在I/O预算下选择专家增量块,实现10倍读取减少和11倍加速。
SCOPE: 一种轻量训练的大语言模型框架,用于空中交通管制复诵监控
SCOPE框架轻量训练,基于冻结LLM与上下文学习,实现高准确低延迟的ATC复诵监控,可解释性强。
用闭式变分推断组合非共轭因子图
识别五个因子图基元,组合模型保持闭式变分推断,堆叠路由层实现通用逼近,用于时间序列预测。
Gradient Perturbation: Learning to Perturb Gradients for Adaptive Training
面向持续监督微调的在策略重放
提出在策略重放(OPR),重放模型自身生成的历史响应,显著减少持续微调中的灾难性遗忘。
单指标模型损失景观中的凸盆地:强对抗污染下鲁棒恢复的应用
针对非单调联系函数的单指标模型,证明凸盆地存在,实现强对抗污染下近线性时间鲁棒恢复。
K-FinHallu:韩语金融多轮RAG的幻觉检测基准
首个韩语金融多轮RAG幻觉检测基准,最强模型仍难处理细粒度诊断和合理弃权。
离线策略评估的商有向无环图:前向流重要性采样与精确板倾向
提出商DAG方法,通过前向流比率计算精确无序板倾向,避免阶乘枚举,降低方差。
AsymVLM:面向高效视觉语言模型推理的非对称词元剪枝
提出非对称剪枝,对视觉词元激进剪枝、文本词元按需驱逐,实现FLOPs节省54%,在文档和图表理解任务上准确率提升2-3%。
学习扰动隐藏表示以实现可泛化的深度学习
提出隐层激活扰动统一框架,发现扩张/收缩扰动分别正负增强,层次决定效果,并设计类级自适应扰动LPA,性能领先。
Transformer中的关系秩几何:检测与引导隐藏状态关系框架
发现Transformer隐藏状态存在关系秩几何,可通过干预引导关系框架恢复行为。
掩码扩散语言模型的簇级注意力引导并行解码
提出簇级并行解码方法,利用置信度聚类与注意力依赖选择兼容簇,实现无训练加速1.77-8.47倍,精度基本不变。
SRC的几何视角:学习用于稳定残差推断的表示
本文从几何视角分析SRC残差排序稳定性,提出几何塑造目标学习稳定表示,避免跨类干扰,实验验证有效。
多类别与稀疏上下文赌博机的样本复杂度
针对稀疏奖励多类别上下文赌博机,提出最优样本复杂度算法,匹配下界,并扩展至组合半赌博机。
为什么更大的模型学习更多:容量、干扰和稀有任务保留的影响
更大模型通过减少梯度干扰、保留稀有任务特征,学到更小模型无法学习的任务。
M\=oLe-Λ:学习耦合簇响应态以获取能量、梯度与性质
提出M\=oLe-Λ模型,联合学习左右手振幅,高效预测CCSD响应态的能量、力及多极矩等性质,速度优于CCSD。
通过随机几何探测的奇异性感知优化:迈向稳定的非光滑优化
S-Adam通过随机方向导数方差估计局部不稳定性,动态调整步长,稳定非光滑优化,提升准确率。
Opir:针对毒性、越狱攻击、仇恨言论和有害内容的高效多任务安全分类
Opir是基于GLiClass的高效多任务安全分类模型,性能与大型基线相当但部署成本更低。
基于LoRA的贝叶斯推理中低损失谷的构建与启示
提出LoRA-Curve构建连接独立最优的连续低损失谷,结合平坦极小值扰动与JS散度正则化,提升预测分布互信息且增强功能多样性。
PEARL:教学对齐强化学习训练苏格拉底式导师
提出PEARL框架,含可控学生模拟器、生成式奖励模型和稳定多目标RL,以30B模型达到开源最佳并与专有模型竞争。
一种基于张量积的新型神经网络用于求解偏微分方程
提出TPNet,用张量积基函数与最小二乘直接求解,避免梯度训练,高效准确求解偏微分方程。
Hista与Numca:为LLM强化学习高效估计状态价值
提出Numca和Hista,精确估计LLM强化学习中的状态价值,提升训练性能且计算开销小。
基于动量的低排放交通信号控制奖励设计
提出基于动量的奖励函数,鼓励车辆持续移动,在仿真中实现更优吞吐量-排放权衡和稳定学习。
贝叶斯深度神经网络中的核重整化:比例机制下的等效Wishart假设
提出等效Wishart假设,在比例极限下对深度贝叶斯MLP进行核重整化,用少量序参量预测泛化,并扩展至CNN。
分子混合物行为预测的系统性评估
提出分解纯组分与相互作用误差的评估框架,发现绝对准确度掩盖非理想行为,分子迁移是核心挑战。
Realistic honeypot evaluations for scheming propensity
堡垒:预算感知的树结构块扩散草稿推测解码
BASTION通过动态构建查询依赖树、平衡草稿质量与硬件约束,实现无需训练的推测解码加速,最高达6.61倍。
生成式人工智能基础小书:直观数学入门
本书以推导为导向,紧凑介绍生成式AI数学基础,连接PCA、VAE、扩散模型、GAN等,让结构易懂。
EMAG:可微分四维高斯混合泼溅用于EEG空间超分辨率
提出EMAG,用各向异性四维高斯混合从稀疏电极重建高密度EEG,在多个基准上超越现有方法且可解释。
MMTM:基于相似度门控融合的长视频三模态主题建模
MMTM通过相似度门控融合语音、音频和视觉嵌入进行长视频主题建模,显著提升主题连贯性与稳定性。
开放世界自编码漂移检测与表格非平稳数据流中的新类识别
提出无监督方法,基于自编码器重构误差检测漂移,密度估计识别新类,镜像自编码器自适应,性能与前沿相当。
CB-SLICE:基于概念的可解释错误切片发现
提出基于概念瓶颈模型的错误切片发现方法,通过概念预测失败分组样本并识别关键概念,优于现有方法。
STAP:一种用于无词汇表移动应用预测的具有超长上下文的混洗令牌化应用预测器
STAP通过混洗令牌化与超长上下文实现无固定词汇表的跨数据集零样本预测,冷启动性能与领先模型相当。
HARP: 用于极端LLM量化的哈达玛预处理自适应旋转处理器
HARP用可学习正交旋转替代固定变换,自适应调整量化基,提升低比特量化精度且部署高效。
从反馈到评分标准:我们能从行内评论中学习专家准则吗?
本文提出从行内评论中学习可复用自然语言评分标准,实现评论预测、标准理解和自动修订。
MIRAGE:用于全脑fMRI编码的自适应多模态门控
MIRAGE框架通过自适应多模态门控实现全脑fMRI编码,性能领先且可解释各模态皮层模式。
ESPO:早期停止的近似策略优化
提出ESPO方法,在强化学习训练中实时检测失败轨迹并提前终止,节省20%以上计算量,同时提升数学推理性能。
回归中插值与聚合的相互作用:最优样本复杂度
研究发现γ图维度决定可学习性,中位数聚合三个插值假设最优,某些类需无限假设或非插值聚合。
基于可学习温度的门控图注意力网络
提出门控图注意力与可学习温度,过滤不可靠特征并动态调整注意力锐度,提升多种图基准性能。
图基础模型何时能迁移?一种以数据为中心的理论
理论分解图基础模型跨域输出偏移为近似项与结构不匹配,指导数据整理。