Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models
上下文归因如何处理模型已知内容
上下文与训练数据重叠时,归因方法无法区分内外贡献,分数不可靠;实验表明不忠实,无法分离来源。
打破合成-真实领域捷径:面向免训练生成式回放的类增量学习
提出DREAM方法,通过子空间校正与正交投影消除领域捷径,实现免训练生成式回放类增量学习,性能达最优。
冻结12B模型在验证任务上击败前沿模型:100%准确、零Token、比特精确、永久有效
提出冻结模型+验证记忆方案,已解决问题零token、比特精确复用,准确率100%,并扩展至开放推理。
mmSimPrior:学习仿真先验用于数据高效且可泛化至现实世界的基于雷达的人体运动重建
提出mmSimPrior仿真预训练框架,通过因子化先验与域随机化,仅用24对真实数据即可显著提升雷达人体运动重建精度。
Transformer的熵界:静态秩为何失效,注意力原生秩如何恢复
Transformer熵界:线性注意固有秩为最小容量下界,真实注意需注意力原生秩恢复,并界定可预测边界。
利用噪声学生在线策略自蒸馏的自增强视觉语言模型
提出NOPD自蒸馏方法,利用干净与受损输入预测差异自监督,无需外部模型,显著提升视觉语言模型性能。
理解大语言模型中语气相关的推理成本
提示语气显著影响LLM答案准确性与推理成本,输出token消耗差异达44.3%,需权衡准确性与资源消耗。
附加疑问句与45种语言模型中谄媚现象的世代反转
附加疑问句使模型赞同率在±32%间摆动,并随世代从谄媚转为抵抗(模式匹配非原则),'maybe?'则全模型支持上升。
SyRuP:通过奖励引导预测增强大语言模型解码中的系统提示遵循
SyRuP训练奖励头并在解码时重排候选,有效提升系统提示遵循,性能优于基线且开销适中。
MoLGE:面向大规模多语言语音识别高效扩展的语言组专家混合模型
MoLGE通过语言组专家和分层LoRA,在495语言上以少量参数提升多语言语音识别性能。
基础模型与微调:迈向新一代时间序列预测模型
基础模型通过大规模预训练实现零样本时间序列预测,微调可进一步提升准确性。
基于LLM与基于词典的情绪信号在Meme股尾部风险检测中的比较
比较LLM与词典情绪信号,LLM表征更丰富,但预测性能不稳定。
StageGuard: 生理约束下的睡眠分期
提出生理约束的睡眠分期框架,减少异常转换56-62%,睡眠架构指标误差降低59-79%。
BioSentinel在EXIST 2026:基于XLM-RoBERTa的软标签优化用于迷因性别歧视意图分类
使用XLM-RoBERTa和混合损失函数优化软标签,在迷因性别歧视分类任务中取得中等排名。
中文标题:面向信息物理系统异常检测的域先验正则化图建模
中文摘要:提出DPR-GM,利用大模型提取物理耦合作为图先验,结合数据相关性,在数据稀少的CPS中实现高效异常检测。
通过语言可解释性探寻自发性芬兰语语音中的情感
研究结合文本与音频特征建模情感感知,发现组合特征改善效价回归,但对唤醒度提升有限。
少即是多:基于DeepGlobe的轻量级CNN卫星土地覆盖分割受控基准
轻量MobileNetV2在DeepGlobe分割中准确率最高,优于更深模型,证明轻量迁移学习适用于资源受限遥感。
高分辨率多模态大模型中高效视觉令牌剪枝的结构化冗余建模
提出SFPruner,通过结构化冗余建模实现单次前向传播的令牌剪枝,选择时间从112.4ms降至2.5ms,大幅提速且保持高性能。
压缩短文本生成中的质量瓶颈:分阶段定位
通过分阶段诊断发现,压缩短文本生成质量瓶颈主要在编解码器重建而非潜在去噪,编解码器导致困惑度提升超80%。
隐式策略梯度视角下的上下文学习
研究表明,分数条件化上下文学习等价于隐式策略梯度,自注意力机制可实现奖励加权聚合,且注意力权重与分数强相关。
OmniScope: 面向全模态大语言模型的模态解耦式令牌压缩
OmniScope以查询为语义锚,分模态估计相关性并压缩令牌,无训练,25%保留时加速3.53倍、显存降15%,准确率仅降0.35点。
XGRVFL-MV: 具有灵活守护损失的残差耦合图嵌入多视图随机向量函数链接网络
提出XGRVFL-MV模型,融合图嵌入与灵活守护损失,通过残差耦合增强多视图一致性,实现高效分类。
分词税:量化并解释子词分词对印度语言的跨语言成本
子词分词致印度语言成本达英8-13倍,源于合并失败;多语言分词器减73%,但阅读能力更受资源影响。
相似性并非逻辑:双编码器视觉语言模型的因子推理
双编码器视觉语言模型无法处理组合约束,提出无训练因子推理方法LCSE,准确率提升至85.5%。
错误设计意图比没有更糟糕:CAD程序完成中头部条件设置的失序控制诊断
错误设计意图比无意图更糟,主动误导生成,伤害源于学习到的映射,独立指标揭示度量循环问题。
StanceFlip:面向多模态对话立场翻转预测的全面多维基准
提出StanceFlip基准与ConStaFF框架,通过六元组抽取和翻转归因,解决多模态对话立场动态演化和歧义问题,性能达最优。
相关性新角色:在智能体搜索中引导语料库交互
RARG将相关性转化为交互执行先验,实现粗到细搜索引导,加速收敛并提升准确率与效率。
CAGE:面向长形式问答中忠实内联引用生成的认知归因图
CAGE提出两阶段框架,先构建认知归因图对齐答案与文档,再生成带引用的句子,解决证据边界越界问题,性能最优。
ParasGB:用于AMS电路寄生参数估计的图基准测试套件
首个开源图基准ParasGB,用于AMS电路预布局寄生参数预测,提供大规模RC网络与统一评估,助力可重复研究。
方差保持正交选择(VPOS):在PCA载荷空间中通过正交收缩进行贪心特征选择
VPOS在PCA载荷空间通过正交收缩贪心选择特征,重构误差最低且速度比图方法快10-140倍。
SHReg:基于球谐函数的严格旋转等变点云配准
SHReg基于球谐函数实现严格旋转等变配准,联合学习不变与等变特征,提升大旋转鲁棒性,优于现有方法。
准确率隐藏模型失败:在匹配输出预算下测量失败状态
准确率混淆执行状态与验证,双层评估框架揭示模型失败模式,需报告执行状态与覆盖。
从纵向光谱CT提取病灶动力学的逆贝叶斯推断
提出逆贝叶斯框架从纵向光谱CT提取病灶动力学,分解三项,在NSCLC中发现肺病灶竞争、肝病灶协同耦合机制。
DishSeg24k:大规模食物分割基准与随机专家解码
提出大规模食物分割基准DishSeg24k(2.4万图、278类)及FEAST方法(MDP+RL-MoE),mIoU提升3.21%,达最新最优。
INS-ActBench:大语言模型专业精算能力综合评估基准
INS-ActBench含12050道问答,评估LLM精算能力,发现前沿模型标准化知识强,但案例推理与工具使用弱。
面向可信洪水预测的上下文感知概念蒸馏
提出CACD框架,将LSTM蒸馏为可解释水文概念模型,在5203个流域验证,平衡了准确性与透明度。
Fashion-3DLR:一种利用成对时尚元素实现可控3D服装生成的智能设计方法
提出Fashion-3DLR框架,融合二维设计元素生成可控3D服装,支持物理仿真与虚拟试穿,性能超越现有方法。
DispatchRAG:基于真实事故协议从交通事故视频生成紧急调度决策
DispatchRAG基于日本真实事故协议,结合RAG检索与LLM推理,增强VLM从视频评估事故严重性并生成应急调度,性能超越基线模型。
从分数学习到离散采样:扩散模型的端到端泛化分析
本文建立扩散模型端到端泛化分析,将生成误差分解为截断、离散化、泛化和优化四项,量化了样本量、网格和优化精度的影响。
视觉-语言导航的双脑最小充分表示
提出基于最小充分性原则的BrainNav框架,通过逻辑锚点、最小约束对齐和压缩世界模型,提升VLN-CE导航性能。
FILLER: 通过潜在位置探索与检索的特征填补
提出FILLER方法,搜索生成模型潜在空间填补缺失值,证明收敛,实验结果优于现有方法。
方向性影响函数:在有约束学习中估计训练数据的影响
提出方向性影响函数(DIF),利用变分不等式约束,精准估计训练数据对模型影响,优于传统方法。
AlloBench:衡量LLM代理的在线工具分配能力
AlloBench基准显示,LLM在抽象分配中近乎最优,但无法迁移至脚本编写,表明在线工具分配是当前模型的能力边界。
反事实运动可靠性学习用于鲁棒无人机跟踪
提出CMRTrack框架,通过反事实目标擦除历史分支学习可靠运动,提升红外无人机跟踪鲁棒性。
超出长度场景文本识别:双轴诊断与免训练修复
诊断长文本识别失败主因是编码器宽度,提出免训练切片对齐方法,在长文本基准上达43%准确率,匹配并超越现有最优。
铭记于心:评估智能体记忆中的隐式关联盲点
现有记忆系统因依赖相似性检索而忽略隐式关联,导致间接查询准确率从84%骤降至14.4%。
SINT-Flow:使用大规模语言模型工作流的模式集成
SINT-Flow通过五个LLM操作员工作流实现全自动模式集成,处理多实体表,基准测试F1达96%、85%、83%。
检索增强的大语言模型作为监管知识管理认知计算架构的组件
RAG增强LLM用于监管知识管理,提升事实一致性与规范精度,实现可审计动态更新。