以演化评分规则为奖励的音频推理强化学习
提出AudioRubrics框架,用自演化、基于音频的评分规则监督推理,显著超越基线,且增益随评判能力提升。
AI安全排行榜:方法论、结果与最低标准
FAR.AI安全标准:评估四模型,Grok/Gemini易被越狱,Claude/GPT安全成本差百倍。
LACE:面向敏捷RISC-V指令扩展的大语言模型辅助多智能体框架
提出LACE:LLM多智能体实现RISC-V指令扩展自动生成与验证,四核pass@1达72.8%。
DP-MemView:面向长期LLM代理中属性级对话隐私的内存接口
长期记忆致LLM代理反复响应泄露受保护属性。提出DP-MemView差分隐私接口,私有选择视图并记账,证明纯B_a-DP,保持可区分性近随机且保留个性化。
超立方体、超平面与原子概念学习中约束诱导的复杂度坍缩
原子概念学习中除全对角线外等价类有限且不随项深增长,复杂度局部化;三维现关键结构,指向约束假设空间。
当输出分散时,认知修正会随之发生吗?机器集体的黑箱诊断
提出黑箱诊断法测量输出分散与认知修正的耦合;GPT上分散促进修正,Gemini则仅改述未修正。
CIGTSurv:临床信息引导的三模态生存预测及局部原型关联与全局特征对齐
提出CIGTSurv三模态生存预测框架,以临床信息引导,局部原型关联与全局特征对齐,TCGA上SOTA。
干扰物感知截断:在长上下文LLM基准中解耦上下文长度效应与信号损失
朴素截断致分数崩塌,干扰物感知截断保留信号则性能不降反升;前者测的是信号偶然存留,非上下文长度效应。
ChartAnno:评估多模态大语言模型的图表注释生成能力
提出ChartAnno基准,含1200个真实图表,评估10种多模态大模型。闭源模型更优,指令具体性提升质量,图像输入增益有限。
蛛丝马迹:利用思维链动态检测大语言模型中的推理失败
思维链动态可诊断推理失败:错误轨迹过早检验、重复操作;干预提示使准确率从13.3%升至85%。
平衡效率与效能:面向多模态大语言模型的免训练注意力引导显式与隐式思维切换
提出免训练注意力引导切换方法,用视觉-文本注意力比解耦感知与推理,兼顾精度与效率。
面向鲁棒多模态意图识别的自适应模态可靠性诊断与恢复
提出新框架,诊断并恢复模态可靠性,再评估后融合,提升多模态意图识别的鲁棒性。
面向深度研究智能体的搜索准则文档重排序器训练
提出搜索准则训练重排序器,采用微调+强化学习两阶段选取高质量文档集,超越基线2.6分。
当智能体学会成为你:人格技能中隐私泄露、冒充风险与防御的基准测试
提出反技能基准,评估人格技能的隐私泄露与冒充风险,发现防御效果有限且依赖蒸馏策略。
注意力是大小写敏感的
研究发现,LLM的注意力对大小写敏感:交替或大写格式能集中注意力,但不一定提升准确率,推理阶段可缓解,视觉语言模型部分适用。
用于高效电路提取的稀疏权重分解
提出SWD,将权重矩阵分解为两个稀疏因子,无需训练替代网络,用少于1%数据达到同等保真,支持电路提取,并有零数据变体。
BanglaWild:面向OCR和视觉语言模型的野外孟加拉场景文本识别基准
提出孟加拉野外文本基准,评测15个VLM和3个OCR,大模型未胜小模型,视觉误识别占60%错误。
ContinualSkillBench:大语言模型智能体能否真正进化其能力?
提出持续技能学习评估框架:顺序执行提升性能,上下文学习与显式维护相当,但模型难将经验巩固为可迁移技能
ParVL:多模态大语言模型的并行扩展与可扩展计算分配
提出ParVL并行扩展框架,复用ViT与LLM骨干,研究视觉语言计算分配,提升多模态性能。
高风险博弈:衡量忠实性与安全性的张力
研究思维链忠实性与安全性的矛盾,发现模型要么忠实但易受不安全推理诱导,要么安全但忠实度低,可用表示引导兼顾两者。
Agogic:面向LLM原生文本到符号音乐生成的表演计时音乐词元
表征决定分布保真度,而非模型规模;性能计时词元令小模型超越大节拍网格模型。
多语言多智能体规划失败的可操作诊断
提出规划-落地失败分类法及TART方法,在多语言多智能体系统中显著提升性能,GAIA平均提升5.6个百分点。
BOW:训练语言模型推理合理的下一个词
提出BOW强化学习框架,训练模型生成中立全面的合理下词描述,仅凭轨迹获奖励,避免过早坍缩并提升泛化。
数据库场景下LLM评估:核心数据库任务的生命周期基准
DBLifeBench覆盖数据库全生命周期,引入渐进式Text2SQL,发现专用模型有灾难性遗忘。
隐藏状态中的隐藏状态:隐式离散状态表征在大语言模型隐藏状态中涌现
研究发现大语言模型无需思维链即可直接计算,其隐藏状态中形成隐式离散状态表征,该表征有损导致输出错误。
π-Attention:在线高效稀疏注意力,用于长上下文建模
π-Attention在线稀疏注意力,融合局部窗口与π索引远程获取,每步O(k)成本,长上下文接近密集注意力质量。
自适应安全对齐:推理模型中指南的合成与内化
模型可自生成并内化安全指南,使安全性与不过度拒绝得分提升20-45.5分,并保留无推理时指南的收益。
量化大型语言模型在医学教科书上的幻觉
模型幻觉率19.7%但看似可信;幻觉率低与有用性高相关;医生判断一致;当前模型不适合无监督临床部署。
知识碰撞之地:语言模型内部记忆知识冲突的机制研究
首次探究语言模型内部知识冲突机制,发现冲突多在末层产生并解决,但真实冲突干预效果差,且无统一处理回路。
揭示上下文学习中的自发物理表征
LLM在上下文学习中自发形成物理表征如能量,且有助于预测,非复制输入。
因果语言模型的后缀约束贪心搜索算法
提出后缀约束生成:仅约束响应结尾符合语法,设计贪心搜索算法,实验显示不损性能且更优。
ChiEngMixBench:评估大语言模型在专家风格中英术语混用中的表现
构建ChiEngMixBench基准,发现模型偏好与真实中英混用存在差距。
SimulRAG:基于模拟器的检索增强生成,用于长篇幅科学问答中的大语言模型事实锚定
提出SimulRAG框架,通过模拟器检索与声明级验证,提升长科学问答的信息量和事实性。
探究大语言模型中对抗性后缀的可迁移性
发现三个统计特性与对抗后缀迁移成功强相关,而提示语义相似度弱相关,可用于改进攻击成功率。
用于检测与净化韩语毒性的混淆规则
提出KOTOX数据集,分类韩语混淆模式并定义转换规则,使模型更好处理混淆文本且不损普通文本性能。
大型语言模型中的单词恢复实现字符级分词鲁棒性
研究发现LLM通过“单词恢复”机制处理字符级输入,隐藏状态重建词元,因果实验证实其关键作用。
大语言模型为类比平行四边形理论提供支持
研究发现,大语言模型生成的类比优于人类,且更符合平行四边形理论,支持该类比模型。
Pingala:梵语诗歌生成的韵律感知解码方法
梵语诗歌生成需兼顾语义与格律,分组行生成提升语义连贯性10%,韵律感知转写使格律对齐提高46%。
LLM-OSDA:多轮LLM对话中原生广告的最优停止动态拍卖
提出最优停止动态拍卖LLM-OSDA,结合Bellman与包络定价,保证诚实报价,收入提升11%。
自然语言处理中意义的产生
大语言模型语义处理呈量子式语境性,违反贝尔不等式;CHSH指标与基准无关,语境性限制可分解性与提示注入防御。
叠加的幻象?语言模型潜在思维的原则性分析
只有从头训练的模型表现出叠加;无训练和微调场景中叠加消失或不被使用,因预训练偏向和容量影响。
在词汇空间中解耦MLP神经元权重
提出免前向的旋转优化法,权重空间最大化峰度解耦MLP神经元,恢复可解释词汇通道,性能超基线2-3倍。
HUKUKBERT:土耳其法律领域专用语言模型
HukukBERT土耳其法律语言模型19GB语料混合DAPT训练法律掩码测试84.4%分割92.8%
释放隐式奖励:面向分布级优化的前缀价值学习
提出IPVRM隐式奖励模型:学习前缀价值,TD差分得步骤信号;DistRL分布级优化,提升推理验证与策略。
知道何时停止:减少过度思考的片段级信用分配
提出基于正确性分配片段级信用的DASH方法,减少过度思考,提升数学基准准确率。
用于数据高效RL对齐的宪法网格工具(C-Guard)
C-Guard用宪法网格生成数据,C-LIM识别无效数据区域,避免浪费训练预算,将学习影响从0.733提至0.80。
Eloquence 团队在 MLC-SLM 挑战赛任务 1 中的提交
提出三种多语言会话语音识别方法:评估基线投影器、采用SLAM-ASR训练投影器、探究对比学习与扩展上下文。
Opt.Gear 技术报告
该端侧基础模型采用混合架构降低键值缓存占用,推理提速最高4.9倍,数据高效,并支持微控制器部署。
剪枝BPE:字节对编码的训练后可见性剪枝与标记重新分配
剪枝BPE:训练后剪除低曝光标记,重分配可见槽位,同词汇量下编码长度降约0.3%,提升效率。
SERL-SQL:面向文本到SQL智能体强化学习的选择性事后蒸馏
提出SERL-SQL,基于执行反馈的选择性强化学习框架,用师生似然差重加权GRPO优势,在BIRD和Spider上取得高精度。