利用稀疏自编码器的模型内部状态指导LLM后训练数据工程
提出SAERL框架,利用SAE提取模型内部信号,指导数据多样性、难度与质量,提升准确率3%,节省20%训练步。
MobileMoE:扩展设备上的混合专家模型
MobileMoE提出设备端MoE缩放定律,以0.3-0.9B活跃参数实现2-4倍推理加速,性能媲美更大模型。
交互式智能体:通过角色扮演大语言模型间交互模拟咨询师与来访者的心理咨询
提出交互式智能体框架,通过LLM角色扮演生成心理咨询对话,数据质量堪比真实对话,兼具可扩展性与隐私保护。
NSF-SciFy:从NSF资助项目数据库挖掘科学声明
构建280万科学声明数据集,零样本提取声明与研究方案,微调模型性能提升超100%。
LLMs在重排序任务中的推理可靠性如何?
分析LLM重排序中训练方法对语义理解与可解释性的影响,揭示可靠性存疑。
提示鲁棒性:增强大语言模型对抗提示攻击的鲁棒性
RoP通过错误校正与引导两阶段,显著提升大语言模型对抗扰动输入的鲁棒性,精度损失极小。
PersianMedQA:一个波斯语-英语双语医学问答基准上的大语言模型评估
波斯医学问答集评估41个LLM,GPT-4.1波斯语准确率83%,本地模型仅34.9%,文化语境导致翻译损失,模型需领域适应。
AlignEvoSkill:迈向知识感知与任务对齐的智能体技能进化
提出AlignEvoSkill框架,联合建模知识覆盖与任务对齐,实现34.7%相对提升,低成本技能进化新SOTA。
PICACO:通过总相关优化实现LLM的多元情境价值观对齐
PICACO通过优化元指令最大化总相关,实现多元价值观对齐,无需微调,优于多个基线。
SONAR-LLM: 以句子嵌入思考、以词元说话的自回归Transformer
SONAR-LLM采用混合目标,在句子嵌入空间思考,通过token级交叉熵监督,兼顾语义抽象与高效生成。
基于信息融合的文档分类模式识别:多模态与多视图表示方法系统综述
系统综述发现,多模态融合提升准确率5.28%,多视图融合提升4.67%,但多数研究缺乏统计验证,成功关键在于任务对齐与严谨验证。
Raon-Speech技术报告
提出9B参数英韩双语语音语言模型Raon-Speech及其全双工对话版,在多项基准中性能最优。
面向英汉混合语音识别的直接偏好优化
通过直接偏好优化,有效减少音频大模型在英汉混合语音转录中的遗漏、翻译和幻觉错误,最高降低89.6%词错误率。
中文标题
利用大语言模型从10-K中提取分部披露,提升完整性与可比性,支持纵向分析和跨公司对齐。
自动生成科学假说的多角色辩论系统
提出MPDS结合文献与多角色辩论自动生成假说,在电池材料中验证有效,提升跨视角整合与瓶颈诊断能力。
EchoDistill:面向鲁棒音频大语言模型的噪声到干净对齐自蒸馏
EchoDistill通过干净教师指导噪声学生,利用GRPO对齐语义,提升音频LLM在噪声下的鲁棒性,GSR平均提升4.18%。
忠实还是捏造?LLM评估者中合理化偏差的因果框架
提出因果框架研究LLM评估者偏差,发现其受非证据线索影响,证据锁定方法可提升线索不变性。
SLAP:基于分层损失剪枝的策略内数据高效指令调优
SLAP通过分层采样与梯度信息动态选批,用更少数据实现更优指令调优效果。
TriVAL: 面向忠实自动优化建模的三重验证框架
TriVAL通过语义、数学、代码三阶段循环验证修正,防止错误累积,在复杂组合优化建模上显著提升准确性。
AERIC:面向隐式有害对话的预期性隐藏状态监控
AERIC用仅387参数的同遍隐藏状态监控,以2.34%延迟代价提升隐式有害对话检测AUROC。
Twitch聊天中的毒性:基于大语言模型的跨游戏社区分析
基于LLM分析Twitch聊天毒性,MOBA最高(3.2%),体育最低(2%),游戏内部差异显著。
ContextEcho:长时智能编码会话中角色偏移的基准测试
ContextEcho基准测试发现长时编码中角色偏移普遍,压缩不重置,一次锚定可恢复,影响工具使用与聊天格式,提供开源审计框架。
QUEST:用全合成任务训练前沿深度研究智能体
提出QUEST模型系列,通过统一规则树合成训练数据,无需人工标注,在深度研究任务上接近或超越闭源前沿系统。
A Multi-Probe Audit of Clinical-Interview Depression Detection Benchmarks
通过类比教学:一种面向教育类比生成的模块化流程
提出模块化类比生成流程,发现子概念显著提升解释质量和检索精度,但对开放源生成帮助有限;Claude评估与人类排名一致。
CUNY在CLPsych 2026:心理健康变化分类与摘要的流水线方法
集成LLM上下文学习与监督分类的流水线,在CLPsych 2026四项任务中获第一至第三名。
通过填充从扩散语言模型中提取训练数据
扩散语言模型中填充提取训练数据,边缘掩码比前缀提取多三倍逐字序列,双向访问揭示更高隐私泄露风险。
借助详细宪法定义与AI驱动评估改善标注一致性
本文用AI撰写详细类别定义,前沿LLM解释生成黄金标签,跨模型不一致性降低57倍,并引入双轴安全评价。
深度研究的交互式范式
提出SteER框架,通过成本-收益决策和动态用户模型实现深度研究的中途控制,对齐度提升22.8%,人类偏好超85%。
DRInQ:通过受控上下文变体评估会话含义
DRInQ评估会话含义推理,发现模型生成与推理不对称,小模型用结构化提示改善,揭示持续挑战。
结构感知RAG:面向对话智能体从噪声数据进行的结构化检索增强生成
提出SA-RAG,用表格作为中间结构减少噪声,在噪声数据集上显著优于现有RAG方法。
使用多语言大模型嵌入发现词汇空缺
提出数据驱动框架,利用双语大模型嵌入识别词汇空缺,跨语言语义对齐弱指示空缺,分类AUC达0.81,方法语言无关且无需分类体系。
法律判决预测中的时间概念漂移:跨越乌克兰法院判决三个时期的神经基线
法律NLP平稳假设不成立,跨时期前向退化达27.2%,后向迁移更稳健;顺序学习可避免遗忘。
从神经活动进行端到端的脑皮层内语音解码
无需外部语言模型,端到端Conformer解码器实现脑皮层内字符级语音解码,字符错误率23.80%,主要错误源于词边界分割。
辩论中明辨是非:中文有害模因的归因分析
构建首个中文有害模因解释数据集与知识库,提出RIKE框架,有效识别含文化歧义的有害模因。
大语言模型需要多少结构化信息?——评估其在文献计量聚类描述中的表现
LLMs在文献聚类描述中易出错,算法提供结构、LLM生成描述是更可靠的混合方案。
SEAL:智能体与学习环境的协同共同进化
提出闭环共同进化框架SEAL,通过诊断引导环境与策略双向适应,在低资源下显著提升工具使用性能。
并排对比放大语言模型中的方言偏见
并排对比加剧语言模型对非标准方言的隐性偏见,显性偏见在安全微调后仍未解决。
在对话中发现:LLM自学弥补多轮对话差距
提出FiC框架,通过视图非对称自蒸馏,模型自学恢复单轮能力至多轮,性能恢复92%以上。
越南语方言变异的语音建模
提出方言感知语音框架,分解音节为语音成分并用方言IPA建模,以更少参数无需预训练达最强模型性能。
分解与精炼:基于参数化检索的结构化法律问答
DaR框架通过分解复杂法律问题并生成法规对齐的参数化查询,显著提升检索准确性与答案可验证性。
基于激活修补的大语言模型遗忘深度衡量
提出UDS指标,通过激活修补量化LLM遗忘深度,在多种方法中表现最优,为遗忘评估提供可靠方案。
语法引导的稀疏注意力:实现高效且可解释的Transformer
基于词性标签动态生成注意力掩码,硬/软掩码降低计算开销,在SST-2上精度与全注意力持平,实现高效可解释Transformer。
Unveil:面向多模态文档检索的统一视觉-文本融合与蒸馏
提出Unveil框架,通过知识蒸馏融合视觉与文本特征,实现高效无解析文档检索,提升准确性和效率。
WhenLoss:诊断长上下文记忆系统中的写入与检索瓶颈
提出四条件诊断协议,发现写入瓶颈大于检索;提出EPC方法优化写入,显著提升性能。
利用检索、聚类和生成方法从案例数据库中生成法律评注
一种全自动流水线从判决中创建法律评注,无需人工框架,评估显示可行但受限于来源和法律推理规范性。
AstroMind:基于大语言模型的航天器行为推理高保真基准
AstroMind是评估航天器行为推理的高保真基准,涵盖意图推断等任务,发现不同模型各有所长。
中文标题:针对LLM数学推理的危害感知事后替换的防护性修复
中文摘要:提出GuardedRepair框架,在GSM8K上准确率从95.60%提升至96.89%,未破坏正确案例;弱推理器提升9.2%,优于无约束重解。
词类表征从自然语言训练的继任表征中自发涌现
继任表征训练后自动形成词类结构,短时距强句法,长时距融语义。
CSP-Atlas:稀疏Python Transformer中的概念特异性神经电路
稀疏Transformer中106个Python概念均具特异性电路,AST电路含超半数概念成分,电路按计算原子性而非语义聚类。