通过预测驱动推理实现统计可靠的基于LLM的排名评估
PRECISE结合少量人工与大量LLM判断,偏差校正排名评估,精度提升21%,A/B测试确认日销+407bps。
前沿计算机智能体的领域条件安全性:793回合浏览器基准、编码域交叉参照及近期红队可重复性审计
浏览器攻击仅0%成功,编码域达100%;高成功率源于RL优化文本,安全强化具领域特异性。
少即是MoE:裁剪领域专家语言模型中的专家
Fisher-MoE通过裁剪FFN中间维度实现MoE模型高效压缩,在50%压缩比下保持性能,减少45%内存并提升21%吞吐量。
OrderGrad:利用顺序统计策略梯度估计超越均值的优化
OrderGrad提出顺序统计梯度估计方法,优化VaR、CVaR等分布目标,实现风险规避、鲁棒和探索性学习。
Membrane:一种用于LLM智能体防御的自进化对比安全记忆
提出自进化对比安全记忆护栏Membrane,无需重新训练,蒸馏有害/良性交互对,提升防御准确率,降低误拒率。
CaliDist: 通过抗干扰行为鲁棒性校准大型语言模型
CaliDist通过测量模型对语义干扰的稳定性来校准置信度,平均将期望校准误差从23%降至7%。
UNIVID:用于视频审核的统一视觉语言模型
UNIVID统一视觉语言模型,生成可解释描述,减少42.7%违规泄露和37.0%过度打击,替代千余策略模型。
压缩-蒸馏:推理轨迹压缩实现高效知识蒸馏
压缩推理轨迹可减少训练成本、提升效率,但会损失少量准确率,实现准确率-效率权衡。
一种极其简单的大语言模型API流量模型提取攻击检测器
提出基于良性校准的MMD分布测试检测器,仅用良性数据设阈值,实现高检测率低误报。
GLASS:基于GRPO训练的LoRA实现零样本文本转语音的声学风格控制
GLASS用GRPO训练独立LoRA适配器控制语速音高,可组合插值,保持自然度与清晰度。
Asuka-Bench:在未完全明确的用户意图与多轮精调场景下对代码智能体进行基准测试
提出Asuka-Bench,通过闭环多轮精调评估代码智能体处理不明确用户意图的能力,最强模型仅完成52%任务。
关于Max@K策略梯度的优势估计
引入Leave-Two-Out基线实现优势居中,降低梯度方差,提出MaxPO方法,统一了现有优势估计视角。
MDP-GRPO:面向多约束指令跟随的稳定化组相对策略优化
MDP-GRPO通过多温度采样、双锚优势、前景理论整形和不对称KL正则化,稳定多约束指令跟随学习,严格约束满足率提升5%,支持小群体收敛。
MM-BizRAG:面向通用企业问答的多模态检索增强生成再思考
MM-BizRAG通过文档结构感知分割与布局解析,无需微调即可提升企业问答精确度,性能提升达32%,并引入高效评测指标。
话语角色标签:语言模型中上下文使用的呈现时间变量
不同标签(如指令、参考、示例)使模型采纳误导答案率变化56-84%,应控制该变量以准确测量上下文依赖。
POLARIS:引导小型模型撰写长篇故事
POLARIS用前沿LLM裁判和人工参考训练9B模型,长篇故事质量媲美27B,长度泛化至3倍训练长度。
当检索无济于事:生物医学RAG大规模研究
检索对生物医学问答提升很小(1-2分),主要瓶颈在模型利用检索证据的能力有限。
SaliMory:为对话代理编排认知记忆
SaliMory框架通过层级奖励与对比细化训练语言模型管理认知记忆,减少33%记忆错误,准确率提升10%,个性化率翻倍。
科学概念的计算概念史:从早期数字方法到大语言模型
回顾科学概念计算史,从早期方法到LLM,探讨继承问题与机遇。
跨领域与模型的人工智能生成文本检测中语言特征的系统分析
词汇丰富度是跨模型跨领域检测AI文本的可靠信号,其他特征依赖上下文。
ACAT:一个用于高效方面级情感数据集标注的协作平台
ACAT是支持四种ABSA标注的协作平台,自动ETL输出就绪数据,标注快且一致。
Expert-Aware Refusal Steering
使用可解释语言特征检测AI生成假新闻的跨提示泛化
提取词汇多样性、可读性和情感特征,随机森林在跨提示检测AI假新闻中AUC达0.988-1.000,实现稳健泛化。
利用基于文本的因果推断来解析影响在线评论评分的因素
基于CausalBERT改进方法,从60万条学校评论中揭示管理和基准表现是评分关键因素。
LazyAttention:基于延迟位置编码的高效检索增强生成
LazyAttention通过延迟位置编码实现零拷贝KV重用,降低首令牌延迟1.37倍,提升吞吐量1.40倍。
可学习秩的参数高效微调
提出LR-LoRA,让适配器秩可学习,各层自适应调整,性能优于固定秩LoRA。
支持性令牌揭示:加速扩散语言模型解码
提出AXON模块,通过选择锚定令牌辅助解码,减少评估次数并保持准确率。
中文标题:我能再服一剂吗?评估时间不确定性下LLM在非处方药剂量问答中的决策能力
摘要:构建DOSEBENCH基准测试发现,大模型在非处方药剂量问答中常出现滚动窗口推理错误,且自信回答仍可能违反安全约束。
噪声记忆编码解释负极词幻觉
噪声记忆编码导致复杂句负极词幻觉,相似限定词增强效应,支持语言处理的不完美与资源理性。
微调万岁:任务特定Transformer在Reddit虚假信息回应分类中胜过零样本大语言模型
微调RoBERTa以0.62 F1击败零样本大模型(0.50),成本低且更擅检测信念类,零样本普遍漏检。
审慎演化:基于代理推理的高样本效率符号回归方法
提出审慎演化框架,解耦生成与搜索控制,用自适应算子等实现高效符号回归,样本效率提升60%。
GlossAssist —— 简化语料库创建并研究低资源文档环境中NLP模型影响的工具
GlossAssist基于CWoMP检索架构,通过主动学习利用注释者修正扩展词汇表,无需重新训练即可改进预测,强调反馈循环为NLP工具设计要求。
DLLG:大语言模型专家的动态逻辑层级门控
DLLG提出动态逻辑层级门控框架,学习令牌级专家融合,无需标签或重训,在推理与代码任务中超越现有方法。
读取轨迹,引导路径:面向扩散语言模型的轨迹感知强化学习
CAPR算法通过缓存路径状态和块级价值头,将去噪轨迹转为树状监督,以更低计算成本实现细粒度奖励分配,刷新多任务SOTA。
中文标题:当来访者停止跟随:一种基于认知概念化图驱动的策略性咨询框架
中文摘要:针对咨询中“来访者停止跟随”导致的评估偏差,提出基于认知行为疗法的抵抗感知框架及新指标,验证了抵抗感知训练对策略鲁棒性的提升。
SANE:生物数据的模式感知自然语言评估
SANE提出模式感知评估范式,证明少样本大语言模型在约束模式下无需训练即可准确生成SQL查询,失败多源于输入模糊。
通过外部子图生成增强大语言模型的逐步推理
提出SGR框架,利用知识图谱子图引导LLM逐步推理,提升准确性与可解释性。
倾听工人心声:利用大语言模型从社交媒体话语中衡量建筑工人安全态度
提出CSAF框架,通过大语言模型分析Reddit话语,高精度测量建筑工人多维安全态度,可追踪变化与解释原因。
SePO:用于系统提示优化的自进化提示代理
SePO自引用设计同时优化任务代理和自身提示,在5个基准上平均准确率提升4.49%,预训练技能可泛化。
MemoryDocDataSet:面向对话记忆与长文档联合推理的基准数据集
新基准同时评估多会话记忆与长文档推理,Hybrid问题占75%,揭示联合检索差距。
学习该学什么:面向小语言模型推理中SFT后RL的阶段特定数据集
提出难度感知的SFT-then-RL框架,通过阶段特定数据分配与Bridge、Critique机制协调难度,显著提升小模型推理性能。
Entity Binding Failures in Speech LLM Reasoning: Diagnosis and Chain-of-Thought Intervention
分布外之声:同人小说子类型作为对齐大语言模型的通用俗语越狱
利用真实同人小说子类型作为通用越狱载体,无需额外大模型,平均攻击成功率从0.278升至0.731。
基于MLLMs的多视频摘要中位置偏差的系统评估
多视频摘要位置偏差依赖领域和模型,增加预算无法消除,需更鲁棒的顺序不变系统。
SparDA:面向高效长上下文大语言模型推理的稀疏解耦注意力
SparDA引入预测投影实现稀疏注意力预取重叠,以极少参数开销获得最高5.3倍解码吞吐量提升。
LDARNet:面向基因组建模的具有可学习分词机制的DNA自适应表示网络
LDARNet采用可学习分词,在120M参数下超越20倍大模型,边界对齐生物学特征。
通过联合生成与评估实现自我进化的深度研究
提出SCORE框架,使评估与生成在共享参数中共同进化,动态控制评估环境,提升深度研究报告质量。
时间顺序对智能体记忆至关重要:长周期智能体的段树记忆架构
提出基于时间顺序段树的记忆架构SegTreeMem,在线更新保持时序,检索融合语义与上下文,显著提升长周期对话性能。
大规模卡式缓存:面向大型文档集合的模块化KV缓存训练
CAS框架通过动态干扰混合与存储管理训练模块化KV缓存,使百万级文档推理性能提升10-31点,提示词减少3-4倍。
VCIFBench:评估视频理解中的复杂指令遵循
提出VCIFBench基准,通过306条约束指令和混合验证评估多模态大模型视频理解中的指令遵循能力,发现联合约束满足仍具挑战,DPO训练可提升性能。