ContextRAG:免提取层次图构建方法用于检索增强生成
ContextRAG免提取构建图结构,索引仅需30次LLM调用,性能达33.6%F1,成本远低于基线。
德语法典的分块策略
研究德国法律文本分块,发现基于结构(章节/分段)的简单方法召回率最高,复杂方法效果不佳,凸显保留领域结构的重要性。
重新思考记忆方式:超越原子事实的终身LLM智能体记忆
提出TriMem,维护三种粒度记忆表示,结合提示优化,实现终身记忆进化。
奖励信念,而非行动:一致性引导的长期智能体信用分配
ReBel算法通过信念一致性监督和信念感知分组,在部分可观测长期任务中提升成功率20.4%、样本效率2.1倍。
CLIF:面向透明瓶颈模型的概念级影响函数
提出概念级影响函数,无需重训即可识别关键样本与概念,恢复模型性能,提升可解释性。
工具总是有益的吗?自适应调用工具的双模式多模态大模型推理
提出AutoTool模型,自适应决定是否调用工具,提升准确率21.8%,效率提升44.9%。
What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience
基于编码器的语言模型中,作者身份信号出现在哪里?
评分机制决定作者身份信号位置:平均池化集中在前中期层,后期交互则在后期层,造成四倍性能差异。
关注音拍:基于正字法意识的日语神经形态生成错误分析
对日语过去式形态生成的错误分析发现,送气音变相关错误占75-80%,且模式高度一致,凸显正字法意识评估的必要性。
语言突变维持社交媒体上阴谋论的持续传播
研究表明,语言突变(语义与心理语言学特征)显著延长阴谋论传播寿命,存在简化和同化两种模式。
FlexDraft:通过注意力调优与奖励引导校准的灵活投机解码
FlexDraft通过注意力调优和奖励引导校准,实现灵活投机解码,在批量大小变化时避免质量下降与吞吐量崩溃。
PromptRad:面向低资源放射学报告标注的知识增强多标签提示微调
提出PromptRad,用提示微调和UMLS知识增强,仅需32例标注即可高效进行放射学报告多标签标注,性能优于传统方法,媲美GPT-4。
TIDE:基于I/O感知专家卸载的高效无损MoE扩散大模型推理
TIDE利用专家激活时间稳定性,以I/O感知策略实现无损加速,吞吐量提升1.4-1.5倍。
基于强化学习的文本到SPARQL生成:DBLP上的GRPO方法
使用GRPO强化学习训练小模型零样本文本转SPARQL,优于零样本基线,但监督微调更准确。
MixRea:评估大语言模型显式与隐式推理能力的基准
受人类“不注意盲视”启发,发现最佳大模型在显隐推理中仅42.8%一致性,提出PRCP方法改善。
中文标题
ThoughtTrace首个大规模用户思维数据集,揭示人机对话中隐藏的认知动态,提升行为预测与个性化。
BalanceRAG:级联检索增强生成中的联合风险校准
BalanceRAG联合风险校准优化级联RAG阈值,在控制错误率的同时提高覆盖率并减少不必要检索。
CopT:面向通用与智能体推理的连续空间对比策略内思考
CopT反转思考与回答顺序,通过连续嵌入对比验证答案可靠性,无需训练,准确率提升23%,token节省57%。
KoRe:面向大型语言模型的紧凑知识表示
KoRe将KG子图编码为紧凑令牌注入LLM,性能优且令牌使用降10倍。
减少反复:结构化提示的对比研究
清单式提示可提高LLM回答质量并减少用户交互,平均得分7.50/8,优于原始和澄清问题提示。
ClinSeekAgent:面向智能临床推理的自动化多模态证据寻求框架
ClinSeekAgent实现主动证据获取,在多模态临床任务中显著提升大模型性能,并可将高质量轨迹蒸馏至小型开源模型。
从看到思:解耦感知与推理改进视觉语言模型的后训练
视觉感知是VLM性能瓶颈,分阶段训练优于混合,提升准确率并缩短推理链。
无论多少,只检索相关表格:自适应表格检索方法
提出自适应表格检索法,根据查询动态调整表格数量,避免固定k值缺陷,提升检索与下游任务性能。
GRASP:交互图中的确定性论证排序
GRASP通过攻击-防御传播对论证进行确定性排序,基于结构充分性而非说服力,提供透明可审计的替代方案。
ZeroUnlearn:大语言模型中的少样本知识遗忘
提出ZeroUnlearn,通过模型编辑实现少样本知识遗忘,高效保持模型效用。
ClusterRAG:基于聚类的协同过滤实现个性化检索增强生成
提出ClusterRAG,通过聚类协同过滤用户档案,实现高效个性化检索增强生成,实验验证性能最优。
FedMental:评估联邦学习在社交媒体数据中进行心理健康检测的应用
联邦学习在心理健康检测中性能接近集中式,但差分隐私联邦学习因扰动稀疏标记导致性能大幅下降。
轻量化动态模型合并
DiDi-Merging利用可微分秩分配实现精简动态合并,仅需1.24x单模型参数即可匹配甚至超越先前方法。
信任还是放弃?一种自我感知的RAG方法
提出无需微调的SABER方法,通过自我感知信念估计,解决RAG中的知识冲突,提升准确率和忠实度。
用于私有推理通道中间接影响的反事实似然检验
本文提出反事实似然检验法测量私有推理通道间接影响,在7B模型上验证,建议分别报告直接与间接影响。
EgoBabyVLM:基于自然第一人称视频数据的跨模态学习基准测试
当前VLM依赖紧密语义对齐,在弱对齐自然第一人称视频上表现不佳;提出基准和挑战以推动类婴儿语言学习。
重新思考大型视觉语言模型在胸部X光推理中的视觉归因
提出因果评估框架揭示现有归因缺陷,推出MedFocus概念归因方法提升医疗LVLM可信度。
PAVE:生成式智能体社会中合法违规的认知架构
PAVE架构通过四个模块使智能体在紧急情况下合理违规,同时保持权威服从和事后恢复。
OScaR:面向大语言模型及其之外的极端KV缓存量化的奥卡姆剃刀
OScaR通过旋转与缩放缓解权值不均衡,在INT2量化下实现近无损性能,解码加速3倍,内存降低5.3倍。
Mega-ASR:通过大规模真实声学模拟实现更复杂真实环境的语音识别
Mega-ASR框架结合复合数据与渐进优化,在复杂环境语音识别中WER降低超30%。
CEPO:使用对比证据策略优化的RLVR自蒸馏
CEPO通过对比正确/错误答案的教师信号,区分推理步骤与填充词,在多模态数学推理上超越GRPO,2B/4B规模准确率达43.43%/60.56%。
CADENet:面向自动驾驶恶劣天气感知的条件自适应异步双流增强网络
CADENet无需训练,三线程实现恶劣天气实时检测,条件自适应增强,44FPS,用召回率避免注释偏差。
推理的测度论分析:结构泛化与近似极限
通过最优传输和Wasserstein距离量化域偏移,揭示位置注意力缺陷与深度扩展必要性。
FineBench:面向细粒度人类活动理解的视觉语言模型评测与增强
FineBench基准含19.9万问答对评估细粒度人体活动理解,开源VLM表现差,FineAgent框架可提升其性能。
GEM:面向MoE系统的GPU变异性感知专家映射
GEM利用GPU变异性映射专家,平衡负载以减少同步瓶颈,提升推理速度7.9%-16.5%。
STAR-PólyaMath:持久元战略监督下的多智能体推理
STAR-PólyaMath通过持久元战略监督的多智能体推理,在8项顶级数学竞赛中获SOTA,含多项满分。
大规模监测AI修改内容:ChatGPT对AI会议同行评审影响的案例研究
提出估算LLM大幅修改文本比例的方法,应用于AI会议评审,发现6.5%-16.9%的评审被修改,与低信心、截止前提交相关。
Retrieval-Augmented Generation for Natural Language Processing: A Survey
使用推理模型作为评估器扩展评估时间计算
推理模型作为评估器,增加推理计算可提升评估性能,并有效重排序生成结果。
GRAB:基于风险分类学的金融披露无监督主题发现基准
构建含160万句子的风险分类学基准,自动标注财报,统一评估无监督主题模型。
ZeroSearch:在不进行搜索的情况下激励LLMs的搜索能力
ZeroSearch用模拟搜索代替真实搜索,避免噪音和高成本,小模型即可媲美甚至超越真实搜索引擎。
CoLD: 基于反事实引导的过程奖励模型长度去偏方法,用于数学推理
提出CoLD框架,通过反事实引导消除PRM的长度偏差,提升数学推理的准确性和简洁性。
机制可解释性需要哲学
机制可解释性需哲学以澄清概念、完善方法,应对认识论与伦理复杂性,推动跨学科对话。
批评引导蒸馏:通过精炼实现稳健推理
CGD框架解耦批评消费与生成,训练时以教师批评指导精炼,内化错误推理,数学推理提升7%,保持通用能力。
SLoW:选择低频词!大语言模型翻译中的自动词典选择
提出自动词典选择任务ADS及方法SLoW,通过选择低频词典节省token并提升翻译性能,无需训练数据。