测量大语言模型中的刻板偏见与偏差偏见
研究显示大语言模型在生成用户资料时存在显著的刻板偏见和偏差偏见,可能带来潜在危害。
LLM能否评估阅读理解题目的认知复杂度?
LLM可近似评估阅读理解题的认知复杂度,但元认知意识存在差距。
MTraining: 分布式动态稀疏注意力实现高效超长上下文训练
MTraining提出分布式动态稀疏注意力方法,实现超长上下文LLM高效训练,吞吐量提升6倍并保持精度。
SETUP:句子级英语到统一意义表示解析器
本文提出SETUP模型,通过微调AMR解析器和转换UD,在UMR解析中取得AnCast 84和SMATCH++ 91的显著提升。
难度可控的完形填空干扰项生成
提出数据增强与多任务学习框架,生成难度可控的干扰项,创建难度标注数据集,效果优于GPT-4o。
自回归TTS模型中用于鲁棒情感控制的跨模态一致性引导
提出跨模态一致性引导方法,动态调整尺度,蒸馏提升TTS情感对齐,准确率提升12%,主观评分提升10%。
面向认知扭曲的一致检测:基于LLM的标注与数据集无关评估
GPT-4可一致标注认知扭曲(Kappa=0.78),提出跨数据集评估框架,LLM标注训练模型优于人工标注。
重写历史:干预分析研究数据对模型行为影响的实用方法
提出通过修改训练数据并重新训练模型来研究数据与行为关系的实验方法,并展示其在知识获取中的效用。
Dr.LLM:大语言模型中的动态层路由
Dr.LLM用轻量级路由器动态选择层路径,提升准确率并节省计算,泛化能力强。
利用大语言模型生成信任指标的自过滤蒸馏实现可靠专利分类
提出自过滤蒸馏法,将LLM输出视为信任指标,通过三个无监督信号动态筛选训练样本,显著提升专利分类可靠性。
CAPC-CG:大规模专家指导大语言模型标注的中国适应性政策沟通语料库
首个中文政策指令数据集,五色分类标注1949-2023年330万段落,专家一致性0.86,支持多语言NLP研究。
Wikidata查询日志数据集
包含335k问答对的WDQL数据集,基于真实SPARQL查询构建,用于训练问答方法。
UbuntuGuard:面向非洲语言的基于文化的公平AI安全策略基准
提出UbuntuGuard,首个非洲语言安全基准,由155位专家构建,揭示英文中心基准高估安全性,动态模型仍难本地化。
LLM-MC-Affect:基于大语言模型的蒙特卡罗情感轨迹与潜在模糊建模,洞察人际动态
提出LLM-MC-Affect框架,将情感视为概率分布,通过蒙特卡洛估计量化轨迹与模糊性,分析人际耦合,在师生对话中提炼互动洞察。
大型语言模型中道德基础的溯源
LLM道德概念与人类一致,因果干预可改变输出,表明道德结构从语言统计中涌现。
STAGE:面向动态故事推理的全剧本基准
STAGE是全剧本统一基准,含知识图谱、事件摘要、问答和角色扮演四个任务,评估模型叙事理解与生成。
深度研究智能体能否检索与组织?用专家分类法评估综合差距
新基准TaxoBench评估显示,最佳智能体仅检索20.9%专家论文,组织分类远低于人类(28% vs 47-58%)。
ECG-R1:协议引导且模态无关的多模态大语言模型用于可靠心电图解读
提出ECG-R1,通过协议引导数据生成、模态解耦和证据奖励强化学习,提升心电图解读可靠性,减少幻觉。
使用国际象棋解构大模型的泛化与记忆
通过国际象棋测试,发现LLM性能随相关先验减少而大幅下降,推理增强收益递减,揭示系统性泛化能力有限。
掩码扩散语言模型的扩散状态策略优化
DiSPO插件直接优化中间填充决策,无需额外扩散步骤,显著提升数学和规划任务性能。
语言模型记忆与语言的记忆模型
语言模型嵌入信息贫乏,自编码器能完美记忆;结合因果与记忆目标的并行编码器-解码器模型可高效训练。
Qayyem:一个实时评估阿拉伯语作文水平的平台
Qayyem平台支持阿拉伯语作文自动评分,提供集成工作流与友好界面。
Transformer中局部注意力的表达能力刻画
局部注意力引入第二时序算子,扩大可识别语言类,与全局注意力互补,混合模型更优。
小型语言模型幻觉的几何分析
通过几何分析揭示小型语言模型幻觉源于响应嵌入不稳定性,真实响应聚类更紧密,可高效分类。
LLM如何计算言语自信度
揭示LLM言语自信度非事后重建,而是自动缓存答案质量评估,超越令牌概率。
面向低资源角色对话的基于思维链规划的样式结构化重写
提出结构化样式重写与思维链规划框架,解决低资源角色对话风格脱轨,在消费硬件上实现高风格分和语义保真。
PICon:一个用于评估角色智能体一致性的多轮盘问框架
PICon通过多轮盘问评估角色智能体一致性,发现高性能系统也难达人类基线,易现矛盾和回避。
XNote:基于图像的上下文欺骗的自动社区笔记生成基准测试
构建XNote数据集,评测多种模型在自动社区笔记生成任务,揭示挑战与改进需求。
再探“令人头疼的问题”:语言模型的语义推理基准
提出SemanticQA套件,评估语言模型语义短语处理,发现语义推理任务性能差异显著。
C-ReD: 基于真实提示的全面中文AI生成文本检测基准
C-ReD中文基准基于真实提示,解决模型多样性等缺口,支持域内检测与泛化。