语言模型中对齐算法的机制分析
系统分析六种偏好优化算法内部机制,发现目标差异导致不同层表示变化,KTO/GRPO增强线性可分性,DPO/ORPO降低。
SynIB: 多模态学习中最大化协同的信息瓶颈
SynIB通过遮蔽模态并惩罚高置信度,直接优化跨模态协同,提升准确率高达3.8%。
从自信收尾到无声失败:LLM代理虚假成功特征刻画
虚假成功常见,LLM裁判效果差(AUROC<0.65),轻量TF-IDF检测器AUROC达0.83-0.95,建议用其作为监控信号。
KV缓存量化下的对齐崩溃:诊断与缓解
KV量化悄悄破坏大模型安全对齐,根源在低维子空间脆弱性,PCR诊断可恢复97%损失。
基于条件归一化流的不确定性感知多保真度闭合方法
提出基于条件归一化流的不确定性感知多保真度闭合框架,通过残差学习提升降阶模型预测精度并量化不确定性。
减轻流形偏离:面向可信多模态大模型解码的不确定性感知子空间修正
针对多模态大模型幻觉,提出MGAP方法,通过子空间投影与一致性门控自适应修正语言先验,有效抑制幻觉且保持语义连贯。
LLM作为判别器:当合成表格仍然看起来很真实
LLM判别器可区分真实与合成表格,实验显示能作为隐私审计信号,但需谨慎处理模型及数据编码。
SPACE:面向多模态大语言模型的无源代理锚点概念擦除
提出首个无源遗忘框架SPACE,通过代理锚点选择与双约束语义隔离,在无目标数据下实现概念擦除,性能接近有源方法。
探戈需双人:面向安全大模型微调的耦合任务-参考选择
DualSelect耦合选择任务与安全参考,安全平均分提升≥5.10,兼顾效用。
FailureScope:跨场景语言模型弱点的行为诊断
提出FailureScope方法,通过跨模型聚类诊断语模型弱点,在单轮、多轮及对抗场景中稳定高效。
QSplitFL: 能力感知的深度Q学习在拆分联邦学习中的最优拆分点选择
提出QSplitFL框架,利用客户端硬件与深度Q网络选择最优拆分点,提升异构设备收敛速度与精度。
PatchSTG: 面向不规则传感器网络的可扩展时空图变换器用于交通预测
提出分块时空图Transformer,通过层次分块与双重注意力机制,在保持预测性能的同时大幅降低计算复杂度。
流式知识编译:面向时变LLM维基的主动重要度评分固定
提出流式知识编译,利用重要度信号主动固定KV缓存,在动态文档流中最小化累积遗憾,具有理论保证。
无自信牺牲的过度自信校准:面向大语言模型的探针条件头部干预
提出PCHI推理方法,选择性减少LLM过度自信,正确自信仅损伤5.1%,ECE从21.9%降至9.2%。
中文标题: 融合局部与全局熵的大语言模型不确定性量化
中文摘要: 提出融合全局几何熵与局部词元熵的GLU方法,单次前向传播即可捕捉自信但错误模式,性能超越基线。
不相交还是重叠?基于重构的时间序列异常检测的推理窗口化
推理窗口重叠比独立窗口平均提升28%,统一协议显示推理选择显著影响异常检测性能。
Rotate2Think:通过正交旋转进行几何启动以提升语言模型推理
Rotate2Think通过正交旋转注入合成思考向量,显著提升语言模型在数学、科学、代码等任务上的推理准确率,并零样本泛化至多模态推理。
面向大规模动态加权有向网络的张量潜在分解表示学习的超参数学习
提出DE-LFT自动优化超参数,降低调参成本,提升预测精度。
PreAct-Bench:大型语言模型中的预测性监控基准
提出PreActBench基准,评估模型从部分轨迹预判不道德行为,揭示未来风险推理的必要性。
TENP:面向混合专家模型的梯形专家神经元剪枝方法
TENP采用梯形结构化剪枝,保留重要专家与神经元,在稀疏40%参数时准确率仅降1点,代码生成提升10%。
TD-Grokking:通过训练时分解从零奖励问题中学习
提出TD-Grokking框架,递归分解零奖励问题为可验证子问题,将失败转化为有效训练信号,提升模型性能。
Toward Calibrated, Fair, and accurate Deepfake Detection
SocraticPO:通过交互式指导的策略优化
SocraticPO在强化学习中融入苏格拉底式语言指导与奖励衰减,防止捷径学习,显著提升科学推理能力。
在Tensix架构上针对LLM推理的算子融合
基于Tensix架构融合RMSNorm与矩阵乘法,利用NoC多播支持并行,延迟最高降37.44%,精度保持98.75%以上。
Optuna约束树结构Parzen估计器是c-TPE的联合密度泛化
Optuna约束TPE实为联合c-TPE,使用联合似然,对约束重复不变,优于独立c-TPE。
SinkRec: 使用记忆条件门控Delta网络缓解长序列推荐中的语义状态沉没
针对线性注意力中重复语义导致的沉没问题,SinkRec通过记忆解耦与门控机制抑制模式污染,实现高效长序列推荐。
SHAPE:面向稀疏混合专家大语言模型的联盟感知专家剪枝
SHAPE利用夏普利值建模专家协作,通过质量覆盖规则剪枝,降低内存占用同时保持精度。
表示课程:分阶段训练以实现稳健排序与分配
提出表示课程(RC)方法,分阶段训练,先聚焦内容价值信号,后引入曝光依赖信号,缓解快捷依赖,提升冷启动鲁棒性。
LMT: A Bayesian Framework for Causal Discovery from Textual Alarm Records in Manufacturing Systems
当归因修补欺骗了我们:诊断与二阶修正
归因修补误差源于下游非线性,HVP二阶修正(仅一次反向传播)消除首阶误差,高效高保真恢复电路。
中文标题:TRAPS: 基于通路信息分层的治疗反应分析
中文摘要:首个统一基准评估三种通路深度学习模型,发现不同任务各有胜负;GraphPath在前列腺靶向治疗预测中AUROC达0.92。
语言模型表征中假想意识谱状态的可导航流形
语言模型嵌入空间存在与人类意识谱系对齐的可导航流形,高低级区域稳定,中间呈过渡走廊。
混搭而非挑选:为何合成语料库组合对于时间序列基础模型预训练至关重要
合成预训练关键在混合语料而非挑选生成器,等权重混合所有生成器并加入真实数据效果最佳。
LongMoE: 基于轨迹感知的混合专家模型的纵向多模态学习
LongMoE框架联合处理模态缺失与纵向动态,提升临床多模态学习鲁棒性。
IntentKV:面向多轮Agent推理的跨轮意图感知KV缓存剪枝
IntentKV通过跨轮意图剪枝KV缓存,8k预算下几乎无精度损失,峰值请求tokens和KV读取量分别降低77.8%和92.6%。
SPDM: 基于流形约束的几何调制状态空间模型用于时间序列预测
SPDM将流形约束引入状态空间模型,通过几何调制引导扫描,实现高效准确的时间序列预测。
Co-GLANCE:面向异构机器人团队的不确定性感知主动感知
Co-GLANCE系统通过蒸馏和共形预测量化不确定性,主动调度异构机器人,分割和分配准确率提升25%/36%,延迟降低350倍。
Forward-Only Convolutional Neural Networks with Learnable Channel-Class Assignment
RKSC:面向多步LLM推理的推理感知KV缓存共享与自信早期退出
RKSC框架无训练,通过KV缓存共享和自信早期退出实现多步LLM推理加速3倍,错误率仅0.37%。
神经算子的共形预测:物理模拟中无需分布假设的不确定性量化
首次将分割共形预测用于神经算子物理模拟,提供无分布有限样本覆盖区间,自适应宽度,覆盖率89.1%。
Sigma-Branch:用于动态推理的分层单路径网络重构,减少活跃参数
提出Sigma-Branch框架,重构网络为分层二叉树,推理仅单路径执行,活跃参数减少58-60%,准确率损失<1.72pp,优于静态剪枝。
从困境中采样:通过熵引导的幂采样强化基础模型推理
提出无训练、无验证器的EGPS方法,基于令牌熵定位高熵决策点采样,加速12.6倍,提升推理准确率。
可训练平滑旋转变换与学习到的通道缩放用于大语言模型量化
用分位稳健缩放和梯度优化改进SmoothRot,降低LLM量化误差,误差最多降低19.9%。
当SFT后RL失败:恢复模型可塑性以实现稳健的SFT到RL过渡
SFT过度导致模型可塑性丧失,RL优化困难。提出Rejuvenation方法恢复可塑性并保留先验,提升RL性能与泛化能力。
单一透镜,多重世界:一种能力类型化接口用于世界模型可解释性
WorldModelLens通过能力类型化接口统一不同世界模型的可解释性,避免重复实现。
nCMD:面向不平衡网络入侵检测的良性锚定特征选择
提出nCMD方法,以良性类为锚计算攻击类分布偏差来选择特征,轻量可解释,在不平衡入侵检测中显著提升宏平均F1。
记忆丧失与混沌之间:可训练耗散振子网络的记忆-稳定性-表达力三难困境
研究揭示阻尼控制记忆、梯度稳定与动态表达力的三难权衡,实验证实训练基板在短记忆时优于冻结。
用稀疏自编码器解释与操控文本转语音语言模型
从TTS模型提取可解释特征,通过干预控制笑声、性别和语速,实现因果操控。
两次积分消去:神经网络集成理论缺失的开放系统情形
指出神经网络集成理论缺失的开放系统情形,该情形需要连续谱与波动力学,当前学习模型无法提供。
交叉编码器特征间的相互作用:紧凑证明视角
通过紧凑证明度量特征相互作用,其误差项作为损失惩罚实现计算稀疏性,并揭示语义聚类与潜伏代理。