HiLRP:迈向视觉Transformer可信解释——基于注意力原语的守恒有效归因
HiLRP将多样化ViT架构分解为四种操作原语,实现守恒归因,是唯一跨窗口、线性注意力等架构保持可靠的方法。
VIBE-Bench:当画像不代表偏好时评估个性化大语言模型
现有基准忽视画像与偏好的概念错位,VIBE-Bench测试显示个性化大模型依赖表面语义,缺乏跨概念推理能力。
ClinTraceBench:基于EHR派生对话的可溯源纵向临床推理基准
提出ClinTraceBench基准,含385个带溯源EHR对话,评测8种历史表示策略,发现压缩致关系丢失,小模型全上下文反胜。
FPGA平台上Transformer推理部署的最新进展:综述
综述FPGA上Transformer推理的最新技术、趋势与设计选择,构建主题分类,为高效部署提供指引。
超越时钟:衡量自适应修订的价值
分层推理中,习得的自适应修订时机未超越最优固定时机;强固定调度已捕获大部分价值,评估需三维度。
更多探索,更少漂移:仅结果强化学习足以训练长程交互智能体
仅凭结果奖励的强化学习即可让小型开源模型掌握长程交互能力,通过扩大同任务探索并锚定策略,避免信号饥饿与漂移,已在AppWorld登顶并提升SWE-bench成绩。
S²Prune:面向多模态大语言模型的空间结构化视觉令牌剪枝
提出免训练剪枝法S²Prune,按区域保留覆盖、依拉普拉斯变化分配令牌,用早期表征变化选代表。仅用32个令牌保持79.3%性能。
短语定位的语言对比引导:面向语码转换文本到语音的免训练局部口音控制
提出免训练的短语级语言对比引导方法,为语码转换短语恢复母语口音,无需外部对齐,并保持说话人一致性。
上下文神经反馈:大语言模型能否通过特权访问控制其内部表征?
重新设计神经反馈实验要求特权访问,发现大模型无法可靠控制内部表征,此前结果可能基于表面机制。
TimeSteer:联合音视频扩散模型中的推理时语音调度
无需微调,通过源区间定位与区域感知重映射,将联合音视频的语音和口型调度到指定时间区间,提升可控性。
单目图像深度估计:进展与机遇
综述单目深度估计从早期方法到基础模型的发展,涵盖数据集、判别与生成范式、应用及开放挑战。
CacheBridge:高效的跨模型KV缓存迁移
提出缓存桥方法,用架构索引映射与注意力校准高效迁移跨模型键值缓存,存储降8倍,加速10.7倍。
PCoMoE:将MoE推理从整体专家选择转向细粒度路径组合
PCoMoE提出路径组合执行框架,开发子专家复用结构,实现端到端推理加速1.31倍,模型精度提升10%。
利用合成数据评估性能的深度神经网络解决表内预测问题
提出表内预测:用自监督深度网络根据已知列预测任意列;合成数据下注意力网络在数据充足时表现最佳。
压缩AI流量:面向分割视觉语言推理的视觉令牌表示标准化神经网络编码
将视觉编码器与语言解码器分离时,中间张量可高度压缩。标准化无训练编解码器可减98%流量,精度仍稳,表明应优化率任务而非率失真。
Multi-Head Self Attention is a Parameter Identification Mechanism
框架选对,规则用错:文化线索反而暴露了其本应弥合的金融知识鸿沟
在规范多元情境下,文化线索让模型选择伊斯兰框架,却有过半乃至三分之二选答错误,暴露本欲弥合的知识缺口。
通过偏好优化与可解释视觉-语言推理迈向可靠的多模态灾害严重性评估
提出SFT与DPO两阶段训练框架,提升灾害评估准确率与解释质量,跨模型验证稳健。
OUTLETS:基于推测解码主干预测输出长度
利用推测解码的潜表征预测输出长度,仅加轻量回归头,误差更低,服务调度中短请求P99延迟降低34.8%。
去噪扩散生成模型秘密计算注意力
扩散模型内含类似Transformer的注意力机制,证明注意力是通用原则,可简化训练并降低图像生成计算成本。
RPCBench:面向大语言模型推荐中主动前提批判的基准
构建评估推荐前提批判能力的基准:检测错误前提并处理。实验表明主动检测是瓶颈,推理长度中等最佳。
基于FractalNet的异构联邦学习实现卫星巨型星座轨道边缘智能——野火案例研究
提出基于分形网络的异构联邦学习,按卫星约束调度深度并分组更新,用于野火检测,验证了效率与鲁棒性。
面向复杂车辆路径问题的强化学习增强型大语言模型智能体
提出强化学习增强的多智能体框架,自动建模复杂车辆路径问题,成功率提升16.67%。
立场:隐私是一种主张,而非合成数据的属性
合成数据隐私常被默认为生成即安全,实则应作为可检验的明确科学主张,而非固有属性。
滞后耦合:内部表示先可读,后有因果效力
内部表示早期即可被线性读出,但多数尺度下因果干预无效;可读性远超因果性,表征形成先于因果读出固化。
超越幅度:模块化混合专家中的对比路由
对比令牌与层状态均值,聚焦路由信号,专家边界更贴合语言结构,零样本精度提升至多1.77点,开销极低。
MeRoPE:面向相机可控视频生成的度量旋转位置嵌入
提出度量旋转位置嵌入,保持特征范数,限制注意力对数不随平移尺度增长,实现精确的相机控制。
AI治理中的宪法覆盖三难困境
前沿模型宪法供给窄且漂移,自主性覆盖不足;两顶点菜单可降低四成七遗憾,印证预算多元主义三难困境。
LLM裁判与人类判断分布的事后对齐
LLM裁判硬标签预测接近人类,但软标签差;提出熵感知事后对齐(NAPHA)提升软标签预测,高熵样本尤佳。
从第一视角视频看见世界与自身
提出RESELF框架,统一重建场景与穿戴者运动,性能优于现有方法。
生产中的多臂老虎机:推理时的超参数优化
提出IMABO与IMOSS,将推理时超参数优化化为无穷臂老虎机,在ML和LLM智能体上获最低累积遗憾。
StateSwap:探测多项选择题中支持-排除框架的隐藏状态
提出双框架协议,用[STATE]探测隐藏状态;交换激活改变预测并提升跨框架一致性,均值差引导更稳定。
像素文本表示学习的设计基础
四核心设计:变分辨率/字体、自然图文对、布局渲染、两阶段多语;PL-II集成后达SOTA,抗八成压缩。
当模态差距缩减失效:CLIP中的预测级枢纽性
模态差距缩减未必提升CLIP零样本精度,可能引发预测级枢纽性,使预测集中于少数类别,导致准确率下降。
点睛:意图驱动的图像修图智能体,实现视觉焦点增强
提出眼控智能:以点击涂鸦等弱意图增强视觉焦点,结合大模型与扩散执行器,用伪意图图对齐和一致性约束自然修图。
一个提示就够了:借助基础图像模型洗白水印
单次重构提示即能让基础图像模型输出的隐形水印失效,效果源于重构路径而非攻击提示词,水印评估应纳入该条件。
单层Transformer在上下文中被证明可学习多类一最近邻
利用单纯形编码,证明带取最大索引的分类头的单层变换器在多类情形行为等同最近邻,弥补先前取整法缺陷。
AgentFactory:迈向自动化智能体系统设计与优化
AgentFactory联合优化模型与工作流,兼顾性能、成本、效率,自动搜索配置,较现有方法平均提升9.1%。
EDRAC:阿拉伯语方言阅读理解基准评测
首个覆盖五种主要方言的阿拉伯语阅读理解与生成式问答大规模基准,揭示语义质量与方言保真度差距。
ARISE-RL:基于代理式评分标准的强化学习迭代自进化
提出ARISE-RL框架,通过评分标准介导生成器与求解器协同进化,并用奖励门控蒸馏减少噪声,实现开放任务稳定强化学习。
基于数据驱动的用户画像智能体模拟A/B测试
用真实行为数据构建LLM智能体模拟A/B测试,40组实验中方向准确率达0.75-0.90,可低成本预筛。
基于奇异值分解的最小贝叶斯风险解码过拟合缓解
提出SVD-MBR,低秩去噪解耦共识与噪声,缓解指标过拟合,提升泛化指标,神经指标更适用。
从基础生成到RL推理:预算搜索视角
研究发现RL推理收益源于采样效率改变,而非模型能力新增,提出BOPTR规则可近似换算,误差低至3.41百分点。
ExBind:面向视觉到可执行对象对应关系的受控诊断基准
ExBind基准分离视觉定位与执行层,测试模型从视觉指向精确映射到可编辑对象的能力,Qwen3-VL-4B准确率达98.8%。
SMELT:计算匹配的MoE循环Transformer缩放定律
SMELT循环中间层两次,在匹配FLOPs、参数和缓存时损失下降更快,节省6.8%-18%训练算力,下游任务超预期。
基于协方差校正马氏距离的少样本域外意图检测
针对少样本域外意图检测,分析马氏距离失效原因,提出协方差校正方法,提升性能。
WorldBench:面向多语言智能体的文化基础基准
现有基准未充分测试状态保持与多语言。WorldBench覆盖7种语言、8种文化共1600个任务,引入约束任务成功率达49.2%,显示智能体在多语言长程场景中仍脆弱。
面向多模态拆分学习的贡献感知带宽分配
提出ModalShare:基于Shapley贡献分配模态带宽,零额外开销,5倍压缩下精度较均分提升15.4和12.4个百分点。
任务分解能否提升自动NLG评估?
比较有无任务分解的LLM评判法,发现分解不提升性能,先前增益来自人工标签而非分解。
子词分段BabyLMs:面向样本高效预训练的分词学习
提出两种可学习分词的子词分段语言模型,在训练中优化分词,提升BabyLM预训练样本效率。