G$^2$PTQ:通过广义梯度补偿改进大语言模型训练后量化
G$^2$PTQ提出统一训练后量化框架,融合一阶与二阶梯度信息,动态刷新Hessian并稳定补偿,性能优于现有方法。
面向大语言模型推理的自对弈搜索蒸馏
以自对弈搜索生成超人类思维链,蒸馏训练大模型,提升数学推理与博弈胜率。
QSV:用于球面格上耦合四元数注意力的四元数球面视觉
QSV以每token单位四元数替代QKV,在球面kNN图上耦合注意力与特征传输;消融显示传输关键,几何增益不明显。
PICO:面向六自由度手术器械位姿估计的投影信息引导一致性优化
端到端PICO预测分割、深度与位姿,用投影及点对点损失提升几何一致性,遮挡下旋转估计仍具竞争力。
小型语言模型网状网络中的通信强化学习
小型语言模型网状网络学习通信,置信度提示与修正、去中心化投票,提升推理准确率并抗合谋。
利用空间结构进行全切片图像的转导式小样本分类
提出SlideTIM,结合空间-潜层正则与类别先验,改进全切片图像转导式小样本分类,宏F1显著提升。
TRACKGRAPH:基于图像空间跟踪的在线开放词汇3D场景图
TRACKGRAPH在图像空间跟踪2D掩码后融合为3D,实现在线开放词汇场景图,比OVI-MAP快1.7倍、省3.3倍显存。
基于大语言模型与知识图谱引导推理的学生意义建构建模
中型LLM分析协作意义建构:推理提示与知识状态诊断可提升失败识别及专家一致性,但无单一最优配置。
FTB Graph:确定并验证多语言语言模型中的首词元广播器与语言身份头电路
通过EAP与激活修补分析六种多语言模型,揭示首词元语言身份电路,发现其预训练形成、指令微调保留,EAP需精确验证。
MoMHa:面向准确率、安全与Token的LLM外围框架多目标优化
提出MoMHa,用单阶段联合奖励搜索LLM外围框架,在17个领域同步优化准确率、安全与Token成本,效果超越所有基线。
面向基于深度强化学习的入侵检测系统的可解释概率鲁棒性驱动通用对抗扰动
提出概率鲁棒性驱动的通用对抗扰动,用可解释性约束生成PX-UAP攻击DRL入侵检测,优于现有方法。
我们需要回答那个问题吗?自然对话中潜在问题的显著性与可回答性
自然对话中,潜在问题显著性与可回答性稳健弱正相关但弱于独白,对话更难预测;结构化交流标注一致性更高。
无需中心极限定理的稳定初始化
提出正弦激活网络的均匀相位初始化,摆脱中心极限定理、解耦各层;在图像/音频拟合任务上超越SOTA,支持μP宽度缩放。
评估中文大语言模型在源自在线搜索查询的事实性问题上的谄媚行为
三大中文模型36万条回答显示:谄媚因模型与推理而异,反谄媚提示减错误认同却增不确定,回避附和≠事实准确。
浅层 ReLU 网络中的总体损失:偏置与临界点族
给出含偏置浅层ReLU网络总体损失公式(Owen T函数),证明伪极小值族扩展且损失严格下降。
模型将自身重复词元送往何处
读取 argmax p(.|t,t) 得到整个词表上的映射;非不动点的去向可按模型家族区分,平衡准确率达 0.90。
交互式智能体中的因果保持:接口分解与选择性适应
因果保持要求冻结状态响应独立机制探测;接口分解与选择性适应可提升机制变化下的因果识别,而非仅任务充分。
语言模型中的上下文内绑定容量
语言模型上下文绑定容量随规模幂律增长,受预训练配方影响;干扰降低容量,任务训练超零样本外推但标准不同。
基于度量损失加权的多模态机器翻译大语言模型视觉敏感性提升
提出度量式损失加权,定位受益于图像的词元并加大其损失,提升视觉敏感性,准确率超微调7个百分点。
利用条件随机场优化细胞学预测
提出CytoCRF,改进条件随机场并融合多骨干;细胞学数据集仅50标注即较零样本提升33.7个百分点
RupeeBias:审计大型语言模型在印度经济指导中的人口统计偏见
RupeeBias含3.9万条提示,覆盖种姓、宗教、性别、城乡六轴;仅人口标识不同,经济建议差20.2%。
基于因子化轴向卷积门控循环单元与动态自适应池化的滚动轴承剩余使用寿命预测
提出因子化轴向卷积GRU与动态自适应池化,增强时频方向特征,提升轴承剩余寿命预测精度。
面向不确定动力系统的可证明神经网络观测器学习
两阶段训练框架:Lyapunov预训练加LMI微调,实现可证明稳定且更快的神经网络观测器。
AtomWorld-Mem:面向长时程原子尺度演化的记忆恢复世界状态
记忆恢复世界模型从瞬时快照重建隐藏演化状态,优先合法空位事件,提升长时程原子演化效率并零样本迁移。
MexHat:一个面向墨西哥西班牙语视频仇恨言论检测的数据集
MexHat:约千段墨西哥西班牙语视频仇恨言论检测数据集,含三分类及细粒度子类标注,聚焦多模态语境挑战。
看见语义转变:差异感知的手语视频句子级时序分割
SignShift通过帧间差异建模和句数预测,实现纯视觉手语句子级分割,性能显著领先。
神经消痕:用对比稀疏自编码器实现选择性表征级遗忘
提出对比稀疏自编码器SCALPEL,克服重构能量偏置,实现选择性表征级遗忘,优于SAE与NMF。
波段选择稳定性与语义分割性能:一项关于高光谱城市的研究
六种波段选择方法中,方法内稳定性因方法而异,与分割性能无一致关联;Top-K可媲美基线且推理更快,但性能不随K单调提升。
PIA:将健康对话转化为记录、将记录转化为理解的个人智能体
PIA将健康对话转为结构化临床记录并合成用户理解,记忆框架含提取、记忆、检索、理解四控件及可插拔健康模块。
机制感知集合条件化用于数据受限极端事件模拟
提出机制感知集合条件化,利用局部不稳定几何提升数据受限下极端事件模拟。
谁说了什么:音视频大语言模型中的符号化三模态绑定机制
揭示音视频LLM的符号化三模态绑定机制,失败主因视听错位;提出ASD提示,免训练提升多项基准。
在抽象阶梯上上下下:语言智能体的代码化技能
在NetHack中,代码化技能使语言智能体进度近三倍、推理成本降86%;与原始动作结合保留灵活性,强化学习更快。
廉价开放的智能体使LLM污染更难缓解
廉价开放智能体可免费本地运行、性能近商业模型,却难被单一检测识别;需多层检测并重视开放文本分析。
同样的文本,不同的数字:基于大语言模型的测量指标之分歧
十三项LLM文本指标经七个模型评分,跨模型秩相关平均仅0.52,模型选择显著影响下游推断,须跨供应商验证。
在X上识别科学家
提出基于X简介与推文识别科学家的方法,DeBERTa集成模型F1达0.96,并发布两个标注数据集。
受治理演绎:超越相关性的基于策略的前提授权
提出受治理演绎;构建匹配授权对,消除捷径后线性模型仅50%,符号策略100%,需泄漏审计。
面向交替曝光HDR视频的双流配准与金字塔融合
提出双流配准与金字塔融合框架,用光流和中点位移处理过曝,重建交替曝光HDR视频,性能超越现有方法。
过期文档投毒:当过时检索结果覆盖模型的正确答案
过时检索证据会覆盖模型正确答案;显式标注证据失效时点可让大模型近乎完美纠错,时效感知重排亦有助缓解。
MoSAR:语义注意力模式混合,用于学习自适应且可近似的注意力几何
提出MoSAR,以输入条件路由混合短/中/全局注意力模式,学习自适应且可离散的注意力几何,预训练不降质、外推更优。
内生可解释的描述符组合在低数据分子测定中媲美2048维基础嵌入
可审计描述符组合在低数据分子测定中平均AUC 0.762,媲美2048维基础嵌入0.764,满足汇总等效门槛。
LUMO(轻量级统一多语言编排器):一种隐私保护型离线语音助手
隐私保护离线语音助手,集成ASR、量化LLM与TTS,在树莓派5低延迟低功耗运行,支持英语和孟加拉语
Highlight-Then-Summarize:学习压缩证据以实现长上下文理解
提出H2S先压缩后推理范式,先定位问题相关证据再整合为紧凑摘要,在长上下文任务上性能领先。
面向深度学习的可微分RNA二级结构提取
提出可微分SDSM归一化,可直接输出RNA碱基配对概率矩阵,免去结构提取,性能优于基线。
DepthEvidence:统一多模态语言模型中的度量深度预测与几何推理
DepthEvidence以自预测度量深度为对象级证据,统一多模态语言模型中的度量深度预测与几何推理。
外化CPDAG摘要提升大语言模型因果推断
两轮结构化思考:先外化模式约束的CPDAG摘要再作答,F1最高提升13.4个百分点。
Pocket-STVG:面向时空视频定位的轻量级架构
提出Pocket-STVG轻量级级联架构,复用预训练组件,参数不足90M,支持弱监督与零样本时空视频定位,性能相当而成本更低。
面向通用的基于表示的过程控制
将窗口级监控重构为参考分布假设检验,结合预训练时序编码器、核密度估计与保形校准实现有限样本有效推断。
ReG-SAM:面向二维基础血管分割的参考图驱动SAM
ReG-SAM利用参考图集的图提示与血管原型嵌入,提升SAM二维血管分割,在19个数据集上优于基线。
跨医院分布偏移下的缺失感知共形预测
提出缺失感知共形校准,按测量缺失分组,改善跨医院死亡预测最差组覆盖,但汇总评估或误导。
OmouAI:基于模拟人设的论证式人机政策审议
OmouAI结合大模型与计算论证,以模拟人设辅助人机政策审议,减少谄媚并用外部目标保证可解释。