仅解码器语言模型中的谱尾干预:受控手术揭示的推理敏感权重结构
受控干预显示,仅解码器语言模型的谱尾与推理敏感权重结构相关;尾编辑在多模型任务中显著损害,结论受限。
组件类型而非重建误差可预测注意力量化敏感度
对9个语言模型逐投影量化发现,组件类型与层身份比重建误差更能预测困惑度敏感度,V投影最敏感。
面向持续学习的基于信息论的解耦提示微调
提出DPT4CL解耦提示微调,用信息瓶颈优化任务共享分布,缓解检索依赖与分类偏差,性能达SOTA。
部分观测的稀疏图:未知采样率即尾指数
未知采样率下,稀疏图边数估计可归约为尾指数估计,模块化且无需拟合;雪球/随机游走不适用。
弥合数据鸿沟:数字孪生作为基于AI的无线电感知新范式
以3D数字孪生生成信道数据,训练序列网络实现无设备定位,主张站点专用建模,实验显示潜力。
超越模仿:审视蒸馏模型中推理的可恢复性
提出前缀恢复诊断,发现蒸馏学生容量越大推理越可恢复、梯度冲突越小,反KL蒸馏对小于2B学生最有效。
MSA-CITE:面向固定预算小模型推理的协同适配LoRA专家生态
四路冻结LoRA各采一次,按校准先验分组择优,固定预算下数学推理65.5%超单分支62.0%。
自动驾驶中连续细微GNSS欺骗检测的高阶液态证据建模
提出高阶液态证据检测器,建模GNSS-运动时序不一致,检测连续细微欺骗,AUROC达0.9932。
能否删除一年的市场数据?面向精确重训练基准的机器遗忘
时序遗忘评测:2020年记忆最强,删除提升可部署模型,TSMixer+hinge近基准,需功效审计。
CompKV:面向长上下文LLM推理的补偿感知KV选择
首个补偿感知稀疏注意力框架,按块依注意力质量与logit变化选KV,长上下文推理最高加速6.85倍。
FairMean:在标签投毒攻击下提升分布式学习的公平性
FairMean以有界损失权重聚合梯度,缓解标签投毒下的公平-鲁棒冲突,降低准确率方差并提升最差客户端精度。
JAMPR+/L2D:动态环境中带约束车辆路径问题的可扩展神经启发式方法
JAMPR+/L2D神经启发式求解CPDPTW,CVRPLIB上超85%实例优于HGS,微调即可适应距离矩阵变化。
模式坍塌检测成本低廉:一种无需真值的神经采样器预检
无真值低成本预检,仅用能量及其梯度/二阶导,以约2.7%训练成本估计神经采样器缺失质量并自诊断。
论机器学习与深度学习模型中比特级参数扰动的影响
比较HMM、SVM与MLP、LSTM的比特级参数扰动:经典模型脆弱、隐写容量低,神经网络冗余、容量高。
量化比较预测模型评估中由协议引发的不确定性:来自大规模每日PM10预报的证据
评估协议会显著影响模型排名,其不确定性常超协议内扰动;建议同时报告排名稳定性。
几何感知双曲残差量化
提出几何感知双曲残差量化,改进前向聚合与反向直通估计,提升分层离散潜码稳定性,压缩仍以欧氏为优。
PreGS:一种基于参数迁移的多专家图神经网络节点分类方法
提出参数迁移多专家图神经网络PreGS及PreGSv2,融合多源特征,八个节点分类数据集上表现稳健。
PACT:从信用分配到评论家对齐
提出token信用三条件唯一刻画,据此设计PACT,采用先演员后评论家与重要性采样校正,推理和代码任务显著超越PPO/GRPO。
分离式量化:面向LLM预填充与解码的特化
提出分离式量化,为预填充与解码特化格式、权重与存储;解码免激活量化提升精度,预填充专用权重加速,SSD卸载降首token延迟。
DeepFEAv2:突破结构化网格限制的瞬态有限元分析深度学习
DeepFEAv2框架可跨网格拓扑与单元类型预测瞬态有限元仿真,精度接近传统FEA且推理快三个数量级。
在真实世界医疗数据上带引导的学习推迟决策
首次在真实医学影像数据上验证两阶段学习推迟,并提出带引导版本,性能超越经典方法及各类基线。
扩散模型中的双下降与恶性过拟合
扩散模型出现恶性过拟合:测试损失约在p~n时上升,偏差增大并记忆训练集;但适度正则化后大模型仍更优。
TimeInteract:迈向流式时间序列的实时交互智能
提出流式时间序列交互范式TimeInteract,支持边处理新观测边自主响应,构建StreamTSI-34K,性能领先、近零停滞且加速2.15倍。
基于块三角联合漂移的一步式生成代理模型
提出块三角联合漂移,对相邻状态联合分布建模,实现每步一次评估的一步式随机轨迹生成,兼顾精度与成本。
OMatG-flash:一种用于可扩展材料发现的、结合强化伴随匹配的全原子流映射
提出OMatG-flash全原子流映射,少一数量级推理步生成无机材料,性能媲美SOTA,经强化伴随匹配提升CSP。
能否从嵌入空间几何预测异常检测性能?
研究无异常数据预测异常检测性能,伪异常探针可改进无异常模型选择。
傅里叶-贝塞尔小波札记
圆盘亥姆霍兹方程诺伊曼解构造傅里叶-贝塞尔谐波,经高斯包络与零均值修正,得径向近等距小波族及其频域闭式表示。
递归模型何时完成计算
递归模型延长推理显著提升数独准确率;首次精确解后隐状态变化骤减,呈轨迹条件各向异性稳定,标志计算完成。
超越秩一更新的无谱间隙流式主成分分析:近最优速率及其在差分隐私中的应用
为无谱间隙流式PCA的Oja算法给出近最优分析,突破秩一更新,并应用于亚高斯数据的差分隐私PCA。
阿片类药物使用障碍药物治疗中预测治疗留存与提前中断的机器学习模型公平性探究
评估阿片类药物治疗机器学习预测模型的公平性:总体表现良好仍存亚组差距,偏差缓解可缩小但难消。
LE4Mob:面向人类移动性建模的归纳式、距离感知与通用位置嵌入
提出归纳式、距离感知的通用位置嵌入LE4Mob,可编码未见地点、跨任务迁移,在多项任务上优于基线。
排名可移植性并不意味着可行性可移植性:联合硬件约束的目标特定评估
跨设备排名可迁移并不保证联合延迟—能耗可行性可迁移;代理复用违规风险33.3%–100%,须按目标环境评估。
基于深度表征学习的手机定位数据日常活动模式建模
提出ACE自监督模型,从手机定位数据表征日常活动,在伦敦识别六类工作日活动模式。
ZoAQ:通过查询复用耦合实现自适应零阶查询
ZoAQ复用查询实现自适应零阶优化,免额外验证;合成任务省43-48%查询,黑盒攻击与微调亦显著降耗。
成功留下弯路:为长时程智能体学习可执行攻略
从稀疏奖励轨迹提取状态条件化可执行攻略;Trace以信用引导与依赖切片,在长时程任务上大幅超越八种基线,省词元。
泛化多模态基础模型
提出泛化多模态基础模型,基于大规模合成数据学习可迁移模态关联,无需任务适配即可处理任意模态与任务。
PRQuant:面向低开销推理的排列残差量化
免训练低开销量化框架,结合通道重排与静态权侧残差补偿,消除在线聚集开销,五基准平均精度超MXFP4。
共享学习率在选择性同策略蒸馏中并非中性对照
共享学习率非中性:选择性同策略蒸馏对学习率敏感,选择器比较与之纠缠,结论随率变;应报告臂×率矩阵。
面向安全的学习型感知校正
两步校正ML感知:离线算不确定性,运行时风险启发式选状态;73%危险场景恢复安全,耗时仅增2.8%。
《推测的极限:为混合专家模型中的推测解码划定边界》
混合专家推测解码验证开销不稳,本文建模为随机最短路径问题,构建Oracle诊断,发现拒绝候选形成线性边界。
SolarFlowRefiner:面向地表太阳辐射降尺度的细化感知流匹配
提出SolarFlowRefiner细化感知流匹配框架,联合优化生成与校正,改善地表太阳辐射降尺度。
StationPDE:面向站点的地表偏微分方程学习用于多站点多变量天气预报
提出StationPDE,由站点观测构建地形感知连续场,以风输送与高空推断建模演化,融合数据驱动分支,多站点多变量预报领先。
基于飞机的多智能体体系系统的分层贝叶斯优化
提出分层贝叶斯优化框架,以高斯过程代理建模,提升体系架构搜索效率,并应用于飞机多智能体野火抑制体系。
Helix-FNO:耦合高保真机理模型的谱域算子学习用于快速代理仿真
提出Helix-FNO师生框架:机理模型生成数据,谱域算子学习解映射,毫秒推理快三个数量级。
GRRR:解码器大语言模型后训练中重塑、旋转与路由的几何学
后训练权重更新可分解为对角重塑、非对角旋转与零空间路由;移除对角分量通常仍保留多数增益。
弱关联,强信号:通过独立词元采样在扩散大语言模型中高效检测训练数据
提出独立词元采样ITS,以注意力依赖代理降低掩码词元间依赖误差,高效检测扩散大模型训练数据,AUC显著提升。
SafeTune:用于审计与修复微调大语言模型安全漂移的统一忠实库
SafeTune统一四类干预范式,配置驱动,审计并修复微调LLM安全漂移,含评估部署工具。
评估表格数据基础模型的比较框架:医疗保健案例研究
提出六维临床比较框架,评估排序表格基础模型,并以铁缺乏筛查与心衰预测展示模型排名随场景而异。
从潜在生物标志物到临床规则:面向可解释表格学习的嵌入引导规则挖掘与基于归因的转译
提出潜空间规则挖掘与归因转译流程,五个数据集上优于原始特征规则,AUROC提升0.04-0.23,但高潜规则难转译。
多重潜在排序能更好地预测语言模型偏好
模型偏好不一致源于多种内在一致的潜在排序,混合模型比单一效用模型更好预测。