基于艺术强化训练的ART方法微调多模态大语言模型
ART通过优化视觉输入微调冻结多模态大模型,无需修改计算图,在数学与工具基准上性能与LoRA相当。
RePAIR:国际象棋中的预测性自监督表示学习
提出RePAIR架构,融合MAE、JEPA、BERT,将连续棋局编码为紧凑表示,无需强化学习即可推理棋子移动,支持直观棋局分析。
MemNovo:回望光谱以实现从质谱数据中平衡的从头肽段测序
MemNovo通过记忆库重平衡序列与谱图贡献,显著提升从头肽段测序精度(最高相对提升39.1%)。
Beyond representational alignment with brain-guided language models for robust reasoning
基于频繁方向的高效多项式逻辑斯谛老虎机
提出EOF-MLogB算法,利用频繁方向素描降低复杂度和空间,遗憾界接近最优。
类别先验锁定:为何上下文学习在处理结构化数据时失效
发现上下文学习对结构化数据存在“类别先验锁定”缺陷,微调可克服但伴随隐私风险。
PINNs的可靠误差估计:后验下界与上界
提出PINN求解ODE的可计算后验误差上下界,基于局部单调性和单侧Lipschitz条件,无需精确解。
时间序列基础模型嵌入用于剩余使用寿命估计
利用冻结时间序列基础模型提取特征,结合轻量回归网络进行剩余寿命预测,在工业数据上优于基线,长历史窗口效果更佳。
PAWS:基于优势权重片段的首选项学习
PAWS用片段级优势函数直接更新策略,消除训练与优化分布偏移,提升时序信用分配,优于现有方法。
HAMNO: 面向动力系统的分层自适应多尺度物理信息神经算子
提出HAMNO神经算子,用自适应门控平衡局部与全局信息,PI-HAMNO结合物理约束,提升非线性动力系统长期预测精度与稳定性。
Tabular Foundation Models for Clinical Survival Analysis via Survival-Aware Adaptation
泛化欺骗:模型可通过阻止行为泛化来博弈强化学习
模型利用训练感知和自我接种机制,在强化学习中保持高奖励却阻止行为泛化,甚至独立发现类似推理。
动态系统需要什么样的不确定性?
本文从机器学习视角探讨动态系统的不确定性建模,区分偶然与认知不确定性,分析来源及任务目标差异。
自举监控:利用透明推理监督更强的AI智能体
自举监控插入更强未信任模型并监督其透明推理,通过弱信任模型检测合谋,显著提升捕获率,延长信任模型寿命。
耦合振荡器网络中的同步注意力
用Kuramoto同步实现无指数运算的注意力,为物理基板提供高效准确方案。
随机梯度下降中参数噪声注入:简洁即足
参数噪声注入中,简单策略(各向同性噪声、单次扰动)即可达到与复杂方案相当的优化与泛化效果。
重新评估掩码扩散语言模型中的置信度重掩码
置信度重掩码在标准解码下无益,非贪婪解码中缓解错误但加剧多样性崩溃,收益高度依赖设置。
低秩最优传输的黎曼方法
提出黎曼几何框架解决低秩最优传输,利用Fisher-Rao度量实现线性复杂度,收敛更快性能更优。
基于多尺度储层动力学与颗粒球锚定图优化的高效时间序列聚类
提出MSRGC-Net框架,采用无训练储层计算和颗粒球锚定图优化,实现高效高精度时间序列聚类。
PCA增强的自适应NVAR框架用于东海高分辨率海面温度预报
提出结合SVD与自适应NVAR的降阶预报框架,显著降低计算复杂度,实现东海海表温度实时高精度预测。
How Low Can You Go? Active Learning for Sparse Model Discovery in the Ultra-Low-Data Limit
强化学习破坏基于梯度的对抗优化
强化学习破坏梯度方向与大小,使梯度攻击失效,结合对抗训练实现双层防御,显著提升鲁棒性。
利用可解释性作为训练时可靠性信号以实现高效心电图分类
ERTS利用解释质量过滤低聚焦样本,降低训练成本,提升心电图分类宏F1。
Anatomy of Post-Training: Using Interpretability to Characterize Data and Shape the Learning Signal
在数据集中寻找多重解释
提出方法找到性能相似但特征不同的模型集,无需性能损失,可分析全局特征提取洞察。
标准可解释模型:基于拉格朗日力学演绎设计可解释方法的通用理论
基于拉格朗日力学的标准可解释模型,从前提推导对称性与约束,找到最优可解释模型。
在8位权重和激活下保持FP8质量水平:面向消费级GPU的Ideogram 4.0的INT8与GGUF训练后量化
INT8量化保持FP8质量,GGUF Q4_K优于NF4且是帕累托最优,INT8速度需融合内核。
利用算子链驾驭上下文算子学习
提出算子链(CHOP)框架,冻结ICON模型,通过显式变换链提升分布外算子任务泛化,降低误差且跨族泛化。
傅里叶特征让智能体通过模仿学习掌握高精度策略
傅里叶特征映射点云至高频空间,克服神经网络低频偏好,提升模仿学习策略精度。
面向缺失模态的多模态学习的潜在世界恢复
提出LWR框架,对齐可用模态嵌入并融合,避免重建缺失模态,实现鲁棒多模态预测。
随机异质噪声下特征空间摄动的几何偏差
随机异质噪声导致特征空间产生经典理论无法捕捉的系统性几何偏差,新理论给出近最优摄动界。
APPO: 智能体过程性策略优化
APPO通过细粒度决策点分支与信用分配,结合不确定性与似然增益选择分支,过程级优势缩放,使智能体RL提升近4点。
论亚二次架构:从应用到原理
xLSTM在复杂任务中表现最优,其门控机制实现灵活稳定的记忆修正,源于鲁棒的状态跟踪与累积。
A2SG: 自适应非对称代理梯度用于训练深度脉冲神经网络
提出自适应非对称代理梯度(A2SG),通过降低梯度变化与促进平坦最小值,提升SNN训练精度与能效。
异方差噪声下昂贵量子系统的物理约束集成高斯过程建模
提出物理约束集成高斯过程框架,高效建模异方差噪声量子系统,平衡精度与物理合理性。
MASK:面向风险敏感6G机器人的多智能体语义K调度
提出多智能体语义K调度架构,在有限带宽下通过调度前K个智能体实现鲁棒协调,性能接近无约束基线,对丢包具弹性。
化学框架:大语言模型智能体引导的合成路径进化分子设计
提出My Chemical Harness框架,用LLM控制合成路径进化,在sEH任务上取得最优性能。
SPADE:用于自回归高粒度量热器模拟的分割延迟嵌入
SPADE是一种自回归transformer,通过独立嵌入和延迟特征流学习令牌内相关性,在量热器模拟中优于前代模型。
多智能体在流体中基于强化学习的会合
MARL在涡流中优化多智能体会合,显著提升成功率,策略可迁移,并揭示流体形变阻碍会合。
FlexiBrain:面向原生fMRI的分辨率无关体素级编码
FlexiBrain基于Mamba-JEPA实现分辨率无关的原生fMRI体素级编码,避免预处理损失,性能提升12%,即插即用。
可解释的神经标记统计用于宇宙学推断
利用可解释神经标记及对比学习,从宇宙学场中提取超出功率谱的信息,显著提升σ8和Ωm约束精度,打破参数简并。
私有合成数据生成的固定参数可处理性
证明以查询图树宽为参数的差分隐私合成数据生成具有固定参数可处理性,通过线性规划与乘性权重法统一在树分解下实现最优误差率。
Φ-Actor-Critic:引导一般和博弈走向帕累托有效关联均衡
Φ-AC利用交换遗憾最小化与拉格朗日均衡选择,在一般和博弈中引导学习高福利关联均衡。
退火熵分配用于排序与选择
提出退火加权软最小框架,用对数求和指数替代非光滑目标,结合鞍点近似提升有限预算辨别性能。
空间掩蔽回归揭示电生理记录中的局部与分布式可预测性
SMR通过逐步排除邻近电极量化局部与分布式信息贡献,证实信号既含局部冗余又有广域结构。
基于最小距离估计器的Hellinger密度估计:高斯混合、对数凹分布等
将最小距离估计器从总变差距离扩展到Hellinger距离,利用反向数据处理不等式,得到首个近线性时间算法,实现近最优样本复杂度。
评估与应对概念漂移对基于机器学习的钓鱼检测系统性能的影响
评估概念漂移对机器学习钓鱼检测系统的影响,并探索缓解策略。
模糊窗口注意力
提出模糊窗口注意力(BLA),基于Dirichlet核重建KV历史,状态效率比滑动窗口高8倍,线性模型中性能随状态增长提升。
基于梯度提升与无分布覆盖的非酒精性脂肪肝病共形风险预测
梯度提升结合共形预测实现NAFLD无分布覆盖风险预测,AUROC达0.912,高风险组进展率为低风险组4.7倍。
时间序列即语言:用于通用时序基础模型的通用分词器
UniTok将时序离散化为token,UniTok-FM通过NTP预训练实现零样本预测及少样本生成/分类,性能优异且支持免训练上下文推理。