中文标题
混合硬软标签减少暴露偏差,桥园理论解释,新方法在推理和编程上优于基线,训练成本降9.7倍。
MULTISEISMO:用于跨模态地震理解的多模态地震数据集与模型
提出多模态地震数据集MultiSeismo及专用模型SeisModal,实现跨模态地震理解,性能显著优于通用模型。
Unified Neural Scaling Laws
通过扩散策略优化扩展世界模型强化学习
提出MBDPO框架,用扩散策略统一搜索与优化,解决世界模型强化学习的结构错位问题,实现可扩展策略学习。
量化键窃取注意力:视频扩散中KV缓存压缩的偏差校正
量化导致注意力偏差,提出实时校正,恢复视频质量至接近BF16,内存节省50%。
低延迟多智能体工具调用的有状态推理
有状态推理架构通过持久KV缓存实现增量成本,将多智能体工具调用速度提升2-4倍。
基于时间增强的符号图神经网络的动态链接预测
提出时序增强框架HCIM,结合可学习权重、LSTM与多头注意力,提升符号图动态链接预测,多个数据集上显著优于基线。
中文标题
提出基于有理高斯小波神经网络的声音信号无人机检测系统,可检测分类单机和集群,性能优于传统方法且可解释性强。
安全对齐的课程学习
提出Staged-Competence课程学习框架,通过难度采样与渐进更新,降低有害响应16%、越狱攻击20%,同时保持通用能力。
非线性时间序列中的函数值因果影响
非线性时间序列中因果关系是状态依赖函数,标量分数造成信息瓶颈,提出函数值因果影响框架。
半群一致性作为学习型物理模拟器的诊断指标
半群误差诊断长期推演退化,与轨迹退化正相关(ρ=0.635),主要作为评估诊断。
重新参数化Shampoo与SOAP以支持子空间基更新和BFloat16存储
重新参数化预处理器支持BF16存储,通过子空间部分QR分解降低计算开销,提升Shampoo类方法的效率与性能。
物理信息机器学习的泛化:一种PAC-贝叶斯视角
提出PAC-贝叶斯框架,为物理信息机器学习提供泛化保证,揭示物理正则性与泛化关联,并给出实用算法。
QAM-W:通过哈达玛旋转和激活感知缩放的LLM权重联合二维码本量化
提出QAM-W二维量化方法,恢复权重行坐标结构,在约5.5bpw下困惑度接近BF16,比特节省32%。
MechRL:强化学习代理进行电路发现以实现机械可解释性
RL电路发现:代理操作GPT-2注意力头,通过对比奖励训练,识别关键头并泛化新任务,恢复96%上限。
当正确的示例有害:重新思考上下文学习中示例的角色
正确示例不保证效用,任务保持扰动会降低上下文学习精度,需评估示例对推理的影响。
能量门控注意力与小波位置编码:Transformer注意力的互补归纳偏置
提出能量门控注意力(EGA)和莫雷小波位置编码(MoPE),组合损失改进超各部分之和,证明能量显著性与尺度选择性局部性互补。
用快慢后继特征平衡可塑性与稳定性
连续渐变环境中稳定性优于可塑性,多时间尺度巩固后继特征显著提升性能。
隐藏凸损失的在线学习:最优遗憾、几何障碍与Bandit反馈
证明隐藏凸损失下OGD实现最优O(√T)遗憾,澄清几何条件,扩展至bandit反馈得O(T^{3/4})。
基于摊销因子推断网络的后验推断方法
提出AFIN网络,跨模型泛化,实现快速后验推断,精度相当且计算量极低。
深度强化学习何时能超越校准基线?自适应资源控制的基准研究
校准基线在六种工作负载上成本最低,仅突发流量时RL更优;离散动作优于连续;无主导算法;瓶颈在基线校准与评估。
奇异分布的稳定性:语言模型预训练两阶段动力学的频谱视角
发现SoSD现象:奇异值谱早期稳定,限制后期损失下降速率,为理解高效预训练提供频谱视角。
DDGAD: 基于扩散的图异常检测中的轨迹动力学
提出DDGAD框架,利用轨迹动力学区分图节点,通过稳定性和冲突性信号实现高效异常检测。
基于重建的脑电图基础模型中的非周期性和低频频谱偏差
EEG基础模型重建预训练偏向非周期与低频成分,忽略高频振荡,致低资源表现差,需引入高频辅助损失。
FM-fMRI:事件条件流匹配的静息-任务fMRI时间序列合成
FM-fMRI通过事件条件流匹配从静息态生成任务态fMRI,优于扩散模型、GAN、VAE,并提升自闭症分类。
MuCon: 用于大语言模型训练的裁剪Muon更新
MuCon通过奇异值裁剪改进Muon优化器,旨在避免全SVD,但阈值附近存在数值病态问题。
扩散检测:用于无监督集成电路异常检测的生成式扩散模型
无监督IC异常检测框架,用扩散Transformer压缩数据并生成异常分数,无需标签,实现高不平衡下的快速筛查与可解释定位。
Extra-Merge:追踪语言模型预训练中模型合并的秩1子空间
发现合并检查点形成秩1子空间,提出Extra-Merge沿此方向外推,无需梯度更新即可降低损失,在GPT-2和LLaMA上效果显著。
证据深度学习中的变分推断
提出VI-EDL框架,通过变分推断导出ELBO防止证据过度增长,理论推导泛化界,在OOD检测等任务达到SOTA。
Beyond Holistic Models: Systematic Component-level Benchmarking of Deep Multivariate Time-Series Forecasting
基于样本变分推断的摊销方法实现少步生成模型对齐
FAV框架摊销样本变分推断,无需似然或ODE求解器,对齐少步生成模型,在机器人操作和图像生成中超越基线。
开放权重大语言模型微调防御易受简单攻击
简单攻击(abliteration和prefilling)使开放权重大语言模型防御失效,攻击率升至16%-96%;新防御ART降低10%-20%。
超越成对偏好:针对扩散模型的列表级奖励感知对齐
提出列表级奖励感知对齐方法LAIR,利用多候选图像优势权重优化,显著提升扩散模型性能。
Dense2MoE:通过统一剪枝与升级推动设备端大语言模型的帕累托前沿
Dense2MoE统一剪枝与升级,修剪冗余注意力并重用MLP为MoE专家,高效转化密集LLM为设备端MoE,优化推理延迟与准确率。
递归流匹配
递归流匹配通过自一致性减少离散化误差,实现高保真快速物理动态模拟,性能优于现有方法。
线性与神经决斗强盗及其延迟反馈
提出带延迟反馈的决斗强盗算法,用逆概率加权无偏修正,线性与神经网络均具理论保证,实验有效。
PRISM:用于多层薄膜设计的位置编码回归逆光谱模型
PRISM联合预测材料与厚度,MAE降低超50%,44M参数达SOTA(0.010),速度优于模拟退火。
离散选择表格基础模型的经济有效性审计与修复
提出两阶段适配器,在保证经济一致性前提下提升预测精度,交通数据集上比标准logit提升13个百分点。
SIKA-GP:使用稀疏诱导核近似加速贝叶斯深度学习中的高斯过程推理
SIKA-GP通过稀疏诱导核与二元有序模板基实现GPU加速,推理复杂度O(log M),可嵌入BNN,视觉语言任务快速准确。
对抗性核赌博中的近乎最优遗憾
提出对抗性核赌博的指数权重算法,正则化修正偏置,遗憾匹配已知最优速率,改进先前结果并移除敌手假设。
RT-Lynx: 为扩散模型合理运用GEMM稀疏性
发现扩散模型激活值更适合N:M稀疏,提出RT-Lynx对激活稀疏化并误差补偿,加速1.55倍且保持质量。
分布感知共形预测:高效时间序列预测区间生成框架
DCP框架结合概率预测与共形校准,自适应生成高效预测区间,新评分平衡有效性与效率。
论离散扩散中随机性的纠错效果
离散扩散随机性有纠错效果,DCRS通过交替扩散注入随机性,改善采样速度与质量权衡。
用于个性化联邦学习的分离聚合分裂网络
提出PGFedSplit,采用分裂网络与自适应聚合,结合本地与合成特征,在强异构数据下提升个性化和泛化,性能优于现有方法。
焦点奖励:基于评分标准的强化学习中的平衡训练
提出焦点奖励方法,自动平衡多维评分标准下强化学习,在全部18个模型-基准对比中超越最强基线。
面向少样本自动调制识别的几何感知对比学习
提出DyCo-CL框架,结合虚拟对抗增强与语义一致性损失,实现隐式频谱正则化,1-shot准确率提升6.27%。
Spend Your Rollouts Where It Counts: Rollout Allocation for Group-Based RL Post-Training
分布漂移下儿童贫血预测的表格机器学习与基础模型的小样本跨国家泛化
表格基础模型TabPFN在低数据场景下优于经典方法,性能差异主要源于人群变异而非模型选择。
PIDM-DP:物理信息扩散与Dormand-Prince积分用于混沌系统辨识及多动力学状态重建
提出PIDM-DP模型,将高精度ODE求解器嵌入扩散模型,线性调度防止梯度爆炸,混沌系统重建误差降低15倍以上,保持混沌不变测度。
APEX:面向稀缺目标高频波预测的幅度锚点与相位先验
针对高频数据稀缺,APEX框架借低频幅度锚点与相位先验,条件流匹配重建波场,超越现有方法。