词元级广告
词元级广告机制LAMA,将广告主影响嵌入生成过程,满足激励相容与近似最优福利,提升收益及质量。
椭球拟合的普适性与尖锐阈值
随机向量椭球拟合存在尖锐相变,阈值仅依赖四阶矩,高斯情形为1/4,并给出不可满足区的最优误差。
分布强化学习中分位数时序差分学习的有限样本分析
同步分位数时序差分学习获全局有限样本保证;其波动不依赖分位数个数,区分局部随机与全局样本复杂度。
面向好友推荐的图神经网络扩展:多哈希用户嵌入与时序邻居采样
提出可扩展GNN推荐系统,多哈希嵌入减98%存储,时序采样优化,在线好友添加增16%。
基于Transformer的联邦对抗训练
提出FedWAvg聚合,提升视觉Transformer联邦对抗训练在非独立同分布数据上的鲁棒精度。
CollaFuse: 协同扩散模型
提出CollaFuse,基于分割学习实现分布式协同扩散模型训练,减轻客户端计算负担,减少数据共享,提升性能。
从准确性到鲁棒性:数学推理中基于规则与模型的验证器研究
规则验证器误判等价答案,模型验证器易受奖励欺骗,需兼顾准确性与鲁棒性。
基于记忆幺半群的循环强化学习
提出记忆幺半群框架,将循环更新视为幺半群,改进循环强化学习批处理,提升样本效率与回报,简化损失实现。
ReLATE:通过安全高效学习稀疏编码加速张量分解
该框架通过无监督学习生成安全高效稀疏编码,加速张量分解,零推理开销,性能比专家格式最高提升2倍。
MODIS:面向小样本与非配对数据集的多组学数据整合方法
提出MODIS半监督框架,利用大数据库辅助训练,实现小样本非配对多组学数据的对角线整合,抗类别不平衡,适用于罕见病研究。
普通Transformer可成为强大的图学习器
仅需三个简单修改,普通Transformer即可成为强大图学习器,媲美复杂图模型。
用于理解模型行为的引导式数据生成
提出生成输入分布的方法以理解模型行为,涵盖标签预测、模型分歧、扰动敏感和风险预测。
AirLLM:基于扩散策略的自适应LoRA,用于大语言模型的空中远程微调
采用分层扩散策略优化低秩自适应配置经近端策略与扩散模型细化降低传输成本并提升远程微调性能
线性模型与ReLU神经网络上的可证明单样本投毒后门攻击
可证明:仅一个毒样本即可向线性模型和MLP注入后门,无需单点信息,后门零错误且不影响良性任务。
残差奖励模型:利用先验知识实现机器人中高效的基于偏好的强化学习
残差奖励模型将奖励分解为先验与残差,利用先验提升偏好强化学习样本效率,仿真和实物机器人验证有效。
GreenLeaf法律嵌入Tiny:面向法律领域检索的紧凑型嵌入模型
提出0.6B参数法律嵌入模型,经两阶段训练与硬负挖掘,基于340万对数据,MLEB达75.11%,支持量化部署。
多模态异常检测综述
从假设驱动视角综述多模态异常检测,划分常态与异常假设两大范式,探讨基础模型及未来方向。
面向单IMU活动识别的动态影响加权蒸馏
动态影响加权蒸馏将训练时多IMU信息转为更强单IMU模型,F1提升7.66个百分点,推理部署不变。
ExFold:统一专家折叠助力免训练MoE预填充-解码加速
ExFold用标量投影将预算外专家贡献折叠到保留专家,统一加速MoE预填充与解码,保持约99%质量。
AFDBench:面向美国国家气象局预报讨论的推理优先AI科学家
提出AFDBench,首个气象生成推理基准;强化学习显著提升风格对齐与输入依据,使其接近专业水平。
频率分解何时有益于物理信息神经网络?一项初步消融研究
频率分解对多尺度振荡PDEs效果显著(误差降59.2%),平滑问题收益甚微,增益随频谱复杂度上升。
FAMPWQ:基于Fisher信息的自适应混合精度权重量化实现高效LLM推理
提出基于Fisher信息的自适应混合精度权重量化法FAMPWQ,用强化学习分配位宽,显著提升LLM推理性能。
揭秘语言模型强化学习后训练
强化学习后训练增强大模型推理与数学能力,但其原理常为黑箱。本文解析各步骤,揭示奖励信号、提示分布及模型规模如何影响训练成效。
MacroAgent:基于大语言模型智能体设计轮廓算法的规律性感知宏单元合法化
提出框架,利用大语言模型设计轮廓算法,用于宏单元合法化,提升规律性、减少绕线长并增强鲁棒性。
CAT-GS:基于校准门控与融合手术的平衡多模态学习
CAT-GS在反向传播中通过校准门控与融合手术,解决模态失衡、门控不稳和融合干扰,提升多模态精度。
时间序列预测的潜在轨迹分析与结构保持代理解释框架
提出模型无关的可解释框架,通过潜在轨迹和语义流量化时间影响,生成稀疏代理模型,实现高效稳定且忠于原模型的预测解释。
神经网络为何及何时改进优化中的局部近似
神经网络代理的效用取决于角色、半径与空间:辅助提案提升性能,替代梯度则有害。
面向潜在世界模型长时预测的展开解码重建
提出RDR:训练时展开模型并惩罚重建误差,无额外参数,在混沌方程上将有效预测时间提升1.8倍。
物理信息误差场学习:物理信息神经网络的后训练优化框架
提出误差场学习框架,在主网络训练后学习误差修正,不改变原结构,以较低成本提升物理信息神经网络求解精度。
MSR-IVA:面向结构MRI与动态功能网络连接状态感知融合的掩蔽结构残差独立向量分析
提出MSR-IVA:掩蔽共享结构+状态特异残差,ADNI中源耦合+6.5%,非匹配依赖-15.7%。
基于低秩重要性估计的Transformer资源高效剪枝
提出REP-LIE,用LoRA梯度估计权重重要性,稳定分数迭代剪枝,微调时资源高效,性能媲美现有方法。
清除杂芜:AI增强的射频干扰抑制
利用深度学习与有限标量量化提升射频干扰抑制,兼顾低延迟,性能优于传统方法与先前人工智能方案。
DeMMO:基于多任务学习的数字移动性结果纵向与跨疾病建模
提出DeMMO,跨疾病多任务建模数字移动性结果,自动学习疾病间关系,在Mobilise-D数据集上最优。
动态规划的表征几何
动态规划等价于有向无环图最短路、热带多项式与牛顿多面体;三者半环同构,几何上显示长度泛化失败源于结构性否定。
D^3-MOPD:自适应动态领域调度用于高效多教师蒸馏
D^3-MOPD以反向KL动态调度领域采样,零开销,性能差距缩小97%,约1/3步达峰值,超越专家。
多尺度算子学习的框架核方法
提出原生多尺度算子学习方法,用新型核框架逼近技术学习系数,实现输出函数多尺度分解,精度优于神经算子。
用于神经解码的冯·诺依曼状态空间Transformer
VN-SST用低秩指令库和状态内存逐token合成算子,提升神经解码数据效率且更省参数。
理解大语言模型推理在不同上下文长度和注意力架构下的能耗缩放
系统研究发现注意力机制决定解码能耗随上下文长度的增长;MHA能耗陡增,GQA近乎恒定,SWA几乎不变;批处理可降低能耗和延迟达87%。
GRAPE:面向查询高效高维贝叶斯优化的梯度细化与进展感知利用
提出两阶段框架,先细化梯度后验,再按期望下降选择方向,显著提升高维黑盒优化的查询效率。
上下文路由何时起作用:多模态融合在时间序列预测中的系统性研究
上下文仅当目标低自相关且携带超越历史的互信息时才有助;任一缺失则无效,MoME实验证实。
Flower Hub:面向联邦学习模拟与部署的可复现基准平台
提出Flower Hub平台,将联邦学习基准封装为可执行应用,支持模拟与部署,实现可复现多领域评测。
网球多模态损伤风险预测
提出多模态PART框架,整合可穿戴、问卷等数据预测网球运动员伤病风险,并预警易伤部位。
迈向以单元为原语的机器学习:从单元关联事件中学习
提出以单元为原语的机器学习框架,从单元关联事件学习,得到单元分词器与共享响应律,处理异质性与身份不确定。
漂移变化自编码器:通过条件后验流匹配统一生成与表示学习
提出漂移变化自编码器,用条件后验流匹配统一生成与表示学习,证明后验充分等价于表示差距为零,多模态验证。
重新思考联邦学习中的可迁移对抗攻击与鲁棒防御
分析联邦学习中对抗样本可迁移性,设计基于对抗训练的防御机制,实验验证有效性。
用于离线轨迹规划的贝叶斯流网络
提出基于贝叶斯流网络的离线轨迹规划框架,统一处理离散与连续状态,高效生成有效轨迹。
SNAP-KG:基于投影的流式节点分配用于知识图谱实体集成
提出流式节点分配框架,基于投影将新实体映射到嵌入空间,免重训练即时聚类,大幅提速并缩减候选搜索。
树结构原型网络的超双曲潜在几何:局部与全局的权衡
双曲原型空间在局部近邻拓扑上显著优于欧氏(兄弟召回+8.7pp,堂表+15.2pp),全局树保真度不稳定。
集体动力学中环境力与交互力的同时推断
提出非参数框架同时推断集体动力学中的交互核与环境力,并用于模型选择。
大型语言模型应当看到什么?物理不变量作为偏微分方程发现的数据表示
提出数据诠释,将场测量为物理不变量供语言模型直接输入,方程恢复准确率提升近三倍且无需训练。