使用MMD微调校准生成模型以匹配特征分布
kCGM通过MMD微调和KL正则化校准生成模型特征分布,提升匹配度且不牺牲有效性,适用于多种生成模型。
LayerNorm Transformer中的代数死方向:大语言模型规模下的仅前向传播诊断方法
提出仅凭LayerNorm缩放参数即可确定死方向的代数核,无需计算开销,实验验证与SVD高度吻合,并区分归一化类型。
预测参数高效微调更新的可合并性
提出MergeProbe方法,在训练早期预测LoRA适配器合并效果,减少试错成本。
面向边缘设备上LLM LoRA微调的峰值内存降低技术
通过量化、检查点、softmax近似等技巧,使峰值内存降低26-28倍,实现资源受限设备上的LLM微调。
使用持续同调追踪大型语言模型中的表示动态
持续同调分析显示,大型语言模型对齐时拓扑重组主要在早期,不同目标产生不同轨迹,揭示了行为指标未见的表示变化。
耦合流体流动与输运的科学机器学习进展
综述科学机器学习在耦合流体系统建模中的最新进展,包括降阶模型、PINNs和β-VAE,显著降低计算成本。
从流行病预测理解时间序列基础模型的关键特征
多模型流感预测对比:混合专家最优,数值Transformer可靠,预训练助长周期,LLM欠佳,住院信息辅助提升。
位移非方向:评估量化大语言模型部署中的保真度指标
KLD全集强相关,但在静默区相关性消失;逐提示失败预测和跨模型路由能力弱。
中文标题:比较线性探针与马氏余弦相似度
中文摘要:线性探针与马氏余弦相似度(MCS)存在近完美线性关系(R²=0.98),理论证明基于信噪比函数,MCS是更优的探针比较方法。
基于最高密度区域的不确定性量化:QUEST方法
提出QUEST框架,利用分布峰值处Lebesgue测度浓度量化不确定性,满足公理且优于方差等度量。
无监督因果抽象发现
利用低秩因果发现,从底层测量直接学习高层因果模型,证明低秩图诱导因果抽象潜变量并提出可识别性与学习目标。
IHBench:评估语音代理在结构化工作流中的中断后恢复能力
IHBench从任务完成与恢复质量评估中断后恢复,闭源模型优于开源3.3倍,恢复质量是独立能力轴。
LOKI:无记忆零空间约束的终身知识编辑
LOKI通过动态层选择和零空间投影,无需访问旧知识,实现终身知识编辑,平均准确率提升14%。
利普希茨正则化浅层神经网络的凸训练
提出凸松弛训练法,全局最优解,提升浅层网络鲁棒性与精度。
OnDeFog:应对帧丢失的在线决策变换器
提出OnDeFog,整合在线决策变换器与抗帧丢失机制,在高帧丢失及低奖励数据场景优于现有方法。
基于李括号几何的潜在混杂因果发现
利用干预流几何与李括号闭合性失败,提出BRIDGE和SKFM算法,高效发现潜在混杂因果模型,大幅缩小搜索空间。
SEAGAN:面向动态植物过程的域特定与边感知图注意力网络
提出SEAGAN模型,利用图表示和边感知注意力机制,有效识别A-Ci曲线生化限制状态,F1达0.857。
MassSpecGym实战:揭示并纠正AI驱动分子发现中的评估陷阱
审查MassSpecGym基准中数据泄露等三类评估错误,提出修正方案并发布v1.5版本。
多粒度注意力驱动强化学习框架用于网络智能增强系统
提出多粒度注意力强化框架,通过语义图与自适应学习优化网络服务,准确率达80%。
困难还是未触及?诊断数学推理难度估计中的采样盲点
pass@k在数学推理难度估计中存在盲点,部分未解样例可通过激活嫁接的确定性方法解决,揭示了采样盲点的结构性原因。
用思维链变压器高效表示算法
思维链变压器能以多对数开销高效模拟Word RAM算法,相比图灵机模拟的二次开销更优。
面向少类别应用数据集的高效神经网络模型选择
提出分类难度度量,使少类别模型选择快6-29倍,生成比YOLOv5-nano小42%的模型,提升资源受限场景效率。
流图去噪器:遍历逆问题的失真-感知平面
流图去噪器通过单一参数连续调控失真-感知权衡,无需额外监督或调参,适用于逆问题。
具有挤压激励类注意力的物理信息神经网络
SEA-PINN通过挤压激励注意力动态校准神经元,初始高度稳定,无傅里叶特征仍高精度,轻量插件提升性能。
联邦双层行为预测
提出联邦双层行为预测的稳定点及两种收敛算法,实验验证有效性。
流形赌博机:大语言模型潜空间几何上的贝叶斯课程学习
提出贝叶斯流形课程法,将问题采样视为结构赌博机,发现需平衡学习信号、多样性与效用,仅凭难度不足。
物理信息广域学习系统用于偏微分方程的通用逼近
提出无反向传播的PIBLS框架,将PDE求解转为最小二乘优化,速度快1-3个数量级且精度更高。
基于潜在混合建模的图新颖性生成的信息论框架
提出信息论框架,用潜在混合模型生成图新颖数据,MDL原则约束,理论保证误分类率收敛。
利用邻近图增强图神经网络用于沙尘源排放预测
邻近图使GNN有效建模沙尘源排放时空关系,预测性能远超随机图GNN和LSTM。
面向稳定RLHF的不确定性感知奖励建模
提出UARM,用分位数保形预测校准奖励模型,减少奖励黑客,提升RLHF稳定性。
何时、何地、如何:表格自监督学习的自适应分箱
提出自适应分箱方法,通过特征级课程学习渐进细化离散化,提升表格自监督学习的表示质量与性能。
带特征选择与交互的神经加性模型与基模型
提出带特征选择的NAM和NBM,降低计算开销,支持高维交互,性能媲美最优GAM。
关于基于插值的梯度下降的预言复杂度
提出PPI-GD方法,利用数据域光滑性近似梯度,在强凸与非凸情形下预言复杂度优于经典GD变体。
带有全局有界扰动的对抗式凸损失老虎机优化
提出非凸非光滑损失下的对抗式老虎机优化,扩展至凸光滑损失,建立受扰动预算影响的遗憾保证。
低能耗边缘Tsetlin机器推理的精简RISC-V指令子集处理器
为边缘AI设计低功耗RISC-V指令子集处理器,实现Tsetlin机器推理,精度高且能耗降低29.7倍。
匹配市场遇上累积前景理论:迈向最优与对抗鲁棒学习
基于累积前景理论模型,在双边匹配市场中实现玩家最优对数遗憾,并拓展至已知/未知预算的对抗性市场。
ADaPT:面向高效大型推理模型的令牌级解耦
ADaPT通过令牌级解耦分离效率与正确性信号,用模式选择令牌控制推理速度,大幅降低计算成本并保持性能。
任意低维结构上扩散模型的分数近似
提出通用分数近似定理,复杂度仅依赖数据低维结构,打破维数灾难,解释扩散模型处理真实不规则数据的有效性。
SL-S4Wave:基于结构化状态空间模型的生理波形自监督学习
提出SL-S4Wave框架,结合对比学习与状态空间模型,高效建模多通道长序列生理波形,在心律失常及脑电任务中显著超越基线。
通过反向Fisher散度的高斯混合分数匹配中梯度下降的全局收敛
反向Fisher散度使高斯混合分数匹配的梯度下降从任意初始化全局收敛,优化景观优于前向散度。
组合性在狭窄的深度-连通性区间中涌现:架构约束与解流形
组合性仅在深度-连通性窄区间涌现,违反则梯度下降收敛到断裂解;提出相似性剪枝和深度预测器,理论解释原因。
面向基于图的深度学习的地图综合:建筑足迹简化与聚合的启示
首次将图深度学习应用于建筑足迹简化与聚合,重定义为节点移动与链接预测,GraphSAGE较优,聚合更复杂,为地图综合自动化提供新方向。
自适应尺度处理:预测尺度异质时间序列
提出自适应尺度处理模块,解决尺度异质问题,提升预测性能,可集成现有模型。
柯尔莫哥洛夫-阿诺德储层计算
基于Kolmogorov-Arnold定理,用显式基函数替换储层,实现轻量高效预测,性能超越现有方法。
用于电池内部状态自回归预测的神经代理架构比较研究
比较四种神经代理架构,U-Net预测电池内部状态精度最高(误差3%),速度提升5.38倍,证明空间归纳偏置是关键。
VIMPO:面向大语言模型的值隐式策略优化
VIMPO无需价值网络,通过隐式价值函数实现精细信用分配,在数学推理基准上超越GRPO,竞赛题提升显著。
StreamKL:快速且内存高效的KL散度,用于提升注意力蒸馏
StreamKL融合GPU原语,消除注意力KL散度的二次内存开销,前向反向速度提升43倍和14倍,HBM占用降至O(1),实现单GPU长上下文蒸馏。
自适应距离感知主干深度算子学习用于大跨度公路桥梁
提出自适应距离感知主干DeepONet,预测桥梁局部响应,误差低于5%,速度比有限元快约60倍。
激活与影响感知秩(AIR):面向大语言模型的功能保持型SVD压缩
AIR框架利用后向信号影响度量指导SVD低秩近似,困惑度改善超18%,校准数据需求降90%,并转化为计算效率提升。
多智能体游戏中的层次化控制:基于LLM的规划与RL执行
LLM+RL分层架构在多智能体博弈中实现高协调,性能媲美手工规则,且更逼真。