推理可迁移性:在RLVR时代指导多模态大语言模型的持续学习
提出推理可迁移性(RP)概念,基于RP动态调节KL正则化,在RLVR中提升多模态大语言模型持续学习性能12%以上。
观点:图压缩需要重置——超越全数据集训练和模型依赖
当前图压缩依赖全数据集训练、高开销、泛化差,需重置为轻量、模型无关的实用方法,实现高效可扩展训练。
LoRA与全参数微调:理论视角
LoRA在预训练与下游任务低秩差异时风险更低,小秩可提高测试精度。
TabQL:基于表格基础模型的上下文Q学习
TabQL用表格基础模型替代DQN的Q网络,通过上下文学习实现高效Q值推断,效率优于传统DQN。
绘制未知对称性:组合学中的机器发现
机器学习发现q,t-Narayana多项式的新组合解释,并给出对称性组合证明。
距离感知的Muon:归一化优化的自适应步长缩放
提出三种自适应缩放算法,改进Muon优化器步长敏感性,在语言建模和图像分类上匹配或超越固定缩放基线。
蒸馏线性化行为以实现有效任务算术
蒸馏线性化教师模型,使非线性学生继承任务算术能力,高效组合向量且无推理开销。
学习何时适应
DISeL通过输入依赖门控动态激活低秩成分,减少遗忘,保持微调精度,提供可解释性诊断。
SAGA:一种自适应序列生成架构,用于多步概率预测与自适应时间共形校准
SAGA模型用解码器变压器和共形校准预测终生收入,十年CRPS降31.9%,二十年MAE降37.7%,覆盖误差0.4%,基尼系数0.327。
深度神经层扩散
DNSD用层邻接算子替代拉普拉斯,配合归一化、奇非线性与门控,有效利用深层聚合,显著优于GNN和NSD。
用于分子生成的生成式伪力场
提出生成式伪力场,无需从头算数据,融合力场与扩散模型,高效生成稳定分子构象,性能显著超越扩散基线。
KVBuffer:面向线性注意力的IO感知服务机制
KVBuffer通过缓冲KV实现IO感知的线性注意力服务,降低解码延迟45%,提升推测解码吞吐5倍。
Chessformer:一种统一的国际象棋建模架构
Chessformer统一架构,在人类走棋预测、棋力提升和可解释性上均达最优,验证了领域对齐设计的有效性。
Flash PD-SSM:内存优化的结构化稀疏状态空间模型
提出Flash PD-SSM,通过离散选择结构化稀疏矩阵,兼具非结构化的状态追踪表达能力与高效内存吞吐,多任务达最优。
ScheduleFree+:将无学习率且无调度训练扩展到大型语言模型
提出ScheduleFree+,解决无学习率无调度训练扩展至LLM问题,性能超WSD调度,长时间训练提升31%,为模型平均提供理论依据。
基于Transformer的机器学习模型用于质子交换膜水电解槽性能监测
提出编码器-解码器Transformer模型,在正常操作中虚拟重建极化曲线,误差降低10倍,实现连续性能监测。
CLIC:上下文语言感知的心脏病理分类
提出多模态CLIC框架,用自然语言编码患者上下文信息,提升心电图分类精度,模板文本效果优于大语言模型生成。
部分潜在共享下的可识别多模态因果表征学习
针对部分共享潜在结构的多模态数据,提出可识别的因果表征学习方法,基于Wasserstein模块,性能优于现有方法。
PMF-CL:面向冲突任务的帕累托最小遗忘持续学习算法
本框架通过帕累托最优解实现冲突任务的最小遗忘,提出高效迭代的PMF-CL算法。
The impact of observation density on Bayesian inversion of latent dynamics in shock-dominated flows
全秩相关矩阵上的黎曼网络
利用五种相关几何,构建全秩相关流形上的黎曼网络,扩展基本层并实现准确反向传播,实验有效。
Bridge: 面向城市配送需求的检索增强时空建模
通过检索增强时空图框架,利用区域上下文和时态记忆,有效预测城市配送冷启动需求。
ExECG:面向心电图模型的可解释AI框架
提出ExECG框架,含三阶段流程,统一ECG模型可解释性,支持复用与可复现。
规划器可容许的图-PDE值扩展用于稀疏目标条件规划
AMLE通过局部动作间隙证明在稀疏规划中优于调和扩展,成功率从0.584提升至0.970。
多智能体LLM辩论的顺序共识:基于校准故障检测的Wald-SPRT计算调控器
Wald SPRT动态控制LLM多智能体辩论停止轮次,大幅减少调用次数(如GSM8K减少3.7倍),准确率仅下降2个百分点,但校准是关键。
多属性公平医学图像分类的最差组均衡几率正则化
提出最差组均衡几率正则化,同时优化多属性子组真阳与假阳率偏差,降低差异并保持AUC性能。
GAE在不完美信息自对弈强化学习中表现不足
针对GAE在自对弈中方差大,提出基于Q-boosting的VRPO,减少方差,在大型博弈中表现优异。
基于局部距离的数据欧几里得嵌入
提出仅基于局部距离图恢复全局欧几里得嵌入的方法,通过变分匹配局部距离,迭代求解稀疏线性问题,保持局部结构逼近等距。
超越外推:面向时间序列预测的双向启发知识利用范式
提出KUP-BI范式,从历史库提取后目标延续代理与输入融合,提供结构化偏置,提升预测性能。
DeRegiME: 深度机制混合用于分布偏移下的概率预测
DeRegiME用稀疏高斯过程分离不确定性机制,实现可解释分解,NLPD降20.3%
BrainDyn:一种用于生成脑动力学的束神经常微分方程
提出BrainDyn模型,结合LSTM和束拉普拉斯实现脑图连续时间动力学,在fMRI、EEG等数据上强预测并支持扰动分析。
掩码扩散语言模型的后门攻击
首次系统研究掩码扩散语言模型训练时后门攻击,提出SHADOWMASK方法,实现近100%成功率且保持性能鲁棒。
EviTrack:延迟解歧中的选择优于采样
EviTrack通过轨迹级假设选择替代边际采样,在延迟解歧中更快恢复,凸显选择优于采样原则。
从简单到复杂:基于高斯混合模型的课程引导物理信息神经网络
提出课程引导高斯混合PINN,动态聚焦困难区域,降低相对L2误差高达97.8%。
CODA:将Transformer模块重写为GEMM-后处理程序
CODA将Transformer模块重写为GEMM-后处理程序,在芯片上完成内存受限操作,减少数据移动,提升训练效率。
拆分可行性条件下可控帕累托前沿学习的两阶段自适应平衡罚函数方法
提出两阶段自适应平衡罚函数法,解决分裂可行条件下可控Pareto前沿学习,可行性升至87-100%,EFHV提升2.3倍。
重新审视Muon在预训练之外:VLA和RLVR的频谱失败与高通补救
Muon在VLA/RLVR中因均匀谱白化失效,Pion以高通NS迭代抑制噪声尾,机器人任务和数学推理中超越Muon和AdamW。
跨范式知识蒸馏:随机森林与深度神经网络双向迁移的大数据应用综合研究
首次提出随机森林与深度神经网络双向知识蒸馏,融合可解释性与表达能力,多教师集成蒸馏显著提升性能。
LSTM网络在时间序列分类中的客观性能评估
LSTM需更大噪声分离才能可靠分类,测量噪声场景性能低于基于模型的EM分类器。