鲁棒剪枝模型容错机制研究
对抗训练提升输入鲁棒性但加剧权重故障敏感度;剪枝未显著影响容错,提示需联合考虑对抗鲁棒性与硬件可靠性。
将比特花在查询关注处:基于注意力保持变换的KV缓存向量量化
提出NOVA-KV方法,用注意力保持变换对KV缓存做向量量化,两比特下恢复长上下文检索精度。
边缘计算中面向流量智能的时空图Transformer
提出时空图变换器,结合图神经网络与自注意力,建模空间关联与长期时序,预测优于基线,支持边缘主动资源管理。
仅注意力白盒Transformer:基于LeJEPA自监督预训练
将白盒网络推导与自监督联合优化,用LeJEPA优化展开项,经ADMM导出仅含注意力的Transformer,参数减少31%且性能相当。
电子健康档案诊断代码在阿片类药物使用障碍预测中的特征选择方法比较研究
比较五种特征选择方法预测阿片类药物使用障碍,NTK灵敏度准确性与稳定性最佳,LLM引导补充临床信号。
无迹卡尔曼网络:一种带校准后验协方差的混合深度学习滤波器,用于非线性状态估计
提出无迹卡尔曼网络(UKN),融合深度学习与无迹卡尔曼滤波,校准后验协方差,降低非线性状态估计误差,优于现有滤波方法。
多层级属性的多校准样本复杂度
多校准k个属性时,样本复杂度为~ε^{-(k+2)},上下界匹配(至对数因子)。
从非凸自协调正则化到可扩展的PINNs拟牛顿训练
提出基于自协调的拟牛顿法,用递减耦合移位割线稳定曲率,在多个偏微分方程基准上误差更低。
基于等变谱子流形的物理信息降阶建模
提出等变谱子流形降阶法,利用系统对称性加速计算并提升鲁棒性,适用于非线性降阶建模。
Random features for Grassmannian kernel approximation with bounded rank-one projections
基于注意力的多任务计算表示
多头注意力头数下界:单头求最大/最小需指数级资源;n位异或需头数×次数≥n;推广至布尔函数。
可迁移双流表示用于保持中尺度的海表温度降尺度
提出物理信息表示学习框架,海表温度降尺度,零样本误差降21%,谱保真近理想,跨区域泛化强。
基于几何信息的预训练分子图神经网络参数高效微调用于血脑屏障通透性预测
提出BBBP-GeoPEFT,用距离图和线图捕获几何信息,仅更新10.1%参数实现血脑屏障通透性预测。
面向标签噪声下可信超图神经网络
系统研究超图标签噪声下的节点分类,提出HyperTrust框架,通过评估超边可信度与增删模块,提升鲁棒性。
ArborEnum:连续特征上的决策树罗生门集合
提出首个在连续特征上精确枚举决策树罗生门集的算法,并发展近似与随时细化算法,大幅提速且保持高召回。
基于生成式AI的实时概率海啸预报
生成式AI条件扩散模型实现概率性海啸淹没预报,准确预测深度范围并跟踪不确定性,由确定性转向概率性。
高效在线字典序广义低秩矩阵赌博机
提出字典序多目标低秩矩阵赌博机在线算法,用牛顿步更新估计器,复杂度由二次降为线性,遗憾界依赖有效低秩维。
CVaR风险感知Q学习的自适应有限预算训练
为CVaR风险感知Q学习设计自适应训练控制器,使残差降约85%,比特币交易夏普0.93,回撤6.5%。
成本感知多目标老虎机:预算受限LLM配置评估的理论与应用
提出成本感知多目标老虎机用于LLM配置评估,含在线选择与Pareto识别算法,附理论界与实验验证。
针对欺骗性模型提供者的防操纵隐匿审计
新审计协议让审计者隐匿查询模型,迫使提供者伪造大量响应才能掩盖不公,从而提升操纵检测率,且开销低、无需改动模型。
照镜子:反思微调引发的副作用对齐偏差
提出副作用内省任务与DAIA方法,针对微调导致的对齐意外退化,泛化性强且优于现有内省适配器。
EvtGraph:面向多模态时间序列稀疏时序图学习的事件自适应压缩
提出事件自适应压缩与预算约束稀疏图推理框架,固定预算下分配表示能力,提升多模态时序学习效率与性能。
ATLAS:基于抽象后继的自适应拓扑学习用于持续学习
该方法结合增长型网络与后继特征,解耦动力学与奖励,实现高样本效率、快速适应新目标及正向迁移,非平稳环境优于基线。
NodeJEPA:面向节点级图自监督学习的结构条件潜在预测
NodeJEPA提出节点级图自监督的联合嵌入预测法,掩码k跳子图预测潜在表示,用结构条件与正则化,无需输入重构或增强。
逻辑回归在梯度下降早期动态中的非渐近隐式偏差
证明逻辑回归梯度下降早期参数与最大间隔方向弱对齐,迭代次数为O(exp(exp(-δ))),且紧确。
全局约束下激励广告的生成式优化
提出GOAL生成式框架,将激励分配视为条件序列生成,结合SCPO,提升长期收益留存,降低ROI违规。
当代理预测变成方程重构:因子派生代理监督的诊断与残差学习
提出诊断框架与公式保留残差学习RASPL,优于直接预测,证明公式保留是因子派生代理监督的稳健核心原则。
NeuroPB:利用预训练行为表征扩展神经解码
神经解码新框架:预训练行为表征可对齐神经活动,提升轨迹解码精度,机器人数据预训练等效,少量校准即可。
MESH:面向混合专家训练的内存高效Sinkhorn优化
提出MESH:MoE专家隐藏动量Sinkhorn更新,较AdamW减62.5%优化器内存、约12.6%峰值显存,评估损失略增。
基于肘部法则的MoE路由:无需训练的推理时专家选择插件
提出肘部路由法,按词元动态调整专家数,保持负载均衡,延迟降5.3%且精度不变。
并非所有分歧都应被抑制:在线策略蒸馏中的反事实可恢复性
提出反事实可恢复性,通过分支诊断区分可恢复与不可恢复状态,指导选择性监督,显著优于传统分歧规则并提升基准性能。
基于二元主成分的免训练哈希注意力
提出二元主成分哈希注意力,免训练保留数据结构,长上下文精度持平,解码吞吐量提升3.56倍。
SPOT:面向在线策略蒸馏的稀疏探询与结果校准
SPOT用稀疏探询与结果校准,通过采集-探索-利用优化在线策略蒸馏,兼顾推理质量与覆盖度。
超越线性动力学:面向时间序列预测的神经双线性动力学模型
提出神经双线性动力学模型,利用Koopman理论升维建模非线性系统,引入误差补偿并融合控制输入,在真实数据上提升多步与长时预测精度。
鲁棒性在训练动态早期涌现,但未被保留
发现浅层早期涌现鲁棒表征,标准收敛不保留;提出无参数策略稳定或恢复,提升迁移与适应性能。
函数流匹配的离散化与统计一致性
证明有限条件速度目标强L2收敛,给出端到端Wasserstein界,验证传感器无关常数与显式速率。
学习网络流量的压缩规则
提出两阶段规则学习法,自动归纳报文头压缩规则,超越专家设计,免去手工配置。
热带代数几何用于神经表征:基于Arakelov-Green测度的图学习描述符
提出热带几何与Arakelov-Green测度的无训练图描述符,分解路径度量与极化距离,突破1-WL,提升3D形态分类。
线性预测-优化管道的局部违规认证
针对线性预测-优化管道,提出局部违规认证框架,用闭式解直接算风险及特征归因,免去昂贵随机采样。
自闭症坚持同一性的熵解释
用信息论解释自闭症坚持同一性:为减少惊讶与不确定性,个体将认知局限于可感知环境,表现为熵最小化,并为治疗提供优化指南。
为什么异常检测算法的排名并不像你想的那么可靠
异常检测算法排名高度不稳定,数据集与超参数选择影响最大,需更大更多样的基准。
重新思考回声状态网络的储备池剪枝:动态视角
提出动态模态剪枝法,基于轨迹平均雅可比矩阵评估神经元对主导转移模态的贡献,剪除冗余,保持或提升预测精度。
一种用于持续多模态大语言模型遗忘的模型合并方法
提出MCU,动态合并多个遗忘适配器,调节跨任务依赖,抑制干扰、增强迁移,实现持续MLLM遗忘并保持效用。
通过对偶价格求导:容量约束下的端到端策略学习
端到端通过对偶价格求导训练分配策略,在容量约束下价值更高且满足可行性,优于决策盲基线。
面向材料发现中可扩展多目标贝叶斯优化的主动学习引导设计空间精炼
主动学习引导设计空间细化协同多目标贝叶斯优化,候选空间减半,超体积保留逾99%,加速收敛、提升帕累托前沿发现。
IMFACT:通过固有模态函数替换的时间序列反事实解释
反事实解释:基于经验模态分解,用异类样本模态函数替换至类别翻转;方差策略三近邻可靠合理最优,循环近邻接近性佳。
关键设计选择:遥感多标签分类的功能方差分析
用功能方差分析量化遥感多标签分类设计选择影响:数据集按属性聚类,大规模看微调与架构,小数据看初始化。
多样化且合理的算法补救:通过易处理的补救分布
提出概率框架,将可行补救空间建模为分布,用概率电路精确表示,无需重训即可采样,兼顾多样性、合理性与可行性。
时间序列基础模型的个性化联邦稀疏适配
针对建筑能耗预测,提出个性化联邦稀疏适配,用时间MoE路由选择专家,优于全局与本地方法,需兼顾客户端与骨干网络。
Cressie–Read散度下分布鲁棒PAC学习的样本复杂度
证明该框架下可实现样本复杂度为ε^{-k_*},不可知情形在1<k<2时为ε^{-k_*},k≥2时仍为ε^{-2}。