通过贝叶斯引导的决策景观探索测试神经网络
提出BayesWarp框架,利用贝叶斯优化引导测试,发现多样故障并保持数据邻近,提升测试效果与模型性能。
OpenRFM:剖析关系上下文学习
OpenRFM通过双阶段ICL和同质性预训练,解决标签稀疏问题,性能提升30%,超越商业模型。
MeshTok: 面向可扩展PDE Transformer的高效多尺度分词化
提出MeshTok,用自适应网格细化生成多尺度token,提升偏微分方程建模的效率与精度。
面向隐私保护的多中心脓毒症早期预测的联邦学习
联邦学习实现多中心脓毒症早期预测,精度接近集中式,且有效保护隐私,抗数据重建攻击。
再探选择性释放DPSGD中子采样隐私放大
针对DPSUR隐私分析缺陷,提出DPSR-CG算法,实现严格隐私与高性能。
从符号到几何:赋予大语言模型空间推理能力
SLM模型首次将位置信息作为独立模态,实现几何空间推理,显著优于符号推理方法。
DP-SGD中何时更少的坐标足够?
提出TP-TopK两阶段私有训练,仅更新活跃坐标,使噪声与活跃维度k成正比,提升效率。
期望与现实:条件不确定性下MSE最优预测的代价
条件不确定性下,MSE最优预测牺牲边际现实主义;小幅放松MSE(≤5%)可大幅提升现实主义,中位数改善17.3%。
文献引导的虚拟癫痫神经刺激的极小化极大优化
结合文献与大语言模型,优化癫痫神经刺激的最坏情况表现,内部参数优化提升39.8%,为鲁棒设计提供概念验证。
双层神经网络中平稳高原的几何刻画
通过内Hessian矩阵揭示神经元分裂中局部最小值可产生鞍点,分裂鞍点总产生鞍点高原。
连续时间鲁棒马尔可夫决策过程的策略梯度
提出连续时间鲁棒MDP策略梯度算法,推导梯度公式,双循环与平均场优化器实现线性收敛和高效样本复杂度。
衡量关键要素:概念瓶颈模型的合成基准
本文开发概念瓶颈模型的合成基准,可控数据属性,用于评估模型并诊断失败模式。
实约束神经网络在复数空间中的局限性与存储容量
发现复假设类中实预激活与复预激活的存储容量渐近比,基于Gardner体积比较和HCIZ公式获得鲁棒近似。
DPDL: 面向非独立同分布数据的去中心化随机学习中的差分隐私保护
提出DPDL算法,利用差分隐私和相似性校准,在非独立同分布数据下实现去中心化学习隐私保护并保证线性加速。
TANDEM:基于孪生网络的双层数据混合优化
TANDEM通过孪生网络差异衡量数据效能,优化领域混合比例,提升性能并提供理论保证。
物理信息神经网络模拟生物降解污染物通过GCL/SL复合衬垫的运移
提出两域物理信息神经网络框架,硬约束PINN较标准PINN更准确稳定(MAE降至0.011-0.023,MRE降至2.08%-3.14%),并用于逆建模识别降解半衰期。
LoopMoE:融合迭代计算与混合专家模型的语言建模
LoopMoE融合迭代计算与MoE,等预算下性能优于标准MoE,3B规模平均提升超1点。
尺度不变Transformer中Grokking的低秩衰减:一种谱几何视角
提出低秩衰减(LRD)方法,通过核范数谱正则化压缩奇异值,加速尺度不变Transformer中的Grokking现象。
中文标题:一种基于差分进化与梯度下降优化的集成潜因子模型
中文摘要:融合差分进化与梯度下降的潜因子模型,自适应加权集成,提升高维不完整数据表示的全面性与无偏性,性能优于现有模型。
仅帮助性微调的(错误)泛化
仅帮助性微调存在错误泛化,导致错误对齐、残留拒绝等问题,可通过合成文档微调和性格训练缓解。
多组转导学习的代价
多组转导学习误差率惩罚随组数线性增加,可达样本量平方根,与统计设置不同。
参数化偏微分方程族的损失条件PINNs
LC-PINN将损失权重或物理系数作为输入,训练参数化PDE的连续解族,单模型性能匹配或优于多次重新训练的PINN,总成本更低。
RowNet:用于表格回归的记忆Transformer
RowNet通过记忆库检索相似属性,利用两层注意力与混合专家模块,精准预测房地产单价。
ParetoPilot:基于推断-扰动-引导扩散的零代理离线多目标优化方法
ParetoPilot提出零代理扩散框架,利用预训练模型条件先验,通过IPG引擎实现高效离线多目标优化,性能优于14种基线方法。
GRPO的轨迹级优势优先经验回放
提出轨迹级优势优先经验回放,通过年龄驱逐和新鲜锚定提升GRPO样本效率,在数学基准上最高提升4.35个百分点。
LimiX-2M:缓解表格基础模型中的低秩坍缩与注意力瓶颈
提出RaBEL与S→N→F的tokenize-and-route框架,构建2M参数LimiX-2M,超越TabPFN-v2等大模型并降低成本。
关于UMAP中的样本外嵌入
UMAP将新点置于聚类边缘,优化k近邻交互与参数化可克服,参数化UMAP在复杂数据上表现更优。
ChessMimic:针对在线闪电象棋中人类走子、计时和结果预测的分等级Transformer模型
分等级Transformer预测人类走子、计时和结果,性能优于Maia系列,结果AUC达0.78。
面向合作多智能体强化学习的情景记忆时间一致性
提出EMTC框架,利用时间一致语义嵌入与门控机制,克服奖励稀疏与表示坍塌,在SMAC和GRF上胜率提升高达24%。
暗夜中的智慧选择:通过追踪元认知枢轴实现高效推理RLVR
PivotTrace利用注意力动态追踪元认知枢轴量化不确定性,自动化数据分流,仅用29.3%标注数据实现超越全监督性能。
GeoMin: 基于几何分布建模的数据高效半监督RLVR
GeoMin建模标注数据几何分布解码正确/错误结构差异,仅用10%标注超越全监督,提升4.1%。
两层同时学习:ReLU网络表示线性模型的训练动态
研究单隐层ReLU网络联合训练两层的梯度下降动态,证明从随机初始化线性收敛至全局最优,样本复杂度最优。
面向深度无监督领域适应的精确模型选择
提出DEV方法,嵌入适应特征实现目标风险无偏估计,降低方差,有效解决模型选择偏差问题。
SurvPFN:面向生存预测的基础模型
SurvPFN通过分布回归处理删失数据,预训练于合成任务,实现高效生存预测,无需数据集特定调整。
基于辛嵌入逼近定理的辛模型降阶学习
提出辛保持自编码器,基于辛嵌入逼近定理,精确保持辛结构,提升高维哈密顿系统长期预测精度。
VentAgent:当大语言模型学会呼吸——ARDS通气的多目标仲裁
VentAgent利用大语言模型作为透明仲裁者,通过多目标仲裁实现ARDS机械通气的可解释决策,优于现有方法。
ALINC:通过图采样的归纳式节点分类主动学习
提出ALINC框架,以图采样实现归纳节点分类的主动学习,解决选择整图而非单节点问题,聚合方法至关重要。
可解释的安全强化学习
提出分层决策树解释屏蔽策略,通过风险分类和本地化解释增强可解释性,决策树规模大幅减小。
Muon何以超越Adam:曲率视角下的解析
Muon优于Adam源于更低的归一化方向锐度(NDS),减少曲率惩罚,数据不平衡与层内曲率贡献关键。
HalfNet:具有学习子空间几何的随机神经网络
HalfNet学习权重分布几何,用更少参数达到全连接网络性能,精度随秩平滑缩放。
基于深度强化学习的加密货币市场动态多对交易策略
DRL增强加密货币配对交易,分层筛选与固定风险模型优于基准,风险调整收益在10%水平显著。
通过Fisher信息度量模型鲁棒性:谱界、理论保证与实用算法
基于Fisher信息谱范数的鲁棒性度量,推导谱界与高效算法,实验显示与对抗脆弱性强相关,是可解释诊断工具。
基于深度条件循环变压器的ASR测试时计算缩放
LARM将循环编码器深度作为可控测试时计算轴,通过CTC、FiLM等结构,随推理循环增加改善WER,性能媲美深基线。
对比学习与相关性聚类在网络望远镜数据序列中的应用
无需预训练和标注,通过对比学习嵌入网络流序列,并用相关性聚类识别同源扫描器,实验验证聚类与标签一致。
曲面感知动态精度方法用于物理信息神经网络
提出曲率感知动态精度法,自适应切换FP32/FP64,精度与全双精度相当,训练时间显著降低。
多通道信号变换器输入编码器的实证审计
实证审计八种输入编码器,标准线性投影与高级方法性能相近,建议默认使用。
迹介导的峰值偏差:连接深度强化学习中的时间信用分配与认知启发式
深度RL中存在迹介导峰值偏差,导致偏好高回报峰值而非高累计回报,解释人类峰值-结尾规则,自适应优化可纠正。
超越结构对称性:通过神经元可识别性实现线性模式连通性
提出有效函数类理论,证明神经元可识别性实现表示合并与线性低损失路径,揭示近似等价解的存在。
高维有序最优传输的锥兼容Monge几何
提出锥兼容Monge几何,给出平方马氏成本兼容性的尖锥条件,实现锥链测度闭式最优传输。
UniFair:基于分离度与紧凑性的统一公平聚类方法
提出UniFair框架,联合优化分离公平性与社会公平性,降低群体差异,聚类损失增幅小。