层级域泛化
域划分是泛化关键障碍,域结构应视为核心对象。
平坦极小点处常数步长SGD的缩放极限
常数步长SGD在平坦极小点处不变分布呈α^{1/m}缩放,极限分布由SDE给出,m>2时为非高斯。
建筑到建筑:面向可泛化真实世界强化学习的大规模基准
B2B是面向HVAC控制的大规模强化学习基准,支持异构空间与多种适应任务,推动泛化研究。
从世界反馈中学习:为何模型不确定性不能作为基于模型强化学习中的风险信号
学习信号应来自世界反馈而非模型代理;模型不确定性作为安全信号与安全性负相关,使用世界反馈可大幅降低碰撞率。
隐私成本作为权益投入:差分隐私机器学习中的群体公平性准则
提出PCER公平度量,以隐私暴露与收益比例衡量群体公平,揭示隐私保护成本不均衡问题。
多任务学习中的容量与冗余权衡
多任务学习中负迁移源于容量与冗余权衡;CR恒等式与梯度-TC桥接证明聚类共享优于全局共享,有效降低残差耦合。
基于多模态注意力的深度学习在电子健康记录急诊分诊中的应用
提出多模态深度学习架构,利用自注意力融合表格与文本数据,分诊准确率提升1.95%,F1提升2.49%。
图嵌入直觉模糊宽度学习系统:一种多视图框架
提出多视图图嵌入直觉模糊宽度学习系统,融合多视图信息与图结构,增强分类鲁棒性和判别性。
CLDRoute:物理设计中可布线性地图生成的条件潜在扩散方法
CLDRoute将可布线性估计转化为条件生成问题,利用潜在扩散同时输出预测与空间不确定性,在CircuitNet N28上取得优异效果。
从零构建神经网络:实现、评估与优化
本文从零实现神经网络框架,验证正确性与泛化能力,提供教学与研究基线。
基于自监督JEPA与联邦表征学习的早期脓毒症预测框架
自监督JEPA预训练结合XGBoost实现早期脓毒症预测,AUPRC达0.636,时间鲁棒性优于监督模型。
宽度相关的模型超参数与L2正则化对两层ReLU网络损失景观的影响
揭示宽度相关超参数和L2正则化影响损失景观,AdamW防止全局最小值坍塌,正则化降维效应随宽度增强。
专家减半,代码不减:面向编码的混合专家大语言模型一次性领域剪枝
剪掉半数专家,代码能力无损,但策略不通用;困惑度不可靠;微调恢复一半损失;剪枝仅优于低于3比特量化。
BG4Sea:通过渐进信息缩放实现生物地球化学季节可预测性
BG4Sea是全球首个数据驱动的海洋生物地球化学季节预测系统,采用模块化架构,六个月预报优于传统方法。
超越记忆排行榜:科学记忆作为预算化上下文恢复的评估
提出两大科学全文记忆基准,发现协议细节影响排行榜,主张以预算化、模态感知的上下文恢复评估科学记忆。
MultiLoReFT:基于低秩表示微调解耦多模态共享与特定子空间
提出MultiLoReFT,通过低秩微调解耦多模态共享与特定信息,实现高效可解释的多模态学习。
基于单变量基函数的鲁棒损失函数用于噪声标签学习
提出从单变量基函数构造鲁棒多类损失的框架,通过两种方案实现,理论指导设计,实验性能优异。
图神经网络作为供应链优化元模型的潜力:数据集、架构与研究方向
本文提出GNN作为供应链优化元模型,构建数据集并探索架构,开创拓扑梯度优化等新方向。
可解释的基于高斯混合模型的异常与漂移检测
提出可解释GMM检测异常与漂移,自动选分量数,负对数似然评分,未解释质量测漂移,性能强且可解释。
价值单调性的重要性:一种用于深度生存预测的一致性损失
提出价值单调一致性损失(SCL),解决似然损失与C-index不匹配问题,确保损失值可靠反映排序性能,相关性达0.96-0.99。
中文标题:潜在字典学习后的诚实物理支撑推断:碰撞奇点与极小极大分辨率
中文摘要:针对字典学习后的物理支撑不确定性,提出置信对应关系,实现分辨率自适应与诚实推断,指导训练测试分配。
真理方向剖析:小型语言模型中知识依赖的维度、关系法则与收敛的类别几何结构
真理维度知识依赖,已知事实单轴表示,关系法则含注意力与前馈网络对抗,类别几何收敛于知识域。
一阶可预测但成对脆弱:训练Transformer中的局部任务适应
一阶微调局部有效,但成对组合与顺序敏感导致脆弱性,且随模型和任务对变化。
基于无模型认知自由能估计的原则性方向无关内在动机
提出单一内在奖励最大化参数信息增益,驱动探索并抑制噪声,无需显式预测器。
SurvCF(t):预测性维护中多变量时序数据生存分析的反事实解释
提出SurvCF(t)框架,为时序生存模型生成反事实解释,通过优化产生最小、可信的变化延长预测寿命,在多个数据集上验证可操作性。
利用强化学习提升个性化膀胱癌治疗:一种递归患者状态转换决策支持框架
提出递归状态转换与强化学习框架,动态优化膀胱癌治疗决策,实现个性化精准治疗。
TVGL-CFM:利用条件流匹配生成和预测动态网络的时变轨迹
TVGL-CFM直接生成和预测动态网络时变精度矩阵轨迹,比生成原始信号再估计更准确高效。
基于可证间隙的双价格策略用于实时整车货运投标接受(涉及资源重新定位与时钟约束)
提出可证间隙双价格策略,基于拉格朗日松弛实现实时整车货运投标的快速决策与最优性保证,性能优于慢速仿真。
桥接电池设计与健康评估:基于虚拟传感与物理信息学习
提出物理信息学习框架,通过虚拟传感从标准测量推断设计参数,降低寿命预测误差6-8倍,减少容量损失39%,实现部署与开发反馈闭环。
HyBDM:面向时间序列预测的多尺度混合专家与双向依赖建模
HyBDM通过多尺度混合专家分别建模全局与局部模式,双向卷积和局部窗口Transformer实现高效预测。
安全控制器何时能自适应?承诺前的信息
安全自适应控制中,承诺前信息量决定性能,有界则导致线性遗憾。
使用机器学习方法的多囊卵巢综合征(PCOS)诊断研究
采用特征选择和多种机器学习算法诊断PCOS,AdaBoost结合RF特征重要性与最高相关性取得最高测试准确率。
CADENCE:通过覆盖自适应在线策略蒸馏弥合推理差距
CADENCE框架用覆盖自适应蒸馏修复冷启动、散度调度和奖励稀疏问题,将0.5B学生GSM8K准确率提升至69.8%,关闭63.2%教师差距。
贝叶斯滤波变换器相信什么?一种预测性蒙特卡洛方法
用预测性蒙特卡洛方法直接揭示贝叶斯滤波变换器隐含的先验与后验,解释其信念。
可扩展的因果模仿学习
提出两种因果模仿学习算法,结合因果调整与逆强化学习,在长时间高维控制任务中性能显著优于现有方法。
求解器困难并非模型困难:面向LLM约束推理的受控难度诊断
控制密度后LLM约束推理准确度与证明难度脱钩,代理冲突差异51倍但准确度差距仅1.7点。
周期自助汤普森采样用于周期非平稳赌博机问题
PBTS通过周期重置与自助探索,有效处理周期非平稳赌博机问题,显著降低累积遗憾。
可解释机器学习用于空气污染与呼吸健康预测:社会经济亚组分析
可解释ML揭示PM2.5主导呼吸健康预测,无PM2.5时社会经济变量更关键,亚组分析显示收入差异。
反事实沙普利信用分配
提出反事实Shapley信用分配框架,通过φ值精准归因因果,结合优先轨迹回放实现φ-PPO算法,在稀疏因果和高随机性环境中显著提升样本效率。
TurboVec:通过码本无关量化实现企业RAG成本高效私有检索的案例研究
TurboVec采用码本无关量化,4-bit recall比PQ高8.5%,内存比HNSW低4-8倍,租户隔离recall>0.86,隐私攻击准确率近随机。
正则化还是局部化:训练时KV缓存几何结构在量化下的收益时机
直接对KV进行正则化可大幅降低缓存各向异性,在粗粒度量化下显著提升性能,但在精细量化下优势消失。
ChemFusion:用于反应产率预测的多模态交叉注意力网络
ChemFusion融合电子与3D信息,交叉注意力动态关注空间约束,精准预测产率,超越单模态并自主识别位阻。
Apeliotes:基于扩散模型的千米尺度多层大气场建模框架
Apeliotes基于扩散模型实现千米级多层大气场高分辨率预测,垂直风剖面误差低于3%。
鲁棒的阿萨姆语语音识别:通过Whisper模型受控微调实现
本文提出基于Whisper微调的阿萨姆语ASR系统,在低资源环境下显著降低错误率并提升语义评分与实时性。
面向大语言模型后训练的蒸馏强化学习
提出蒸馏强化学习,整合教师监督于RL目标,细粒度指导知识迁移,实验优于标准RL和在线策略蒸馏。
理性化玻尔兹曼理性:熵正则化策略的公理刻画
区分机遇与选择,公理推导出熵正则化策略及软贝尔曼方程,方程选择取决于是否重视自主选择权。
DADIR:一种密度感知的数据级不平衡回归框架
提出DADIR框架,通过密度感知划分、正则化变分自编码器和潜在空间平衡,有效生成合成样本,提升稀疏区域预测性能。
用人类策略解释与调优基于Transformer的大语言模型在算术任务中的表现
发现LLM算术学习模式与人类相似,通过子任务分解和认知赋能策略显著提升准确率,验证了认知过程相似性,增强模型信任。
DynImmune-BERT:基于神经ODE驱动的连续变换器的动态免疫库建模
提出连续时间免疫库模型DynImmune-BERT,通过神经ODE动态和事件感知机制提升纵向TCR库预测性能。
Node4All:超越数据集的节点表示学习
Node4All是无需数据集优化的节点表示学习器,在25个基准上排名第五,支持一次性学习和上下文学习。