11462 条条目 · 106 个活跃源
2026年9月4日
04:00
arXiv cs.LG

现代Transformer是隐式混合体:从功能分化到有原则的混合架构设计

提出头级混合架构HwH:无位置编码的FA负责全局检索,LA负责局部位置建模,显著增强零样本长上下文外推。

04:00
arXiv cs.LG

蒸馏前先验证:面向同策略蒸馏的提示级教师门控

提出提示级教师门控同策略蒸馏:先验证教师可靠性,通过后才使用密集蒸馏,性能全面优于普通同策略蒸馏。

04:00
arXiv cs.LG

无知的几何:大语言模型知道何时对贝叶斯先验调温

发现语言模型输出层的“无知方向”编码单字先验;其载荷因子λ随上下文信息增多而下降,对应温度化贝叶斯更新。

04:00
arXiv cs.LG

尾部似然强化学习

传统强化学习优化平均奖励,忽视稀有高回报;尾似然法最大化奖励超阈值的对数概率,仅需调整优势函数。

04:00
arXiv cs.LG

中文标题

摘要:提出物理信息图注意力网络,直接在网格上预测电势和准费米能级,比全仿真快多个数量级,支持大规模器件设计探索。

04:00
arXiv cs.LG

评估图神经网络用于海图变更关键性分类

提出将电子海图矢量数据建模为图,用GNN分类变更对航行安全是否关键,实验证明图表示提升海图更新分类效果,可扩展维护流程。

04:00
arXiv cs.LG

TRACE:用于颗粒动力学的时空接触记忆图网络模拟器

提出图网络模拟器,将接触历史存于边上,精准模拟崩塌过程,误差大幅降低,速度提升约十倍。

04:00
arXiv cs.LG

有限库输入扭曲核的无遗憾贝叶斯优化

提出有限库输入扭曲贝叶斯优化,自适应几何加速学习,保留收敛保证;在失配几何上优于原始GP-UCB。

04:00
arXiv cs.LG

前沿大语言模型是高效的批量优化器:连续与离散场景下推理模型的评估

前沿推理模型在批量优化中:数值函数上零样本尚可但脆弱,语义丰富的离散空间显著更优。

04:00
arXiv cs.LG

因果基础模型

因果基础模型将预训练范式用于因果推断,通过上下文学习在新数据上估计处理效应,无需微调。

04:00
arXiv cs.LG

ObserverBench:检验用于干预与控制的机制性估计

观察者基准:区分估计准确性与行动损失,检验可解释性方法所驱动的干预控制。

04:00
arXiv cs.LG

LeanStream:一种推测与精炼的流式框架,用于高效的设备端大语言模型推理

提出LeanStream流式框架,利用部分GPU结果渐进优化计算与I/O重叠,降低内存4.8-7.5倍,提升生成速度1.6-2.1倍。

04:00
arXiv cs.LG

核重启:突破神经正切核对神经场的界限

提出三种算法与融合方法,使神经场非线性且可元学习,实现稀疏观测下高质量重建与语义修复。

04:00
arXiv cs.LG

梯度不感知秩:ProsQA上Matrix-CODI的秩无关性

矩阵CODI对秩不敏感:秩k截断精度平坦,多种读出皆然;负对照表明秩k消融混淆秩盲与位置无关性。

04:00
arXiv cs.LG

规模化定律、表格数据与精算定价模型

深度学习缩放规律在精算定价中不显著,模型提升依赖数据而非参数量,架构与目标设计更重要。

04:00
arXiv cs.LG

路由不够:诊断MoE+LoRA微调中的适配器子空间争用

多领域微调中,路由分离不足以防止负迁移,干扰源于低秩适配器子空间内的梯度竞争。动态添加门控子适配器可有效缓解。

04:00
arXiv cs.LG

神经算子的可学习组合

子域预训练后冻结,仅训练轻量组合模块;适应新域后达西流误差降36%-56%,俯仰翼型流动预测亦改善。

04:00
arXiv cs.LG

蒸馏深度光流立体方法以反演密集三维风场

用深度光流立体匹配,蒸馏多卫星模型为单卫星,全球反演密集三维风场;水汽波段优于业务风矢,长波红外退化。

04:00
arXiv cs.LG

语言编码网络拓扑使大语言模型能够推理复杂网络

将网络拓扑编译为可解释的结构角色语言,显著提升大模型推理网络问题的能力,并在生物网络中揭示关键基因组织。

04:00
arXiv cs.LG

跨合成数据生成器家族的可移植因果公平性

因果公平机制可移植至三类九种合成生成器,新扩散模型最公平,隐私保护不损公平性,保真度几乎不变。

04:00
arXiv cs.LG

FlowBalance:基于验证器的在策略推理经验自改进

提出FlowBalance:以验证器优势校准自引导,用轨迹平衡拟合目标分布,提升数学推理,训练更快更稳,避免响应长度坍缩。

04:00
arXiv cs.LG

DE-Venus:面向大语言模型的数据高效RLVR框架

提出DE-Venus框架,通过主动数据选择、弱监督构建和训练时监督精炼,用10%标签或13%数据保持模型质量,并减少63%-75%收敛步数。

04:00
arXiv cs.LG

B2B客户转化预测:文档表示、图论与CatBoost驱动的方法

基于文档表示与图论聚类公司名,借助CatBoost模型预测B2B客户转化,准确率91%,助力个性化营销。

04:00
arXiv cs.LG

选择性超图精化用于冻结图聚类

提出选择性超图精化(SHR)后处理方法,不改模型与图结构,仅精化冻结聚类结果,平均宏增益0.066个百分点,仅0.209%赋值改变。

04:00
arXiv cs.LG

2026年PNPL竞赛:LibriBrain100中的词汇分类与高效跨受试者泛化

PNPL 2026大赛聚焦词汇分类,双赛道分别优化个体内精度与高效跨受试者泛化,最少只需10分钟数据。

04:00
arXiv cs.LG

基于强化学习与不确定性量化的配电网最优运行风险与异常识别

提出不确定性感知的深度强化学习框架,区分偶然与认知不确定性,分别识别配电网固有风险与分布外异常。

04:00
arXiv cs.LG

基于自适应谱带宽控制的几何感知图构建

针对固定带宽导致谱失真,按节点匹配核有效秩与局部本征维数来设定自适应带宽,从而提升图方法的分类与传播精度。

04:00
arXiv cs.LG

借助世界模型的潜能量动作规划

潜能量动作规划将整段动作作为可微变量,冻结世界模型优化终态目标匹配与能量,成功率提升17.3个百分点

04:00
arXiv cs.LG

问题在于预算而非路径:LLM推理轨迹中的预算与难度混淆

研究发现推理轨迹中的“突破”多为预算效应;加入难度对照后,178例中仅1例真为前缀受限,早期信号无结果信息。

04:00
arXiv cs.LG

从零到英雄:开放的亚美尼亚语大语言模型生态系统

公开首个可复现的亚美尼亚语LLM,含验证语料与翻译STEM数据,持续预训练后全面超越现有模型,并揭露语料泄漏问题。

04:00
arXiv cs.LG

无时间步进:通过自洽性模拟耦合动力系统

将耦合系统模拟转化为轨迹不动点问题,以十次内牛顿迭代替代逐步积分;隐式梯度保持正确,谱半径可预测收敛。

04:00
arXiv cs.LG

梯度知晓结果所不知:以梯度对齐奖励解锁大语言模型推理的强化学习

提出梯度对齐奖励:以策略梯度与专家锚梯度的余弦相似度作稠密奖励,低开销,超越既有基线并可泛化。

04:00
arXiv cs.LG

RecurTrace:带循环时间记忆的自适应潜在推理

重复中间层可提升推理,但现有方法无法访问早前计算且循环数固定。RecurTrace用循环记忆注意力访问历史状态,并自适应决定循环次数,准确率超最优固定深度2.2点。

04:00
arXiv cs.LG

SimpleDesign:蛋白质序列与结构协同设计的联合模型

新模型直接在数据空间端到端联合训练序列与结构,采用混合多模态架构,在蛋白质协同设计与无条件生成中表现优异。

04:00
arXiv cs.LG

TIGPO:面向长时程LLM智能体的时序实例图策略优化

TIGPO跨策略更新维护持久实例图,借助探索与重访形成跨时参照,优化长时程智能体信用分配,优于现有方法。

04:00
arXiv cs.LG

推断生成过程多样性预测跨语言模型的关联失败

推断的生成过程多样性(以归一化压缩距离度量)可预测模型对的关联失败,且该效应独立于语义相似性与能力。

04:00
arXiv cs.LG

大型开放多能量土壤击实试验数据集及机器学习基线

发布含近三千项多能量击实试验的开放数据集建立机器学习基线预测最大干密度与最优含水率R²约0.82

04:00
arXiv cs.LG

TraveL:基于Transformer的多视角路径分布表示学习

提出一种基于注意力机制的多视角路径分布表示学习,刻画出行者行为与区域关联,在多个任务上优于现有方法。

04:00
arXiv cs.LG

自编码器参数作为数据向量表示的谱特征

自编码器参数矩阵的谱特征可作数据向量表示,理论与实验证明其与数据协方差相关,能区分不同子集模型。

04:00
arXiv cs.LG

用于多维物联网流量数据异常检测的对抗式零样本学习方法

提出对抗学习与对比损失的序列VAE框架,实现零样本跨域异常检测,无需标签,44个迁移场景中验证有效。

04:00
arXiv cs.LG

耦合缩放:神经缩放定律的表征可及性框架

提出耦合缩放框架:有限预算缩放取决于任务结构与架构-优化可达几何,而非仅数据几何。

04:00
arXiv cs.LG

超越直线性:基于分位数对齐树耦合的无交叉流匹配

提出分位数对齐树耦合(QAT-FM),构建高效分层耦合,避免路径交叉,降低构建成本,提升生成性能。

04:00
arXiv cs.LG

面向私有云CPU负载预测的两阶段预测系统

提出两阶段模型:先预测事务量(TPS),再据此预测CPU负载,采用级联XGBoost与自适应重训练,在私有云真实数据上误差低于7%,优于直接预测。

04:00
arXiv cs.LG

谨防差距:PII检测系统中的鲁棒性风险

研究表明,PII检测系统在标准基准下表现优异,但面对真实分布偏移时严重失效,不同架构各有缺陷,需混合方案应对。

04:00
arXiv cs.LG

LongCounsel-8: A Benchmark Suite for Longitudinal Depression Tracking from Multi-Session Counseling Dialogues

04:00
arXiv cs.LG

高斯宽度之外的受限特征值:重尾下的阈值占据

重尾下受限特征值界不由高斯宽度决定,而受阈值占据限制;样本复杂度与阈值VC维相关,各向同性亦失效。

04:00
arXiv cs.LG

引导而非束缚:可废止先验为何在增广拉格朗日因果发现中失效

可废止先验在增广拉格朗日因果发现中失败:惩罚阶梯抑制真边,相关目标混淆因果方向。

04:00
arXiv cs.LG

LeanGRPO:消除扩散强化学习中的冗余重计算

LeanGRPO重排数据并行并引入两种免重算调度,消除扩散强化学习冗余重算,实现最高1.83倍加速且不损原目标。

04:00
arXiv cs.LG

From Nowcasting to Forecasting: Adapting a Reanalysis-Trained

04:00
arXiv cs.LG

Extracting Forgotten Prompts from Targeted Unlearned Models