SALT-GNN:利用统计感知注意力应对反洗钱图中的密集邻域问题
SALT-GNN融合度感知统计聚合与注意力,提升反洗钱密集邻域检测,F1提升3-20点。
非齐次随机图中的距离保持嵌入
非齐次随机图中地标嵌入实现更紧维度-失真折衷,GNN变体泛化至真实网络。
MLP是赫布型:为Transformer构建高效事实存储的MLP
提出首个兼容Transformer的事实存储MLP构造,实现最优存储容量,参数需求减少10倍以上。
TabLoRA:面向大规模表格数据的参数高效低秩集成学习
TabLoRA通过共享骨干与低秩适应实现参数高效集成,在大规模表格数据上平衡性能与效率。
GAE:基于图增强进化的强化优化科学发现
GAE框架通过图神经网络、强化学习元控制器与在线微调,突破进化搜索瓶颈,实现符号回归的SOTA性能。
扩散模型的守恒律
基于GEXIT函数,扩散模型交叉熵可积分为噪声路径信息论导数,统一离散与连续似然,训练即学习边缘后验。
能量引导的递归模型
ERM利用Hopfield能量选择候选轨迹,在数独等任务达最优(98.97%),提升递归推理效率。
轻量级隐式神经表征的误差感知分布预测
通过将回归训练转化为分类任务并离散化目标,实现分布建模,兼顾重建质量与误差感知。
数据不平衡的益处:通过捷径饱和实现鲁棒泛化
数据不平衡通过捷径饱和促进强模型鲁棒泛化,实验显示两层Transformer在r=0.9时77%种子达100%准确率。
RDQ:面向大语言模型的残差分布量化
提出残差分布量化(RDQ)和级联误差补偿,在W3/W4精度下实现大模型量化最优,零推理开销。
LeRoPE:可学习的RoPE频率提升语言建模
通过将RoPE频率改为可学习参数,训练52M至2.5B参数模型,性能一致优于RoPE,且节省3.4%算力。
超越欧几里得裁剪:通过黎曼等距策略优化克服LLM强化学习中的探索崩溃
RIPO通过黎曼等距更新纠正PPO-Clip几何缺陷,平衡探索与利用,性能大幅提升(如AIME24提高60%)。
大语言模型作为陪审团:跨模型共识可超越过程奖励模型在大语言模型推理中的表现
跨模型共识利用独立模型错误不相关,无需训练,在数学推理上超越自一致性,接近最优,但共享错误构成上限。
知识条件化、单次LLM合成可执行Unity游戏场景:基于26个目标可玩概念的编译器错误普查
单次生成无成功案例,错误普查揭示引擎知识缺失是瓶颈。
PhysMRV:面向物理合理性推理的物理记忆检索与验证
提出无训练物理记忆验证框架PhysMRV,将视频转为分层记忆库,检索结构化知识引导模型推理,提升物理合理性推理性能。
深度何时在组合中幸存?潜在世界模型中的计算-质量区间
深度效用分三种区间:有益、反转(浅层胜深层)、平坦。反转由训练造成,形成可路由性两难。
拉曼光谱生成式增强用于胶质瘤分类
利用条件VAE生成合成拉曼光谱,增强小样本数据集,提升胶质瘤分类性能。
微分神经正切核及其正定性
提出微分神经正切核框架,证明其正定性,为物理信息神经网络训练分析奠定基础。
跨模型价值比较中的两个混淆因素:响应确定性与访问接口
跨模型价值比较受响应确定性与访问接口双重混淆影响,需纠正方能准确评估。
中文标题:基于独特信息的上下文:一种用于长冗余上下文流的可审计狄利克雷过程工作记忆
中文摘要:提出按新颖性分配缓存的工作记忆,使记忆随独特项而非标记数增长,以更低成本匹配全注意力性能。
数据驱动的电信营销优化:基于机器学习的流失预测与客户细分框架
提出融合流失预测与价值细分的营销框架,用CatBoost模型分四簇定制策略,提升利润。
深度学习模型在农业部门气象参数预测中的探索性分析
混合CNN-GRU模型在气象预测得分最高,但CNN-LSTM参数更少且效果相近;卷积特征提取对短期预测更有利。
DSSMs: 通过延迟微分方程实现显式记忆的状态空间模型
提出延迟状态空间模型(DSSM),用延迟微分方程扩展对角SSM,解决长程上下文检索难题,在延迟任务上大幅提升。
鲁棒音频感知赋能长程全模态理解
提出解耦音频-视觉的AVDC数据集及CoT问答集,两阶段训练显著提升全模态理解性能。
潜世界模型中可预测性的控制理论
规划器次优性由预测与真实计划成本差异决定,而非数据平均误差;差异分流形内残差和流形外散度。
Sharper Analysis of Single-Loop Methods for Bilevel Optimization
M1辐射传输的双曲神经闭包
提出双曲神经闭包,通过参数化Jacobian保证实特征值,提高M1辐射传输闭包精度与稳定性。
解读自编码器的学习动力学:伊辛模型中的瞬态标度与涌现概念
自编码器学习伊辛模型微观配置,揭示磁化与能量主导的两动态区域,瞬态标度及预测误差流场形成共同轨迹拓扑。
基于机器学习的核结构材料小尺寸与标准尺寸夏比冲击性能关联
提出ML框架,通过温度偏移和残差投影关联大小试样夏比冲击数据,准确预测USE和DBTT,R²达0.942和0.892。
流形上丛值统计量的尖锐集中界
提出流形上传输观测值的统计量集中界,揭示曲率驱动的不可消除误差下界,并建立偏差-方差分解。
时间索引输入下生存模型行政删失的陷阱
行政截止泄漏会虚高预测性能,设计时需确保输入后有至少n年随访以避免偏差。
从噪声中学习:受限玻尔兹曼机中的有效秩坍塌与分布外拒绝
随机噪声辅助训练使RBM有效秩坍塌,提升分布外拒绝性能,同时保持分类精度。
LLM-PDESR: 基于子域加权残差和LLM引导的符号假设生成的鲁棒PDE发现
提出LLM-PDESR框架,用五次样条和子域加权残差抗噪,结合LLM迭代优化,显著提升PDE发现鲁棒性。
基于动态图局部游走的学习与赌徒反馈
研究动态图上局部移动的强盗算法,利用滑动窗口混合条件实现亚线性遗憾。
MemDecay:面向高效LLM智能体推理的区域感知KV缓存驱逐策略
提出MemDecay,利用区域感知优先级与衰减率管理KV缓存,在固定预算内保留关键区域,提升推理效率。
黎曼激活引导的条件最优桥
Cobras将激活引导建模为薛定谔桥,首次从优化问题推导对数密度比目标并实现查询自适应,显著优于现有方法且避免OOD退化。
基于可验证物理的强化学习:使用连续奖励后训练大型语言模型
RLVP框架用混合验证器后训练LLM生成PDE求解器,性能提升且零样本迁移。
ARMOR:利用离策锚点样本稳定在策略大语言模型强化学习
提出ARMOR框架,通过离策锚点样本和混合优化,缓解验证崩溃,提升LLM强化学习稳定性。
EvidentialRAG:基于证据深度学习量化与缓解多源检索增强生成中的信息冲突
ERAG框架将检索分块转为概率证据,通过Dempster-Shafer融合保留冲突为认知不确定性,根据不确定性路由生成,显著减少幻觉并提升冲突解决率。
层归一化作为循环Transformer中的隐式增益控制
层归一化通过谱边际控制循环Transformer稳定性,线性携带起稳定而非记忆作用。
现代化HEBO:针对实际异方差和非平稳问题的稳健贝叶斯优化基线
提出tidyHEBO模型,在合成与实验任务中表现强劲且鲁棒,作为实用工具和基准。
骨架拆分掩盖了ADMET模型中的结构前沿失败
发现结构前沿拆分使ADMET模型误差中位数增87%,均值增130%,现有训练惩罚无法解决。
从自注意力到连接拉普拉斯:Transformer的统一算子视角
论文统一自注意力与连接拉普拉斯算子,证明注意力为连接游走,揭示深层几何结构,提供算子分析工具。
论多模态表示学习中的模态间隙与对比损失
研究发现CLIP模态间隙源于InfoNCE低温失效,提出xNCE引入模态内外负对,缩小间隙并提升零样本分类性能。
在资源限制下学习微调基础模型
研究资源受限下基础模型最优微调策略,用强化学习决定何时微调,仅需25%步骤达97%全参数微调准确率。
M+Adam: Low-Precision Training via Additive-Multiplicative Optimization
AutoNorm: 通过可微分门控理解Transformer中的自适应归一化
AutoNorm-S通过门控冻结策略解决可微分归一化门控的优化不稳定性,在语言和视觉任务上实现更优的自适应归一化性能。
modelDNA:基于采样权重指纹的校准谱系验证与合并分解
通过采样权重指纹进行谱系验证和合并分解,实现零误报的父模型归因与混合权重恢复。
可解释机器学习中的构念重叠审计:来自跨学生群体的倦怠-抑郁预测证据
构念重叠造成模型虚假稳定性,残差化实验揭示机制,强调XAI研究应检查此问题。