概念分配区:追踪概念在Transformer深度中的形成过程
概念跨连续深度区间逐步形成,概念分配区通过层度量追踪,经34个模型验证支持跨架构对齐。
感知-物理悖论:利用TC-Bench探究科学对齐
视觉模型存在感知-物理悖论,科学对齐要求结构同构,TC-Bench揭示模型依赖视觉捷径,极端条件下失效。
解缠双机器学习实现精确因果效应估计
提出解缠双机器学习(DDML),通过因果角色解缠和残差依赖正交化,显著提升因果效应估计精度,优于13种基线模型。
CONF-KV: 置信度感知的KV缓存淘汰与混合精度存储,用于长程大语言模型
CONF-KV利用模型置信度动态淘汰KV缓存,混合精度存储,长序列下保持低内存,检索准确率91.4%,内存降低2.8倍。
DriftingMol:面向单次属性条件分子生成的解码器耦合漂移
提出解码器耦合漂移框架DriftingMol,实现单次属性条件分子生成,在ZINC250K上QED相关系数0.493、唯一性94.7%,是一种低成本有效机制。
跨域能量引导扩散生成用于异动态强化学习
提出CEDGE框架,以能量引导将源域扩散模型适配目标动态,生成轨迹用于规划与策略学习,解决覆盖不足与累积误差。
T2S-MPC:面向时变动态的时间嵌入在线自适应模型预测控制
提出T2S-MPC框架,通过时间嵌入和两时间尺度更新在线学习残差模型,自适应时变动态,提升控制性能。
小脑,大影响:仅用少量提示揭示大语言模型的关键神经元
发现LLM关键神经元,仅更新它们微调即可媲美全参数微调,并更好保留其他能力。
时间替代模型准确性与滚动稳定性的比较研究
公平比较多种模型,发现积分器式更新的模型长期滚动更稳定、预测更准确。
可解释的视网膜成像用于预测2型糖尿病多器官功能障碍
利用实验室生物标志物和机器学习预测2型糖尿病多系统异常,梯度提升模型AUC=1.000,SHAP揭示高血糖、肾功能障碍等关键驱动因素。
超越表格型MDP的熵正则化softmax策略梯度全局线性收敛
连续空间无限时域熵正则化MDP中,log-linear softmax策略梯度全局线性收敛,依赖特征非退化条件。
分解以泛化:检索引导的不变-动态分解用于时间序列预测
提出检索引导的不变-动态分解框架,分解序列为稳定与动态成分并分别预测融合,增强分布偏移鲁棒性和零样本性能。
异构数据集下跨域离线强化学习中价值对齐与价值分配的统一
针对跨域离线强化学习中的价值分配错误问题,提出V2A方法整合对齐与分配,显著提升性能。
共享分数的四元数自注意力
提出共享分数的四元数自注意力,减少75%乘法及软max次数,理论证明等价性,在语音增强等任务中提速44%以上。
高效的随机裁剪DP-SGD用于大型语言模型
提出DP-SGD-RC,利用随机迹估计减少内存和计算,在保持隐私和效用下高效微调大模型。
面向局部覆盖的聚类频率共形预测
提出CFCP框架,通过聚类频率自适应局部结构,提升多类分类共形预测的类覆盖可靠性。
BandVQ: 频带级矢量量化的脑电图基础模型
BandVQ分解EEG为五频带,独立训练VQ-VAE,共享Transformer预训练,在71个语料库上预训练,于认知任务取得最佳结果。
论类别不平衡对深度神经网络学习动态的影响:直观见解
类别不平衡使DNN早期只学多数类而欠拟合少数类,后续虽学习少数类但仅为过拟合,泛化性能差。
TGFormer:面向具有自相关机制的时间图Transformer
TGFormer提出自相关机制,在时间图学习中高效捕捉周期依赖,精度提升达9.35%。
黎曼流形操控:基于几何感知的生成式自编码器实现无标签操控
提出黎曼流形框架,利用Hellinger距离度量学习无标签操控,无需预设条件,轨迹更自然。
关于强化学习挑战的流体力学环境视角
以流体力学非线性不稳定性为试验台,开发强化学习方法应对高维动态环境交互挑战。
MedMamba: 基于自适应图学习的多视角状态空间模型用于医学时间序列分类
MedMamba通过多尺度卷积、差分编码与自适应图学习,线性复杂度下实现医学时间序列分类SOTA。
OSDTW:长尾识别中的最优共享深度与任务权重
提出OSDTW任务分解框架,通过共享深度和任务权重优化长尾识别,三阶段训练和二阶泛化误差分解实现超参搜索,实验有效。
RealBench:在业务运行条件和极端事件挑战下对数据驱动数值天气预报的基准测试
RealBench采用真实业务数据与极端事件指标,揭示再分析评估与真实预报性能的显著差异,提供更可信的基准范式。
通过不确定性触发的特征路径探索实现点击率预测的选择性测试时计算扩展
提出UTTSI框架,自适应扩展推理深度,在线点击率提升5.3%。
共形预测中非一致性评分函数的基准测试
对比非一致性评分函数,提出评估预测集大小的方法,并探讨类别不平衡下的表现。
通过对齐约束缓解PINNs中的梯度病理
提出CAML方法,通过对齐约束和延迟因子缓解PINNs梯度冲突,提升复杂问题数值稳定性与效率。
基于多源数据的城市规模弹性可信交通流推断
TA-ANP框架融合多源数据实现高精度可信交通状态推断,构建MMTD数据集,验证其弹性与性能领先。
阻塞吉布斯采样遇上扩散Transformer:面向约束优化的无监督学习
将阻塞吉布斯采样与扩散Transformer结合,通过迭代块重采样解决约束优化问题,效果优于现有方法。
Courant:一种具有局部支持和可解释场分解的状态自适应基于感知器的神经代理模型
基于感知器的代理模型实现状态自适应局部支持与可解释场分解,类似hp自适应,经L2损失训练。
利用规范自由度学习随机系统的非梯度群体动力学
提出NGIF算法,通过弱形式连续性方程推断非梯度动力学,提升分布精度并捕捉非势输运。
按需缩放:自适应神经元级混合精度量化感知训练
提出NMP-QAT方法,让神经元按需独立学习精度,实现更优的压缩-精度权衡,适用于边缘AI部署。
MimirRAG:一种集成元数据、用于金融数据检索的多智能体RAG框架
MimirRAG通过元数据集成与表格感知分块,在金融数据检索中达89.3%准确率,优于基准。
GL-LFGNN:基于Liang-Kleeman信息流的全局-局部双分支因果图神经网络用于脑电情绪识别
提出基于Liang-Kleeman信息流的因果图神经网络,双分支融合全局与局部,以极少参数在MEEG上取得86%+精度,增强可解释性与效率。
重新审视预传播GNN:鲁棒扩散算子与隐藏状态再传播
提出鲁棒扩散算子和隐藏状态再传播,使预传播GNN在保持训练效率的同时匹配消息传递GNN的准确率。
强化学习用于激光增材制造扫描顺序优化:一种用于奖励和世界模型诊断的双层代理-有限元分析诊断框架
提出双层代理-有限元分析诊断框架,发现廉价代理指标仅捕获部分热力学目标,与FEA参考弱相关,需稀疏FEA信号校准。
在基尼度量空间中优化多维缩放
基尼MDS引入基于值和排名的伪距离,抗噪抗离群,PyTorch加速,噪声数据优于欧氏MDS。
通过信任区域迭代扭曲序贯蒙特卡洛的扩散模型推理时对齐
提出TRI-TSMC方法,通过信任区域迭代学习扭曲函数,降低推理时对齐方差,提升粒子效率,在文本和图像生成上表现更优。
读取捷径:位置数字复制主导小语言模型算术思维链读取
小语言模型的算术思维链主要靠复制末尾数字的位置捷径,而非逻辑推理,正确率高达89-92%。
潜在缓存流:无需文本的模型间通信
LCF通过联合压缩KV缓存适配器(仅为C2C的4%),传输新信息摘要,实现更高效准确的模型间通信,比文本快8.5倍、准确率高23%。
张量缓存:基于逐出条件的Transformer关联记忆
提出Tensor Cache两级缓存,L1滑动窗口注意力,L2外积记忆压缩逐出键值对,门控融合,提升长上下文建模质量。
基于自模态连通性流形表示遗忘的近似机器反学习
提出ManiF-SMC,通过将擦除样本推离原始流形中心、朝向保留语义邻居实现近似遗忘,仅操作表示空间,效果媲美最先进方法。
MedExpMem:适应经验记忆用于鉴别诊断
提出经验记忆框架,将诊断失败经验组织为成对鉴别笔记,两阶段构建,引导新病例推理,放射学准确率提升最高7.0%。
大语言模型何时进行推理?基于熵相变的动力系统视角
LLM推理并非默认有益,早期熵动态可指示是否需要推理,EDRM框架据此自适应选择策略,减少41-55% token并提升准确率。
WeCon:面向多目标组合优化问题的高效权重条件神经求解器
提出WeCon求解器,通过门控残差融合与高效偏好优化,在保持最优超体积同时减少40%推理时间。
FusionSense:面向运行时自适应多模态边缘智能的三阶段近传感器学习
FusionSense通过三阶段近传感器训练实现多模态自适应,能效提升高达33倍,数据压缩时质量损失降低92.3%。
从语言模型轨迹中读取校准后的不确定性
提取11个尺度不变几何特征追踪逐层MLP路径,用稀疏线性探针校准不确定性,优于MSP,提升达21 AURC点。
FuRA:基于频谱预条件的全秩参数高效微调
FuRA固定预训练SVD基,优化紧凑核与奇异值,实现全秩频谱预条件,效率优于全微调与LoRA。
从残差到原因:基于LLM的表格数据机制推断
MARICL框架利用LLM分析基模型残差生成修正项,提升表格数据预测,并验证了机制泛化能力。
面向前瞻性离散扩散模型的学习中继表示
提出学习中继表示,使掩码扩散模型在去噪步骤间传递潜信息,提升性能并降低延迟达32%。