CosmicFish-HRM:通过层次循环机制在紧凑语言模型中实现自适应推理
提出紧凑模型CosmicFish-HRM,用层次推理模块动态分配计算,实现自适应推理深度,有望替代参数规模提升。
表征对齐依赖于线性结构
通过信号-偏差-噪声框架揭示:线性表示假说解释跨模态对齐,居中归一化缓模型偏差,词频与对齐正相关,据此提出新统计模型。
迈向连续时间因果基础模型
提出连续时间因果模型连续性准则与三层次分类,实验证明细网格集成显著优于朴素方法,并在实际数据中验证。
预注册可检测效应:4位量化基准的配对MDE预算及初步审计
配对MDE方法用于4位量化基准,显示n=100方差多为二项采样噪声,模板效应超量化差异,附预注册模板。
上下文蒸馏作为潜在记忆管理
将上下文蒸馏视为潜在记忆管理,采用独立LoRA适配器记忆库与自门控机制,提升检索准确性与鲁棒性。
针对Norne油藏系统的序列物理约束神经算子正演建模
提出序列物理约束神经算子(PINO),针对Norne油藏实现高精度代理建模(油R²>0.99),取得约万倍加速。
环空间信息引导的电力系统自编码盲虚假数据注入攻击检测
提出环空间检测器,利用拓扑环约束检测盲虚假数据注入攻击,不依赖线路参数,有效分离正常与攻击数据。
频谱引导:扩散模型的灵活高效控制
频谱引导利用生成过程几何结构,自监督学习投影任意信号,无需重训练,准确率提升37%,速度4倍,并揭示最优引导时间窗口。
当LLM奖励设计失败时:面向稀疏结构化强化学习的诊断驱动改进
诊断驱动迭代精化:通过训练诊断和失败模式分类改进LLM奖励设计,显著提升稀疏结构化RL性能。
通过孪生自监督学习从fMRI学习鲁棒且任务不变的功能表征
BrainSimSiam轻量自监督框架利用正对学习fMRI表征,在数据有限时超越全监督基线。
比较事后可解释AI方法用于解释抑郁症检测中的黑箱脑电图模型
研究比较多种事后可解释方法在抑郁症脑电图模型中的应用,发现归因模式部分一致但方法间有差异,为探索性分析。
基于跨模型熵的无标签强化学习
提出跨模型熵(CME)作为无标签奖励,利用独立验证器避免自我强化,在开放指令任务上胜率达52.5%-71.4%。
基于对数对齐比的训练时泛化诊断
LAR通过参数-激活谱重叠诊断泛化,预测有效维度,跟踪过拟合,无需验证数据。
Conf-Gen:生成模型的一致性不确定性量化
提出Conf-Gen框架,将适应性风险控制扩展至生成任务,为图像生成、对话AI、AI代理等提供不确定性保证。
FedQHD:闭式函数空间联邦强化学习
提出FedQHD方法,利用超维随机特征编码实现闭式聚合,理论分析联邦差距,实验优于基线。
深度学习中的哈密顿-雅可比理论
神经网络训练等价于搜索Hamilton-Jacobi初值问题,梯度步选择最优初始数据;架构差异对应方程离散化,参数ε统一四视角并导出最优泛化率。
FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks
LoRe:面向迭代图求解器的每步交互预算自适应交互评估路由
提出LoRe,按预算动态路由高冲突交互,无需训练,大幅提升图求解器可扩展性,实现8~15倍加速与12~44倍内存降低。
因果智能驱动约束感知的干预设计以诱导状态转移
COAST因果智能方法,通过因果图与约束感知优化,设计干预实现状态转移并提供机制解释。
连接化学家与AI:面向可解释路线评估的专家增强框架
融合化学家知识与机器学习,提出可解释评分框架,实现路线评估与分类,性能大幅提升。
矩匹配Q学习
提出MoMa QL框架,用MMD匹配所有阶矩,实现分布级收敛,计算高效,离线在线RL表现优异。
策略感知模拟器学习的理论基础与高效算法
以策略鲁棒性为目标,零和博弈学习模拟器,理论保证与算法降低关键区域误差1.5-2.2倍。
面向临床数据的离散化贝叶斯网络分类器的并行自适应多目标演化学习
提出并行自适应多目标演化学习Baymex,在临床分类上快54倍,生成紧凑可解释贝叶斯网络。
面向实际数据能耗预测修正的集成得分滤波器
EnSF利用得分扩散模型同化含噪观测,修正能耗预测,无需重训练,优于开环传播和EnKF。
知识卸载:将大语言模型分解为稀疏骨干网络和记忆模块
提出知识卸载框架,将大模型分解为稀疏骨干和外部记忆,通过剪枝和LoRA/KV缓存保持性能。
OISD:语言模型的在策略内部自蒸馏方法
OISD框架通过最终层向中间层进行在策略自蒸馏,利用logit和注意力对齐机制,显著提升数学推理能力。
输出空间投影下的模型合并
将模型合并形式化为凸二次规划,优化残差更新以最小化输出校准误差,在多层合并中取得一致改进。
基于图学习辅助混合组合优化的空间碎片捕获主动绳网系统设计
用图神经网络推荐组合,将混合组合优化简化为NLP,显著加速收敛。
回报目标不止数字:Q引导的回报条件监督学习对齐
提出Q-ALIGN DT框架,通过Q函数确保策略与回报目标对齐,实现精确可控且性能优越。
通过蒸馏与量化扩展Apertus LLM模型家族
基于Apertus 8B,用蒸馏和量化生成最高4B参数的Apertus-v1.1系列,成本低且准确。
深度网络是否会遗忘初始化?从遗忘时间视角看实际归纳偏好
网络实际归纳偏好是架构先验经训练遗忘动态过滤的结果,低学习率SGD保留初始化记忆,而Adam和强正则化消除记忆。
RUBRIC-ARROW: 交替点状评分规则奖励建模用于大语言模型在不可验证领域的后训练
提出RUBRIC-ARROW框架,交替训练评分规则生成器与评判器,结合概率评分与偏好奖励,提升点状奖励建模性能。
揭示科学机器学习中的多机制模式:不同的失效模式与针对性优化
科学机器学习存在一致的三模式结构,优化因模式而异,细粒度失效挑战常规指标,为鲁棒性提供新视角。
Parallax:参数化局部线性注意力用于语言建模
Parallax是一种可扩展的参数化局部线性注意力,通过硬件优化与Muon优化器,在预训练中提升性能。
何时与多久?时间推理中的读出-中介角度
探针解码方向与模型计算正交,角度如随机,高置信度却无因果影响,是探针可解释性常见失效模式。
使用生成式机器学习对季节预报进行概率偏差调整:以北极海冰预测为例
基于条件变分自编码器改进季节预测偏差,采用生成器与CRPS目标函数,提升校准度、分辨率与频谱能量。
私有随机决策理论在线学习的最优间隔相关遗憾
提出纯DP算法,证明间隙依赖遗憾上界为O(logK/Δmin+logK/ε),匹配下界,解决COLT开放问题。
方案:蛋白质同源搜索的后期交互检索
ProtoCol模型采用残基级后期交互检索,在低相似性区域显著提升蛋白质远程同源搜索性能。
生成图拓扑的进化精炼:一种混合WGAN-GA方法
采用遗传算法精炼GAN生成图的边,有效降低MMD,使图更匹配真实结构。
KLAS:利用相似性拼接神经网络以改进精度-效率权衡
KLAS通过KL散度自动选择最优缝合点,提升模型精度-效率权衡,相同成本下准确率提高1.21%或计算量降低1.33倍。
影响引导的符号回归:通过大语言模型驱动的方程搜索与细粒度反馈实现科学发现
提出IGSR方法,利用LLM生成方程项并结合细粒度影响分数修剪,在多个领域实现科学发现,如DNA甲基化与RNA聚合酶II暂停新关系。
TIMEGATE:资源约束下持续ML自适应的可持续时间盒式提升门控
TIMEGATE通过时间盒门控和度量信号M实现部分评估,节省66%计算,标签优于训练2.3倍,迁移至LLaMA后节能89%。
从流行文本记忆推断大语言模型规模
基于流行文本记忆黑盒推断大模型参数量下限,验证有效并揭示行业策略差异。
When RL Suppresses Its Own Vocabulary: Recovering Reasoning Diversity in Puzzle-to-Math Transfer
随机提升法:用于生成随机物理系统轨迹
随机升维法为状态转换附加随机标签,回归学习映射,推理时采样标签自回归生成多样轨迹,单次网络评估。
通过黑盒成员推断审计生成音乐模型中的训练数据
提出黑盒成员推断方法,凭查询访问判定音乐样本是否用于训练,准确率达98.6%,实现可靠数据审计。
BlockBatch: 面向高效扩散语言模型推理的多尺度共识解码
BlockBatch通过多分支并行与共识解码,减少NFE 26.6%,提速1.33倍且保持精度。
传统机器学习与深度学习在蛋白质三维折叠动态图表示下的结构分类任务对比
动态PSN分类任务中,传统机器学习与深度学习精度相近,但深度学习平均慢10倍以上。
SigmaMedStat:面向ICU误报警减少的时间信号建模
提出SigmaMedStat,用时间分块和LSTM建模ICU警报信号,AUC达0.822,有效降低误报。