VCR:为不完整可穿戴信号学习有效上下文表示
VCR自监督框架利用正交分解和缺失感知专家,仅重构共享成分,避免模态缺失幻觉,提升健康监测鲁棒性。
首次通过预测泛化延迟:AdamW下带因果验证的校准定律
给出AdamW下泛化延迟的首次定量预测,推导闭式定律,验证MAPE约18%,并揭示因果干预消除泛化。
前沿模型的成长阵痛:当排行榜失去区分力,下一步该测什么
前沿模型能力协作但动态变化,SWE-bench饱和,HLE和指令遵循成为新衡量指标。
中文标题:通过智能体评估与稳定性感知排序的多模态大语言模型鲁棒检查点选择
中文摘要:提出多阶段框架,集成真实数据与LLM判断,通过子采样置信度估计和百分位评分稳健选择检查点,关键在OCR可读性。
Transformer线性表示高度结构化的世界模型
训练Transformer解数独,发现其构建按行列宫组织的世界模型并存在稀疏可解释的裸单电路。
当个体校准模型集体失准
个体校准模型在策略交互下集体失准,VCG聚合通过激励边际贡献实现鲁棒与近优性能。
精确线性注意力
提出无近似误差的线性注意力机制ELA,解决梯度爆炸与注意力稀释,含超链接、记忆叶模块及专家路由偏置创新。
INSIGHTS:基于示例的时间序列预测器摘要
INSIGHTS通过样本摘要提供时间序列模型全局解释,实验证明其全面、稳定,提升用户理解。
评估数据驱动科学发现中编码代理的记忆凝缩策略
评估八种记忆凝缩策略发现:LLM凝缩器增加成本,掩码输出节省8.6%,最优策略因领域和任务长度而异。
STRIDE:可学习的逐步语言反馈以增强大语言模型推理
STRIDE框架以可学习逐步语言反馈替代标量奖励,联合训练验证器与生成器,通过轨迹重定向显著提升LLM推理性能。
INAR-VL: 面向边缘-云端视觉语言推理的输入感知路由
INAR-VL通过输入复杂度感知路由,边缘执行简单查询,云端处理复杂任务,延迟降24%,能耗降26%,保持97%云级准确率。
Delta注意力残差
通过关注子层变化量替代累积状态,提高注意力对比度,避免路由坍缩,在220M至7.6B规模上困惑度降低1.7%-8.2%。
球形KV:角度域注意力与率失真保留实现高效长上下文推理
球形KV通过角度域注意力直接计算logits,结合率失真保留分配资源,减少KV缓存占用并保持解码效率。
TwinRouterBench:面向真实智能体LLM路由的快速静态与实时动态评估
提出双轨路由基准,静态970前缀+动态端到端验证,实现低成本高质量模型选择。
从稀疏到简洁:通过稀疏注意力蒸馏实现更简单的序列替换
利用稀疏注意力蒸馏,用简单序列模块替换注意力,减少参数和延迟。
面向不确定性感知的结构化大语言模型推理的分布能量基模型
提出能量基验证器,结合低秩适配器集成与两轮推理,减少结构化输出违规,零样本迁移表现优异。
从Llama到Cria:基于神经元级谱结构重要性评估的神经网络缩减
提出基于谱结构重要性的神经元剪枝框架,通过图信号处理评估重要性,迭代剪枝后微调恢复性能,在图像和文本任务上有效。
面向小于5KB模型的家庭分组分层联邦学习:超资源受限可穿戴设备上隐私保护心电图监测的可行性研究
提出Family-FL和Tiny CNN-LSTM,通信量减少76.7%,准确率91.9%,证明超低功耗微控制器上联邦学习可行性。
SAGE:大语言模型可验证奖励强化学习中的锚点塑造与引导探索
SAGE通过引导函数重塑反向KL锚点,解决RLVR探索不足,同步提升pass@1和pass@k。
FLUIDSPLAT:通过高斯原语从稀疏传感器重建物理场
FLUIDSPLAT用高斯原语显式表示流场,理论平衡偏置方差,稀疏传感下误差最低。
EVA-0: 仅需两次前向传播的测试时模型进化
EVA-0提出零阶测试时适应框架,无需反向传播,每样本仅两次前向传播,性能超越现有方法,速度提升14倍。
MO-CAPO:多目标成本感知提示优化
提出MO-CAPO算法,联合优化性能与推理成本,高效发现多样化性能-成本权衡方案。
多头Transformer架构作为时间依赖的Wasserstein梯度流
将多头Transformer建模为时间依赖Wasserstein梯度流,证明极限稳定性和鲁棒性,数值验证能量耗散与渐近行为。
基于对数最大化的无数据联邦学习客户端贡献估计
提出无数据类级贡献估计与聚合框架,利用logit最大化解决联邦学习类不平衡问题。
EUPHORIA:通过混合优化实现鲁棒工业机器人装配的高效通用规划
EUPHORIA融合元学习与物理信息优化,实现工业机器人装配的通用少样本高效规划,大幅降低能耗并提升成功率。
调用还是不调用:诊断LLM智能体的内在过度调用偏差
采用稀疏自编码器诊断LLM智能体内在过度调用偏差,并通过自适应边际校准消除,提升整体准确率。
一种用于识别先天性免疫错误的多维聚类方法
提出多维聚类方法,从国家数据注册中识别罕见病模式,转化复杂医疗数据供无监督学习。
基于记忆增强强化学习的流辅助嗅觉导航策略涌现
强化学习智能体在动态流中涌现流辅助搜索策略,自适应调整轨迹与阈值,速度对记忆长度呈非单调依赖。
导航情感树:面向多模态情感识别的层次化双曲RAG
提出HyperEmo-RAG,用层次化双曲空间嵌入情感层次,通过证据图注入认知上下文,显著提升多模态情感识别效果。
预测并非物理:神经模拟器中守恒量的学习与评估
扩散模型预测精度高但能量不守恒;仅时间一致性不足以学到真实守恒量;CDN对噪声更鲁棒。
软学习
软学习框架组合多种算法,通过交叉验证非负最小二乘求最优权重,训练快两数量级,无需GPU,多数任务超越深度网络。
使用头部条件金丝雀审计遗忘后推理痕迹记忆主张
审计表明,推理痕迹绕过模式不能直接证明权重记忆,推荐解码模板交换作为廉价检查。
状态空间模型神经算子的稳定性和离散化误差
建立神经算子离散化误差与稳定性理论,推导SS-NO和FNO误差界,实验验证鲁棒性。
塑造先验:合成任务分布如何决定表格基础模型质量
表格基础模型质量由合成任务分布决定,标准分布忽视不规则性,O'Prior组合现实先验提升鲁棒性与准确性。
有限预测系统中的描述性不确定性与调节性不确定性
Transformer架构仅具描述性不确定性,熵与准确度正交且尺度不变,真正认知需物理能量代价。
你的野火预测模型真的有效,还是只会刷分?
引入首个野火预测基础模型WILDFIRE-FM及固定合同评估框架,揭示评估设计严重影响结论可靠性。
三元量化下ReLU+RMSNorm块中符号-幅度不对称性的几何分析
符号翻转能量比幅度扰动大2.75倍,ReLU对三元误差近似透明,离群特征解释了真实模型偏差。
一个双参数威布尔框架用于诊断Transformer权重分布
提出双参数威布尔诊断框架,发现Transformer不同模块权重分布特征参数不同:k标识功能类,λ标识训练进度。
HypergraphFormer:利用大语言模型学习超图以生成可编辑楼层平面图
提出HypergraphFormer,用大语言模型学习超图表示生成楼层平面图,优于现有技术,支持不规则边界和高效编辑。
Don't Let Bandit Feedback Pull Continual LLM-Recommender Updates Off Target
推理可迁移性:在RLVR时代指导多模态大语言模型的持续学习
提出推理可迁移性(RP)概念,基于RP动态调节KL正则化,在RLVR中提升多模态大语言模型持续学习性能12%以上。
观点:图压缩需要重置——超越全数据集训练和模型依赖
当前图压缩依赖全数据集训练、高开销、泛化差,需重置为轻量、模型无关的实用方法,实现高效可扩展训练。
LoRA与全参数微调:理论视角
LoRA在预训练与下游任务低秩差异时风险更低,小秩可提高测试精度。
TabQL:基于表格基础模型的上下文Q学习
TabQL用表格基础模型替代DQN的Q网络,通过上下文学习实现高效Q值推断,效率优于传统DQN。
绘制未知对称性:组合学中的机器发现
机器学习发现q,t-Narayana多项式的新组合解释,并给出对称性组合证明。
距离感知的Muon:归一化优化的自适应步长缩放
提出三种自适应缩放算法,改进Muon优化器步长敏感性,在语言建模和图像分类上匹配或超越固定缩放基线。
蒸馏线性化行为以实现有效任务算术
蒸馏线性化教师模型,使非线性学生继承任务算术能力,高效组合向量且无推理开销。
学习何时适应
DISeL通过输入依赖门控动态激活低秩成分,减少遗忘,保持微调精度,提供可解释性诊断。
SAGA:一种自适应序列生成架构,用于多步概率预测与自适应时间共形校准
SAGA模型用解码器变压器和共形校准预测终生收入,十年CRPS降31.9%,二十年MAE降37.7%,覆盖误差0.4%,基尼系数0.327。
深度神经层扩散
DNSD用层邻接算子替代拉普拉斯,配合归一化、奇非线性与门控,有效利用深层聚合,显著优于GNN和NSD。