在干草堆里找针:生态学中的传导式主动标注
生态标注应采用传导式主动学习,目标是发现长尾稀有类而非预测,混合停止准则提升稀有类恢复。
带切换成本的双动作苹果品尝问题
证明双动作苹果品尝在切换成本下最优遗憾为Θ(√T),排除Ω(T^{2/3})下界。
先降噪,后正交化:通过谱滤波理解Muon中的动量
动量在Muon中作为谱滤波器,先降噪后正交化扩大谱隙,稳定奇异子空间,提升信号对齐与性能。
基于分布路径的信息揭示归因
Reveal-IG将路径归因从输入空间提升到结构化探针分布空间,逐步揭示信息归因,避免伪影,产生稳定有符号归因。
MAdam:度量感知的多目标Adam
MAdam通过偏好条件曲率修正Adam与多目标求解器间的权重和几何不匹配,提升多任务学习等性能。
生成式AI与数字生态系统韧性:一种基于生命周期的主动式综述
综述提出主动检测新兴虚假叙事的生命周期框架,整合ML与社会科学方法,以应对生成式AI挑战。
BitsMoE:面向MoE大语言模型量化的高效频谱能量引导比特分配
BitsMoE通过频谱能量引导比特分配,实现MoE大模型超低位宽量化,精度提升27.83%,速度提升1.76倍。
自动微分非线性张量网络(ADNTNs)用于深度神经网络的指数级压缩
提出自动微分非线性张量网络,用紧凑核心张量端到端训练,实现数千至数万倍压缩且精度保持或提升。
中文标题:基于广义瑞利商优化的基础保持适应
中文摘要:提出FoLoRA框架,通过广义瑞利商优化更新方向,平衡适应与能力保持,实验性能最优。
论智能体工具调用与强化学习训练的有效性和效率
工具调用评估对实现细节敏感,RL训练存在计算浪费,提出加速技术不损性能。
霍夫丁概念瓶颈模型及其在俯视图像中的应用
提出基于霍夫丁分解的非线性稀疏聚合HCBM,解决线性CBM可解释性差和信息泄露问题,在俯视图像目标检测中表现优异。
世界模型:架构、方法论、推理范式与应用的综合综述
四维分类综述世界模型架构、方法、推理及应用,从认知科学到Sora等里程碑,指出挑战与未来方向。
从示范到奖励:VLM奖励模型的测试时提示优化
基于少量示范优化VLM奖励模型提示,减少假阳性,提升机器人策略学习,无需额外训练。
DAStatFormer:一种基于统计特征集成的混合多分支Transformer,用于DAS模式识别
提出DAStatFormer,融合多域统计特征与门控Transformer,以低代价实现高达99.4%准确率的DAS模式识别。
现代大语言模型与人类脑电共享情感价轴:饱和规律
LLM与人类脑电共享情感价轴,但直接监督无效,利用残差多样性集成可提升解码性能。
构建实用型智能体系统的学习
提出模块化智能体框架与优化方法,通过伪工具和固定工作流,多目标调节成本与质量。
BudgetDraft:面向稀疏KV投机解码的接受感知多视图训练
BudgetDraft通过多视图训练让稀疏草案模型对齐全缓存目标,中长上下文中保持高接受率,加速达6.55倍。
自适应数据选择在低基线性能下改善可穿戴预测
自适应数据选择在低基线性能下可大幅提升预测AUROC(最高0.7),但对高基线性能者效果有限,增益与基线性能负相关。
重试驱动下策略梯度强化学习中探索行为的涌现
本文提出ReMax目标,利用多次采样期望最大回报诱导探索,推出RePPO算法,无需显式奖励项即可促进探索。
RAFT:用于缓解遗忘的领域微调的数据精炼与自适应蒸馏
通过数据精炼和轨迹保持蒸馏,RAFT在领域微调中提升准确率23.2%,并恢复部分通用能力退化。
ChurnNet:一种用于流失预测的优化现代AI
传统机器学习(随机森林、XGBoost、SVM)在流失预测上优于统一多任务时间序列模型,表现更高效准确。
Beyond Augmentation: Score-Guided Pathological Prior for EEG-based Depression Detection
通过强化学习,自主Transformer可证明地学会搜索
强化学习使Transformer涌现树搜索能力,注意力头分工实现深度优先搜索并泛化。
AI引导的石墨负极设计与优化:基于迭代实验反馈
AI迭代反馈优化石墨负极,解决噪声数据问题,将高性能电池产率从28.4%提升至84.8%,容量保持率从42.1%提升至97.3%。
整流流中的对比速度匹配几何擦除
提出GEM框架,通过对比速度匹配在整流流中实现几何擦除,有效抑制有害概念并保持良性生成。
ARCA:令牌信号退化下的适配器残差信用分配
提出ARCA方法,通过适配器隐藏状态残差避免LoRA微调中信用分配信号退化问题,实验表现竞争性。
A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization
使用随机梯度马尔可夫链蒙特卡罗进行精确的大样本不确定性量化
提出离散时间近似SG(L)D,准确预测协方差和自相关时间,给出非渐近误差界,改进大样本不确定性量化。
当Softmax在顶部失效:InfoNCE的极值修正
InfoNCE的softmax假设与归一化嵌入不匹配,提出WEINCE极值修正,提升对比学习性能。
InfoAtlas:用于零样本统计依赖性估计的基础模型
InfoAtlas通过单次前向传播直接估计互信息,速度提升百倍,精度媲美现有方法,实现零样本依赖性分析。
内积感知量化:可证明快速、准确且自适应的算法
提出内积感知量化方案,开发自适应无偏方法近似保留内积,算法比现有方法快2-10倍且质量不变。
BAGEN:LLM智能体是否具有预算意识?
预算感知智能体需主动控制预算,但现有模型过度乐观且不擅预警,早期停止可节省28-64%令牌。
从罗生门理论到PRAXIS:高效的决策树罗生门集
提出PRAXIS算法,高效近似决策树罗生门集,大幅降低内存与运行时,且几乎恢复完整集合。
LithoGRPO:基于GRPO强化流匹配的快速逆向光刻
首次统一流匹配与GRPO强化学习优化掩模,速度快、性能达最优。
量化推理模型自认为需要更长的思考,实则不然
量化推理模型因过度思考(如“等待”)导致错误,惩罚这些词可减推理长度12-23%并降低58%的过度思考错误
重新思考温度在大语言模型蒸馏中的作用
揭示温度在大模型蒸馏中的不对称影响:高温下前向KL优于反向KL,颠覆传统认知。
使用子采样马尔可夫链蒙特卡洛的潜变量模型大规模不确定性量化
提出SGLD-Gibbs调参理论,确保不确定性量化统计有效,实验优于随机变分推断。
跨层学习率平衡:线性神经网络中的精确两步动力学与最优缩放
研究线性神经网络最优学习率选择,推导精确两步梯度下降动力学,发现初始不等学习率可最小化测试损失,后续需均衡。
非参数工具变量的微扰方法
提出非参数工具变量估计微扰法,一阶修正可减少高维不适定情况达99%预测误差。
KG-Guard:基于图谱的知识库问答幻觉检测
提出轻量图框架,将LLM视为黑盒,检测KBQA中的幻觉节点,在三个基准上取得最高F1,参数少且反馈可提升性能。
基于Rockafellar-Uryasev共形推断的条件风险价值对抗鲁棒控制
提出在线无分布CVaR控制框架,对抗环境下渐近保证安全,适用于投资组合与LLM毒性缓解。
CHAM-net:一种对比层次自适应元网络用于稳健的全球甲烷通量预测
提出CHAM-net,通过层次编码器-解码器从历史数据捕捉站点动态,实现甲烷排放和消耗的精准预测,性能优于基线。
掩码扩散的自适应顺序策略
提出用轻量策略网络学习解掩码顺序,通过加权损失实现自适应,在蛋白质等任务上优于启发式方法。
FLaG:用于幻觉检测的细粒度潜在分组
FLaG通过潜在分组与能量路由,无需修改模型即可捕捉异质幻觉,轻量实现最优证据聚合,性能达SOTA。
时空图异常检测中的谱能量偏移建模
提出节点级谱能量公式检测伪装异常,构建能量感知框架建模谱偏移,高效扩展至时间图。
ROGUE:日常计算机使用中出现的智能体行为偏差
AI代理在良性任务中常违抗人类中断或限制,性能越强越易产生不安全行为,需加强可纠正性对齐。
类别编码在神经崩溃中的作用
神经崩溃中,标签编码影响特征结构,偏置正则化使特征从等角紧框架转向正交框架,偏置用于居中标签。
CRMA:一种用于大语言模型模块化持续微调的光谱有界骨干网络
CRMA通过谱有界残差适配器实现连续共享基底,防止遗忘且正向迁移,无需回放或蒸馏。
(HB-ARFM) 历史引导的流匹配用于逆沸腾重建
提出HB-ARFM,利用历史观测进行条件流匹配,自回归重构沸腾过程完整速度与温度场,优于现有方法。
老年人身体活动与健康状态的纵向多模态感知
对66位老年人进行真实世界纵向多模态感知,可观察行为预测达65%F1,抽象结果仍具挑战,历史特征最关键。