通过边际自纠正实现大规模快速遗忘
MASC通过在线停止规则高效遗忘,无需下游评估,计算成本低且随模型增大效果提升。
我们真的在倾斜吗?流与扩散模型中奖励引导的机制
奖励黑客源于Doob h函数的有限粒子近似,导致模式内偏斜与模式选择失败,提出阻尼调度修正。
一种用于对称非负矩阵分解和图聚类的非单调梯度算法
提出SNMPBB算法,首个将非单调投影Barzilai-Borwein方法用于对称NMF,证明全局收敛,速度提升6倍,精度优于现有方法。
基于经验神经正切核的极端天气预报可扩展不确定性量化
提出NTK-UQ方法,理论揭示架构依赖性,采用ICA分解超越SVD,实现自适应且更锐利的预测区间,无需重新训练。
GRZO:面向大语言模型微调的组相对零阶优化
GRZO通过组相对归一化降低零阶梯度方差,无额外开销提升有效方向至批量大小,内存更低,准确率提升3%。
乳腺癌复发预测的多模态机器学习
整合多模态临床数据并利用规则提取与冲突解决策略,显著提升乳腺癌复发预测精度。
遗忘并非抹除:通过传输键恢复潜在知识
遗忘源于接口漂移而非擦除,传输键可恢复大部分旧任务性能,持续学习需改进潜在计算索引机制。
RESCAST-100K:跨领域住宅负荷与室内温度预测综合数据集
RESCAST-100K是一个跨领域住宅负荷与室内温度预测基准,含10万模拟及真实数据,支持迁移学习评估,交叉注意力和MLP-mixer模型表现更优。
神经网络可证明地学习群复合的谱表示
神经网络在群复合任务中可证明学习谱表示:神经元收敛到单一不可约表示,跨层傅里叶秩一对齐,阿贝尔群上均匀多样化且指数收敛。
层级RBF-KAN和RBF-SKAN架构用于多维函数逼近和随机场学习
提出层级RBF-KAN/RBF-SKAN,用于多维函数逼近与随机场学习,理论缓解维度灾难,实验有效。
ERP-XTTN:可解释原型引导跨注意力实现跨被试ERP分类
提出可解释跨被试ERP分类模型,无需校准,性能逼近最优,揭示黑盒不可见的神经生理结构。
智胜变色龙:直播风险评估中战术性分布偏移的反事实解耦
本文提出LPCD框架,通过潜在层因果建模与反事实一致性锚定恶意意图,有效应对直播战术性分布偏移。
BYORn:自举生成响应以防御大型视觉语言模型的后门攻击
BYORn动态替换语义不合理的毒化响应为模型自生成响应,有效防御后门攻击且保持清洁性能。
从非凸到强凸:在线优化的曲率自适应FTPL方法
提出曲率自适应FTPL,无需预知曲率,非凸损失达O(√T)遗憾,强凸时降为O(log T),匹配下界。
Gate AI:大语言模型安全基准评估方法与结果
提出统一阈值与交叉验证的评估框架,解决LLM安全检测中阈值调整和操作点不一致问题。
KForge:面向AI加速器的LLM驱动的跨平台内核生成
KForge双LLM代理迭代生成跨平台内核,NVIDIA/Intel获2.12%和5.13倍加速。
ASymPO:无需行为信息的异步大语言模型后训练中的非对称尺度策略优化
提出ASymPO方法,通过归一化Token损失解决异步强化学习中的尺度失衡,无需行为策略概率即可稳定训练。
学生学到了什么?暗知识的特征级分析
基于交互张量分析,提出混淆蒸馏方法,利用混淆矩阵暗知识,在CIFAR-100上优于现有自蒸馏方法1.2%。
ConTraIRL:用于可迁移逆强化学习的分解式对比抽象
ConTraIRL框架通过双编码器解耦动力学与目标特征,实现组合奖励迁移,提升样本效率与奖励恢复。
MOSAIC:基于自适应聚合与推理并发的混合智能体高效调度
MOSAIC通过ILP调度与置信感知聚合加速混合智能体系统,实现专家阶段2.5倍、聚合阶段4.23倍加速,精度损失小于0.1%。
准确的场会误导光子学设计吗?从全局精度到端口读出
神经场代理全局精度高但端口读出易误判,PaNO通过传播对齐将端口功率误差降低超70%。
训练中保持的严格等变性实现对称群上的零样本泛化
等变编码器与预测器保持训练损失对称性,实现群上零样本泛化,误差平坦且优于非等变基线。
量化如何改变可解释特征:语言模型的稀疏自编码器分析
量化导致语言模型可解释特征逐渐退化而非全有全无,任务指标可能掩盖损伤,需特征级审计。
CoughSense:基于Whisper编码器微调与双编码器交叉注意力融合及平衡对比学习的五类呼吸疾病分类
CoughSense利用Whisper编码器微调和双编码器融合,通过主动帧池化等技术解决静音稀释与类别不平衡,五类咳嗽分类平衡准确率82.3%。
重新思考用于大语言模型的分子文本表示:一项实证研究
综述16种LLM在8种化学任务上9种分子表示,发现无单一表示最优,CML和IUPAC分别擅结构/语义,提示需任务感知表示路由。
学习何时何地连接:用于图上动态消息传递的自适应虚拟节点
MAVN框架自适应引入虚拟节点并决定连接,通过双视角评分优化消息传递,理论通用,性能提升达46.5%。
大语言模型强化学习的高效超参数优化
提出联合保真度超参数优化,通过代理模型和早停机制提升效率,性能提升5.8%至111.6%。
重新思考用于交流最优潮流代理的神经网络宽度
提出LG-ND算法增量确定网络宽度,以十分之一神经元达到相同性能,利于安全关键电网形式验证。
中文标题:学会解决,忘记保留:RLVR中的正确集更替
中文摘要:RLVR中已解决问题随训练退化,提出REMIND方法通过定期复习零成本恢复,显著提升跨模态性能。
RMPrior:连接传播先验与扩散精炼的高效无线电地图构建
提出中起始采样策略加速扩散模型,2倍加速且提升指标,理论分析截断条件与先验敏感性。
大型语言模型中的多组件因果追踪
提出多组件因果追踪统一框架,通过软干预和度量转化高效识别LLM关键组件子集。
Libra:面向智能体强化学习后训练的高效资源管理
Libra通过全局资源规划与因果驱动调度,应对长尾非平稳负载,吞吐量提升3倍,收敛加快2.5倍。
FGRPO:非独立同分布数据上自适应聚合的联邦GRPO
提出FGRPO框架,通过基于相对性能增益的自适应聚合,在异构数据上稳健收敛并保护隐私。
TiWeaver:通过上下文分块实现统一的时间动态建模
TiWeaver通过图引导自适应分词与细粒度异步依赖提取,实现多变量时间序列高精度预测,性能提升达25%。
基于宪法的同策略安全蒸馏
提出COPSD,用交叉SFT冷启动和宪法条件同策略蒸馏,在12基准上优化安全-有用性权衡并降低推理能力损失。
基于模型的深度强化学习模拟视网膜上植入物刺激的学习视觉
利用深度强化学习组合各向同性与各向异性光幻视,模拟优化视网膜植入刺激,生成更清晰图像。
HARVE:面向鲁棒奖励模型的劫持感知奖励头向量编辑方法
提出RewardHackBench与HARVE,无训练去除奖励头劫持分量,提升鲁棒性并保持性能。
合成幻觉,真实收益:前沿模型生成困难负样本缓解FIM幻觉
利用前沿模型生成代码幻觉作为困难负样本,对比微调显著缓解FIM幻觉,提升多项指标。
FederatedSkill:面向智能体技能演化的联邦学习
FederatedSkill利用语义技能差异实现隐私保护下的智能体协作演化,成功率提升44.4%,计算成本降低37.5%。
基于扩散模型先验的贝叶斯张量分解
提出DiffBCP框架,融合扩散先验与贝叶斯CP分解,分裂吉布斯采样实现后验推断,在图像修复去噪中优于基线。
基于晶胞流匹配的快速有机晶体结构预测
Clari流匹配模型秒级预测有机晶体结构,速度提升15-30倍,适用复杂化学体系。
当RLHF失败时:奖励黑客、崩溃与评估者博弈的机制分类
RLHF失败不仅是最终模型问题,更是可分类、可定位、可部分预测的训练动态。实验表明PPO奖励黑客率14.45%,UP-PPO降低,预训练模型预测ROC-AUC 0.821。
通过平滑可微优化学习时序因果结构
提出利用Gumbel-Sinkhorn算子实现可微排列三角化,将无环约束参数化,统一连续优化,提升时序因果发现的效率与精度。
DECA:非独立同分布数据下高效大语言模型全参数微调的逐块Adam去中心化方法
DECA通过逐块Adam优化实现大模型全参数去中心化微调,降低资源消耗,非IID数据下稳定收敛且性能优异。
GFFMERGE:高效合并图神经力场及其超越
首个闭合形式图神经网络力场合并框架,实现5-27倍加速,性能接近联合训练,无需昂贵重训练。
Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning
能力维度上的校准数据权衡:为什么多源混合对高稀疏度LLM剪枝至关重要
多源混合校准可突破单一源的能力权衡,IGSP自动构建多源集,总保留率达58.8%,优于最佳单源8.8个点。
要有光:面向神经算子的反射、折射与散射
提出光启发神经算子LiNO,分解潜在演化为反射、折射和散射,高效散射将复杂度从二次降至线性。
EqGINO:用于三维偏微分方程的等变几何信息傅里叶神经算子
EqGINO通过谱域各向同性实现离散对称等变,无需昂贵频谱群卷积,有效泛化至任意连续旋转,稳健建模3D不规则几何上的坐标不变物理定律。
常见子结构是否可迁移?基于神经向量丛的黎曼图基础模型
提出神经向量丛框架探索图结构可迁移性,设计GAUGE架构与Dirichlet损失,在零样本链接预测等任务中表现优异。