通过有界自适应裁剪缓解差分隐私学习中的差异性影响
提出有界自适应裁剪,防止梯度过度抑制,显著提升少数类准确率。
基于OCSVM引导的无监督异常检测表征学习
结合可解OCSVM与表征学习对齐特征与决策边界,实现无监督异常检测,在MNIST-C和MRI上鲁棒检测小病灶。
持久同调作为涌现结构理论
用持久同调将涌现定义为尺度相关的持续同调类,结合谱隙与霍奇分解,统一描述涌现的六个特征并提出可证伪预测。
支持边界经验混合的持续学习
提出支持边界数据与体验混合框架,通过潜空间噪声注入增强决策边界,缓解灾难性遗忘,在多个数据集上准确率提升2-13%。
AI推理的能耗、效率路径与测试时缩放
AI推理能耗被高估4-20倍,每查询中位0.31Wh;测试时缩放能耗增13倍,效率干预可大幅降低。
基于动作触发观测的强化学习
提出ATST-MDP框架,推导贝尔曼方程,证明线性表示,算法regret达√Kd³(1-γ)⁻³。
超越次优性:离线强化学习通过随机解学习有效调度
CDQAC算法从随机解离线学习调度,仅需1-5%数据,性能超越强启发式,关键在状态覆盖而非轨迹质量。
噪声引导的传输用于模仿学习
NGT是一种轻量离策略模仿学习方法,通过对抗训练解决最优传输,无需预训练,在超低数据下表现强劲。
GILT:一种免大语言模型、免微调的图基础模型用于上下文学习
GILT无需LLM与微调,通过上下文学习统一处理节点/边/图任务,高效适应异构数值特征。
可认证安全RLHF:面向更安全LLM对齐的语义基础与固定惩罚约束优化
CS-RLHF引入语义评分成本模型和固定惩罚优化,无需对偶变量更新,提供可证明安全保证,效率提升至少5倍。
通过降维可视化LLM潜在空间几何结构
通过降维可视化LLM潜在空间几何,发现注意力与MLP输出分离及螺旋结构等模式。
基于人类示范的计算机使用智能体接地
研发桌面接地数据集GroundCUA,训练GroundNext模型,少量数据即达SOTA,强化学习进一步优化。
CaReTS:统一分类与回归的多任务时间序列预测框架
CaReTS采用双流架构,分类学趋势,回归估偏差,不确定性加权损失平衡多任务,真实数据优于现有方法。
物理神经网络的时分复用层重用
提出TIDAL-Net,利用时分复用层重用,在不增加显著成本下提升物理神经网络性能,图像与NLP任务验证有效。
Analytic Bijections for Smooth and Interpretable Normalizing Flows
CoVar:置信度-方差引导的半监督学习伪标签选择
CoVar通过联合置信度与残差类方差,利用谱松弛聚类权重优化伪标签选择,无需手动阈值,提升半监督性能。
混合专家模型对特征噪声的鲁棒性
稀疏专家激活充当噪声滤波器,使MoE在特征噪声下泛化误差更低、鲁棒性更强、收敛更快。
FOCUS:扩散大语言模型的计算瓶颈驯服之道
FOCUS通过动态聚焦可解码令牌、驱逐不可解码令牌,增大有效批次,吞吐量提升3.52倍,生成质量不变或更优。
基于物理引导的Tiny-Mamba Transformer的旋转机械可靠性校准边缘物联网早期故障预警
提出PG-TMT与极值理论结合的边缘物联网预警框架,提升PR-AUC,降低延迟,控制虚警,模型小于1MB,延迟低于7ms。
鲁棒隐私:通过认证鲁棒性实现推理阶段隐私
提出鲁棒隐私(RP),利用认证鲁棒性保证预测邻域不变,有效降低属性推断与模型反转攻击成功率,优于DP-SGD。
统一Transformer缩放定律中的学习动态与泛化
将Transformer学习动态建模为ODE,证明过剩风险先指数后幂律衰减为C^{-1/7},并导出孤立缩放定律。
MobileFineTuner:面向真实嵌入式AI应用的设备端大模型微调移动原生框架
提出手机端大模型微调的开源C++框架,通过内存优化和资源调度降低内存压力,实现个性化嵌入式AI应用。
反向流匹配:基于扩散策略和流策略的在线强化学习统一框架
提出RFM框架,用Langevin Stein算子融合Q值与梯度,高效训练扩散/流策略,提升在线RL性能。
推理的几何:有效数学推理的谱特征
无训练谱特征精准识别有效数学推理,准确率96%,揭示推理的几何结构。
张量方法:一种统一且可解释的材料设计方法
张量方法可解释、预测性能媲美ML,非均匀采样下更优,能揭示物理模式,R²提升5%。
AI4SLT:基于Lean 4经验过程的形式化统计学习理论
首个Lean 4形式化统计学习理论库,基于经验过程,涵盖高斯集中与Dudley熵积分,人机协作验证。
基于推理时强化学习的开放式材料生成
OMatG-IRL利用推理时强化学习直接优化速度场,无需计算分数,实现高效晶体结构预测与采样效率提升。
基于预测驱动的部署模型风险监控:检测有害分布偏移
提出PPRM方法,利用合成标签与少量真实标签监控模型风险,有效检测有害分布偏移。
超越平稳性的动量LMS理论:稳定性、跟踪与遗憾
本文研究MLMS算法在非平稳环境下的跟踪性能与遗憾界,实验证实其快速适应与鲁棒跟踪。
卡尔曼线性注意力:面向高效语言建模与状态跟踪的并行贝叶斯滤波
卡尔曼线性注意力将序列混合建模为并行贝叶斯滤波,以相同成本实现更强表达力和状态跟踪,性能超越线性SSM。
SpaTeoGL: 基于时空图学习的颅内脑电癫痫发作起始区可解释性分析
提出SpaTeoGL时空图学习框架,可解释分析颅内脑电癫痫网络,提升非发作区识别能力。
学习注入:通过强化学习的自动化提示注入
提出AutoInject框架,用强化学习自动学习对抗后缀进行提示注入,优于现有方法并攻破专用防御。
Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery
Improving Detection of Rare Nodes in Hierarchical Multi-Label Learning
分布漂移下伪校准共形预测的覆盖保证
分布漂移下,伪校准共形预测通过松弛阈值和源调优算法保证覆盖,实验验证有效。
全球天气预报模型的缩放定律
天气模型缩放定律:增加训练数据比扩大模型更有效,应优先采用更宽架构。
不完美代理下潜在偏移中鲁棒预测器的点识别
针对不完美代理导致预测器不可点识别问题,引入潜在等价类与域多样性条件实现点识别,提出PQAL框架。
面向强化学习机器人的视觉-语言-动作快速启动方法
VLAJS方法利用VLA稀疏指导加速RL机器人探索和学习,减少50%以上环境交互,实现零样本迁移和鲁棒操作。
内省意识的机制
发现LLM内省意识源于后训练中的两阶段电路,检测与识别机制不同,且该能力可被显著增强且无虚警。
深度为何重要:可并行序列模型的李代数视角
从李代数控制视角,揭示可并行序列模型深度增加时误差指数衰减,验证了实验表现。
编译器优先的状态空间对偶性与可移植的 O(1) 自回归推理缓存
利用SSD递归的编译器友好结构,用标准JAX实现可移植O(1)推理缓存,性能近峰值且跨平台。
连通性对强化学习中拉普拉斯表示的影响
证明拉普拉斯表示下值函数近似误差与状态图代数连通性的关系,并给出端到端误差分解。
潜在颜色子空间:高维混沌中的涌现秩序
揭示FLUX.1潜空间颜色子空间HSL结构,实现无训练的颜色预测与控制。
面向去中心化双层强化学习的样本高效超梯度估计
利用玻尔兹曼协方差技巧推导超梯度,实现去中心化双层强化学习中样本高效估计,适用于高维决策空间,首用于2玩家马尔可夫博弈。
非线性色散方程的混合迭代神经低正则性积分器
HIN-LRI用神经网络修正积分器截断误差,提升粗糙数据下非线性色散方程的求解精度与稳定性。
自注意力即传输:对称谱诊断的局限
注意力故障分为过度集中与扩散,对称谱诊断对方向盲视,提出容量-方向两轴诊断,极性反转可验证。
GENERIC-FNO:将能量守恒与熵产生嵌入傅里叶神经算子
首个将非平衡热力学完整结构精确嵌入傅里叶神经算子,保能量守恒与熵产生至机器精度,零样本泛化强。
超越连续性:单细胞快照中离散分支动力学的无模拟重建
提出无模拟框架USB,重建单细胞分辨率的离散分支动力学,兼顾随机性与不平衡效应,优于或媲美确定性方法。
Estimating Tail Risks in Language Model Output Distributions
TAPIOCA:为什么任务感知剪枝能提升OOD模型能力
任务感知剪枝通过移除扭曲层,使OOD表示对齐任务适应几何,从而提升分布外准确率。