深度学习中选择Schatten-p范数的时机
Schatten-p范数选择取决于问题正则,低维时小p更优,分析解释了Muon方法无需预热且偏好大批量。
混合NARX-LLM用于格陵兰冰山排放:提示驱动的残差校正
提出混合NARX-LLM框架,用物理信息提示引导大语言模型残差校正,提升格陵兰冰山排放预测精度。
重新思考结构异常检测:从决策边界到投影算子
通过投影算子异常检测,解决流形数据与现有方法不匹配问题,提升性能。
RECTOR: 掩码区域-通道-时间建模用于情感与认知表征学习
RECTOR提出自监督框架统一区域-通道-时间表征,在EEG情感识别和sEEG任务分类中达SOTA,鲁棒且可解释。
有限语义表格数据上的大语言模型:来自工业汽车改装预测的证据
工业改装预测中,树集成模型表现最优,LLM在隐私受限表格数据上宜作补充而非替代。
LatentGym:具有可控潜在结构的跨任务经验学习测试平台
LatentGym通过可控潜在结构分离探索与利用指标,研究LLM代理跨任务经验学习与适应能力。
概率签名反演:从截断签名中学习条件分布
将截断签名反演重构为概率问题,学习条件分布,推导贝叶斯误差为基线,实验验证模型有效恢复路径分布。
语义DLM+:通过转移核设计中的偏差-方差权衡改进扩散语言模型
本文分析扩散语言模型转移核的偏差-方差权衡,提出SemDLM+,通过全局转移和语义频率惩罚解决语义盆地问题,提升生成多样性与质量。
模型多重性视角下的模型窃取攻击
高保真代理模型并不唯一,关键性能差异显著,质疑其与目标模型的等价性。
基于提示的视觉语言模型在轨航天器检测中的发射后能力扩展
提示驱动视觉语言模型可在不修改权重下扩展在轨检测能力,大型结构定位可靠,小部件仍困难,结构化提示性能提升显著。
面向开放智能的组合框架
开放式智能定义为原始项与组合算子的闭包,通过组合泛化生成无限适应性,提出下一原始项预测及课程学习等机制。
从不准确标签中学习地震波到时拾取
提出LaNCoR方法,通过特征空间对齐纠正误标,无需大规模数据,提升地震P波拾取性能达28.8%。
重复双边贸易:追求公平
提出Rawls-to-Nash公平目标系列,刻画重复双边贸易的最优学习率与样本复杂度界。
宪法价值势能:语言模型中内部优先权边际的读取与引导
从隐藏状态读取价值势能,差值构成优先权边际,监控冲突违规AUROC达0.95,并支持干预。
超越分类:呼吸声学基础模型的咳嗽回归基准
建立咳嗽回归基准,评估五种基础模型,发现MLP-small优于线性探针,HeAR年龄回归领先,跨数据集迁移不对称。
PHINN:基于持久同源的罕见事件时间序列生成神经网络
PHINN利用持久同源拓扑指纹生成罕见事件时间序列,提升拓扑保真度41-63%,过渡准确率84%。
从过训练视角理解RLVR中的多样性崩溃
RLVR多样性崩溃因过训练导致:问题饱和后更新不扩展边界。BBG方法通过估计边际贡献避免过训练,提升Pass@k。
贝叶斯3D可转向CNN:同时实现等变性与不确定性量化
提出贝叶斯可转向CNN,同时实现等变性与不确定性量化,校准误差0.0263,分布偏移下性能提升6.17%,利用不确定性提准4%。
通过迁移学习神经算子实现Grad-Shafranov平衡的数据高效跨设备泛化
提出跨设备平衡重构的神经算子框架,多几何预训练下Wavelet Neural Operator达<4%误差与毫秒推理。
惊喜引导的归并排序:通过自适应比较调度实现预算高效的人机协同排序
SGS用VLM引导归并排序,高歧义比较交人类处理,低歧义自动推断,在六个基准上提升Kendall's τ×100达6-12。
关于稳定性边缘梯度下降的分岔理论框架
提出分岔理论框架,证明法向翻转分岔驱动稳定训练,切向漂向低锐度,统一先前结论。
在分歧处定位贡献:面向LLM推理的路径条件自蒸馏
HSD通过成功同伴轨迹在分歧处提供密集信用信号,显著提升LLM推理性能。
用表示自编码器蒸馏漂移Transformer
Drift-RAE方法在RAE潜空间用漂移蒸馏,1万步达1.77 FID,超越现有方案。
A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
代码在算法推理中是否优于自然语言?
代码执行比自然语言推理高31.6%,但改变中间表示无显著优势,性能提升需可靠外部执行。
重新喂入并非重放:在反事实令牌信用估计中衡量重放噪声
反事实信用估计中重放引入噪声,影响决策令牌选择,建议恢复解码状态或使用批不变内核。
MoECa:对齐扩散变换器中特征重用与专家分解
MoECa提出分支级缓存框架,跨时间步重用特征,加速DiT-MoE推理最高2.83倍,质量损失极小。
贪婪坐标扩散:通过扩散引导实现有效且语义一致的对抗攻击
微调对齐模型即使无有害数据也会破坏安全,源于损失曲率导致的二阶漂移,Fisher信息矩阵可预测退化程度。
形式化并缓解LLM注意力中的结构失真以实现零样本图推理
发现图线性化导致注意力衰减,提出GaLA轻量修正,提升零样本图推理性能。
HAPI-EP:迈向混合、自适应和预测的心脏电生理数字孪生
HAPI框架通过物理灰盒模型与元学习自适应,实现心脏电生理数字孪生的快速适应和强预测能力。
CIWI-CKT:混沌感知波干涉特征融合与跨城市知识迁移的交通流预测
CIWI-CKT融合混沌感知波干涉特征与跨城市知识迁移,在少样本场景下显著提升交通流预测精度并减少训练数据。
具有显式不确定性和证据冲突建模的审计风险评估多智能体框架
提出UMAR多智能体框架,融合异质证据并量化冲突,优于基线模型,实现最低校准误差,提供可解释风险信号。
基于混合专家模型的大语言模型冲突感知联邦微调
提出FC-MoE框架,解决联邦学习中MoE专家冲突,通过重要性加权和梯度共识投影加速收敛,提升非IID环境下全局与局部性能。
MosaicQuant:用于统一4位LLM量化的内点-异常点分解
提出MosaicQuant,通过内点-异常点分解和稀疏残差补偿实现统一4位量化,结合ZipperEngine融合执行,精度接近FP16且加速1.24倍。
多保真度SINDy:基于保真度加权测量的非线性动力系统稀疏发现
提出加权回归方法处理异质噪声,证实重复低成本低质量数据可提升模型恢复,甚至媲美高保真结果。
Z平面神经网络:有界几何激活取代ReLU和层归一化
受生物轴突启发,用Radial Bounding有界几何激活替代ReLU和LayerNorm,实现100层MLP稳定收敛,MNIST准确率98.34%。
储层注意力网络:通过内容可寻址储层注入在预训练Transformer中实现跨前向传递状态
研究RAN将固定随机储层注入预训练Transformer中层,验证未训练循环动力学跨前向传递状态的能力。
ReQAT:通过4位浮点量化感知训练实现全精度推理精度
ReQAT框架通过轨迹对齐、熵最小化及量化初始化,在4位量化下恢复并超越全精度推理精度,实现数倍加速。
多模态学习中缺失模态的无监督学习
提出UL4M4框架,无监督填补缺失特征,支持任意缺失模式,高度缺失下F1超0.7,性能领先。
用于摊销离散采样的近端策略优化
首次将近端策略优化应用于生成流网络,显著提升收敛速度与数据效率。
基于Transformer的稳健一步股指预测:利用移位数据增强
改进Transformer结合移位数据增强与余弦退火,在股指预测中表现优于增加模型复杂度,实现稳健高效预测。
可视化不确定性:深度学习中的缺失与冲突证据空间图
提出UAM框架,结合证据深度学习与全梯度,生成空间不确定性图以区分缺失与冲突证据。
自动驾驶换道预测:从相关到因果的因果解释框架
提出因果推理框架,实现换道预测F1>95%,通过干预分析区分因果变量,生成因果链解释,超越相关性分类。
显微镜下的数据流形
引入基准框架,扩展数据集并用有限差分估计器精确恢复曲率等几何量,作为受控测试床以校准几何估计器与验证理论假设。
如何为一次性MoE专家剪枝评分:统一公式与选择原则
提出统一公式与选择原则,新准则MAN和MSAN在任务无关剪枝中表现最优,平均性能提升达8.8分。
阶段感知因果建模的潜在时间嵌入贝叶斯网络(用于阿尔茨海默病进展)
提出BN-LTE框架,结合潜在时间嵌入与AT(N)约束预测tau进展,识别出中期淀粉样蛋白敏感窗口。
InstantForget:无需更新的后门遗忘——推理时特征重置
提出InstantForget方法,通过清洁校准门控重置异常特征,无需触发样本或参数更新,将平均攻击成功率降至0.071。
当生成器重放退化时:异构联邦增量类学习的投影排练编排
PRO框架用投影排练编排替代合成重放,解决异构联邦增量学习中监督不平衡与阶段错位,提升保留与最终效用。
基于课程轮次引导的在线策略蒸馏方法用于多轮代理
提出Guided-OPD算法,通过课程式混合生成轮次解决小模型错误累积问题,平均评分提升21.1%,成功率提升25.5%。
SILAGE:用于嵌套有限和的内存高效、无全梯度非凸优化
提出SILAGE算法,无需全梯度刷新,仅需O(n)内存,利用嵌套双和结构优化非凸问题,收敛分析自适应数据异质性。