将连续属性的公平零空间投影扩展到核方法
将公平零空间投影扩展至核方法,实现连续属性的模型无关公平处理,结合SVR性能优越。
ClustRecNet:一种新颖的端到端深度学习框架,用于聚类算法推荐
ClustRecNet通过高阶表示学习直接推荐聚类算法,性能显著优于传统指标和AutoML,平均ARI提升44.16%。
固定聚合特征可媲美图神经网络
无需训练的固定聚合特征将图学习转为表格问题,在多数基准上媲美甚至超越图神经网络。
RAVQ-HoloNet: 速率自适应矢量量化全息图压缩
提出速率自适应全息压缩框架,低码率下BD-Rate降低33.91%,PSNR提升1.02dB。
地面运动数据的局部本征维度用于灾难性边坡破坏早期检测
提出时空局部本征维度框架,通过运动学增强、贝叶斯空间融合和时间建模,提升滑坡破坏早期检测精度与预警提前量。
一次性训练:组学数据的可微分子集选择
YOTO端到端框架,一次性训练联合稀疏基因选择与预测,多任务学习提升泛化,性能优于基线。
半参数偏好优化:你的语言模型其实是一个单指标模型
本文提出半参数偏好优化,解决连接函数误设问题,直接学习策略并证明收敛,实验验证有效。
LMM-IR:面向大规模网表感知的静态IR压降预测多模态框架
提出多模态框架,将网表拓扑表示为3D点云,融合多种数据预测静态压降,在ICCAD竞赛中取得最优F1和最低MAE。
大语言模型中的几何感知幻觉检测
GA-ICL利用几何感知原型选择演示样本,无需修改参数即可提升幻觉检测性能,鲁棒且可扩展。
共享表达式的符号回归:引入部分参数共享
提出多分类变量与部分参数共享的符号回归方法,可分离通用、类别特定及交互效应,降低数据需求。
通过影响矛盾识别与纠正标签噪声的鲁棒GNN
提出ICGNN,利用影响矛盾分数检测噪声标签,结合高斯混合模型和软策略纠正,辅以伪标签提升模型鲁棒性。
基于结果的RL可证明能引导Transformer推理,但需合适数据
证明基于结果的RL可使Transformer学会逐步推理,关键在于训练数据需包含足够多的简单示例。
中文标题:L³:大规模查找层
中文摘要:提出L³层,通过静态token路由聚合嵌入,实现高效稀疏建模,优于稠密模型和MoE。
Lethe:面向联邦遗忘中持久知识擦除的规范性双流更新
提出Lethe方法,通过遗忘流与保留流反对齐更新,实现联邦学习中知识的持久擦除,后续训练遗忘率低于1%。
何种结构归纳偏置帮助Transformer在知识图谱上进行推理?一项基于Tabula RASA的研究
稀疏邻域掩码是提升多跳推理的关键,关系参数仅起辅助作用,归纳偏置主要为拓扑而非关系。
条件PED-ANOVA:层次化与动态搜索空间中的超参数重要性
提出condPED-ANOVA,在条件搜索空间中准确估计超参数重要性,克服原有方法局限。
SFMP:面向大语言模型的细粒度、硬件友好且无需搜索的混合精度量化方法
无需搜索的混合精度量化框架,实现细粒度且硬件友好,优于层间方法,降低量化成本并提升推理效率。
论置换等变权值空间网络的表达能力
系统研究权值空间网络表达能力,证明现有置换等变网络等价,建立通用性,改进模型提升34%性能。
SUSD:基于状态分解的结构化无监督技能发现
SUSD通过状态分解为独立组件分配技能变量,促进多样化技能发现与细粒度控制,显著优于现有方法。
利用自蒸馏使专家推理可学习
提出DAIL两步自蒸馏方法,用少量专家数据对齐分布,显著提升LLM推理性能与泛化能力。
针对高维离线赌博机的高效对抗攻击
研究发现,对奖励模型进行微小对抗扰动即可显著改变高维离线赌博机行为,且高维下攻击更易成功。
调整掩码扩散语言模型的隐式正则化器:基于$k$-奇偶问题洞察增强泛化
分解掩码扩散目标为信号与噪声正则,优化掩码概率分布,显著提升大规模模型泛化并避免突现现象。
视觉Transformer微调受益于非平滑组件
高可塑性的注意力模块和前馈层能提升微调性能,挑战平滑性有益的假设。
顺序重要吗:连接鲁棒性定律与鲁棒泛化
证明鲁棒性定律与鲁棒泛化的联系:全局Lipschitz界阶数不变,局部随扰动半径和浓度项变化。
Learning to Remember, Learn, and Forget in Attention-Based Models
Variance-Gated Ensembles: An Epistemic-Aware Framework for Uncertainty Estimation
通过潜在动力学统一无模型效率与基于模型的表示
提出ULD算法,融合无模型效率与基于模型表示,无需规划开销,跨领域单组超参数即达顶尖性能。
Muon在关联记忆学习中的优化:训练动态与缩放定律
Muon优化器利用梯度矩阵符号更新,在关联记忆学习中比GD更快:无噪声时指数加速,有噪声时缩放更优。
非凸优化中(裁剪)SGD的严格长期尾部衰减
揭示了非凸优化下SGD与裁剪SGD的尾部指数衰减率及紧性,比现有有限时间界限快一个数量级。
是时候了:迈向下一代时间序列预测基准
TIME基准含50新数据集、98零样本任务,提出模式级评估,评测12模型。
基于结构化区域选择的稀疏贝叶斯深度函数学习
提出sBayFDNN模型,融合深度贝叶斯与结构化先验,实现可解释区域选择与不确定性量化,理论严格实证优越。
可扩展多智能体强化学习中局部性的统一框架
提出统一框架,分解Cπ矩阵,谱半径条件弱于传统行和,软max温度直接控制局部性,误差指数衰减。
好的推理带来好的示范:通过上下文强化学习实现隐式推理质量监督
利用上下文强化学习隐式重加权奖励,提升高质量推理轨迹权重,显著改善数学推理准确性与质量。
生成式增强推断
GAI框架将AI输出作为特征而非标签代理,用非参数建模提升因果推断效率与准确性。
边缘设备上的高效推理
提出LoRA微调、强化学习预算强制及动态适配器切换,实现资源受限下高效准确推理。
ALMAB-DC:融合主动学习、多臂老虎机和分布式计算的序贯实验设计与黑盒优化方法
ALMAB-DC融合主动学习、多臂老虎机和异步分布式计算,高效序贯实验,分布式加速7.5倍,统计显著优于基线。
估计异质性长期治疗效应的正交学习器
提出LT-O-learners,用重叠权重重定损失,实现低重叠下异质性长期效应的稳健估计。
AgentDS技术报告:评估特定领域数据科学中人机协作的未来
AgentDS竞赛发现,AI在特定领域推理中表现欠佳,人机协作方案最强,凸显人类专长在数据科学中的持续重要性。
策略改进强化学习
提出PIRL框架和PIPO算法,通过闭环验证实现策略迭代改进,提升大语言模型推理的稳定性与性能。
推理偏移:上下文如何无声地缩短大语言模型推理
添加无关上下文使LLM推理轨迹缩短最多65%,自我验证减少,虽不影响简单问题但可能损害复杂任务性能。
Adalina:沙普利值及其扩展的自适应线性近似
本文提出Adalina,在线性空间下自适应逼近沙普利值等半值,显著降低均方误差。
突破规模壁垒:通过频率变换的一次性知识迁移
通过DCT提取低频learngene,实现无训练知识迁移,加速收敛15倍,减少语言任务40.5% FLOPs。
扩大鸿沟:利用异常值注入攻击LLM量化
提出通过注入异常值导致权重崩溃,首次成功攻击多种高级量化方案,表明量化安全风险广泛存在。
精选合成数据不必崩溃:基于多元偏好的生成式再训练理论研究
基于多元奖励的精选可避免模型崩溃,模型收敛至加权纳什协商解,保持多样性。
面向内存受限推理的随机稀疏注意力
SANTA随机抽样稀疏化值缓存,实现无偏估计与GPU加速,32k上下文精度不变,解码核加速1.5倍。
FactoryNet:面向工业时间序列基础模型的大规模数据集
首个工业时间序列预训练语料库FactoryNet,5100万数据点,支持零样本跨实体迁移和高效异常检测。
Towards interpretable AI with quantum annealing feature selection
高效利用在线自然语言反馈对齐语言模型
提出在线自然语言反馈对齐方法,通过迭代优化代理奖励,在模糊领域实现高效对齐,数据效率提升高达50倍。
HEPA:一种基于自监督且以时间范围为条件的时序事件预测架构
HEPA通过JEPA自监督学习未来表示,冻结编码器微调解码器生成生存CDF,在14个基准中10项超越SOTA,参数与标注数据量少。