大语言模型量化中的变换:大反转与格式协同设计
提出“大反转”原理:变换编码与分组量化目标相反,综述200篇文献,分类43种方法并提供选型指南。
信任概率质量:KV缓存淘汰中的强制权重
枚举最优子集显示保留最大权重近最优;方法差距源于内存与排名偏差。所提方法以丢弃质量分配预算,胜多数对比。
面向多目标对齐的Plackett-Luce混合模型学习
提出MoPLEx拟合Plackett-Luce混合模型,解决多目标排序不可识别,聚类排序精度大幅提升。
用两层隐藏层ReLU网络表示MAX函数
研究两隐层ReLU网络对MAX_N的精确表示,通过计算机辅助搜索得到N=5至8的表示,与近期结果独立且不同。
LibriBrain100:用于规模化神经语音解码的百小时广度和深度MEG数据
超百小时MEG,单受试者80小时破纪录,词分类SOTA,多受试者微调有效,开放库与竞赛。
神经贝叶斯结构学习用于离散选择建模
提出Neural-BSL,结合可微结构学习与离散选择估计,联合学习属性结构,支持干预传播,预测模式选择及下游变化。
输出稀释:混合专家模型中冗余却脆弱的表征
MoE模型编码道德信息冗余但脆弱,噪声鲁棒性比稠密模型低4.2倍;源于输出稀释,属架构固有而非习得。
基于强化学习微调缓解LLM谄媚:贝叶斯真相血清方法
用贝叶斯真相血清作GRPO奖励微调LLM,无需标签即可缓解谄媚,提升真实性。
InsightSR:通过并行语义与结构LLM引导优化符号回归搜索空间
通过并行语义与结构LLM引导优化搜索空间,显著提升符号回归恢复率与泛化性。
前缀去噪一致性:扩散语言模型的测试时验证
扩散语言模型可用前缀条件再生成实现测试时验证,正确轨迹更稳定,能提升推理表现。
两个维度决定不可知多类直推学习
多类不可知直推学习最优误差由DS维与N维共同决定,任意标签空间成立,与PAC学习一致。
长期可信协作伙伴选择的双向Mamba行为评估模型
提出双向Mamba模型,综合历史协作中前后时序依赖,评估设备长期行为,提升可信协作者选择准确性。
SHSP:面向混合整数线性规划的结构感知层次化解预测
SHSP:结构感知层次化解预测框架,按变量耦合图条件解码并修复错误,显著缩小MILP求解差距。
ShuttleArena:物理羽毛球中的可解释自对弈
提出基于物理的羽毛球单打自对弈环境,用PPO训练可解释策略,验证恢复行为对竞技表现关键。
激活空间顺序交换几何:位点不对称性审计
位点不对称审计:单干预基线解释84-97%序交换范数,自曲率大于残差;先跑基线再解读交互或几何结构。
拒绝几何反映拒绝训练:多样化的拒绝前缀能提高稳定秩并削弱拒绝向量消融攻击
研究发现拒绝几何反映训练:多样化拒绝前缀提升稳定秩,使拒绝更难被向量消融攻击移除。
基于差商聚类的多模态回归求解:快速粗条件标签分配
提出差商聚类解决多模态回归均值坍缩,按最小矛盾比分配标签并训练条件网络,合成测试优于随机标签和均值坍缩。
基于梯度追踪与AdamW的鲁棒去中心化无线联邦学习
结合梯度追踪与自适应优化,双流量化误差反馈加本地回退,应对异质数据与信道不可靠,保证收敛并优化精度通信权衡。
联合初始化通量网络与有效增殖因子的物理信息神经网络中子扩散求解方法
提出JI-PINN方法,用低分辨率近似解联合初始化通量网络与keff,在保持精度下将计算时间降低25%-49%,减少异常结果。
既非精度也非架构单独决定:物理信息神经网络失效补救措施的受控测试
受控实验表明,精度与架构补救措施作用于不同失效区间,不能相互替代,需按随机种子联合评估。
超越成对反馈:面向偏好奖励学习的列表式视觉-语言监督
提出列表式视觉-语言偏好奖励学习框架,应用排序模型,性能媲美成对基准,最佳成功率86%
PaSta:部分标签学习下的噪声节点分类
提出PaSta框架,用部分标签学习构建高质量标签,双损失训练,自训练迭代优化,五数据集平均提升1.1%。
参数化知识图谱记忆中的存储-检索鸿沟
将知识图谱离线编译为按实体存储的适配器,可存事实但相似检索失效,存在存储-检索鸿沟。
FedQoS:面向异构室内外接入选择的联邦QoS风险学习
提出联邦QoS风险学习框架,本地训练全局聚合,预测链路失效概率,选择可靠接入,优于信号及历史方法,接近集中式性能。
逃离低维重叠:基于高维稀疏解缠的多任务模型合并
提出基于稀疏自编码器的高维稀疏解缠多任务模型合并框架,并用GR-ZOO选择关键层,在多种任务上超越基线,最高提升2.78%。
利用正交投影解读蛋白质语言模型嵌入以预测蛋白质适应性
通过正交投影去除已知生化特征影响,揭示蛋白质语言模型嵌入编码生化特性,并量化其对适应性预测的贡献。
采样Token反向KL在线策略蒸馏的Token级分析
反向KL在线蒸馏逐token梯度分析:低概率token主导更新,提出SuRe加权提升数学指标。
反思引导:在激活空间中将反思与推理解耦以实现令牌高效推理
提出反思导向框架,无需训练,激活空间解耦反思与推理,经PCA与层校准,平均减16.9%推理令牌,平衡效率与精度。
随机优化中的超越最优速率:轨迹自适应停止规则
针对固定时域保证不适用于自适应停止,提出轨迹自适应置信序列,达最优收敛率,迭代数大幅减少。
非线性PDE稀疏PINN求解器的物理信息前瞻剪枝
提出物理信息谱感知剪枝,用PDE残差敏感性指导剪枝,在非线性PDE求解中保持残差保真度,但无统一最优准则。
M-纤维化理论及其在神经网络压缩中的应用
针对交换幺半群标记图建立纤维化理论,推广图纤维化至加权图及近似情形,为神经网络压缩提供理论基础。
超越规模扩展:基于经验驱动工作流与经验图内存的自进化LLM智能体用于硬件内核优化
KOPE自进化框架用经验图内存与主动上下文管理,硬件内核优化通过率84.6%,加速1.54倍。
层次聚类中的个体公平性
研究层次聚类个体公平性:用受控超度量刻画局部k近邻失真,给出最小松弛阈值、稳定性及对数n分离界。
DCEO:电商搜索中长期用户价值建模的直接因果效应优化
提出DCEO框架,利用因果效应与演员-评论家优化商品代理分数,对齐用户长期目标,已部署于电商搜索,提升GMV。
频率感知的短期台风阵风预测
提出WDANet,利用平稳小波分解和FiLM建模趋势与波动,台风阵风短期预测优于ECMWF-HRES。
对抗性训练线性模型以应对隐蔽攻击
提出检测器切换模型,推导凸优化对抗风险,权衡清洁与被攻击数据,实验显示部分攻击下性能提升。
受污染约束学习问题的比较
经典数据处理不等式在约束学习中失效;提出广义不等式,等价于损失模型诱导的超预测集包含,并给出充分条件。
地理参考时间序列多步预测中的时空局部性建模
SPALT方法用线性模型树局部建模时空相关性结合剪枝策略实现多传感器多步预测优于现有模型
LDAC-Net:用于低成本MOX气体传感器漂移鲁棒识别的可学习多滞后差分注意力卷积网络
可学习多滞后差分注意力卷积网络,抗漂移,SmellNet-Base 68.2%,超FOTD 14点。
基于深度学习的Meteosat灵活组合成像仪对流层温湿度廓线反演
提出空间感知深度学习模型,仅用FCI观测反演对流层温湿度廓线,无需数值预报,精度接近再分析。
公平性感知的测试时提示调优
提出公平感知的测试时提示调优方法,平衡目标与伪相关熵,改善子群偏移下的公平性并避免模型崩溃。
图学习为何无法充分受益于文本教师?
探究图文联合训练效果不佳的六种因素,揭示图谱表示与文本知识融合中的权衡与冲突。
大语言模型增强的图神经网络是否隐私安全?
大语言模型增强的图神经网络在提升效用同时更易受链接、标签和成员推理攻击,差分隐私防御会显著牺牲效用。
关键在于时间尺度:后继特征与多目标规划和学习中的非线性效用
现有多目标强化学习与后继特征只处理单一时间尺度的非线性效用,忽略同一问题内多时间尺度并存,重大空白。
用于瞬态动力学自回归稳定性的本构马尔可夫物理信息神经算子(MPNO)
提出MPNO,用本构马尔可夫传播算子约束谱半径≤1,实现瞬态PDE自回归稳定,精度优于WNO,参数约20K,推理快10^5倍。
从废弃物中学习:机器学习在加纳健康风险预测与基于计算机视觉的垃圾分类中的应用
利用随机森林和MobileNetV2模型,验证了加纳社区垃圾处理与疾病的关系,并实现低成本自动分类,强调技术需配套制度支持。
CEDAR:基于残差分解的受控与事件驱动需求预测
提出CEDAR两阶段框架,融合行动条件与残差校正,在阿里1688超3200万商品数据上提升预算规划模拟精度。
TailSFT:过滤式微调提升后训练性能
TailSFT通过过滤已拟合序列,聚焦分布尾部,提升覆盖率和后续强化学习效果。
EXAONE Tabular 1.0:技术报告
EXAONE Tabular是紧凑型表格基础模型,通过上下文学习分类回归,无需梯度更新,架构创新,性能强且高效,达到最先进水平。
面向非独立同分布数据的半监督联邦学习中自适应聚合的协作式多智能体强化学习
提出pFedMARL,用多智能体强化学习动态调整聚合策略,提升非IID及对抗场景下半监督音频模型的准确率、鲁棒性与公平性。