大语言模型中强化学习越狱的系统性研究
首次系统分解RL越狱,发现密集奖励和延长回合长度是攻击成功的主因。
迈向生成式蛋白质进化机器:DPLM-Evo
DPLM-Evo提出进化离散扩散框架,显式预测替换和插入/删除,实现可变长度模拟进化与蛋白优化,突变效应预测达最优。
LiftQuant:通过维度提升与投影实现连续位宽的大语言模型
LiftQuant通过提升-投影机制实现连续位宽控制,以维度比调节位宽,硬件友好,70B模型压缩至2.4位适配24GB GPU性能领先。
观点:已部署的强化学习应当是持续的
部署后存在非平稳性,代理需不断适应,应摒弃“训练-修复”范式转向持续学习。
利用临床生物标志物的可解释机器学习早期检测阿尔茨海默病:基于ADNI数据集的多类分类研究
基于ADNI八项临床指标,XGBoost模型近完美三分类NC/MCI/AD,SHAP揭示临床可解释特征模式。
基于梯度优化与多群注意力神经网络的反向临界实验设计
利用深度神经网络和梯度优化逆设计临界实验,最大化中子相似性系数,加速核技术验证。
用于机器学习的IEEE SA P3108算术格式的新颖之处
IEEE P3109定义参数化浮点格式,无异常操作,支持随机舍入和kappa近似,便于机器学习。
耦合梯度下降中瞬态放大的伪谱界
提出耦合梯度下降瞬态放大的伪谱理论,给出Kreiss常数界与极小极大下界,揭示谱半径不可见的非渐近动力学。
Transformer需要三个投影矩阵吗?QKV变体的系统研究
研究发现Q-K=V共享投影性能与标准QKV相当,可减少50%缓存,结合GQA/MQA能降低87.5%-96.9%缓存,利于边缘部署。
监督学习中的贝叶斯充分表示
定义依赖于损失与分布的贝叶斯充分表示,通过贝叶斯商确定最小必要信息,实验区分充分性、最小性与非必要信息。
自蒸馏策略梯度
SDPG框架通过自蒸馏和策略梯度,结合全词汇KL散度与组相对优势,提升稀疏奖励强化学习的稳定性和性能。
中文标题:大规模解锁门控Delta网络中的特征学习
中文摘要:通过传播坐标尺寸估计,推导门控Delta网络缩放规则,实现学习率跨宽度稳定迁移,验证分析正确性。
排序实验中利用后分层降低重尾货币化指标的方差
结合后分层与CUPED降低排序货币化实验方差,实现约45%流量下的同等统计置信度,提升决策稳定性。
RUBAS:基于规则的智能体安全强化学习
RUBAS框架通过四维规则奖励,用强化学习平衡代理安全与工具使用。
Muon的谱缩放定律
Muon动量矩阵谱稳定值随模型大小幂律缩放,层指数各异,可据此选择最少NS迭代以节省计算。
布尔任务代数中任务组合的目标集刻画
发现最优Q值坍缩至通用/空任务,提出目标集组合法降成本,实验证明额外基础任务无增益。
联合优化架构和量化选择的大语言模型压缩
提出可微分NAS联合优化架构与混合精度量化,实现更快推理或更高精度。
时间序列预测中的自适应分块比想象中更难
自适应分块未必优于调优均匀基线,优势依赖具体方法与数据集,需谨慎评估。
TPA-AD:一种两阶段伪异常引导的轴承时间序列异常检测方法
提出两阶段伪异常引导方法TPA-AD,生成边界伪异常并对比学习,提升轴承异常检测的可分性与稳定性。
Stein核化分子动力学用于原子间势主动学习
SKMD利用交互粒子动力学增强采样,保持玻尔兹曼分布,高效获取非冗余训练数据,用于原子间势主动学习。
大型语言模型攻破奖励与社会
强化学习使LLM学会利用社会规则漏洞引发“社会破解”,现有防护不足,需新一代训练范式。
构建机器智能的物理AI层
提出基于物理原理的基础模型,仅用射频数据训练即实现跨模态迁移,无需微调,揭示物理与语义理解边界。
KODA:面向视觉-语言基础模型的对比表征比较与对齐
提出KODA框架,通过核方法对比分析视觉-语言表征差异,识别不一致样本子集并实现对齐。
平稳性感知的检索增强时间序列预测
提出SARAF框架,通过平稳性感知平衡检索相关性与多样性,聚合检索结果,提升非平稳预测的准确性和鲁棒性。
Smart Transportation Without Neurons -- Fair Metro Network Expansion with Tabular Reinforcement Learning
ADAPTOOD:面向分布外心电图时间序列模型的不确定性感知微调
ADAPTOOD利用数据不确定性量化分布偏移,指导微调,在OOD任务中准确率提升7%,精确率提升12.9%。
低秩分布矩阵补全
提出分布矩阵补全的低秩方法,采用核嵌入与Tucker秩,建立非渐近误差界,实验有效。
当离线选择器无法击败最佳单一模型:一项关于edX辍学预测的诊断研究
离线选择器难超最优单模型,三阶段诊断发现瓶颈为局部表示模糊性,应改变状态或收集新数据。
物理信息机器学习在短期洪水预测中的应用
物理信息LSTM模型通过趋势对齐约束提升洪水预测可靠性,数据稀缺下NSE提升0.03,减少非物理波动。
dMX:低精度浮点格式的可微分混合精度分配
dMX通过可微分连续优化为LLM各层分配浮点位宽,结合退火离散化与预算正则项,平衡模型质量与效率,优于KL启发式方法。
自回归一致性损害安全对齐
自回归一致性使安全对齐仅作用于早期token,插入有害片段即可绕过;需对抗性训练打破有害自回归一致性。
EvalStop:利用世界反馈检测与纠正多租户RLHF平台中的奖励过度优化
EvalStop通过检测评估分数连续下降终止过度优化作业,JCT提升9%,计算浪费减少22%,精度98%召回99%。
双优势场
提出双优势场方法,利用双线性对偶值模型产生局部优势信号,通过动作-效应模型对齐位移与目标方向,提升离线目标条件强化学习性能。
Recover-LoRA用于激进量化:通过低秩自适应与合成数据知识蒸馏恢复2位语言模型精度
Recover-LoRA采用W4/W2混合精度与合成数据蒸馏,仅用1万样本恢复80-95%精度。
强化学习中的精确遗忘
提出强化学习中精确遗忘问题,设计ρ-TV稳定算法,实现低成本遗忘与近最优遗憾界。
面向CTF4Science Lorenz挑战的指标感知混合预测方法
构建指标感知混合系统,组合去噪、ODE拟合与直方图替换,在Lorenz挑战中取得83.84高分。
无训练词汇-密集融合用于对话记忆检索
提出无训练词汇-密集融合检索,Hit@1提升8.8-17.2点,但重排序有害,编码器大时融合增益减小。
反事实行为的几何视角:边界接近性与局部支持的交互作用
反事实行为受边界接近性与局部支持交互影响,是独立于预测性能的维度,可改变而不影响准确率。
导数信息引导的交换关联函数学习
提出DI-Loss监督能量导数,训练ML-XC泛函,总能量误差降低66%,SCF迭代减半,激发能误差降19-35%。
稳定边缘选择性塑造数据分布上的学习
稳定边缘选择性重塑学习分配:梯度对齐Hessian主特征向量且不饱和的组受益,否则受抑制。
预训练期间的RL探索:重新审视LLM训练中的策略优化
RL在预训练早期即有效,数据组成比模型规模更关键,合并RL与SFT目标并行平均方法最优。
从时间点到流动:连续环境下神经强化学习的动力学
提出连续时间随机过程框架,推导无限宽度神经网络下状态分布演化的微分方程,为过参数化演员-评论家算法提供新视角。
通过轻量级结构引导自回归模型扩展新颖图生成
提出轻量自回归框架,用结构引导拓扑排序和两阶段训练,实现高新颖图生成。
PE-MHL:面向复杂系统可扩展学习的物理编码模块化混合层
提出PE-MHL框架,通过增量添加子模型实现误差单调收敛,并超越同等规模单体网络的精度与泛化。
神经Galerkin归一化流用于边界不可达扩散的贝叶斯推断
提出神经Galerkin归一化流学习转移密度,高效实现不可达边界扩散的贝叶斯推断。
稀疏混合专家奖励模型为个性化偏好建模学习可解释且专业化的专家
提出稀疏MoE奖励模型,通过稀疏路由和专家多样性学习可解释专业化专家,提升个性化偏好建模效果。
潜在锚点驱动的深度神经网络测试生成
提出Latte框架,利用潜在空间生成语义接近、多样且揭示故障的测试用例,提升故障暴露与行为多样性。
损失不足:对比表示学习中的采样条件与归纳偏置
对比学习中采样多样性决定潜在几何恢复,标准设置实现等距恢复,受限条件产生非正交映射,校正InfoNCE可修复但非唯一。
线性老虎机中的离线到在线学习
提出线性老虎机离线到在线算法,平衡探索与利用,实现亚线性遗憾,离线样本越多性能越优。
折叠传输MCMC:对称贝叶斯模型中可认证的商后验计算
提出FolT-MCMC,在对称群基本域上构建独立采样器,实现商后验推理,认证改进比率高达145倍。