平坦之地:大步长梯度下降的冒险
定义大步长,设计边缘稳定自适应方法,发现过早遇全局平坦区域不利。
Federated Foundation Models over Vehicular Networks
用于流失预测与行为驱动因素识别的滚动窗口框架
提出滚动窗口流失预测框架,30天观察评估窗,特征模型AUC 0.94,序列模型召回96.1%,时间框架设计优于模型复杂度。
竞争模型下的学习解释:动态认知诊断中的联合与逐步方法
联合与逐步分析在动态认知诊断中结论不同,联合更可靠,影响对技能掌握的判断。
SCALE:面向智能体工作流调度的可扩展跨注意力学习与外推方法
SCALE利用交叉注意力与结构化正则化实现跨规模泛化,无需微调即降低响应时间8.9%。
PandaAI:面向量化金融中神经符号数据分析与集成决策的实用CQ2智能体
PandaAI通过市场体制建模和受限alpha生成实现闭环神经符号推理,在沪深300数据上Rank IC提升18.2%、最大回撤降低25.7%。
门控循环单元中的乘积单元改进核质量预测
利用复数域乘积单元门控循环单元,在核质量预测中实现插值RMSE 0.227 MeV、外推0.179 MeV,超越现有模型。
TALAN:面向大语言模型定向后训练的任务对齐潜在自适应网络
TALAN在残差流中插入潜在侧路径与LoRA共训练,在STEM/代码任务上平均提升1.41-1.85分,参数开销<1%,推理仅增1%。
架构塑造隐式神经表示中的迁移特异性
研究发现不同INR架构迁移特异性差异大,SIREN权重复用广,ReLU选择性强,傅里叶特征居中,评估应关注特异性而非仅迁移幅度。
最后层模型窃取的几何原理
利用几何解释模型窃取,明确复制网络最后一层的条件,揭示隐藏层无法完全逆向。
听出弦外之音:声学对抗攻击中的语言模型先验
利用LLM预测上下文突破ASR实时因果限制,词错误率达35.6%(三倍于当前最佳),揭示低延迟LLM可被用于破坏语音识别系统。
使用乘积单元残差网络建模非线性特征交互
PURe网络显式建模特征交互,相比MLP提升准确率、鲁棒性和交互可解释性。
基于证据的802.11数据包捕获集成诊断:一种具有确定性可靠性评分的多阶段流水线
提出PROBE多阶段流水线,通过证据集成与确定性评分,诊断F1达0.957,自动接受率96%。
数据受限的语言模型预训练:改进的正则化与缩放定律
提出MIR正则化和SoftQ缩放定律,数据受限下提升预训练,MIR效果等效1.3倍独有数据。
GRASP:面向可扩展预训练数据归因的几何感知残差对齐
GRASP用几何感知建模子集交互,高效预训练数据归因,性能提升逾倍,成本降低近一个数量级。
GlucoFM-Bench:血糖预测的时间序列基础模型基准测试
GlucoFM-Bench显示预训练TSFM零样本接近全监督,但数据充足时LSTM更优,T1D及极端血糖预测仍具挑战。
CF-JEPA:无掩码前向预测与不对称编码器利用的时间序列表示学习
CF-JEPA提出无掩码多视角前向预测,利用在线与EMA编码器不对称性,分类与预测分工,降低多变量预测MSE 27%。
微调陷阱:评估负迁移与PEFT在<1B参数数学推理中的作用
全微调会损害<300M参数模型性能,PEFT是稳定性必需,推荐<1B对齐模型默认使用PEFT。
GenPO++:无雅可比似然比的生成策略优化
GenPO++通过无雅可比似然比实现精确可逆生成策略优化,在复杂控制任务中超越现有方法。
从采样结果到能力分布:重新思考LLM路由的监督方式
现有路由用单次响应作标签有噪声,DARS从分布视角构建监督,考虑输入输出不确定性,提升路由可靠性。
绿色金融对城市脱碳的异质性效应:来自中国285个城市的证据
绿色金融通过优化能源结构显著降低城市碳强度,对四、五线城市效果最强,绿色债券和投资贡献最大。
通过预测梯度催化剂加速多目标贝叶斯优化
利用高斯过程预测梯度辅助信号,加速多目标贝叶斯优化收敛至全局帕累托集。
加速合成电子健康记录生成中的可重复性研究
提出轻量级基准框架,统一数据加载与评估,降低工程障碍,提升合成EHR可重复性。
RASFT:用于推理的滚动自适应监督微调
提出RASFT方法,动态调整专家监督与自生成轨迹,平衡模仿与探索,优于SFT和RL。
稀疏自编码器中概念学习与神经元解释的几何视角
提出几何框架统一概念学习与神经元解释,形式化概念为点集,概念学习为集合对齐,区分检测、分离、近似三种强度。
定点参数下梯度下降和随机梯度下降的均匀稳定性与泛化误差
GD确定性舍入使泛化误差率升至O(T/√n);SGD稳定性一维O(T/n)高维O(T²/n);随机舍入引入维度误差。
构建具有指定拓扑的VAE潜在空间
针对非欧拓扑数据流形,提出拓扑匹配VAE先验框架,采用因子化分布与闭式KL散度提升重构质量。
过滤式特征选择评估中的偏差:数据集、基线和实验设计选择的元分析
对28项过滤式特征选择研究的元分析发现,评估胜率33%的变异可由数据集、基线和方法的数量解释,揭示潜在偏差。
运营中断下城市轨道交通需求预测的分层预测协调
首次提出分层预测协调框架,保证站点与OD预测自洽,在中断下误差降低17.45%。
SlimSearcher: 通过自适应奖励门控训练效率感知的网络智能体
SlimSearcher通过帕累托高效过滤与自适应奖励门控,在微调和强化学习中平衡准确率与成本,减少工具调用17%-58%并保持准确率。
论在线策略蒸馏的几何结构
OPD更新稀疏且避主导方向,具子空间锁定特性,不同于SFT和RLVR,形成独特参数空间几何。
使用自适应问题和世界模型探针学习显式行为模型
提出显式符号行为模型(ESBM),通过自适应问题和世界模型探针训练,同步获得高分策略与可解释机制。
随机约束决策中的残差控制乘子学习
提出RCML方法,分解乘子为压力信号与残差,实现随机约束下稳健更新与有限增益收敛。
女性就业参与对发展中国家生育率的影响:面板数据方法
研究显示女性就业参与影响生育率,但地区差异大,政策需考虑家庭因素。
OffQ:通过偏移驯服LLM量化中的结构化异常值
OffQ通过偏移机制集中并吸收激活异常值,实现W4A4KV4低比特量化,提升模型精度。
超越线性与过完备机制:瓶颈自编码器的平均场分析
研究非线性瓶颈自编码器平均场动力学,证明有限宽网络风险趋向无限宽最优解。
$\alpha$-PFN:通过上下文学习实现快速熵搜索
提出两阶段摊销策略,用PFN学习近似熵搜索,α-PFN预测信息增益,速度提升超50倍,性能与先进方法相当。
机器学习辅助的渐进式数字随机性筛查框架,用于检测原始数值研究数据中的非随机模式
提出FDRS框架,集成统计与机器学习检测原始数值数据中的非随机数字模式,实现异常数据分级筛查,辅助科研诚信审核。
长程非阿贝尔状态追踪的留出转移对验证器
提出留出转移对验证器,在非阿贝尔追踪中仅用短序列训练即可在百万步评估中完美预测,证明显式投影归纳偏置有效。
解释亨廷顿病无监督疾病分期:模型表示与聚类的洞见
可解释性分析验证无监督分期模型,从早期认知运动障碍到严重功能依赖的临床进展。
基于决策感知的物理信息替代模型评估
提出pinn-gym基准,评估物理信息代理模型时考虑下游决策(如排名、可行性),发现低曲线误差不足以识别有用设计。
动态图的测地线用于状态变化检测
提出基于动态图测地线的状态变化检测方法,优于现有模型,成功分析疫情数据。
RETROSPECT:通过序列预测和化学变换排序的逆合成
提出逆合成方法,结合Transformer生成与LambdaMART重排序,在USPTO-50K上实现高准确率,强调模块化互补设计。
结构保持的校正学习用于脑源成像中的稀疏贝叶斯推断
提出结构保持校正学习,展开经典求解器为神经网络,学习校正项,改进脑源成像重建性能并保持可解释性。
基于非平衡最优传输的柔性尺寸分子生成变形
提出Morph模型,动态调整原子数,增强性质操控与采样灵活性,实现分布外分子生成。
多任务模型合并的闭式谱正则化
提出闭式谱正则化方法SWUDI,将多任务合并视为噪声线性逆问题,用谱滤波匹配梯度下降,减少28-72倍时间与50%内存。
通过随机插值的协方差收缩
将协方差收缩重述为随机插值上的风险最小化,揭示调度、耦合、早停三种降风险机制,并提出神经估计器。
Trio:时空-样本注意力与结构因果先验的时间序列预测学习
提出Trio架构,结合时间、空间、样本三种注意力及结构因果模型生成器,提升多变量预测性能,零样本实验显示先验有效性。
表征涌现的自举理论:解释性不足驱动表征学习与世界模型
现有表征因解释力不足而催生新表征,解释性不足是表征跃迁的正向信号。
TabSwift:一种高效的行级注意力表格基础模型
TabSwift以轻量行注意力为核心,通过门控稳定和注册令牌提升性能,高效支持表格分类与回归推理。