并非所有模态都平等:面向多模态视频的指令感知门控机制
提出UniMVU框架,通过内模态与模态级指令感知门控实现统一融合,克服模态干扰,显著提升多模态视频理解性能。
多疾病视网膜筛查中的卷积、Transformer、混合及视觉语言模型基准测试
基准测试12种架构于多病种视网膜筛查,注意力模型(SwinTiny等)表现最优,视觉语言模型与CNN相当但未超越最佳。
哨兵:具身协作空间推理与规划
提出Sentinel挑战与CoSaR框架,融合基础模型与经典算法,实现多智能体动态通信与空间推理,提升聚集速度与安全性。
RoMo:面向人体运动生成的大规模、丰富组织的数据集与语义分类体系
RoMo是高质量大规模野外人体运动数据集,具三层语义分类和详细标注,提升生成模型逼真度与多样性,并发布标准化工具箱。
DuoGesture:神经启发与生物力学引导的双流共语手势生成
DuoGesture双流框架耦合语义与节拍流,结合变分信息瓶颈与惯性先验,显著提升共语手势的语义表达与节奏平滑度。
LongAV-Compass:面向分钟级音视频生成的统一评估(覆盖T2AV、I2AV、V2AV)
提出分钟级音视频生成统一基准LongAV-Compass,评估284个案例,覆盖T2AV/I2AV/V2AV,揭示长时身份、叙事与对齐的退化。
维度分布情感状态:利用效价与唤醒作为视觉情感分析的通用嵌入空间
提出DDES模型,基于效价-唤醒二维连续空间优化情感表示与多数据集训练,性能优于常用方法。
频率引导的RGB-热红外语义分割融合
提出频率融合与跨模态注意力模块,实现RGB-热红外高效语义分割,参数少、性能优。
VesselSim:无需专家标注的3D血管分割学习
VesselSim通过合成血管数据训练3D U-Net与测试时自适应,无需专家标注即可实现跨域血管分割,性能媲美现有模型。
轻量级自监督模型的高效睡眠阶段分类
通过简化自监督模型结合线性SVM,用更少数据实现更高效准确的睡眠阶段分类。
航空影像中屋顶结构的联合实例分割与几何属性回归
联合预测屋顶掩码与高度、坡度、方位角,精度高,实现单张航片三维建筑重建。
被擦除但可被利用:针对已遗忘文本到图像扩散模型的黑盒嵌入感知提示攻击
BEAP是一种黑盒嵌入感知攻击,利用大语言模型迭代生成提示,使已遗忘概念再现,攻击成功率提升超60%。
E³C:具有3D环境记忆与内外人体姿态控制的视频生成
提出E³C框架,利用3D点云记忆解耦场景与动作,通过内外姿态控制生成一致自我中心视频,提升视觉保真度。
基于多重分形的掩码自编码器:在医学图像中的应用
用多重分形优化掩码策略,聚焦高复杂度区域,提升医学图像分类性能,计算开销小。
Evi-Steer:通过高效且可泛化的证据调优引导生物医学视觉-语言模型
Evi-Steer以仅0.11%参数实现BiomedCLIP不确定性感知微调,在15个生物医学数据集少样本与领域泛化中超越现有方法。
RadarSim:通过多模态神经场模拟单芯片雷达
提出RadarSim,利用RGB相机高角分辨率从神经场生成多普勒雷达图像,比纯雷达重建更清晰。
用于上下文去偏的个性化生成模型
提出DecoupleGen方法,个性化生成罕见上下文图像,增强训练数据,提升物体识别性能。
用于皮肤癌检测的CNN、Transformer、混合模型和视觉语言模型
评估12种模型,调优CNN基线强,Transformer提升区分度,混合与SigLIP VLM最佳权衡。
基于多视图基础模型的统一全景几何估计
PaGeR框架利用预训练3D模型,从单张全景图重建360度场景,几何估计性能领先。
Underwater360:利用全方位高斯泼溅从全景图像重建水下场景
提出物理信息驱动的全方位高斯泼溅框架,实现水下全景场景重建与新视角合成,性能优越。
BioFact-MoE:面向肝细胞癌视觉-语言预后建模的生物学分解混合专家模型
BioFact-MoE通过生物学分解肝脏与肿瘤因素,提升肝细胞癌生存预测AUC超75%,实现可解释风险分层。
VisualNeedle:在信息密集场景中评估主动视觉搜索的基准测试
提出VisualNeedle基准,揭露多模态模型在信息密集场景依赖视觉捷径,准确率远低于人类,成功需真实中间证据。
OmniGF:用于统一注视跟随的双分支视觉-语言框架
提出双分支视觉-语言框架OmniGF,结合离散语言推理与连续空间定位,实现高可扩展多人注视理解,性能领先。
中文标题
通过Perceiver IO融合卫星与街景图像的多模态建筑检测框架,在32,135栋建筑数据集上优于其他方法。
面向高效3D MRI分割的细节一致性逐阶段蒸馏
提出细节一致蒸馏(DCD),通过小波分解逐阶段对齐特征,保持结构细节,零推理开销提升MRI分割性能。
基于多阶段SAM3特征融合的第一人称厨房视频零样本目标重识别
提出多阶段SAM3管道,融合SAM3、DINOv2、CLIP嵌入及掩码IoU,零样本ReID mAP提升7.5%达52.8%。
HydraPrompt:面向合成图像检测的视觉语言模型自适应非对称框架
提出非对称提示框架HydraPrompt,通过动态调整类别中心及对比学习,实现合成图像检测的SOTA性能。
从博弈视角重新思考弱监督视频时序定位
本文从博弈论视角建模帧-词合作,实现多粒度跨模态交互,无需时刻候选,提升时序定位性能。
救援效应:空间语义早退机制规避CLIP量化坍塌
提出LRA-EE早退法,通过空间语义聚合与层自适应阈值,在CLIP INT8量化中降低13.4%运算量,提升2.44%准确率。
基于视觉的大尺度平面场景度量测量比较研究
比较三种基于PTZ相机的平面度量方法:单目测距、图像拼接与立体测距,分析其精度与适用场景。
训练GAN的跨尺度对齐监督
CAT通过生成器一致性正则化解决GAN跨尺度不对齐问题,在ImageNet-256上FID达1.56。
揭示视觉-语言模型的脆弱性:纹理约束扰动与跨模态优化的多模态对抗协同
提出MMAS框架,联合纹理约束图像扰动与嵌入文本扰动,通过跨模态优化实现黑盒通用多模态对抗攻击,揭示LVLMs脆弱性。
AnchorDiff:基于锚点图传播的无训练概念定位方法(针对多模态扩散Transformer)
提出AnchorDiff,通过锚点图传播解耦语义定位与结构细化,显著减少概念泄漏,在多概念混淆数据集上表现优异。
稀疏激光雷达提示下的单目几何基础模型:面向远距离驾驶深度的实证研究
SLIM模型首将稀疏LiDAR注入单目几何,经部分卷积与多尺度融合,在远距离(100-150米)降低误差39-51%。
OmniInteract:为实时全能模态助手基准测试真实世界流式交互
提出OmniInteract流式基准,要求模型在线处理音视频流并实时响应,当前模型表现弱,最佳指标仅0.368。
三元动态感知的扩散后验采样用于逆问题:优化引导与随机性调度
提出TriPS方法,将逆问题后验采样建模为时变控制,优化递减数据一致性和随机性、递增无分类器引导的调度,提升保真度和感知质量。
临床驱动的反事实推理用于医学视频诊断
提出MedVCR反事实推理框架,模拟临床诊断思维,在医学视频诊断中性能提升2.6%-10.2%。
面向视觉-语言导航的开放集语义分组3D高斯地图
通过开放集语义分组构建3D高斯地图,并设计多级动作预测,有效提升视觉语言导航的泛化能力。
LongCat视频虚拟形象1.5技术报告
开源框架升级Whisper编码器与RLHF训练,实现高精度唇同步及长视频生成,性能媲美商业闭源系统。
CmIVTP:面向海上智能的跨模态交互船舶轨迹预测
提出跨模态交互框架CmIVTP,融合AIS与CCTV数据,实现精准轨迹预测,构建多模态数据集,实验性能优越。
TrackRef3D: 多视图一致的跟踪后标注方法用于3D高斯溅射中的开放世界指代分割
提出TrackRef3D全自动流水线,通过多视图一致跟踪后标注实现3DGS开放世界指代分割,无需手动标注达SOTA。
InterSketch:具有自校正视觉草图和逐步奖励机制的交错推理模型
InterSketch通过自校正视觉草图与逐步奖励,实现长程视觉-文本交错推理,性能超越Gemini-3-Pro。
调度式风格注入:在无训练扩散模型风格迁移中拓展风格-内容帕累托前沿
通过调度注入强度与条件,无训练提升风格迁移平衡,ArtFID相对改善6.1%,拓展帕累托前沿。
ReCA:通过递归上下文分配实现多镜头长视频外推
提出ReCA框架解决多镜头长视频外推,递归分配上下文,提升一致性28-43%。
一种用于工业检测中自动缺陷推理和报告生成的混合视觉-语言架构
解耦流水线实现工业缺陷检测与报告生成,小模型微调优于通用大模型,BLEU-4 0.41,幻觉率4%。
CSV-ViT:基于可变大小皮质超顶点的视觉Transformer用于阿尔茨海默病病理检测
CSV-ViT利用可变大小皮质超顶点进行MRI分类,在AD诊断及蛋白阳性检测上优于现有模型。
不确定性感知高斯地图用于视觉语言导航
通过建模几何、语义、外观三种不确定性,集成到高斯地图形成3D值图,提升导航可靠性。
再平衡多模态平均偏差回归
针对多模态回归中数据分布与学习冲突的不平衡问题,提出Re-M3Dr方法,通过自适应对比学习与梯度调制,MSE降低29%。
$R^3$: 通过相对回归的三维重建
提出相对回归方法,用置信加权相对约束实现高效三维重建,支持离线与流式场景。
O-MARC:面向高效视频理解的全程记忆增强压缩蒸馏
提出UGC-AVQA基准和O-MARC压缩蒸馏框架,通过记忆压缩提升视频理解效率,超全token推理(得分45.8 vs 44.1)并降低延迟34.6%。