StreamEval: Evaluating Interactive Streaming Video Generation Models
StreamEval 是一个交互式流式视频生成基准，涵盖数字人对话与表演、世界生成和视频编辑五类任务。它包含 300 个时长为 15–300 秒的脚本化案例，并通过十项指标评估任务执行、状态一致性、视觉保真度和音视频协调。
多模态大模型
连接视觉、视频、动作与语言推理的多模态理解和生成研究。
研究分类
连接视觉、视频、动作与语言推理的多模态理解和生成研究。
26论文
83资源链接
2026.10最新月份
1 篇论文
视频生成
论文
项目
代码
Hugging Face19 篇论文
视觉语言
WeVisOne-VL: Unified Visual Perception from Objects to Pixels
WeVisOne-VL 将目标级与像素级视觉感知统一于一个视觉语言模型中，通过结构化 token 预测和轻量级像素解码器支持检测、定位、计数、指点、OCR、分割与抠图。模型采用分阶段监督微调和混合任务强化学习，在 30 多个基准上取得领先结果。
OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
OmniCompass 通过视觉与音视频联合两条评测轨道，在纯文本及文本加图像的配对目标描述下，结合时间定位、空间定位和问答任务评估视频理解能力。对 50 个多模态大模型的评测揭示了精确定位、音视频理解及不同目标描述下预测一致性方面的持续挑战。
MJev-Spatial: System One Spatial Intelligence via Native Attention Matching
MJev-Spatial 将空间选择题、数值预测和点定位统一为候选分类，复用预训练的 query/key 投影，无需新增参数或生成答案 token。它通过由粗到细的分类处理数值与坐标输出，以联合教师强制监督和负载均衡批处理提升训练效率；基于 Qwen3.5-4B 的模型在全部十二个评测基准上优于其自回归基座。
Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
LOWN 在扩散视觉语言模型解码时，比较纯文本预测与上一次图像条件预测；两者一致便复用结果，避免每一步都重新处理图像，并动态决定该步解掩码的 token 数量。无需额外训练，它在十项基准上以平均 35.3% 的解码 FLOPs 保留 LLaDA-V 99.6% 的得分。
Intern-S2-Preview: Scientific Agentic Foundation Model
Intern-S2-Preview 是一系列科学智能体基础模型，通过科学多模态预训练、统一监督微调、多任务与智能体强化学习以及 on-policy 蒸馏，支持科学理解、推理、生成和长程任务。其 397B 模型进一步加入时间序列预测，并以独立的 Memory Decoder 路径实现快速科学领域适配，在科学、多模态、智能体及通用基准上取得有竞争力或领先的结果。
VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding
VideoChat3 是一个完全开放的 4B 视频多模态大模型，通过 I3D-ViT 与自适应帧分辨率实现高效时空表征和流式感知。其可扩展数据合成管线构建了覆盖通用、长视频和流式场景的数据集，在降低计算开销的同时提升跨领域泛化能力。
Lance: Unified Multimodal Modeling by Multi-Task Synergy
Lance 提出一种轻量级原生统一多模态模型，在不主要依赖容量扩展的情况下支持图像和视频理解、生成与编辑。它结合共享交错上下文建模、解耦能力路径、双流 MoE、模态感知 RoPE 和分阶段多任务训练，同时提升生成与理解能力。
Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding
该论文提出 Video-MME-v2，一个改进的视频理解基准，用于缓解现有基准分数饱和的问题。它指出膨胀的排行榜分数往往无法真实反映模型能力，并推动更全面的视频理解评测。
V-Reflection: Transforming MLLMs from Passive Observers to Active Interrogators
V-Reflection 通过“先思考、再观察”的反思机制，把 MLLM 从被动视觉消费者转变为主动提问者，并让每个推理步骤都扎根于视觉证据。两阶段蒸馏设计在保持自回归高效推理的同时提升细粒度感知。
ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model
该论文提出由 VLM 引导的 JEPA 式潜在世界模型框架，通过双时间尺度设计结合密集帧动态预测与长程语义引导。它还引入分层金字塔表征提取模块，将多层 VLM 推理特征迁移到潜在预测中，以提升手部操作轨迹预测的鲁棒性。
Qwen3-VL Technical Report
该报告介绍 Qwen3-VL，这是 Qwen 系列迄今能力最强的视觉语言模型，在广泛多模态基准上取得更优表现。它原生支持最高 256K token 的交错上下文，可无缝融合文本、图像和视频。
InternVL3.5: Advancing Open-Source Multimodal Models in Versatility, Reasoning, and Efficiency
该论文提出 InternVL 3.5，一个新的开源多模态模型家族，在通用性、推理能力和推理效率上显著提升。其核心包括 Cascade Reinforcement Learning 框架，用于进一步增强多模态能力。
Qwen2.5-VL Technical Report
该技术报告介绍 Qwen2.5-VL，一个旗舰视觉语言模型，具备更强的视觉识别、精确定位、文档解析和长视频理解能力。它还通过更好的 grounding 和结构化感知提升视觉环境中的智能体交互。
InternVL 2.5: Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling
该论文介绍 InternVL 2.5，一个先进的多模态 LLM 系列，也是首个在 MMMU 基准上超过 70% 的开源 MLLM。它通过 Chain-of-Thought 推理带来 3.7 个百分点提升。
Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution
该论文提出 Qwen2-VL，一个视觉语言模型系列，通过 Naive Dynamic Resolution 处理任意分辨率图像，并用 M-RoPE 融合文本、图像和视频的位置表示。论文将模型扩展到 2B、8B 和 72B 参数并扩大多模态数据，在图像、视频、多语言 OCR、文档理解和视觉智能体交互任务上取得有竞争力的表现。
LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models
该论文提出 LLaVA-NeXT-Interleave，同时处理多图像、多帧视频、多视角 3D 和多 patch 场景。它将视觉指令微调扩展到更复杂的多模态输入设置。
How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs
该论文提出 CVRR-ES，一个覆盖 11 类真实世界视频维度的视频 LMM 评测套件。它评估 9 个近期模型，并发现多数开源 Video-LMM 在复杂视频的鲁棒性和推理上仍然薄弱。
Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
该论文提出 Qwen-VL，一个基于 Qwen-LM 构建的视觉语言模型系列，结合视觉接收器、多模态输入输出接口、三阶段训练流程和多语言多模态语料。通过对齐图像、描述和边界框三元组，Qwen-VL 获得视觉理解、定位和图中文字识别能力，并在多项视觉基准上取得强劲表现。
LLaVA: Visual Instruction Tuning
该论文提出 LLaVA，一个使用机器生成指令微调数据端到端训练的大型多模态模型。它展现出强多模态对话能力，并在 Science QA 上取得当时最优结果。
2 篇论文
多模态推理
Think Before You Link: Rarity, Reasoning, and Retrieval in Multilingual Entity Linking
该论文使用覆盖流行度、文档完整性、知识图谱结构和跨语言覆盖的 15 项指标，系统刻画多语言多模态实体链接中的稀有实体失效问题。它提出无需训练的视觉语言框架，通过迭代检索并推理 Wikipedia 证据提升整体准确率，尤其改善稀有实体切片表现，同时发布 MERLIN-Rare 基准。
Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey
这篇综述弥补了多模态大模型中多模态 Chain-of-Thought 推理缺少最新系统综述的问题，覆盖图像、视频、语音、音频、3D 和结构化数据。它给出基础定义、完整 taxonomy、跨应用方法分析，并总结未来多模态推理研究的开放挑战。
4 篇论文
视觉-语言-动作
Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving
Qwen-Drive-1.0 在保持预训练视觉语言模型不变的基础上，通过外接 BEV 感知头和规划专家，统一整合 3D 感知、视觉问答与运动规划。分阶段训练流程结合驾驶监督和通用视觉语言数据，在保留广泛视觉理解能力的同时，取得了较强的 3D 场景理解和闭环规划表现。
LA4VLA: Learning to Act without Seeing via Language-Action Pretraining
该论文提出 LA4VLA，一种语言-动作预训练框架，通过把示范轨迹分解为原子动作片段并配对低层动作描述，使 VLA 策略在无视觉观测的情况下学习语言条件动作先验。论文构建 LA-33K 数据集，并表明结合语言-动作与 VLA 监督可以提升仿真和真实机器人任务中的操作成功率。
Xiaomi OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation
OneVL 面向 VLA 自动驾驶中的实时轨迹规划，将 Chain-of-Thought 推理压缩为由语言重建和未来帧预测共同监督的紧凑潜在 token。其三阶段训练流程让潜在推理在保持 answer-only 推理延迟的同时超过显式 CoT。
CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos
CLAP 从机器人轨迹中学习可执行的潜在动作词表，并通过对比学习将人类视频中的视觉变化与之对齐，从而利用大量无标注人类视频预训练 VLA。该方法结合自回归 VLA、整流流动作头和知识匹配正则化，以实现高效控制和目标域适配。