MLLMs

concept · 首次出现 2026-05-22 · 最近出现 2026-10-20 · 累计提及 119

综述

MLLMs(多模态大语言模型)是能够同时处理图像、文本等多种模态输入并生成文本输出的大模型,目前正处于从"能看图"向"看得准、推理对、算得省"过渡的关键阶段。近期的研究不再单纯追求参数规模,而是集中解决幻觉、空间推理、视觉标记冗余和指令遵循等落地瓶颈。

MLLMs 近期进展

2026 年 8 月发布的 MIOH 基准把多图像场景下的物体幻觉作为独立评测对象,填补了以往只测单图幻觉的空白(多图像物体幻觉基准MIOH发布)。同期提出的 MMCS 则尝试用多模态代码切换做对象级对齐,把预训练目标从"整体匹配"细化到"局部对应"(MMCS:多模态代码切换实现对象级对齐的新预训练范式)。

在效率方向,VIP-Router 通过视觉标记自适应裁剪减少冗余计算,思路接近"按需看图"(VIP-Router实现视觉标记自适应剪裁)。推理增强方面,基于感知优势估计的强化方法试图让模型在多模态任务中区分"看错"与"想错"(基于感知优势估计的多模态推理强化方法)。

应用层面同样活跃:排序感知提示优化被用于临床诊断,强调候选项顺序对判断的影响(多模态临床诊断的排序感知提示优化);SciMIF 和 TriViewBench 分别把测试场景推向科学指令遵循与多视图结构推理(SciMIF:理解科学领域的多模态指令遵循、TriViewBench:多视图结构推理的受控复杂度基准)。

当前焦点与观察点

MLLMs 的竞争焦点正从榜单分数转向可靠性:幻觉能否被稳定度量、空间与规则约束能否被遵守、视觉标记能否被有效压缩,是三条并行的主线。值得注意的是,多数新工作仍以基准和训练方法为主,真实部署中的成本与延迟数据偏少。后续观察点在于这些方法能否在统一框架下兼容,而非各自为战。

相关报道

10 条在档
MLLMs · AI 话题观测|AI热报