AITOPAI热报

MLLMs

共 7 条相关 AI 资讯
9月1日
10:18
10:18官方账号arXiv cs.AI@Joonki Min, Chaeyun Kim, Hyungwook Choi, Yejin Kim, Kihyun Kim, Yohan Jo, Joonseok Lee
精选73°
研究团队推出MIOH基准，系统评估多图像场景下的物体幻觉问题。该基准包含4项基础任务（存在性、计数、属性、位置），3种多图像推理模式（综合、比较、选择性）和3种对抗压力。测试显示GPT-5和Gemini-2.5-Pro等29个模型均存在不同失败模式。幻觉主要源于多图像间物体表示的整合阶段限制，而非感知失败。
论文MIOH多图像物体幻觉MLLMs
推荐理由：MIOH基准帮你看清多模态模型在复杂视觉推理中的真实表现，GPT-5和Gemini-2.5-Pro也不例外。
原文
8月27日
10:48
10:48官方账号arXiv cs.AI@Kaichen Li, Zhilin Zhu, Jianhao Huang, Zhengqin Lai, Baochen Xiong, Zibo Shao, Yaguang Song, Linhui Xiao, Xiaoshan Yang, Changsheng Xu
This paper introduces a new framework for Multimodal Unsupervised Continual Post-Training (MU-CPT), addressing the issue of visual dependence (VD) in MLLMs. The proposed Visual Dependence-Aware (VDA) framework uses Visually Constrained Optimal Transport (VC-OT) and Visually Modulated Adaptation (VMA) to enhance cross-modal learning and maintain task stability. Experiments validate the effectiveness of VDA in MU-CPT settings.
论文Multimodal Unsupervised Continual Post-TrainingVisual Dependence-AwareVC-OT
推荐理由：Read this if you're interested in the latest advancements in MU-CPT and how to improve cross-modal learning in MLLMs without supervision.
原文
10:18
10:18官方账号arXiv cs.LG@Ye Shen, Yuting Zheng, Dun Pei, Zijian Chen, Wenlong Zhang, Qi Jia, Guangtao Zhai
SciMIF是一个新的基准，旨在评估多模态大型语言模型在遵循复杂科学指令方面的能力。通过分析5个代表性科学学科的22个不同任务，提出包含10个约束组的全面分类法。实验发现，不同科学学科间存在显著性能差异，化学对当前MLLMs更具挑战性。SciMIF填补了评估科学领域多模态指令遵循的空白，为MLLMs在严格科学应用中的未来改进奠定基础。数据与代码将在GitHub上发布。
论文SciMIF多模态MLLMs
推荐理由：SciMIF基准为评估MLLMs在科学领域的指令遵循能力提供了新工具，揭示了不同学科间的性能差异，对科学研究和MLLMs发展具有重要意义。
原文
8月21日
10:36
7月30日
10:55
10:55官方账号arXiv cs.AI@Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen, Xueqi Cheng
VCA方法通过分离文本和空白对照，评估多模态大模型（MLLMs）在空间基准中是否真的依赖图像证据。在四个MLLMs和两个基准上，12.73-26.25%的正确决策未获得图像信用。相同分割的图像排列使依赖正确性下降21.25-47.80点，所有95%置信区间均高于零。固定像素关系对比和3x3证据源阶乘设计表明，空对照无法识别关系响应；在受控正确但未获信用的决策中，关系反转响应覆盖81.57-100.00%，32.11%改变答案。
论文VCA多模态空间推理MLLMs
推荐理由：这篇论文告诉你，模型答对空间题不一定是因为看了图——VCA方法能揪出这种虚假正确。结果发现十几到二十几个百分点的正确回答其实没用到图像信息。
原文
6月25日
11:01
11:01官方账号arXiv cs.AI@Yu-Yang Chen, Lan-Zhe Guo
TriViewBench 是一个基于合成3D场景的受控多视图视觉推理基准，包含1,923个场景和超过14K个问答对，分为4个复杂度级别和3个推理类别：局部决策、物体计数和全局恢复。评估18个开源和闭源MLLMs发现，所有模型能力排序一致（局部决策>物体计数>全局恢复），且随着复杂度增加性能单调下降：局部决策下降12.11%，物体计数下降59.14%，全局恢复骤降80.02%。错误分析表明，单视图任务中因遮挡导致欠计数，多视图任务因跨视角身份混淆导致过计数。Chain-of-Thought提示几乎无收益（Δ=-0.16%），表明瓶颈在于跨视角空间表示而非推理策略。
论文TriViewBenchMLLMs多模态
推荐理由：这篇论文用TriViewBench测了18个多模态模型，发现它们都在多视图推理上崩得厉害，CoT也救不了。想了解当前MLLM的结构推理极限，可以看看。
原文
6月23日
12:36