研究发现全模态大模型"知道却说不出"，OmniCatalyst 提升表达 7.29%

NAVER AI 团队在 arXiv 论文中发现，全模态大模型（Omni-LLM）即使正确感知了视觉、音频、IMU 等非文本模态的信息，也常无法在回答中表达出来，作者将这一现象命名为"knows-but-cannot-say"。团队提出 Token-level Modality Alignment（TMA）指标，测量显示非文本模态表征与响应 token 的对齐度和获得的注意力均低于文本模态。据此他们设计了 OmniCatalyst，采用 perceive → infer 策略，用模型自生成的文本补充原始模态输入再进行推理。在 7 个 Omni-LLM 上，OmniCatalyst 平均带来 +7.29% 的性能提升并使模态偏好更均衡，分析还显示知识抽取阶段会提高 TMA，代码已在 GitHub 开源。