Both

general · 首次出现 2026-05-22 · 最近出现 2026-10-16 · 累计提及 549

综述

Both 在近期 AI 报道中多作为多模态与空间音频理解的关键表述出现,指模型能够同时(both)捕捉“是什么”与“在哪里”两类信息——即既理解内容的语义,又理解其来源的空间方位。这一“两者兼顾”的思路正成为语音、音频与视觉语言模型设计中的一个趋势点。

Both 的近期进展

  • Xiaomi Open-Sources MiDashengLM-Spatial, an Audio Model That Hears Both What and Where:小米开源了空间音频理解模型 MiDashengLM-Spatial,能在识别声音内容的同时定位其空间方向,采用 Apache 2.0 许可发布,被视为“both what and where”理念的代表性落地。
  • 何时对齐、何时预测:多模态学习的相图:这项理论研究探讨了多模态模型在表示对齐与序列预测之间的权衡条件,为“同时兼顾”多种学习目标提供了相图式的理论框架。
  • Small vision-language models (9B total, 2B active MoE):小参数量视觉语言模型同时支持图像与文本输入、32K 上下文与可选推理模式,体现了单一模型同时承载多种能力的工程方向。
  • 当前焦点与观察点

    “Both”式设计的核心张力在于效率与通用性的平衡:同时处理语义与空间、对齐与预测、多种模态输入,通常意味着更高的模型复杂度与训练成本。小米选择开源空间音频模型,说明厂商希望通过生态扩展降低这一门槛;而小参数 MoE 视觉语言模型则显示,混合专家架构正在让“一个模型同时干多件事”在端侧变得可行。

    值得关注的观察点包括:空间音频理解能否从研究走向实际产品(如会议、助听、机器人场景);多模态对齐理论何时能给出可操作的训练准则;以及开源许可下,“两者兼顾”型模型的复现与评测标准是否统一。总体来看,Both 所代表的“兼顾式”多模态设计仍处于早期,但其从文本—图像向音频—空间维度的扩展值得关注。

    相关报道

    10 条在档