MTEB

concept · 首次出现 2026-06-12 · 最近出现 2026-11-13 · 累计提及 20

综述

MTEB(Massive Text Embedding Benchmark,大规模文本嵌入基准)是衡量 embedding 模型在检索、聚类、分类、重排等任务上综合能力的权威评测体系,后来扩展出多模态版本和 RTEB 等分支,被业界普遍视为选型 embedding 模型时的第一参考榜单。随着 RAG 与向量数据库的普及,MTEB 及其衍生榜单的排名变化,往往直接影响开发者的模型选择。

MTEB 相关的模型与榜单动态

  • Google 发布 EmbeddingGemma 2:基于 Gemma 4 的原生多模态嵌入模型 — Google DeepMind 开源了面向端侧的多模态嵌入模型 EmbeddingGemma 2,该模型基于 Gemma 4 打造,主打在资源受限设备上运行,是 MTEB 多模态评测中受关注度较高的轻量级选手。
  • 英伟达发布 Nemotron 3 Embed 系列 AI 模型,8B 版斩获 RTEB 榜首 — 英伟达推出 Nemotron 3 Embed 系列嵌入模型,其中 8B 版本登顶 RTEB(检索任务基准)榜首,显示出大参数量嵌入模型在检索专项上的竞争力。
  • SkMTEB:斯洛伐克语首个 MTEB 文本嵌入基准与模型适配 — 研究者为斯洛伐克语构建了首个 MTEB 基准,反映 MTEB 正持续向更多语言和地区扩展,以弥补主流榜单对中小语种覆盖不足的问题。
  • Weaviate 发文讲解如何为任务选择 embedding 模型 — 向量数据库厂商 Weaviate 撰文讨论如何结合任务特性挑选嵌入模型,强调榜单分数只是起点而非全部依据。
  • 当前焦点与观察点

    围绕 MTEB 的讨论正从“看榜单选模型”转向更细致的评估方法论。Milvus 在 2026 年 Embedding 模型选择指南 中提出,应从榜单分数走向结合数据形态的务实选型;Cohere 则指出传统 nDCG 指标只能奖励已收录在基准答案集中的结果,并推出 RCP-nDCG@10 对每个候选结果打分,试图修正检索评测中“答案集即天花板”的偏差。

    综合来看,MTEB 仍是嵌入模型生态的中枢,但其局限——数据污染、语言与任务覆盖不均、多模态扩展的口径不一——正催生 RTEB、RCP-nDCG 等补充性基准与指标。对开发者而言,榜单排名适合作为初筛,真正的选型仍需回到自身数据分布与任务场景中做小规模实测。

    相关报道

    10 条在档