AITOPAI热报

671b

general · 首次出现 2026-06-12 · 最近出现 2026-10-15 · 累计提及 18

综述

671B 通常指 DeepSeek-V3 的总参数规模，即 6710 亿参数的混合专家（MoE）大语言模型，是当前开源大模型中参数量最大、讨论度最高的模型之一。由于每 token 仅激活部分专家，其实际推理成本远低于同量级稠密模型，也因此成为硬件厂商与系统研究者检验训练和推理效率的常用基准。

DeepSeek-V3 671B 的硬件 benchmark 近况

  • DeepSeek-v3 671B 测试：英伟达 Blackwell GB300 刷新 MoE 预训练世界纪录：IT之家报道，英伟达用新一代 Blackwell GB300 平台对 DeepSeek-V3 671B 进行 MoE 预训练测试，刷新了此前的世界纪录。
  • NVIDIA Blackwell Ultra 创纪录：预训练 DeepSeek-V3 671B 达 1648 TFLOPS/GPU：NVIDIA AI 官方给出具体数字——单 GPU 预训练算力达 1648 TFLOPS，展示了新硬件对 671B 级别 MoE 训练负载的支撑能力。

    • 围绕 671B 规模模型的系统与算法研究

    DeepSeek 团队近期在 arXiv 上发布的多项工作，都指向降低 671B 这类超大模型训练与部署成本的思路：

  • Primus Projection：单机仿真加自动调优，替代千卡分布式训练试错：通过单机仿真与自动调优，减少在大规模集群上做分布式训练配置试错的成本。
  • EcoSpec：成本感知的 MoE 模型投机解码加速方法：针对 MoE 推理的投机解码做成本感知优化，直接关联 671B 模型的服务效率。
  • C2C-Explorer：面向 LLM 云计算的芯片间互连架构探索框架：从互连架构角度探索支撑超大模型训练的算力集群设计。

    • 当前焦点与观察点

    围绕 671B 的讨论主要集中在两个方向：一是硬件效率，Blackwell Ultra 达到 1648 TFLOPS/GPU 的成绩表明，超大 MoE 模型已成为芯片厂商展示性能的标准工作负载，也侧面说明 671B 仍是开源阵营的规模标杆；二是训练与推理成本控制，从单机仿真替代千卡试错、到 MoE 投机解码加速，研究重心正在从"能否训练"转向"如何更省地训练和服务"。值得持续观察的是，随着新硬件迭代和稀疏化、解码加速等技术成熟，671B 级模型的实际部署门槛是否会被显著拉低，以及后续版本是否会改变这一规模定义。

    相关报道

    10 条在档