事件专题 ·单一信源

Ant Intl 在 8×H200 上用 SGLang 优化 DeepSeek-V4.1-Flash 推理

Ant International 的 AI Infra 团队发布博客,介绍如何在 8×H200 上以 SGLang PD 分离架构部署 DeepSeek-V4.1-Flash。在 8 组测试场景(64K 输入/512 输出、前缀命中率 50/70/90%、并发 4–32)下,端到端延迟较原基线降低 15%–64%,TTFT 降低 41%–79%。 技术手段包括:采用成本更低的稀疏注意力 Indexer、加大 Prefill 分块、精简 MoE 通信,以及让靠后的层只计算最后 128 个 token——该 128-token 模式可再压低 TTFT 最高 46.7%。 代价是 TPOT 升高 3%–52%,GSM8K 成绩从 96.74% 降至 95.38%。博客展示了在 H200(非 H20/国产卡)上跑满 DeepSeek 推理性能的具体路径,对自建推理服务的团队有直接参考价值。

当前结论

蚂蚁国际把 DeepSeek-V4.1-Flash 在 8 张 H200 上的推理优化思路完整公开了:稀疏注意力、大 Prefill 分块、后层只算 128 个 token,TTFT 最高降 79%。代价也写清楚了——TPOT 变慢、GSM8K 掉约 1.4 个点。自己搭推理服务的人值得照着调一遍。

2 个信源55° AI 热度最后更新 2026/11/18 03:50:03

证据链

2 个信源
主要来源LMSYS Org (SGLang)
查看原文
相关来源 1arXiv: DeepSeek
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。