技巧精选

Ant Intl 在 8×H200 上用 SGLang 优化 DeepSeek-V4.1-Flash 推理

精选理由

蚂蚁国际把 DeepSeek-V4.1-Flash 在 8 张 H200 上的推理优化思路完整公开了:稀疏注意力、大 Prefill 分块、后层只算 128 个 token,TTFT 最高降 79%。代价也写清楚了——TPOT 变慢、GSM8K 掉约 1.4 个点。自己搭推理服务的人值得照着调一遍。

Ant International 的 AI Infra 团队发布博客,介绍如何在 8×H200 上以 SGLang PD 分离架构部署 DeepSeek-V4.1-Flash。在 8 组测试场景(64K 输入/512 输出、前缀命中率 50/70/90%、并发 4–32)下,端到端延迟较原基线降低 15%–64%,TTFT 降低 41%–79%。

正文

技术手段包括:采用成本更低的稀疏注意力 Indexer、加大 Prefill 分块、精简 MoE 通信,以及让靠后的层只计算最后 128 个 token——该 128-token 模式可再压低 TTFT 最高 46.7%。

代价是 TPOT 升高 3%–52%,GSM8K 成绩从 96.74% 降至 95.38%。博客展示了在 H200(非 H20/国产卡)上跑满 DeepSeek 推理性能的具体路径,对自建推理服务的团队有直接参考价值。

原文 · LMSYS Org (SGLang)

Optimizing DeepSeek-V4.1 on H200 with SGLang PD Disaggregation

The AI Infra team at @Ant_Intl served DeepSeek-V4.1-Flash from @deepseek_ai on 8×H200 with PD disaggregation.

This blog walks through how they tackled it: a cheaper sparse-attention Indexer, bigger Prefill chunks, leaner MoE communication, and late layers that compute only the last 128 tokens.

Highlights: · E2E 15%–64% lower, TTFT 41%–79% lower vs the original baseline, across 8 cases (64K in / 512 out, 50/70/90% prefix hit, concurrency 4–32) · The 128-token mode cuts TTFT by up to a further 46.7% · The cost: TPOT 3%–52% higher, GSM8K 96.74% → 95.38%

Read the full blog below

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:DeepSeek、SGLang、H200、PD分离,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「LMSYS Org (SGLang)」(@lmsysorg),经 AITOP 多维评分管线结构化提炼。

Ant Intl 在 8×H200 上用 SGLang 优化 DeepSeek-V4.1-Flash 推理|AI热报