Ant International 在 8×H20-3e 上优化 DeepSeek-V4.1-Flash 推理服务
蚂蚁国际基础设施团队把 DeepSeek-V4.1-Flash 在 8 张 H20-3e 上的优化拆成七步,每步都有实测数据,端到端延迟降了近三倍。做长上下文推理部署的工程师可以直接照着复现,比泛泛而谈的调优文章实用。
Ant International 的 AI Infra 团队发布了 DeepSeek-V4.1-Flash 在 8×H20-3e GPU 上的推理服务优化博客,采用 PD 分离(prefill-decode disaggregation)架构。基线对比 TP4 配置下,64K token 长提示的平均端到端时延从 13.63 秒降到 4.70 秒,输出吞吐提升 2.91 倍。
博客把优化拆成七项改动逐一叠加并单独测量,可复现性强。首 token 时间(TTFT)从 12.04 秒压到 1.89 秒,代价是单 token 解码时间从 3.20ms 升到 5.62ms,说明用解码延迟换取长上下文场景的整体响应速度。在单机 4 GPU colocated 部署模式下,端到端时延也从 18.62 秒降到 7.96 秒。
对做长文本推理部署的团队,这篇博客的价值在于 H20 这类受限算力卡上的实测数据和逐项归因方法,而不是单一结论。
Optimizing DeepSeek-V4.1-Flash PD & Colocate Serving on H20-3e
The AI Infra team at @Ant_Intl optimized DeepSeek-V4.1-Flash on 8×H20-3e with PD disaggregation. The blog stacks seven changes one at a time and measures each.
Highlights:
• Mean E2E 13.63 s → 4.70 s, 2.91× output throughput vs TP4 (64K-token prompts) • TTFT 12.04 s → 1.89 s, at the cost of TPOT 3.20 → 5.62 ms • One 4-GPU colocated worker: E2E 18.62 s → 7.96 s
Read the full blog below ⬇️
本条情报归属 AITOP「技巧」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:DeepSeek、H20、PD分离、推理优化,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「LMSYS Org (SGLang)」(@lmsysorg),经 AITOP 多维评分管线结构化提炼。