Ant Intl 在 8×H200 上用 SGLang 优化 DeepSeek-V4.1-Flash 推理
蚂蚁国际把 DeepSeek-V4.1-Flash 在 8 张 H200 上的推理优化思路完整公开了:稀疏注意力、大 Prefill 分块、后层只算 128 个 token,TTFT 最高降 79%。代价也写清楚了——TPOT 变慢、GSM8K 掉约 1.4 个点。自己搭推理服务的人值得照着调一遍。
蚂蚁国际把 DeepSeek-V4.1-Flash 在 8 张 H200 上的推理优化思路完整公开了:稀疏注意力、大 Prefill 分块、后层只算 128 个 token,TTFT 最高降 79%。代价也写清楚了——TPOT 变慢、GSM8K 掉约 1.4 个点。自己搭推理服务的人值得照着调一遍。