#PD分离

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「PD分离」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月19日
Ant Intl 在 8×H200 上用 SGLang 优化 DeepSeek-V4.1-Flash 推理

蚂蚁国际把 DeepSeek-V4.1-Flash 在 8 张 H200 上的推理优化思路完整公开了:稀疏注意力、大 Prefill 分块、后层只算 128 个 token,TTFT 最高降 79%。代价也写清楚了——TPOT 变慢、GSM8K 掉约 1.4 个点。自己搭推理服务的人值得照着调一遍。

事件专题
官方账号LMSYS Org (SGLang)@lmsysorg原文