Ant International AI Infra 优化 SGLang，GLM-5.3-Flash 在 H200 上吞吐提升 2.11–4.28 倍
蚂蚁国际的推理团队把 GLM-5.3-Flash 在 H200 上的吞吐拉高了 2–4 倍，靠的是缓存复用、投机解码和 kernel 调优三招组合。自己搭推理服务的工程师可以照着这篇博客抄作业，前缀共享比例越高收益越大。
Ant International AI Infra 团队在 SGLang 框架上完成了 GLM-5.3-Flash 的长上下文推理优化，在 H200 集群上实现端到端吞吐提升 2.11–4.28 倍。具体测试条件为 64K 上下文：在 4×H200 上，prefill 吞吐（64K/10 tokens，无共享前缀）提升 2.06 倍；decode 吞吐（64K/1K tokens，99.9% 共享前缀）提升 4.32 倍。
优化手段包括 KV cache 复用、投机解码（speculative decoding）和底层 kernel 调优，三者在 16×H200、64K/1K tokens 场景下跨越三种前缀共享比例进行验证，收益随前缀共享程度上升。99.9% 共享前缀场景下 decode 吞吐 4.32 倍的提升表明 cache 复用是最大增益来源。
这项工作由 Ant International AI Infra 与 SGLang 开源社区合作完成，属于可直接复用的工程成果而非新模型。对自建长上下文推理服务、运行多轮会话或多智能体共享系统提示词的团队，缓存复用与投机解码的组合调优具有直接参考价值。
New blog: 2.11–4.28× Higher GLM-5.3-Flash Serving Throughput on H200
Ant International AI Infra brings faster long-context serving to SGLang. How much do cache reuse, speculative decoding, and kernel tuning add up to? Engineering Result: - 2.06× prefill throughput on 4×H200: 64K/10 tokens, no shared prefix. - 4.32× decode throughput on 4×H200: 64K/1K tokens, 99.9% shared prefix. - 2.11–4.28× end-to-end throughput on 16×H200: 64K/1K tokens across three prefix-sharing ratios.
Thanks to Ant International AI Infra and the SGLang community.
Read the full blog below
本条情报归属 AITOP「模型」核心栏目，重点聚焦东南亚与东盟六国（新加坡、马来西亚、印尼、泰国、越南、菲律宾）数字经济生态。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：GLM-5.3-Flash、SGLang、Ant International、推理优化，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「LMSYS Org (SGLang)」（@lmsysorg），经 AITOP 多维评分管线结构化提炼。
