vLLM 上 GLM-5.3 单用户解码达 469 tok/s
精选理由
AMD 显卡跑 GLM-5.3 冲到 469 tok/s 单用户解码，vLLM 管预填、TileRT 管解码的拆分架构值得部署党细看。
TileRT 和 AMD 团队在 SemiAnalysis_ 的 AgentX 环境中，用 8 张 MI355X 跑 vLLM，将 GLM-5.3 的单用户解码速度做到 469 tok/s。该部署采用分离式架构：vLLM 负责预填充（prefill），TileRT 通过 vLLM 的 V1 connector 接口处理对延迟敏感的解码（decode）阶段。
原文 · vLLM
Great work from the @TileRT_AI and @AIatAMD teams, who got GLM-5.3 to 469 tok/s single-user decode with vLLM on 8× MI355X on @SemiAnalysis_ AgentX.
The run uses a disaggregated setup where vLLM handles prefill and TileRT handles latency-critical decode through vLLM's V1 connector interface.
1/2
