AMD MI355X 在 Kimi K3 推理上性能超 NVIDIA B300 24.4%
AMD 卡跑 Kimi K3 吞吐反超 NVIDIA B300 四分之一，每美元 token 还多 87%，文中还有 vLLM 瓶颈排查套路，自己搭推理服务的可以看看。
vLLM 团队测试了 8 卡 AMD MI355X 集群在 Moonshot Kimi K3 模型上的服务表现。在 SemiAnalysis 的 AgentX 智能体编程基准、每用户 50 tok/s 的设定下，MI355X 达到 7,567 tok/s/GPU 吞吐，比 NVIDIA HGX B300 的 6,083 tok/s/GPU 高出 24.4%，每美元 token 数多 87.4%。文章拆解了 vLLM 优化、AMD kernel 和硬件细节如何缩小差距，并给出定位 GPU 瓶颈的排查方法。
🚀 @AMD MI355X just showed competitive performance to NVIDIA B300 on @Kimi_Moonshot K3 serving!
8× MI355X delivers 24.4% more throughput than HGX B300 (7,567 vs 6,083 tok/s/GPU) at 50 tok/s/user on @SemiAnalysis_ AgentX agentic coding benchmark, and 87.4% more tokens per dollar.
We cover the vLLM optimizations, AMD kernels, and hardware details that closed the gap, plus patterns for spotting bottlenecks so you can get more out of vLLM on your own GPUs.
Thanks @AMD @embeddedLLM @SemiAnalysis_
Full writeup: 🔗 https://t.co/jP1Dme7dPn
