AMD MI355X 在 Kimi K3 推理上性能超 NVIDIA B300 24.4%
AMD 卡跑 Kimi K3 吞吐反超 NVIDIA B300 四分之一,每美元 token 还多 87%,文中还有 vLLM 瓶颈排查套路,自己搭推理服务的可以看看。
AMD 卡跑 Kimi K3 吞吐反超 NVIDIA B300 四分之一,每美元 token 还多 87%,文中还有 vLLM 瓶颈排查套路,自己搭推理服务的可以看看。
AMD 的工程师讲怎么在 1000 多张 MI355X 上跑 MXFP8 预训练,TorchAO 加 TorchTitan 的完整方案,做训练的可以听听
Claude 自己一周末就调通了 AMD 新显卡,人类工程师全程没写代码。AMD 还给 AI 出了专用工具,以后换芯片可能跟装 App 一样简单。
神雲出的 52U 机柜塞了 96 颗 MI355X,比 48U 多塞一半 GPU,还带液冷省电。想上高密度 AI 算力可以看看。