AWS 优化 Amazon SageMaker AI 上的 MoE 内核，吞吐量提升 10%
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
精选理由
AWS 工程师公开了 MoE 推理内核的三项优化技巧，在 H200 上吞吐量提升 10%，做推理部署的可以参考。
AWS 工程师团队在 Amazon SageMaker AI 上分享了融合 Mixture-of-Experts（MoE）模型的内核优化方法。技术方案包括用 Swap-AB 提升 WGMMA 利用率、引入 Triton 后端路由支持 FP8 量化，以及消除 Triton JIT 重复编译的开销。在 H200 GPU 上的实测结果显示，吞吐量最高提升 10%，Time to First Token 最高缩短 9%。
原文 · AWS Machine Learning Blog
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AWS engineers share kernel optimizations for fused Mixture-of-Experts (MoE) models on Amazon SageMaker AI: Swap-AB for WGMMA utilization, Triton backend routing for FP8 quantization, and eliminating Triton JIT recompilation. Together they deliver up to 10% higher throughput and up to 9% faster Time to First Token on H200 GPUs.