主要来源AWS Machine Learning Blog
查看原文事件专题 ·官方一手
AWS 优化 Amazon SageMaker AI 上的 MoE 内核，吞吐量提升 10%
AWS 工程师团队在 Amazon SageMaker AI 上分享了融合 Mixture-of-Experts（MoE）模型的内核优化方法。技术方案包括用 Swap-AB 提升 WGMMA 利用率、引入 Triton 后端路由支持 FP8 量化，以及消除 Triton JIT 重复编译的开销。在 H200 GPU 上的实测结果显示，吞吐量最高提升 10%，Time to First Token 最高缩短 9%。
当前结论
AWS 工程师公开了 MoE 推理内核的三项优化技巧，在 H200 上吞吐量提升 10%，做推理部署的可以参考。
2 个信源42° AI 热度最后更新 2026/10/13 15:17:09
证据链
2 个信源相关来源 1vLLM
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。