Muse Spark Open 在 TPU v7 上实现 433 tok/s 单用户推理速度
PyTorch 官方转发的一手工程细节：816B 的 MoE 模型整个 62 层塞进一个 megakernel，单芯片 25.9K tok/s，还叠了 DFlash2 投机解码。做推理部署或关注 TPU 生态的工程师可以直接看博客复现思路。
PyTorch 官方账号展示了开源社区在 PyTorch 上推进推理性能的成果：Muse Spark Open（816B MoE，62 层）在 TPU v7 上通过一个 megakernel，以 Pallas 程序的形式在单台 TPU v7 主机上一次性运行全部 62 层。在 AgentX 场景（1M 上下文）下，单用户达到 433 tok/s，单芯片吞吐最高 25.9K tok/s。
性能提升来自多项优化叠加：相比之前的推理路径，每 token 速度提升 1.94 倍；启用 DFlash2 投机解码后每 token 再提升 2.0 倍。长上下文智能体会话方面，采用了 fp8 KV 缓存、HiCache 以及会话感知的缓存淘汰策略。
整套方案基于 SGLang，运行在 TorchTPU 的 PyTorch 后端上，说明开源推理栈在非 GPU 硬件上也能跑出可观的解码速度。技术细节的完整分析已发布在官方博客中。
Great to see the open source community pushing inference performance forward on PyTorch:
A megakernel for Muse Spark Open on TPU v7 got 433 tok/s per user and up to 25.9K tok/s per chip on AgentX (1M context). All 62 layers of the 816B MoE run as one Pallas program on a single TPU v7 host, with SGLang on the TorchTPU PyTorch backend.
- 1.94x faster per token than our previous path - DFlash2 speculative decoding: 2.0x per token - fp8 KV, HiCache and session-aware eviction for long agent sessions
Read the full technical deep dive here: https://t.co/xmxOjlrZtK
@radixark
本条情报归属 AITOP「模型」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：PyTorch、SGLang、TPU、推理优化，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「PyTorch」（@PyTorch），经 AITOP 多维评分管线结构化提炼。
