主要来源rohanpaul_ai
查看原文事件专题 ·单一信源
Cohere 论文：speculative decoding 在细粒度 MoE 模型上收益远超预期
Cohere 的新论文发现，speculative decoding 在细粒度 MoE 模型上即使 batch size 为 1 也有可观收益，此前研究认为此时收益很小。团队测试了 10 个 30B 到 1T 参数的 MoE 模型，并在 H100 GPU 上进行 profile，发现相邻 token 实际共享 20% 到 45% 的专家，远高于独立路由假设下的 4% 到 12%。以 FP8 的 Qwen3-235B 为例，验证步骤的运行速度达到普通解码步骤的 89%，而预测值只有 52%。这意味着 agent 等低 batch 推理场景中，MoE 服务的 speculative decoding 值得实测而非直接排除。
当前结论
Cohere 实测了 10 个 MoE 模型，发现相邻 token 会大量复用专家，speculative decoding 在低并发 agent 场景下比之前理论预测快得多，做推理服务的人可以看看。
2 个信源61° AI 热度最后更新 2026/11/2 21:18:34
证据链
2 个信源相关来源 1arXiv cs.LG
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。