主要来源arXiv: DeepSeek
查看原文事件专题 ·官方一手
ISER-MoE 通过 NVLink 交换机复制热点专家，提升 MoE 推理吞吐
ISER-MoE 是一个构建在 TensorRT-LLM 中的系统，通过 NVLink 交换机将热点专家组播到固定 GPU 分组，让每个字节只从拥有者发送一次。GPU 调度器按层分配热点专家到分组，并用多端口广播把注入负载分散到分组端口。在 trace 重放中，调度器消除了 98-99% 的超额负载；在 DeepSeek-V4-Pro 的 prefill 服务中，数学基准吞吐提升 17.4%，agentic 提示吞吐提升 7.2%。
当前结论
MoE 推理总被几个热点专家拖慢，这个方案直接借 NVLink 交换机做复制，DeepSeek-V4-Pro 实测数学任务吞吐涨了 17.4%。
2 个信源41° AI 热度最后更新 2026/11/6 05:40:40
证据链
2 个信源相关来源 1Thomas Wolf
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。