事件专题 ·官方一手

vExpert:面向分布式 MoE 推理的虚拟化专家存储方案

论文提出 vExpert,将 DRAM 卸载范式从部分驻留改为全冗余的虚拟化专家存储。它建立了首个同时刻画 H2D 延迟、PCIe 争用与负载不均衡的性能模型,并配有轻量级分配器动态映射物理专家到虚拟槽位。针对多进程环境设计了分离式管理器来降低内存开销。在 8 节点 H100 集群上对 DeepSeek-V3.1 的评测中,负载均衡比提升最高 55%,端到端加速 1.2 倍。

当前结论

分布式跑 MoE 模型经常被负载不均拖慢,这篇用虚拟化专家存储的思路,在 8 卡 H100 集群跑 DeepSeek-V3.1 提速 1.2 倍,做推理系统的可以看看。

3 个信源38° AI 热度最后更新 2026/11/4 07:02:52

证据链

3 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。