vExpert：面向分布式 MoE 推理的虚拟化专家存储方案
分布式跑 MoE 模型经常被负载不均拖慢，这篇用虚拟化专家存储的思路，在 8 卡 H100 集群跑 DeepSeek-V3.1 提速 1.2 倍，做推理系统的可以看看。
#vExpert
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「vExpert」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月5日
分布式跑 MoE 模型经常被负载不均拖慢，这篇用虚拟化专家存储的思路，在 8 卡 H100 集群跑 DeepSeek-V3.1 提速 1.2 倍，做推理系统的可以看看。