GC-MoE 用 CUDA Green Contexts 加速 MoE 推理，DeepSeek 与 GLM 解码提速超 10%
给搞 MoE 推理优化的人看的新算子，8 卡 H20 上跑 DeepSeek 解码快了近 20%，还开源了，可以直接对比 Mega MoE 试一下。
#GC-MoE
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「GC-MoE」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月4日
给搞 MoE 推理优化的人看的新算子，8 卡 H20 上跑 DeepSeek 解码快了近 20%，还开源了，可以直接对比 Mega MoE 试一下。