vLLM 数据：配对 4:8 稀疏让 Kimi-K2.5 推理提速 1.18 倍
搞推理部署的可以看看：B200 上 4:8 稀疏让 MoE 专家层快 1.35-1.65 倍，Kimi-K2.5 实测也有 1.18 倍。
#4:8稀疏
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「4:8稀疏」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月7日
搞推理部署的可以看看：B200 上 4:8 稀疏让 MoE 专家层快 1.35-1.65 倍，Kimi-K2.5 实测也有 1.18 倍。
