#Mixture of Experts

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Mixture of Experts」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月14日
腾讯论文提出 RAMPr:剪 MoE 模型内弱神经元,保留 91%-98% 性能

搞 MoE 部署的工程师可以看看这篇。腾讯的方法不是删整个专家,而是按 RAMP 分数剪专家内部的弱神经元,剪掉一半后显存省 36%-43%,吞吐还涨 17%-39%,比整专家剪枝更能保住数学和代码能力。

rohanpaul_ai@rohanpaul_ai原文