论文11:55研究解析 MoE 模型中 Softmax 路由坍缩与恢复机制训练 MoE 模型卡在路由坍缩上的可以看看，这篇把概率恢复要多久推成了对数或幂律，还有对照实验验证。#MoE#Softmax路由#Transformer#论文解读aarXiv cs.LG@Shengze Xu 等 3 人原文稍后读已读值得跟进有用关注 MoE