论文精选73°09:59稀疏专家模型路由几何与动力学共享证据斯坦福团队揭示稀疏专家模型路由层间共享几何结构,能预测跨层路由行为,提升模型效率。#稀疏专家模型#MoE#路由#几何结构aarXiv cs.AI@Kirill Labzin 等 4 人原文稍后读已读值得跟进有用关注 稀疏专家模型
论文精选10:47MoE路由新研究:解耦专家调度与聚合可提升性能这篇论文用OLMoE和DeepSeek-V2-Lite实测证明,MoE路由的选专家和加权输出不该共用一套分数,FDAA方法能白捡性能提升,做MoE优化的值得看。#MoE#OLMoE#DeepSeek-V2-Lite#稀疏专家模型aarXiv: DeepSeek@Zongfei Li原文稍后读已读值得跟进有用关注 MoE
论文09:53稀疏混合专家模型中不连续性的几何与随机分析这篇论文把SMoE的不连续性分析得清清楚楚,还附带了一个计算量很小的平滑方法,实验证明又能提高效果,值得一看。#Sparse Mixture-of-Experts#SMoE#MoE#稀疏专家模型aarXiv cs.LG@Tho Tran Huu 等 7 人原文稍后读已读值得跟进有用关注 Sparse Mixture-of-Experts