百度开源 ERNIE 5.5 Flash Base:280B 参数、每 token 激活 14B 的 MoE 模型
百度放了个开源 MoE 模型,280B 总参但每个 token 只激活 14B,跑得省,官方说同量级里能打 SOTA,完整的 5.5 Flash 还在路上。
百度开源了 ERNIE 5.5 Flash Base,采用 MoE 架构,总参数 280B,每 token 激活 14B。官方称该模型在同参数量级下达到 SOTA 水平,benchmark 对比对象选取的是同量级模型。发布说明中还列出了 DeepSeek-V4.1-Flash-1017、Hy4、MiMo-V2.6-Flash 等最新模型供参考。完整的 ERNIE 5.5 Flash 尚未发布,后续会推出。
百度开源发布了 ERNIE 5.5 Flash Base 一个 MoE 架构模型,280B/A14B 参数 不过 benchmark 对比的怎么都不是各家最新模型呢?原来是因为想对比同参数量级,好吧,还是把各家最新模型列出来,方便大家参考。 DeepSeek-V4-Flash-Base -> V4.1-Flash-1017 Hy3-preview-Base -> Hy4 MiMo-V2.5-Base -> MiMo-V2.6-Flash Baidu Research @BaiduResearch ERNIE 5.5 Flash Base is now open source — a 280B-parameter model with 14B active per token, and it already matches SOTA at its size! And this is just the start — the full ERNIE 5.5 Flash is on its way. 👀 🔗 View Quoted Tweet 💬 6 🔄 0 ❤️ 3 👀 307 📊 5 ⚡