模型官方一手

百度开源 ERNIE-5.5-Flash-Base:280B 参数 MoE 基座模型

Baidu Open-Sources ERNIE-5.5-Flash-Base, a 280B MoE Base Model With 14B Active Parameters

精选理由

百度把 ERNIE-5.5-Flash-Base 的预训练检查点直接开源了,280B 参数只激活 14B,想自己微调基座模型的人可以去看看。

百度开源 ERNIE-5.5-Flash-Base,总参数量 280B,激活参数 14B 的 MoE 基座模型。该模型是未经后训练的原始预训练检查点,供开发者做继续训练。训练上下文为 128K,并可支持 100 万 token。

原文 · pandaily

Baidu Open-Sources ERNIE-5.5-Flash-Base, a 280B MoE Base Model With 14B Active Parameters

Baidu released ERNIE-5.5-Flash-Base, a raw pretraining checkpoint with 280B total and 14B active parameters, 128K training context and 1M-token support, for further training.