AllenAI发布Olmo-core 3大模型训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
精选理由
AllenAI开源了Olmo-core 3，让更多人能训练大模型，比之前的版本更强大更灵活。
AllenAI推出Olmo-core 3，这是一个开放且可扩展的大规模混合专家模型(MoE)训练基础设施。该系统支持数千GPU并行训练，已在多个基准测试中展示了卓越性能。Olmo-core 3采用模块化设计，使研究人员能够灵活构建和定制大型语言模型。
