产品精选
AI2开源Olmo-core:OLMo系列模块化训练库
精选理由
AI2把OLMo的训练全流程脚本开源了,训练和退火脚本都有,想自己复现大模型的人可以直接拿来用。
AI2在GitHub开源了Olmo-core,这是专为OLMo系列模型打造的模块化底层训练库,附带官方全流程训练与退火脚本。该库采用即插即用设计,兼容主流加速组件与低显存优化技术,并打通了主流开源推理框架。开发者可以直接基于OLMo的成熟架构复现大模型训练,省去从零搭建分布式基础设施的工作。
原文 · Gorden Sun
AI2开源Olmo-core:降低大模型全流程训练与调优门槛
专为OLMo系列模型打造的模块化底层训练库,集成了官方全流程训练与退火脚本。采用即插即用设计,既兼容主流加速组件与低显存优化技术,也打通了主流开源推理框架。开发者可以直接基于成熟架构复现前沿大模型,无需从零搭建分布式基础设施。
Github:https://t.co/mf0m2JmpZJ