NVIDIA 开源 Indic 预训练数据管线,语料规模达 2.8 万亿 tokens
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
NVIDIA 把印度语言预训练的语料方案开源了,2.8 万亿 tokens 加完整数据管线,做多语言训练的可以直接抄作业。
NVIDIA 发布了一篇关于印度语言(Indic)预训练的技术博客,核心语料规模达到 2.8 万亿 tokens。文中介绍了配套的开源数据生成管线,用于清洗和构建多语言印度语系语料。该工作以开源形式发布在 Hugging Face 上,方便社区复用其数据处理流程。