主要来源Hugging Face: Blog
查看原文事件专题 ·官方一手
NVIDIA 开源 Indic 预训练数据管线，语料规模达 2.8 万亿 tokens
NVIDIA 发布了一篇关于印度语言（Indic）预训练的技术博客，核心语料规模达到 2.8 万亿 tokens。文中介绍了配套的开源数据生成管线，用于清洗和构建多语言印度语系语料。该工作以开源形式发布在 Hugging Face 上，方便社区复用其数据处理流程。
当前结论
NVIDIA 把印度语言预训练的语料方案开源了，2.8 万亿 tokens 加完整数据管线，做多语言训练的可以直接抄作业。
11 个信源29° AI 热度最后更新 2026/10/16 01:44:47
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。