OpenWebText 是一个被广泛用于训练和评测语言模型的大规模英文网页文本数据集，通常被视为 OpenAI 未公开的 WebText 语料的公开复现版本，在开源预训练语料中长期占据基础性位置。它由从 Reddit 高赞外链中抓取的网页正文构成，规模在数十 GB 量级，因来源贴近真实用户兴趣分布而常被用于中小规模语言模型的预训练与消融实验。在当下大模型语料动辄上万亿 token 的背景下，OpenWebText 更多扮演基准参照和可控实验床的角色，而非前沿大模型的主力数据。
OpenWebText 相关语料方法近期进展
当前焦点与观察点
围绕 OpenWebText 的焦点集中在三方面：一是数据质量与去重，网页抓取带来的模板噪声和重复内容仍是影响训练效率的变量；二是版权与合规，随着监管趋严，公开复现的网页语料在再分发上面临更严格的审视；三是替代关系，在更大规模、更精细清洗的语料不断出现的今天，它是否还能维持作为默认基准的地位，取决于社区对可复现性和成本之间的权衡。