68tb

general · 首次出现 2026-05-28 · 最近出现 2026-10-16 · 累计提及 5

综述

68TB 指的是 Hugging Face 在 2025 年底公开演示中实现的单次数据同步规模:团队在 1 分 55 秒内将约 68TB 的数据集完整克隆到私有存储,这一速度远超传统传输方式,也使其成为衡量大规模 AI 数据基础设施效率的一个标志性数字。该结果主要依托 Hugging Face 的 Xet 存储后端,通过内容级去重技术,让实际需要传输的数据量大幅缩减。

68TB 克隆背后的技术进展

  • Hugging Face 1分55秒克隆68TB数据,Xet去重优化:CTO Julien Chaumond 公布的具体数据是 68TB、1 分 55 秒,并指出速度提升的关键在于 Xet 的块级去重机制——由于目标端已存在大量相同内容,真正需要网络传输的部分被压缩到极小。
  • Hugging Face 克隆 68TB 数据集到私有存储,仅需不到 1 分钟:CEO Clement Delangue 随后转发了这次演示,将其定位为企业客户把开源数据集迁移到私有环境的实际能力展示。对于需要自建训练数据管线的公司而言,68TB 量级的数据集在分钟级完成同步,意味着数据搬运不再是大模型项目的前置瓶颈。
  • 68TB 数据量与存储硬件的呼应

    与这一数据规模相对应,消费和企业级存储硬件近期也在跟进。闪迪上市了面向 NAS 的高耐用固态硬盘产品线,覆盖 2.5 英寸 SATA 与 M.2 PCIe Gen5 两种规格(见 闪迪 NAS 固态硬盘上市、SANDISK NAS 高耐用固态硬盘产品线);零刻则推出了搭载龙芯 2K3000 处理器的两盘位 NAS 迷你主机,售价 1815 元起(报道)。虽然单台家用 NAS 远存不下 68TB 原始数据,但大容量、高耐久存储的普及正在降低个人和小团队持有大规模数据集的门槛。企业侧,SiFive 也推出了 BigSky 平台,号称全球首款企业级可机架安装的 2U RISC-V 服务器(报道),指向数据中心的多元化算力与存储架构。

    当前焦点与观察点

    68TB 演示的本质并非单纯比拼带宽,而是展示去重存储在真实数据集场景下的收益上限——缓存命中率越高、数据越相似,加速效果越明显。观察点有三个:一是该成绩在“冷数据、零缓存”条件下的复现情况;二是 Xet 后端能否覆盖更多私有化部署形态;三是随着 NAS 与企业存储价格下探,中小团队自托管 AI 数据集的成本曲线是否会出现明显变化。

    相关报道

    6 条在档