事件专题 ·多源确认

tufazip 用 Transformer 实现 AI 无损压缩:1GB 维基百科文本压到约 105MB

开源项目 tufazip 将 Transformer 用于无损压缩,在 enwik9 基准上把 1GB 维基百科原始文本压缩到 100.96 MB,加上 4.43 MB 的解压程序后总大小为 105.39 MB,体积减少约 89.46%。无损指解压后逐字节恢复原文,并非让 AI 重新生成相似文章。 其原理是:语言模型预测下一个字符越准确,文本的压缩空间就越大。tufazip 利用 Transformer 输出后续数据的概率分布,再通过算术编码把这些预测转化为更紧凑的编码表示。 代价是计算开销极大:压缩需要两张 NVIDIA B200 GPU 运行约 7.3 天,解压约需 7.5 天,还不含离线训练时间。因此目前只是压缩率上的研究成果,还称不上实用工具,但这一结果与 Hutter Prize 所代表的"用预测能力换压缩率"路线一脉相承。

当前结论

有开发者把 Transformer 的字符预测能力接到算术编码上做了 tufazip,enwik9 上压掉近 90% 体积,是真无损。不过要两张 B200 跑七天多才能压完,实用还早。适合关心压缩算法和模型预测关系的人看。

11 个信源62° AI 热度最后更新 2026/11/20 02:06:38

证据链

11 个信源
相关来源 5The Straits Times: Business
查看原文
相关来源 7AWS Machine Learning Blog
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。