技巧

Hugging Face 上的 Reddit 全量数据集:109GB 到 292GB,从 2005 年开始

还真是,但这两个Reddit 数据集太大了。 最小的 109g,高的 292 g,光下载都要很久,现在硬盘又那么贵 哈哈哈。 https://t.co/VHu6KrvyyA https://t...

精选理由

顺着 Hacker News 数据的思路,有人挖出了 Hugging Face 上的 Reddit 全量数据,2005 年至今都有,做社媒分析或出海选题的可以看看,就是 109GB 起步,先备好硬盘。

有人在 Hugging Face 上发现 Reddit 社交数据集,覆盖 2005 年至今的所有数据。最小的一个数据集有 109GB,最大的达到 292GB,下载耗时明显。这套数据适合做出海内容分析等用途,不只是 Hacker News 数据可挖。

图片来源 · 向阳乔木
原文 · 向阳乔木

还真是,但这两个Reddit 数据集太大了。 最小的 109g,高的 292 g,光下载都要很久,现在硬盘又那么贵 哈哈哈。 https://t.co/VHu6KrvyyA https://t...

还真是,但这两个Reddit 数据集太大了。 最小的 109g,高的 292 g,光下载都要很久,现在硬盘又那么贵 哈哈哈。 huggingface.co/datasets/fddem… huggingface.co/datasets/Huggi… 有志出海 @0xValkyrie_ai 顺着向阳大佬的路子,我好奇的翻了下,突然发现还有个更不得了的数据在里面。 不要仅仅盯着hacknews 数据, Huggingface 的社交数据中还有个Reddit 从05开始所有的数据。 🔗 View Quoted Tweet 💬 0 🔄 0 ❤️ 8 👀 1101 📊 2 ⚡