主要来源IT之家
查看原文事件专题 ·单一信源
12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元
Reddit 用户、律师 u/TumbleweedNew6515 在 11 月 20 日发帖,花 9,450 美元(约合 63,239 元人民币)买下 12 张二手英伟达 Tesla V100 SXM2 32GB,自建本地集群运行 DeepSeek-V4.1-Flash,单请求代码生成吞吐量达到每秒 153 至 184 个词元。系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,通过 NVLink 与 PCIe 组合互联,并用 4-bit NVFP4 量化把每个专家压缩至约 15,360 个参数,使 12 张 V100 分别承载模型中的专家分片,上下文配置为 256K。 实测数据方面,128K 上下文的首 token 延迟为 28.1 秒,预填充速度最高 4,670 tok/s;文档缓存命中后首 token 只要 0.2 至 0.6 秒。发帖者称该配置在单请求场景下优于公开的 4 台 DGX Spark 组合,代码生成快约 15% 至 45%,多流场景下 3 个流可达每秒 344 至 443 个词元。整套硬件成本约为三台 DGX Spark 的一半,代价是功耗最高约 2,100W 且噪音大,不适合普通办公环境。
当前结论
一位律师花 9,450 美元收了 12 张二手 V100,硬是把 DeepSeek-V4.1-Flash 跑到每秒 184 个词元,速度比 4 台 DGX Spark 还快、价格只要一半。文章里有完整的并行结构和吞吐数据,想省钱自建本地推理的开发者值得照抄这套配置。
2 个信源48° AI 热度最后更新 2026/11/21 05:00:14
证据链
2 个信源相关来源 1Soumith Chintala (PyTorch)
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。