模型精选

12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元

精选理由

一位律师花 9,450 美元收了 12 张二手 V100,硬是把 DeepSeek-V4.1-Flash 跑到每秒 184 个词元,速度比 4 台 DGX Spark 还快、价格只要一半。文章里有完整的并行结构和吞吐数据,想省钱自建本地推理的开发者值得照抄这套配置。

Reddit 用户、律师 u/TumbleweedNew6515 在 11 月 20 日发帖,花 9,450 美元(约合 63,239 元人民币)买下 12 张二手英伟达 Tesla V100 SXM2 32GB,自建本地集群运行 DeepSeek-V4.1-Flash,单请求代码生成吞吐量达到每秒 153 至 184 个词元。系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,通过 NVLink 与 PCIe 组合互联,并用 4-bit NVFP4 量化把每个专家压缩至约 15,360 个参数,使 12 张 V100 分别承载模型中的专家分片,上下文配置为 256K。

正文

实测数据方面,128K 上下文的首 token 延迟为 28.1 秒,预填充速度最高 4,670 tok/s;文档缓存命中后首 token 只要 0.2 至 0.6 秒。发帖者称该配置在单请求场景下优于公开的 4 台 DGX Spark 组合,代码生成快约 15% 至 45%,多流场景下 3 个流可达每秒 344 至 443 个词元。整套硬件成本约为三台 DGX Spark 的一半,代价是功耗最高约 2,100W 且噪音大,不适合普通办公环境。

原文 · IT之家

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元 (IT之家注:现汇率约合 63,239 元人民币) 使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。 在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元 (现汇率约合 63,239 元人民币) 。 这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。 配置 3× DGX Spark(TP3、SGLang、MXFP4 专家) 4× DGX Spark(TP4;三堆叠) 12× V100(本次配置) 单请求,代码 未发布 125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark) 153–184 单请求,普通文本 38–51 79–88 83–95 预填充,长提示词 约 2,000 3,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K) 4,500–4,700 多请求 4 个流合计 85 32 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化) 3 个流时 344–443;它不是批量解码引擎 上下文 配置为 256K 1M 配置为 524K 性能方面,该网友的测试结果如下: 上下文长度 首个 token(冷启动) 预填充速度(tok/s) 代码 法律 普通文本 三个代码请求合计 首个 token(文档已缓存) 1K 0.7 秒 1,567 184 102 86 443 0.2 秒 8K 2.5 秒 3,267 176 93 90 421 0.2 秒 32K 7.3 秒 4,478 176 92 95 404 0.3 秒 64K 13.9 秒 4,697 157 93 83 364 0.3 秒 128K 28.1 秒 4,670 157 93 86 360 0.4 秒 256K 58.0 秒 4,518 153 92 85 344 0.6 秒 这位用户称,在单请求、单流场景下,该服务器优于已公开的 4 台英伟达 DGX Spark 组合,代码生成速度快约 15% 至 45%,普通文本生成速度也更高。 整套系统成本约 9,450 美元 (现汇率约合 63,239 元人民币) ,约为三台 DGX Spark 组合价格的一半;不过,其代价是功耗最高可达约 2,100W,且噪音较大,并不适合普通办公环境。 参考 Lawyer with too many GPUs: DeepSeek-V4.1-Flash on 12x V100, all 15,360 experts in NVFP4 on the cards. 157-184 tok/s on one code stream, faster than any published 4x DGX Spark stack and double 3 Sparks, for half the price of 3 Sparks. 128K file read in 28 s.

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:DeepSeek、NVIDIA V100、DGX Spark、NVFP4量化,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「IT之家」,经 AITOP 多维评分管线结构化提炼。