主要来源IT之家
查看原文事件专题 ·单一信源
4 张 Tesla V100 组 NVLink 集群,AI 推理速度跑赢 2 台 DGX Spark
YouTube 频道 Jun Yamog 于 10 月 12 日发布测试,将 4 张 2017 年推出的 Tesla V100 安装在 NVLink 载板上组建推理集群。在 4-bit 量化的 Qwen3.8-Flash-Next 模型测试中,该集群短提示 Token 生成达到 100.6 tok/s,比 2 台 DGX Spark 快 121%,比 M5 Ultra 的 44.5 tok/s 快一倍以上。长提示处理速度较 M5 Ultra 快 230%,较 DGX Spark 集群快 40%。NVLink 载板提供 300GB/s 带宽,测试者改装 A100 散热器应对每颗 V100 约 300W 的功耗。
当前结论
把 9 年前的 V100 拼成 4 卡集群,推理速度居然压过两台 DGX Spark,数据都列出来了,玩本地推理的可以看看怎么省钱。
2 个信源41° AI 热度最后更新 2026/10/13 01:18:41
证据链
2 个信源相关来源 1kimmonismus
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。