4 张 Tesla V100 组 NVLink 集群,AI 推理速度跑赢 2 台 DGX Spark
把 9 年前的 V100 拼成 4 卡集群,推理速度居然压过两台 DGX Spark,数据都列出来了,玩本地推理的可以看看怎么省钱。
把 9 年前的 V100 拼成 4 卡集群,推理速度居然压过两台 DGX Spark,数据都列出来了,玩本地推理的可以看看怎么省钱。
Together Compute搞了个ParallelKernelBench,专门测LLM能不能写好复杂的多GPU内核,比单GPU难多了,感兴趣的话可以去现场听分享。