模型多源确认

DiffusionGemma 在 DGX Spark 上对比 Jev,vLLM 定制补丁完成评测

精选理由

有人在 DGX Spark 上用自写的 vLLM 补丁跑 DiffusionGemma 和 Jev 对比,vLLM 官方都转发了,想看扩散模型推理性能的可以点进去。

开发者 @HOTHEAD01TH 用自写的 vLLM 补丁在 DGX Spark 硬件上运行 DiffusionGemma,并将其与 Jev 进行对比评测。vLLM 官方账号转发了这项工作,并表示希望该补丁能贡献到 vLLM 上游仓库。目前评测细节和具体基准数据需查看原帖链接。

原文 · vLLM

Great work from @HOTHEAD01TH evaluating DiffusionGemma against Jev with a custom patch for vLLM on DGX Spark.

We’d love to see this patch contributed upstream to vLLM!

https://t.co/fwds6P9bms

  • Simon Willison’s Weblog10-04 23:34原文
  • NVIDIA AI10-06 18:29原文