RedHat_AI 为 NVIDIA Nemotron 3.5 Super VL 带来 FP8 与 DSpark 优化
vLLM 官方转发的好东西:RedHat_AI 把 FP8 和 DSpark 一起用到 Nemotron 3.5 Super VL 上,4× H100 实测吞吐和流式速度都涨,checkpoint 还开源了。
vLLM 官方转发的好东西:RedHat_AI 把 FP8 和 DSpark 一起用到 Nemotron 3.5 Super VL 上,4× H100 实测吞吐和流式速度都涨,checkpoint 还开源了。
Trillium Labs 的 Nathan Lambert 说 OpenAI 一名研究员能调用 5000 张 H100,中国研究员听到直接愣住,中美差距到底差在哪这段讲得挺直白。
搞蛋白质结构预测的可以看看,这个 TurboPairFormer 把 AlphaFold3 式训练的三角注意力算子重写了一遍,比 Triton 后端快 1.73 倍,数值还更稳定。
有人算出 Beam 和 DeepSeek V3 总训练算力几乎一模一样,等于是两年后的复现,但效率差挺远,评论区还挺热闹。