RedHat_AI 为 NVIDIA Nemotron 3.5 Super VL 带来 FP8 与 DSpark 优化
vLLM 官方转发的好东西:RedHat_AI 把 FP8 和 DSpark 一起用到 Nemotron 3.5 Super VL 上,4× H100 实测吞吐和流式速度都涨,checkpoint 还开源了。
vLLM 官方转发的好东西:RedHat_AI 把 FP8 和 DSpark 一起用到 Nemotron 3.5 Super VL 上,4× H100 实测吞吐和流式速度都涨,checkpoint 还开源了。
想让你自己训练的Transformer跑得更快?这篇手把手教你用NVIDIA Transformer Engine和FP8,还有代码和GPU跑分对比。
Hermes agent看了条帖子就自动部署好DeepSeek v4 Flash,双DGX Sparks跑出82 tok/s,省人力还快。
联想新方案单节点塞40张GPU,FP8算力28 PFLOPS,专为万亿参数大模型打造,部署快、扩展灵活,适合大规模训练和推理。