vLLM 上线 Recursive SI 的 Flint Day-0 支持：40B 参数仅 2.5B 激活
精选理由
vLLM 第一天就支持了 Recursive SI 的 Flint，40B 混合专家模型，单张 GB200 跑出 500 TPS，还支持 100K 长上下文。
vLLM 宣布对 Recursive SI 的 Flint 提供 Day-0 支持。Flint 共 40B 参数，每个 token 仅激活 2.5B。借助 vLLM 的自定义 NVFP4 内核，单张 GB200 在 100K 上下文、不开投机解码的情况下达到 500 TPS。NVFP4 和 BF16 两种精度目前均可直接运行。
原文 · vLLM
Day-0 support for @Recursive_SI's Flint is here in vLLM! 🚀
40B parameters, just 2.5B active per token. Thanks to the small size, our custom NVFP4 kernels push it to 500 TPS on a single GB200, even at 100K context without speculative decoding.
Both NVFP4 and BF16 are ready to run today! https://t.co/KzlqAEqoHM
