模型74°
Step 5 Preview 发布当天即获 vLLM 支持
精选理由
StepFun 新模型 Step 5 Preview 上线当天就能在 vLLM 上跑，稀疏注意力加 MoE，Blackwell 和 Hopper 都能部署，附内核实测数据。
StepFun 发布 Step 5 Preview 模型，vLLM 项目在同一天完成 Day-0 支持。该模型采用稀疏注意力、MoE 架构、多 token 预测和视觉能力。推理侧的适配工作覆盖稀疏索引器、FP8 MegaMoE 内核和缓存传输，并同时在 Blackwell 和 Hopper 两代 GPU 上完成部署验证。原文附有内核性能数据和验证结果。
原文 · vLLM
🎉 Step 5 Preview has Day-0 support in vLLM. Sparse attention, MoE, multi-token prediction and vision, with serving work across Blackwell and Hopper. The work spans the sparse indexer, FP8 MegaMoE and cache transfer. Here is how the pieces fit together, with kernel results and validation below. 🧵 1/6
