Reflection-Beam-1.0 获 vLLM Day-0 支持:501B 参数、1M 上下文
Reflection AI 的新模型 Beam-1.0 开服就能在 vLLM 上跑,501B 参数却只激活 23B,还能微调做 RL,搞部署的可以看看
Reflection AI 发布的 Reflection-Beam-1.0 在 vLLM 获得开服首日支持。该模型总参数量 501B,每 token 激活 23B,支持 1M token 上下文窗口,采用混合注意力机制并结合 Harmony 格式的推理与工具调用能力。SkyRL 同步提供 Day-0 强化学习支持,涵盖 LoRA、BF16 全量微调与 MXFP8 RL。vLLM 团队与 Reflection AI、Inferact 合作优化了推理服务路径,涉及融合 kernel 与 DFlash。
🎉 Reflection-Beam-1.0 from @reflection_ai has Day-0 support in vLLM.
501B total parameters, 23B active per token, and a 1M-token context window. Beam combines hybrid attention with Harmony-format reasoning and tool use.
Beam also has Day-0 RL support in SkyRL (@NovaSkyAI): LoRA, BF16 full fine-tuning and MXFP8 RL, with vLLM rollouts.
We worked with @reflection_ai and @Inferact on the serving path, from fused kernels to DFlash. Here is what is under the hood. 🧵