模型官方一手76°

StepFun 开放 Step 5 Preview 权重:600B 总参数、27B 激活、1M 上下文

StepFun Releases Open Weights for Step 5 Preview, Publishes Technical Blog on Its Architecture

精选理由

StepFun 把 Step 5 Preview 权重直接开放了,600B 参数只激活 27B,还能跑 1M 上下文,技术博客把 92 层结构和 Sparse GQA 都讲清楚了,自己部署的可以看看。

StepFun 发布了 Step 5 Preview 的开放权重,模型总参数 600B,每步激活 27B,支持 1M token 上下文。官方同时发布技术博客,披露模型采用 92 层结构和 Sparse GQA 注意力机制。博客还介绍了该模型在长程智能体任务上的训练方法。

原文 · pandaily

StepFun Releases Open Weights for Step 5 Preview, Publishes Technical Blog on Its Architecture

Open weights for StepFun's Step 5 Preview are live: 600B total, 27B active, 1M context. A new technical blog explains its 92-layer design, Sparse GQA and long-horizon agent training.