NaiveAI 实测:2100 tokens/s 推理速度,编程能力对标 DeepSeek
如果你选模型时纠结速度还是质量,这篇实测很有参考价值。作者亲手跑了 NaiveAI,2100 tokens/s 的速度真能保住接近 DeepSeek 的代码水平,做批量推理或实时应用的团队可以重点看看。
如果你选模型时纠结速度还是质量,这篇实测很有参考价值。作者亲手跑了 NaiveAI,2100 tokens/s 的速度真能保住接近 DeepSeek 的代码水平,做批量推理或实时应用的团队可以重点看看。
NaiveAI 放出了 MIT 协议的 309B MoE 开源模型,激活参数只有 15.5B,还能吃下 1M 上下文,做长代码分析可以试试自己部署。