Primus Projection:单机仿真加自动调优,替代千卡分布式训练试错
调千卡训练配置不用再烧 GPU 试错了,单卡跑不到 30 分钟,就给 Mixtral 8x22B 找到比官方参考快 27% 的配置。
调千卡训练配置不用再烧 GPU 试错了,单卡跑不到 30 分钟,就给 Mixtral 8x22B 找到比官方参考快 27% 的配置。
有人算出 Beam 和 DeepSeek V3 总训练算力几乎一模一样,等于是两年后的复现,但效率差挺远,评论区还挺热闹。
做 Text-to-SQL 的可以看看这份排行榜聚合方法,它把不同模型和推理方式按自主度归类,还给出了在 Spider、BIRD 上的实测对比,省得自己瞎比较。
SGLang给DeepSeek模型加了两个新负载均衡器,跑DeepSeek V3/R1速度能快最多7%,而且不改精度,想加速推理的可以试试。