云时代启示:推理算力充足是 AI 创业生态的前提
一条关于推理算力的观点帖,把 GPU 分配和当年公有云崛起类比,讲清了为什么创业公司不该自建算力。
一条关于推理算力的观点帖,把 GPU 分配和当年公有云崛起类比,讲清了为什么创业公司不该自建算力。
Meta 把闲置 GPU 算力“榨”出来跑广告推荐,还讲了两条弹性设计的具体做法,做推理调度的工程师可以直接抄作业。
Saravia 和 Weisser 都在聊一个趋势:RL 后训练吃掉越来越多算力。做垂直场景的朋友可以看看,专用模型加数据飞轮可能比追大模型更实际。