SambaNova:预填充用 GPU,解码用 SN50
SambaNova 提出把预填充交给 GPU、解码交给自家的 SN50 芯片,理由是写答案才是慢的那一步。跑智能体推理的可以看看这个分工思路。
SambaNova 提出把预填充交给 GPU、解码交给自家的 SN50 芯片,理由是写答案才是慢的那一步。跑智能体推理的可以看看这个分工思路。
SambaNova 聊自家 SN50 芯片怎么做推理,从架构聊到软件优化,做硬件的可以看看思路。
SambaNova 拉上 Supermicro 卖推理机,GPU 管预填充、自家的 SN50 芯片管解码,首批 1 万颗,专门冲着跑 agent 去的。
SambaNova 讲了个很多人算错的钱:智能体烧钱看输出 token,不是请求数,串行调用还会把延迟和成本一起放大。
SambaNova和Intel合作谈智能体AI基础设施,SN50模型现场展示,CPU GPU RDU协同工作解析