SambaNova：预填充用 GPU，解码用 SN50
精选理由
SambaNova 提出把预填充交给 GPU、解码交给自家的 SN50 芯片，理由是写答案才是慢的那一步。跑智能体推理的可以看看这个分工思路。
SambaNova 在 Tetrate 的 Inference Routing Summit 上提出智能体推理的新分工方案：GPU 负责预填充阶段，SN50 负责解码阶段。其核心观点是解码阶段才是推理速度的瓶颈，而非读取提示词。这种 GPU 与专用芯片组合的推理路由思路由 Sven 在会上做了详细讲解。
原文 · SambaNova
The slow part is writing the answer, not reading the prompt.
That's why agentic inference needs a different division of labor. GPUs for prefill, SN50 for decode.
Great breakdown of Sven's talk at the @tetrateio Inference Routing Summit!
