General Compute 与 Positron 将 prefill 和 decode 拆分到不同芯片上推理
Prefill 跑 GPU、decode 交给 Positron 的内存优先芯片，合成一个端点卖，思路挺聪明的，讲清了为啥推理瓶颈在内存不在算力。
#prefill-decode分离
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「prefill-decode分离」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月21日
Prefill 跑 GPU、decode 交给 Positron 的内存优先芯片，合成一个端点卖，思路挺聪明的，讲清了为啥推理瓶颈在内存不在算力。
