SenseTime SenseCore 公布 Prefill/Decode 分离集群推理架构
SenseTime 在 CSDI Summit 上讲了 Prefill 和 Decode 分离部署的做法，用 KV Cache 连接，单次测试吞吐量提升约 5 倍，做推理部署的可以看看。
#SenseCore
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「SenseCore」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月19日
SenseTime 在 CSDI Summit 上讲了 Prefill 和 Decode 分离部署的做法，用 KV Cache 连接，单次测试吞吐量提升约 5 倍，做推理部署的可以看看。