行业官方一手
SenseTime SenseCore 公布 Prefill/Decode 分离集群推理架构
SenseTime's SenseCore Details Prefill/Decode Split Clusters for Agentic Inference
精选理由
SenseTime 在 CSDI Summit 上讲了 Prefill 和 Decode 分离部署的做法，用 KV Cache 连接，单次测试吞吐量提升约 5 倍，做推理部署的可以看看。
SenseTime 的 SenseCore 在 CSDI Summit 上介绍了国内 Prefill 与高带宽 Decode 节点分离部署、通过 KV Cache 链接的异构推理方案。官方给出的测试数据显示，该架构在单次测试中实现约 5 倍 token 吞吐量提升。SenseCore 还规划将日处理 token 量从 6 万亿提升至 10 万亿，目标时间为 2026 年第四季度。这一方案面向智能体（Agentic）推理场景的规模化部署。
原文 · pandaily
SenseTime's SenseCore Details Prefill/Decode Split Clusters for Agentic Inference
At CSDI Summit, SenseCore described domestic Prefill and high-bandwidth Decode linked by KV Cache, about 5x token throughput in one test, and a path from 6 to 10 trillion tokens a day by Q4 2026.
