DeepSeek 开源官方推理系统优化方法，披露单集群日服务 155 万亿 Token
DeepSeek 把自家线上推理的优化手法开源了，GPU 空等、缓存复用这些细节都写了，自建集群的团队直接抄作业。
DeepSeek 开源了其生产推理系统的部分优化实现，采用 Apache 2.0 许可，默认版本为 V4.1 Flash 1017。官方披露完整生产系统单集群每天服务 155 万亿 Token，按低谷价计算每 GPU 小时营收 38 美元。优化手段包括 CPU 提前排下一批任务减少 GPU 空等、多 Token 草拟后挑值得验证的部分验证、把热点专家分散到多卡。线上用约 100 PiB 的 SSD 保存 KV 缓存，Agent 流量保留 3 天、聊天流量保留 7 天，命中相同前缀可复用计算。官方建议的最小高效在线部署单元是 64 张 Prefill GPU 加 64 张 Decode GPU。
这个我得站起来了！其他有卡的大厂目前是跑不过DeepSeek官方的吞吐的，需要自己摸索优化手法，结果大善人梁圣直接给开源的方法
它专门减少几种浪费：GPU 处理当前任务时，CPU 提前排下一批，减少芯片空等；先草拟多个 Token，再挑值得验证的部分；把热点专家分散到多卡，避免有的卡忙、有的卡闲。
官方披露，完整生产系统的单集群每天服务 155 万亿 Token，按低谷价计算，每 GPU 小时营收 38 美元。这是营收口径，利润没有披露。
长上下文也尽量不重复算。他们线上用了约 100 PiB 的 SSD 保存 KV 缓存，也就是模型读过内容后留下的计算结果：Agent 流量保留 3 天，聊天流量保留 7 天。后续请求命中相同前缀，就能复用之前的计算。
目前默认跑 V4.1 Flash 1017，采用 Apache 2.0 许可。仓库提供核心引擎和离线推理，线上缓存管理、分离式部署及负载均衡尚未完整公开。
它主要面向自建推理集群的团队。官方建议的最小高效在线部署单元，，是 64 张 Prefill GPU + 64 张 Decode GPU，分别负责读取输入和生成回答。这是效率建议，不能当成最低运行卡数。
