DeepSeek V4 的 KV 缓存经济性引发与 GPT 的对比讨论
精选理由
有人在对比 DeepSeek V4 和 GPT 的 KV 缓存开销，GPT 那 272K 压缩上限被吐槽了，搞推理部署的可以看看这段讨论。
一位技术评论者在 X 上感谢 DeepSeek 创始人梁文锋（Wen），话题围绕 DeepSeek V4 的 KV 缓存效率。他对比了 12 与 72 两个数字，指出 GPT 延迟高、默认压缩上限约 272K，若达到 V4 级别的 KV 经济性，占用可降至 1 GB 左右。讨论核心是长上下文推理时的显存与磁盘成本差异。
原文 · Teortaxes
Thanks Wenfeng that said, a) 12 < 72 b) with how slow and high-latency GPT is and how it moves towards Dots-style autonomy, you can offload it to HDD and nobody will notice. Their default compaction limit is what, 272K? If they have even V4-tier KV economics now, it's 1 GB.
