Decode 指大语言模型推理中的解码阶段,即模型逐 token 生成回答的过程,也是当前 LLM 推理成本与速度的主要瓶颈。与预填充(Prefill)一次处理整段输入不同,Decode 需要反复读写 KV Cache,对显存带宽高度敏感,因此围绕它的优化——从稀疏注意力、KV Cache 管理到专用芯片——正成为推理系统竞争的核心战场。
Decode 优化近期进展
当前焦点与观察点
Decode 优化的讨论正从单一 kernel 层面向系统性工程扩散。KV Cache 是最集中的议题:阿里云 Tair 团队与 SGLang 社区共同推进的 Agentic Cache 调度路线图,以及 ARK 对分离式推理中 KV Cache 传输路由冲突的处理 的相关工作(arXiv:2610.41160),分别从调度与通信角度切入;社区层面,KVCache Meetup Korea 分享的 CXL 内存池化实践 显示内存池化硬件方案也开始落地讨论。
成本结构方面,SambaNova 在其 智能体成本拆解 中指出,真正的开销来自输出 token 而非请求次数——这直接对应 Decode 阶段的算力消耗,也解释了为何 Agent 应用兴起会放大解码优化的商业价值。另一个值得观察的方向是自动化:Evolving Agent Teams 在 GPU 内核优化上超越 FlashInfer 的多智能体框架(arXiv:2610.36848)提示,AI 系统的解码 kernel 本身也可能由 AI 自动调优。总体来看,Decode 竞争的主线是「更长上下文、更低单 token 成本」,架构协同与 KV Cache 工程化将是短期内最可能出成果的两个方向。