Prefill 指大语言模型推理流程中处理输入提示、生成首个 token 之前的计算阶段,负责一次性并行处理整个上下文,其耗时直接决定首 token 延迟与长文本、智能体场景的体验。随着上下文长度和 Agent 应用增长,prefill 已成为与解码同等重要的优化对象,围绕它的注意力内核、缓存与调度创新近期明显增多。
Prefill 与推理内核的近期进展
当前焦点与观察点
Prefill 优化目前呈现三条主线。其一是内核层加速,FP8 FlashAttention(如 ZYFA)和 GPU 级系统调优正在把注意力计算推向更低精度、更高吞吐;其二是算法层削减,RidgeFill 等免训练缓存填充与 Visual Token Routing(arXiv:2611.06854)这类 token 裁剪方法,试图在不牺牲质量的前提下减少 prefill 实际计算量;其三是系统层调度,以 SGLang 生态的 Agentic Cache 路线图为代表,关注前缀缓存命中率和多请求间的 KV 复用。
值得观察的争议点在于:激进压缩 prefill(token 路由、缓存填充)可能在长上下文任务上引入质量回退,速度与准确率的权衡尚缺统一基准;同时 MoE 架构(如 ISER-MoE,arXiv:2611.09008)带来的专家路由开销,使 prefill 与解码的性能瓶颈进一步分化。智能体多轮长上下文场景将成为检验这些 prefill 优化方案是否真正落地的关键战场。