SemanticKV：面向智能体自回归视频生成的语义对齐 KV 缓存压缩

论文提出 SemanticKV，一个免训练的 KV 缓存压缩方法，专门针对结合语义规划、顺序生成与视觉验证的智能体自回归视频生成场景。据作者所述，这是首个显式利用规划器提取的语义约束来引导缓存保留策略的压缩方法，解决现有方法只优化单个生成器、可能导致支持目标属性或动作的状态被低优先级丢弃的问题。 技术上，方法通过文本交叉注意力定位与语义约束相关的视频位置，将这些位置的自注意力查询分组，组内平均注意力权重、跨组取最大值打分，再用一次 top-k 选择在内存预算内保留高分条目，键、值与位置保持不变。作者证明在查询组固定、条目成本相等的条件下，该选择能最小化最差组被丢弃注意力的加性上界。方法在每个候选 rollout 内独立运行，无需重训练或额外视频生成。 实验覆盖四个 AR 视频骨干和三个基准，测试 5、30、60 秒生成。在 Causal Forcing 上压缩比 0.7 时，SemanticKV 的 VBench Total Score 为 84.10，高于最强压缩基线的 84.05 和 Full KV 的 83.99；相对 Full KV 取得 1.22 倍加速，KV 缓存内存从 6.04 GB 降至 1.81 GB，减少 3.35 倍。