面向 GDN 循环状态低比特量化的 GGA 与纯写滑动窗口方法

线性注意力以固定大小的循环状态存储历史信息，降低状态精度可减少长上下文推理的存储开销，但量化写入误差会影响长推理任务表现。论文提出全局梯度感知位宽分配 GGA 与纯写滑动窗口 PW：GGA 结合量化残差与梯度敏感度在全模型混合精度预算下分配头位宽；PW 用 FP8 向量对独立维护近期纯写入，离开窗口后再合并进低比特历史状态。在 Qwen3.5-4B/9B 的七项评测上，GGA 单独使用比 STEPQuant@4 高 19.48/29.84 个百分点，叠加 PW-S8 后宏平均达 69.83%/78.63%，领先 38.39/41.21 个百分点。在 @6 设置下 GGA 将平均生成长度缩短 10.45%/14.65%，再加 PW-S8 进一步缩短 32.32%/36.77%，缓解了重复生成与输出过长问题。