BitDecoding-FP4：FP4 KV 缓存解码的算法-系统协同设计

BitDecoding-FP4 针对长上下文 LLM 推理中 KV 缓存占用内存和带宽的问题，提出原生 FP4 KV 解码方案。算法层面用 Dual-Residual Query Quantization 将 query logit 误差从 60% 降到 1%，并用 Underflow-Aware Probability Scaling 和 Outlier-Aware Key Quantization 抑制另外两类误差。系统层面通过转置 softmax 融合概率量化消除 softmax 瓶颈。在 NVIDIA B300 上对 Qwen3-4B 和 Qwen3-30B-A3B 的测试中，精度保持在 BF16 的 0.5 点（NVFP4）或 1 点（MXFP4）以内，峰值服务吞吐提升 2.4-3.0 倍。代码已在 GitHub 开源。