#BitDecoding-FP4

KV 缓存量化到 FP4 还不掉精度，B300 上吞吐直接翻倍多，长上下文部署的可以看看这份开源实现。