SteerDistill:用教师闭环引导量化 LLM Agent,W4A16 下逼近 BF16
如果你在部署低比特量化的 Agent,这篇很值得看。它让 W4A16 量化模型的表现只差 BF16 一分以内,训练成本还比 QeRL 少 67% 的 GPU 时数。做端侧 Agent 或成本敏感推理的工程师可以直接参考。
如果你在部署低比特量化的 Agent,这篇很值得看。它让 W4A16 量化模型的表现只差 BF16 一分以内,训练成本还比 QeRL 少 67% 的 GPU 时数。做端侧 Agent 或成本敏感推理的工程师可以直接参考。