MIT 与 NVIDIA 提出 QDA:用智能体自动搜索最优量化配方
MIT 和 NVIDIA 的这篇论文解决了个量化配方要靠专家手调的痛点。用 KL 散度几分钟就能筛掉差方案,GLM-5.3-Flash 上比厂商官方 checkpoint 还高 1.4 个点。跑推理服务、做模型压缩的工程团队值得看看。
MIT 和 NVIDIA 的这篇论文解决了个量化配方要靠专家手调的痛点。用 KL 散度几分钟就能筛掉差方案,GLM-5.3-Flash 上比厂商官方 checkpoint 还高 1.4 个点。跑推理服务、做模型压缩的工程团队值得看看。