事件专题 ·多源确认

MIT 与 NVIDIA 提出 QDA:用智能体自动搜索最优量化配方

MIT 与 NVIDIA 发布论文 QDA(arXiv:2611.23388),把大模型低比特量化的配方设计交给智能体自动完成。传统方法里,每种模型和精度组合(如 W4A16、W4A8、W3A16)都需要专家手工调整流程,而 QDA 让智能体在多轮迭代中自动构建、测试候选方案,在三种精度设置下分别超过最强公开配方 0.9、1.4 和 2.2 分,每次搜索仅消耗 64 GPU 小时。 核心技术突破在评估速度:传统上给一个量化后的推理模型打分需要数十 GPU 小时,QDA 改为在智能体未见过的推理轨迹上测量量化模型与原始模型的输出 KL 散度,把单次评分压缩到几分钟。 promising 的候选方案再通过长文本生成来检测重复循环问题。系统还内置公开 PTQ 方法库,智能体可以直接组合不同方法而无需逐个移植代码库。 实际效果方面,在 320B MoE 模型 GLM-5.3-Flash 的 NVFP4 W4A4 量化上,QDA 恢复了 FP8 精度的 98.3%,高于最佳厂商 checkpoint 的 96.9%。所有产出的 checkpoint 都能运行在现有 serving kernel 上,不引入推理开销。

当前结论

MIT 和 NVIDIA 的这篇论文解决了个量化配方要靠专家手调的痛点。用 KL 散度几分钟就能筛掉差方案,GLM-5.3-Flash 上比厂商官方 checkpoint 还高 1.4 个点。跑推理服务、做模型压缩的工程团队值得看看。

11 个信源31° AI 热度最后更新 2026/11/19 20:45:03

证据链

11 个信源
相关来源 2The Information
查看原文
相关来源 9PolymarketMoney
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。