Distilling(知识蒸馏)是机器学习中让小模型学习大模型输出或行为的技术,当前被视为低成本获取前沿模型能力的关键路径。相比从头训练一个前沿模型的高昂开销,蒸馏一个已训练好的前沿模型的成本要低得多,这使它同时成为中小团队追赶头部能力、以及行业数据安全与政策讨论的交汇点。
Distilling 的近期进展
当前焦点与观察点
围绕 distilling 的争议主要集中在两点。其一是战略层面:据 The Information 报道,蒸馏美国 AI 模型的做法可能对中国模型生态造成负面影响,这意味着蒸馏已从纯技术问题上升为地缘与政策议题。其二是工程层面:Yann LeCun 转发的讨论指出,训练前沿模型昂贵,但蒸馏一个前沿模型很便宜,这既解释了蒸馏的普及,也引发对上游模型提供方权益与使用条款的关注。
另一个值得观察的新方向是"AI4AI":Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills 尝试把 GitHub 仓库蒸馏成可供 AI 使用的技能,把蒸馏的对象从模型权重扩展到工程知识本身。总体来看,2025-2026 年的 distilling 正在沿三条线演进:传递什么(意图、决策、空间信息而非 token)、传给谁(更小的语音、图、机器人模型)、以及是否合规可控。对从业者而言,蒸馏仍是性价比最高的能力继承手段,但需关注上游许可与监管边界的变化。