行业

Ethan Mollick 指出 OpenAI 与 Anthropic 收紧蒸馏或拖慢开源模型进步

精选理由

Mollick 抛出一个挺有意思的因果猜想:OpenAI 和 Anthropic 不让随便蒸馏了,开源模型的进步是不是因此变慢了?做开源模型本地部署或者二次训练的朋友可以看看,这关系到你后面能拿到什么水平的开源权重。

Ethan Mollick 在 X 上提出一个观察:OpenAI 和 Anthropic 的模型正在事实上终结"轻松蒸馏"的可能性,这可能是开源权重模型进步放缓的原因之一。他没有给出具体数据或版本号,而是把两个现象放在一起:一是头部闭源厂商加强了对模型输出用于训练竞品的限制,二是开源权重模型的迭代速度出现了相对下滑。

正文

蒸馏的原理是让小模型学习大模型的输出分布,从而以极低的训练成本获得接近大模型的能力。过去开源社区可以通过调用 GPT-4、Claude 等模型的 API 大规模生成训练数据,再蒸馏出开源权重模型。如果厂商通过服务条款、输出检测或访问限制封堵这条路,开源模型的追赶速度确实可能受到影响。

文中承认,目前无法量化蒸馏在开源模型进步中的实际贡献,答案要等一段时间才能验证。对依赖开源权重模型做本地部署和二次训练的开发者来说,这一变化意味着后续开源模型与闭源模型的能力差距走向存在不确定性。

原文 · Ethan Mollick

The effective end of easy distillation from OpenAI and Anthropic models may be behind the relative slowdown in open weights model progress. We don’t know the extent to which distillation has been key to the rapid improvement in open weights, I guess we will find out quite soon.

产业坐标与信源核验

本条情报归属 AITOP「行业」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:OpenAI、Anthropic、蒸馏、开源模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Ethan Mollick」(@emollick),经 AITOP 多维评分管线结构化提炼。

Ethan Mollick 指出 OpenAI 与 Anthropic 收紧蒸馏或拖慢开源模型进步|AI热报