主要来源Ethan Mollick
查看原文事件专题 ·多源确认
Ethan Mollick 指出 OpenAI 与 Anthropic 收紧蒸馏或拖慢开源模型进步
Ethan Mollick 在 X 上提出一个观察:OpenAI 和 Anthropic 的模型正在事实上终结"轻松蒸馏"的可能性,这可能是开源权重模型进步放缓的原因之一。他没有给出具体数据或版本号,而是把两个现象放在一起:一是头部闭源厂商加强了对模型输出用于训练竞品的限制,二是开源权重模型的迭代速度出现了相对下滑。 蒸馏的原理是让小模型学习大模型的输出分布,从而以极低的训练成本获得接近大模型的能力。过去开源社区可以通过调用 GPT-4、Claude 等模型的 API 大规模生成训练数据,再蒸馏出开源权重模型。如果厂商通过服务条款、输出检测或访问限制封堵这条路,开源模型的追赶速度确实可能受到影响。 文中承认,目前无法量化蒸馏在开源模型进步中的实际贡献,答案要等一段时间才能验证。对依赖开源权重模型做本地部署和二次训练的开发者来说,这一变化意味着后续开源模型与闭源模型的能力差距走向存在不确定性。
当前结论
Mollick 抛出一个挺有意思的因果猜想:OpenAI 和 Anthropic 不让随便蒸馏了,开源模型的进步是不是因此变慢了?做开源模型本地部署或者二次训练的朋友可以看看,这关系到你后面能拿到什么水平的开源权重。
11 个信源66° AI 热度最后更新 2026/11/20 19:55:20
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。