Scaling(扩展)是大模型领域描述“把模型、数据或算力做得更大,性能是否会随之提升”这一核心命题的术语,如今已从单纯的参数规模扩张,演变为涵盖训练投入、推理努力、模态比例等维度的系统性方法论。当前围绕它的讨论,正从“能不能继续变大”转向“变大之后谁玩得起、还能通向哪里”。
Scaling 近期的争论与转向
最受关注的争议来自路线之争。Yann LeCun 在 ETH Zürich 演讲中明确表示,单纯 Scaling LLM 无法通向 AGI,认为自回归语言模型的扩展存在能力天花板 Yann LeCun 在 ETH Zürich 演讲:Scaling LLM 无法通向 AGI。与之呼应的是 Mustafa Suleyman 的预测:10 亿美元级训练时代将至,全球仅 5 到 6 家实验室承担得起这种投入 Mustafa Suleyman 预言:10 亿美元级训练时代将至。两件事指向同一现实——扩展的成本曲线正在把前沿研究集中到极少数机构手中。
与此同时,扩展的对象正在泛化。arXiv 上出现针对 Looped Mixture of Experts 的扩展定律研究,试图给出循环架构下的规模规律 Looped Mixture of Experts扩展定律研究;Aspect Ratio Scaling 则把“扩展”落到图像生成的分辨率比例维度上 Aspect Ratio Scaling 模型发布。在智能体方向,有工作提出用 Effort scaling 优化子智能体编排 Effort scaling优化子智能体编排,CodeMidas 则从代码本身扩展智能体编程的强化学习训练环境 CodeMidas:从代码本身扩展智能体编程RL训练环境。
当前焦点与观察点
在国内,华为诺亚前研究员联手创业,尝试把扩展规律带入物理世界 华为诺亚前研究员联手创业,探索物理世界的 Scaling Law。行业活动也在跟进这一话题,Genspark 将于 10 月 7 日举办 Spark House,TikTok、Cerebras、Cognition 等参与 Genspark 10月7日举办 Spark House 活动。接下来的观察点在于:预训练层面的扩展收益是否已明显放缓,投入是否会向推理侧与训练后阶段转移,以及少数实验室掌握超大规模训练能力后,开源与闭源之间的差距会被拉大还是被新架构思路缩小。