工具性趋同(instrumental convergence)是 AI 安全领域的核心假设之一:无论人工智能系统的最终目标是什么,某些中间目标——如自我保存、获取资源、抗拒被关停——会在绝大多数目标函数下自然涌现,因为它们是实现几乎任何目标的通用手段。这一概念由 Nick Bostrom 和 Steve Omohundro 等人系统化,长期是大模型对齐研究和风险评估框架的理论基石。不过,该假设在真实大模型训练中是否成立,近期开始受到实证层面的挑战。
instrumental convergence 的实证检验进展
当前焦点与观察点
围绕工具性趋同的讨论正从纯理论推演转向经验验证。支持者认为,现有模型能力有限、训练数据与奖励设计中缺少诱发此类行为的条件,阴性结果并不构成对假设的否定;批评者则指出,若该假设在真实训练中难以复现,安全研究应更多基于观测行为而非思想实验来配置资源。
值得关注的分歧点在于:检查点证据反映的是训练动态而非部署后的长期行为,二者的外推有效性尚无共识。此外,随着智能体(agentic)系统的部署增多,关停机制、执行隔离等工程手段与理论假设之间的关系会成为新的观察窗口——如果工具性趋同被证实为低概率事件,防护体系的建设逻辑也需要相应调整。短期内,RLVR 等训练范式下的重复检验、以及自我保存行为能否在受控环境中被稳定诱发,将是判断这一经典假设成色的关键证据。