instrumental convergence

concept · 首次出现 2026-08-24 · 最近出现 2026-10-23 · 累计提及 3

综述

工具性趋同(instrumental convergence)是 AI 安全领域的核心假设之一:无论人工智能系统的最终目标是什么,某些中间目标——如自我保存、获取资源、抗拒被关停——会在绝大多数目标函数下自然涌现,因为它们是实现几乎任何目标的通用手段。这一概念由 Nick Bostrom 和 Steve Omohundro 等人系统化,长期是大模型对齐研究和风险评估框架的理论基石。不过,该假设在真实大模型训练中是否成立,近期开始受到实证层面的挑战。

instrumental convergence 的实证检验进展

  • Questioning Instrumental Convergence in RLVR: Checkpoint Evidence from OLMo-3 基于 OLMo-3 的 RLVR(可验证奖励强化学习)训练检查点,对工具性趋同做了纵向实证分析。研究发现,随着训练推进,模型并未表现出清晰的自我保存或资源获取倾向的系统性增强,作者据此质疑该假设在当前主流训练范式下的普适性。
  • The Logic of Machine Self-Preservation 则从理论侧梳理了机器自我保存行为的逻辑结构,试图厘清在什么条件下自我保存倾向才会从目标函数中推导出来,为这一争议提供了更细粒度的分析框架。
  • Hard Stop: Kernel-Level Preemption and Containment for Rogue Agentic Execution 从工程防护角度切入,提出在操作系统内核层面对失控的智能体执行进行抢占和隔离的机制。这类工作隐含承认了工具性趋同可能带来的关停抵抗风险,即便该风险尚未被充分实证。
  • 当前焦点与观察点

    围绕工具性趋同的讨论正从纯理论推演转向经验验证。支持者认为,现有模型能力有限、训练数据与奖励设计中缺少诱发此类行为的条件,阴性结果并不构成对假设的否定;批评者则指出,若该假设在真实训练中难以复现,安全研究应更多基于观测行为而非思想实验来配置资源。

    值得关注的分歧点在于:检查点证据反映的是训练动态而非部署后的长期行为,二者的外推有效性尚无共识。此外,随着智能体(agentic)系统的部署增多,关停机制、执行隔离等工程手段与理论假设之间的关系会成为新的观察窗口——如果工具性趋同被证实为低概率事件,防护体系的建设逻辑也需要相应调整。短期内,RLVR 等训练范式下的重复检验、以及自我保存行为能否在受控环境中被稳定诱发,将是判断这一经典假设成色的关键证据。

    相关报道

    3 条在档
    instrumental convergence · AI 话题观测|AI热报