在人工智能领域,Policies(策略)指的是智能体在环境中做出决策的行为规则或可学习的函数——从强化学习中的动作选择,到机器人控制网络,再到 AI 平台对模型行为的治理规则,都属于这一概念的不同侧面。近期的报道显示,这个词正在两条线上同时升温:一是机器人与具身智能中的动作策略学习,二是 AI 公司与云厂商围绕策略执行的安全与治理框架。
Robot Policies 与具身智能的进展
LLM 策略学习与治理规则的动态
在语言模型方向,围绕策略的研究同样活跃。一项研究提出“单调推理策略”应被视为 LLM 强化学习的真实目标,认为此前策略优化中的收益可能是幻象(训练策略优化的幻象:单调推理策略是LLM强化学习的真实目标)。JERP 则把经验规则与策略联合学习结合起来,面向 LLM 智能体场景(JERP:面向LLM智能体的经验规则与策略联合学习)。理论侧,有工作研究了当自适应策略未知时,老虎机问题中迁移学习的依赖问题的下界与上界(Transfer Learning in Bandits from Unknown Adaptive Policies)。
治理层面也在补齐策略工具:Amazon Bedrock AgentCore 新增了时间策略与速率限制能力,让用户可以控制智能体在单个动作之外的行为与成本;Dogwood 则提供了配套的策略语言(Amazon Bedrock AgentCore新增时间策略与速率限制,Dogwood提供策略语言)。OpenAI 也发布了说明文档,阐述其如何与分发伙伴执行一致的安全标准,把策略执行从模型内部延伸到整个分发链路(OpenAI 说明与分发伙伴如何执行一致的安全标准)。
当前焦点与观察点
综合来看,关于 Policies 的讨论呈现三个值得关注的趋势:其一,机器人领域正在从“每个任务训练一个策略”转向统一具身模型加自进化策略的范式,世界模型与仿真器成为关键基础设施;其二,LLM 强化学习中的策略优化目标正在被重新审视,单调性等更细的理论约束进入研究视野;其三,策略不再只是模型内部的技术概念,云平台与模型厂商正把它产品化为可配置的治理工具。接下来的观察点是:统一策略模型能否在真实部署中跑通,以及跨组织的策略执行标准能否形成可互认的规范。