Actor 是强化学习中的核心概念，指根据当前状态直接输出动作的策略网络，通常与负责评估动作价值的 Critic 配对，构成经典的 Actor-Critic 训练框架。作为智能体“做决策”的那一半，Actor 的设计与优化方式直接决定了训练稳定性和最终性能，是大模型强化学习、机器人控制和智能体系统等领域的公共基础组件。
Actor-Critic 方法的近期进展
当前焦点与观察点
围绕 Actor 的研究正呈现两条主线。一是框架改进：AC2 等工作尝试用动作分块、目标对齐等手段解决传统 Actor-Critic 在长程任务和样本效率上的老问题；二是与 PPO 等主流算法的适配：如一篇解析解博弈论文指出，即便奖励设计正确，PPO 下的策略仍可能学不准，说明问题未必出在奖励而在优化路径，这对 Actor 的训练方法提出了更细颗粒度的追问。
同时，Actor 的外延也在变宽：从 MIRA 面向长程研究智能体的架构拆分，到 RSIAgent 的课程式训练策略，再到双足机器人的分层强化学习避障，多类系统都在重新审视“策略如何被训练和评估”这一共同问题。后续值得观察的方向包括 Actor 与 Critic 的职责再分配、动作分块在真实机器人上的泛化表现，以及大模型场景下对齐机制能否成为新的标准配置。