optimization

optimization（优化）指在明确目标下系统性改进模型参数、策略或系统配置的过程，是机器学习训练、强化学习与工程调优共用的底层方法。近期公开研究显示，其热点正从追求更快收敛，转向信用分配、隐私约束与目标定义等更细粒度的问题。

优化方法近期进展

信用分配细化：DepGPO 用命令依赖图刻画终端智能体多步操作间的因果结构，把最终奖励拆解到具体命令上，缓解强化学习中奖励稀疏、归因粗糙的问题（DepGPO：用命令依赖图优化终端智能体的 RL 信用分配）；另一项工作则引入半事实反例来增强信用估计（Semifactual Credit-Augmented Policy Optimization）。

策略优化新范式：Bellman Policy Optimization 从 Bellman 方程角度重新推导策略梯度，试图统一 Actor-Critic 类方法（一种新的强化学习优化方法 Bellman Policy Optimization）；3PO 则在参数空间做三向探索，以提升大模型强化学习的稳定性（参数空间探索新方法3PO：提升LLM强化学习性能）。

隐私与去中心化：PRDO 针对去中心化训练中的噪声与客户端偏差同时做降噪与偏差校正，指向跨机构协作训练场景（PRDO：降噪与偏差校正的隐私去中心化优化方法）。

综合近期论文，optimization 研究呈现三个趋势：一是从“算得快”转向“归因准”，信用分配成为智能体训练的瓶颈；二是优化目标从单一损失扩展到隐私、鲁棒性等多约束；三是“优化前先询问”这类交互式工作提示，目标定义不清时盲目求解可能适得其反。

此外，评测框架本身也被纳入被优化对象：Task-CoEvolve 通过自适应选择验证任务来高效优化评测套件，说明“优化什么”与“怎么优化”同样重要。对从业者而言，跟踪信用分配与多约束优化两条线，基本可以覆盖当前大部分前沿动向。