Entropy-Regularized(熵正则化)是强化学习中在策略优化目标里加入策略熵奖励项的一类方法，通过鼓励探索、避免策略过早坍缩到确定性解，来提升训练稳定性。它最初在 Soft Actor-Critic 等最大熵强化学习框架中流行，如今已扩展到控制理论、测试时学习和策略评估等多个方向。近期的 arXiv 研究显示，这一领域正从工程技巧走向更系统的理论分析。
Entropy-Regularized 近期进展
在方法层面，FERPO: Forward Entropy-Regularized Policy Optimization 提出了前向形式的熵正则化策略优化，延续了这一思路在策略梯度算法中的改进路线。针对大模型时代的实际需求，Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation 把熵正则化引入代码生成的测试时强化学习，用秩掩码机制约束策略更新，属于把经典思想迁移到 LLM 推理场景的代表性工作。
理论方面也出现重要突破：Global Convergence of Wasserstein Policy Gradient for Entropy-Regularized Reinforcement Learning 证明了基于 Wasserstein 度量的策略梯度方法在熵正则化设定下的全局收敛性，而 Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control 则在经典的线性二次控制问题中给出了类似的分析，说明收敛理论正在从表格型/简单函数类扩展到更一般的分布空间。
此外，Revisiting Mixture Policies in Entropy-Regularized Actor-Critic 来自 Google DeepMind，重新审视了 Actor-Critic 框架中混合策略的设计，而 Bayesian Symbolic Regression with Entropic Reinforcement Learning 则把熵驱动的强化学习用于贝叶斯符号回归，显示该方法的应用边界仍在拓宽。
当前焦点与观察点
目前 Entropy-Regularized 研究的争议和关注点集中在三方面。一是理论缺口：尽管全局收敛性证明陆续出现，但多数结果依赖较强的假设，能否推广到深度网络和高维状态空间仍待验证。二是与 LLM 后训练的结合：随着基于奖励模型和可验证奖励的强化学习成为大模型训练主流，熵坍缩(entropy collapse)问题愈发突出，如何用熵正则化或其变体在探索与利用之间取得平衡，是当前最活跃的方向。三是超参数敏感性：熵温度系数的调节直接影响性能，如何自适应设定仍缺乏公认方案。对研究者和工程团队而言，值得持续跟踪的是理论保证与实际算法效果之间的落差是否正在缩小。