MDPs（马尔可夫决策过程，Markov Decision Processes）是描述序贯决策问题的标准数学框架，由状态、动作、转移概率和奖励构成，是强化学习与最优控制的理论基石。当前关于 MDPs 的研究主要围绕样本效率、离线学习收敛性与不确定性下的鲁棒决策三条主线展开。
MDPs 的近期理论进展
近期多项工作聚焦于提升 MDPs 求解的效率与收敛保证：
不确定性与离线学习下的焦点
除样本效率外，另一批工作处理 MDPs 中的不确定性：Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies 研究在转移不确定时用小规模策略集逼近极小化极大遗憾；Fast Rates for Offline Q-Learning with KL Regularization 证明引入 KL 正则后离线 Q-learning 可达到更快的收敛速率；On the Convergence of Success Conditioning for Policy Optimization 与 Markovian Nonconvex ADMM for Reinforcement Learning 则分别从成功条件化与 ADMM 优化视角补充了策略优化的收敛性分析。
当前焦点与观察点
整体来看，MDPs 研究正从标准的表格型设定转向利用结构先验（对称性、混合模型、弱耦合结构）获取更紧的理论界，同时离线设定与鲁棒遗憾分析成为热点。值得观察的方向包括：这些更细化的收敛速率结果能否转化为实际算法的性能提升，以及面向大模型驱动的决策系统时，经典 MDPs 理论框架如何与大规模函数逼近协同演进。