Markov decision processes

马尔可夫决策过程（Markov decision processes，简称 MDP）是一种刻画序贯决策问题的数学框架：智能体在每一步观察系统状态、选择动作并获得奖励，系统按马尔可夫性转移到下一状态。它是强化学习、运筹优化和自动控制的理论基石，也是当前 AI 决策研究中最活跃的方向之一。

MDP 理论与算法的近期进展

Achieving an $O(1/N)$ Optimality Gap in Average-Reward Weakly-Coupled MDPs：针对平均奖励设定下的弱耦合马尔可夫决策过程，研究者在多智能体规模 $N$ 增大时实现了 $O(1/N)$ 量级的最优性间隙，为大规模资源分配类问题提供了更强的理论保证。

Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons：该工作改进了经典的 Q($\lambda$) 算法，通过极限核机制在短时程与长时程信用分配之间取得平衡，延续了时序差分学习在 MDP 求解中的持续演进。

Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies：在转移模型不确定的情况下，研究如何用一小组策略将极大极小遗憾最小化，反映出鲁棒 MDP 决策正从单策略向紧凑策略集合拓展。

Confidence Sequences for Online Statistical Model Checking of Markov Decision Processes：将置信序列方法引入 MDP 的在线统计模型检验，使系统能在运行时对性质是否满足给出有统计保证的判断。

MDP 应用与可解释性的观察点

马尔可夫决策过程的研究正呈现两条并行主线。一条是理论深化：从平均奖励的弱耦合结构，到不确定环境下的鲁棒策略设计，学界关注的核心已从“能否求解”转向“在多大规模、多大不确定性下能给出量化保证”。另一条是走向实际部署：dtControl2+$\varepsilon$: Trading Optimality for Explainability in MDPs via Decision Trees 探讨用决策树表示 MDP 策略，在最优性与可解释性之间做显式权衡；Evaluating covariate balance for long time horizon Markov decision processes 则面向长时程场景下的策略评估，关注协变量平衡等统计诊断。

多智能体与形式化方法的结合也是值得关注的趋势：Social Laws for Multi-agent Coordination in Stochastic Environments 通过“社会法则”约束随机环境中的多智能体协调，而 Infinite Trace Objectives with Finite Trace Techniques: Translating LTL to LTLf+ 将线性时序逻辑目标转化处理，说明 MDP 正与形式验证深度交叉。整体来看，马尔可夫决策过程仍是连接强化学习算法与可验证、可解释决策系统的关键桥梁，其平均奖励、鲁棒性和可解释性三条线索在近期文献中同步推进。

综述

MDP 理论与算法的近期进展

MDP 应用与可解释性的观察点

相关报道