Regret(遗憾)是在线学习和决策理论中衡量算法性能的核心指标,它定义为算法累计损失与事后最优策略损失之间的差距,遗憾越小说明算法越接近“上帝视角”的最优决策。作为从多臂老虎机、在线凸优化到强化学习的通用分析工具,regret 的上下界刻画一直是理论机器学习社区最活跃的研究方向之一,近期的 arXiv 论文也集中反映了这一趋势。
Regret 研究的近期进展
当前焦点与观察点
从近期论文可以看出 regret 研究的几个走向。一是设定不断细化:从经典全信息/强盗反馈扩展到滑动窗口、部分监控、资源随机消耗等更贴近实际约束的场景,理论界关心的是在这些退化或受限条件下遗憾还能否保持次线性。二是对手模型被重新审视,RP-Regret 等新指标的提出表明传统对外部对手的 regret 定义不足以刻画自适应博弈环境。
三是 regret 概念正向外溢:在线逆优化、奖励学习、公平分类器选择等工作都借用了遗憾框架来评估模型质量,说明它已从纯理论工具变成衡量 AI 系统序贯决策能力的通用语言。值得观察的问题是,随着大模型与函数逼近深度结合,通用 regret 保证与实际性能之间的相关性是否会成为下一阶段的研究重点。