Bandits（老虎机问题）是强化学习与在线决策领域的一类经典问题模型：决策者在每一步从若干候选动作（臂）中选择一个，仅能观察到该选择带来的反馈，需要在探索新选项与利用已知优选项之间取得平衡，以最小化累积遗憾。它是推荐系统、动态定价、A/B 测试等场景的核心理论工具，近年研究正向更贴近现实约束的方向深入。
Bandits 理论近期进展
近期的理论工作集中在放宽经典假设、提升算法鲁棒性上。arXiv 论文《论文提出鲁棒老虎机首个多项式时间学习器》针对鲁棒设定给出了首个多项式时间算法，把长期停留在理论可行但计算困难的问题推向可实际求解。
方差结构方面，VAEE 算法在《VAEE算法打破异方差线性Bandits总方差屏障》中处理了噪声方差随动作变化的线性 Bandits 情形，突破了以往与总方差相关的遗憾下界限制。此外，《Linear Bandits under Exact Sliding-Window Constraints》研究了滑动窗口约束下的线性 Bandits，对应非平稳环境中只有近期数据有效的场景。
从单臂到多智能体与迁移
另一条主线是 Bandits 的场景扩展与知识复用。《Approximating Optimal Policies in Heterogeneous Asynchronous Multi-player Bandits》讨论了多个玩家异步协作且各自面对不同环境时的最优策略近似；《Transfer Learning in Bandits from Unknown Adaptive Policies: Problem-Dependent Lower and Upper Bounds》则从理论上刻画了在源策略未知情况下的迁移学习上下界。
当前焦点与观察点
总体来看，Bandits 研究正从理想的独立同分布假设走向异方差、非平稳、多智能体与安全约束等更真实的设定，理论界限的收紧与算法可计算性是当前的两条主要观察线索。