OpenBMB 发布 AutoRLBench：10 个智能体调试真实失败的 RL 训练任务
OpenBMB 把 10 个前沿智能体丢到真实的 RL 调试任务里跑分，最强模型也只有约 40% 分数，隐式数据 bug 几乎全挂。做后训练的团队可以看看自己用的模型排第几，也能了解哪些 bug 类型是当前智能体的盲区。
OpenBMB 发布 AutoRLBench，这是一个统一基准，让 10 个前沿 LLM 智能体在真实世界失败的 RL 训练运行上执行调试任务。基准保留了完整的代码、配置、日志和指标，不使用合成 bug，目标是定位那些奖励曲线看似健康、实则存在隐藏故障的根因。
测试结果显示：即便是表现最好的前沿模型，得分也仅有约 40%，且不同梯队之间存在巨大能力差距。模型在显式 Config 类 bug 上表现最好，但在隐式 Data 类 bug 上表现严重不佳；更强的智能体诊断速度更快、消耗的 token 也更少。
对做 RL 后训练的团队来说，这类基准量化了智能体在训练运维场景下的真实能力边界，也为模型选型提供了横向比较依据。
🔧 Can an LLM agent debug a broken RL training run?
Introducing AutoRLBench — a unified benchmark putting 10 frontier agents to the test on real-world, failed RL runs.
Full code, configs, logs, and metrics are kept intact. No synthetic bugs. The goal? Pinpoint the exact root cause behind deceptively "healthy-looking" reward curves.
📊 Key findings: - Even the best frontier model barely reaches ~40%, with a massive capability gap across tiers. - Models perform best on explicit Config bugs, but struggle severely on implicit Data bugs. - Stronger agents diagnose faster and consume fewer tokens than weaker ones.
In RL, the hardest failure to catch is the one that still looks like learning.
📄 Website: https://t.co/3v4WweEexO 💻 Code: https://t.co/ELwwZSuPMS
#RL #LLM #Agent #Benchmark #PostTraining #RSI
本条情报归属 AITOP「模型」核心栏目，重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：AutoRLBench、OpenBMB、智能体、推理模型，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「OpenBMB」（@OpenBMB），经 AITOP 多维评分管线结构化提炼。
