事件专题 ·多源确认

Kaggle 联合 Eigent_AI 发布 AgenticRL-Bench 基准,GPT-6.1 Sol 以 22.8% 居首

Kaggle 与 Eigent_AI 合作发布 AgenticRL-Bench,这是一个评测编程智能体能否诊断并修复真实 RL 训练事故的基准,覆盖 Miles、slime、verl、SGLang、Megatron、Harbor 等主流 agentic RL 技术栈。基准源自 Eigent 的 22 个后训练 RL 任务,Kaggle 排行榜对其中 19 个可验证任务打分,任务包括 Verl Upgrade Gate、Reward Determinism under Load、Trial Fault Attribution、SQL Partial Credit Exploits 等。 评测规则严格:任务只有在所有隐藏检查项全部通过时才算成功,每个智能体每题有三次尝试机会,由 Kaggle 在 Modal 上运行。当前榜单前三名为 GPT-6.1 Sol(22.8%)、Gemini 4 Carbon(19.3%),GPT-6 Astra 与 Claude Opus 5.5 并列第三(14.0%)。 复现过程中还发现一个反常现象:22 个任务中有 7 个会触发实验室的安全分类器,且不同实验室分类器的触发频率差异很大,这意味着此类能力基准的成绩在相当程度上反映的是实验室的风险容忍度,而不仅是模型真实水平。

当前结论

做 RL 训练工程的朋友应该看看这个:Kaggle 和 Eigent 把 verl、SGLang 这些栈里真实的调试事故做成了基准,智能体要真修好才算过。最扎眼的是 7/22 的任务会触发各家安全分类器,实验室松紧不同会直接扭曲榜单成绩。选型或做内部评测的团队可以参考这套任务设计。

11 个信源63° AI 热度最后更新 2026/11/20 03:10:57

证据链

11 个信源
相关来源 2Artificial Analysis
查看原文
相关来源 5掘金本周最热
查看原文
相关来源 7歸藏(guizang.ai)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。