Palisade Research 的 Jeff Ladish：别看 40 个基准测试，看 agent 能否真的干完活
Palisade Research 的 Ladish 说 Fable 让他从偶尔用 agent 变成天天用，他觉得比基准分数更有意义的是 AI 能不能独立把活干完。
Palisade Research 的 Jeff Ladish 认为，衡量 AI 能力的关键不是 40 个基准测试，而是 agent 能否自主完成有经济价值的真实工作。他的转折点发生在 Anthropic 今年 6 月发布的 Fable 模型前后：从偶尔使用 agent 变成每天都在用。他提到 METR 采取让软件工程师执行长周期任务的评估方式，比基准分数更能反映真实能力。他希望回归用真实工作检验 AI 自主完成任务的模式。
别再看那40个 AI 基准测试了，真正该问的是：agent 能不能真的把活干完？ Palisade Research 的 Jeff Ladish 说，对他来说最大的跳跃发生在 Fable 前后：他从偶尔用 agent，变成了每天都在用。 Jeff Ladish 的原话是：“Fable 之前和之后，对我来说差别巨大。我从有时候用 agent，变成了每天都在用。” Fable 是 Anthropic 今年6月发布的模型。 他想看到的是：“带我们去 Anthropic 看看，当一个 Anthropic 工程师是什么感觉？他们每天用多少个 agent？实际是什么样子？” 他还提到，过去衡量 AI 能力，主要是 METR 请软件工程师来做长周期任务，“而不是让你去看这40个基准测试。问题就是：AI 能不能自主把活干完？这是我最在乎的。” “我们怎么回到那个世界：基准主要就是拿真实的、有经济价值的工作，看 AI 能不能自主完成。” Your browser does not support the video tag. 🔗 View on Twitter 💬 4 🔄 0 ❤️ 1 👀 441 📊 3 ⚡
