Anthropic 的 Claude Sonnet 5.5 在 ARC-AGI-3 上拿到 72.4%
精选理由
Anthropic 的 Sonnet 5.5 在 ARC-AGI-3 上拿了 72.4%，这个基准一直很难，数据里还给了不同 harness 的对比和每任务成本，做评测的可以看看。
ARC Prize 公布了 Anthropic 的 Claude Sonnet 5.5 在 ARC-AGI（Verified）上的成绩：ARC-AGI-3 拿到 72.4%，花费 $8.2K（provider adapter harness），标准 harness 下为 24.3%。ARC-AGI-2 成绩为 83.9%，每任务 $0.55。ARC-AGI-1 达到 96.5%，每任务 $0.14。其中 72.4% 的 ARC-AGI-3 分数被认为是 Sonnet 5.5 最值得注意的表现。
原文 · ARC Prize
Claude Sonnet 5.5 from @AnthropicAI on ARC-AGI (Verified):
- ARC-AGI-3: 72.4%, $8.2K (provider adapter harness), 24.3%, $7.4K (standard harness) - ARC-AGI-2: 83.9%, $0.55/task - ARC-AGI-1: 96.5%, $0.14/task
Sonnet 5.5 is notable for its 72.4% score on ARC-AGI-3. https://t.co/FBKS6gf96l
