模型86°

Gemini 4 Argon 在 ARC-AGI-3 拿下 97.5%

精选理由

Gemini 4 Argon 的 ARC-AGI 成绩出来了,ARC-AGI-3 拿到 97.5%,是第二家过 95% 的实验室,不过换个测试 harness 就只有 49.8%,差别挺大。

Google 的 Gemini 4 Argon 在 ARC-AGI(Verified)基准上公布成绩:ARC-AGI-3 得分 97.5%,成本 4.8K 美元(provider adapter harness),标准 harness 下为 49.8%。ARC-AGI-2 得分 91.3%,每任务 0.32 美元;ARC-AGI-1 得分 98.5%,每任务 0.16 美元。Google DeepMind 是第二个在 ARC-AGI-3 上超过 95% 的前沿 AI 实验室。

原文 · ARC Prize

Gemini 4 Argon from @Google on ARC-AGI (Verified):

- ARC-AGI-3: 97.5%, $4.8K (provider adapter harness), 49.8%, $5.8K (standard harness) - ARC-AGI-2: 91.3%, $0.32/task - ARC-AGI-1: 98.5%, $0.16/task

Google DeepMind is the second frontier AI lab to score above 95% on ARC-AGI-3. https://t.co/8siwgfBJcr