模型多源确认74°

DeepSeek V4.1 Flash 在 ARC-AGI-3 得分 3.3%,评估成本 $878

精选理由

ARC Prize 实测了 DeepSeek V4.1 Flash,ARC-AGI-3 跑出 3.3%,成本不到 1000 美元,目前性价比最好的一份成绩单。

ARC Prize 公布了 DeepSeek V4.1 Flash 在 ARC-AGI(Verified)上的评测结果。在使用 provider adapter harness 的条件下,该模型在 ARC-AGI-3 上取得 3.3% 的得分,总评估成本为 $878;在标准 harness 下得分为 0.9%,成本 $1.2k。ARC Prize 表示,这是其在 ARC-AGI-3 上评测过的模型中,首个以低于 $1k 的总评估成本拿到 3% 以上得分的模型。

原文 · ARC Prize

DeepSeek V4.1 Flash from @deepseek_ai on ARC-AGI (Verified):

- ARC-AGI-3: 3.3%, $878 (provider adapter harness), 0.9%, $1.2k (standard harness)

DeepSeek V4.1 Flash is the first model we've evaluated on ARC-AGI-3 to score above 3% for under $1k in total evaluation cost. https://t.co/KCuSMzBc0T