模型精选

Meta 的 Muse Spark Open 在 ARC-AGI 基准上的实测成绩公布

精选理由

ARC Prize 实测了 Meta 新模型 Muse Spark Open,分数跟 Haiku 5.5、GPT-6 Luna 打平,但贵 9 倍,性价比数据都在这了。

ARC Prize 公布了 Meta 的 Muse Spark Open 在 ARC-AGI(Verified)上的成绩:ARC-AGI-1 得分 89.0%,每任务成本 $0.29;ARC-AGI-2 得分 57.5%,每任务成本 $0.73;ARC-AGI-3 得分仅 0.4%,整套测试花费约 $3.9K。其在 v1/v2 上的分数与 Haiku 5.5 和 GPT-6 Luna 相近,但成本约为它们的 9 倍。

原文 · ARC Prize

Muse Spark Open from @AIatMeta on ARC-AGI (Verified):

- ARC-AGI-3: 0.4%, $3.0K (provider adapter harness), 0.1%, $3.9K (standard harness) - ARC-AGI-2: 57.5%, $0.73/task - ARC-AGI-1: 89.0%, $0.29/task

Its scores on v1/2 are similar to Haiku 5.5 & GPT-6 Luna, but ~9x the cost. https://t.co/PtKFobKDc4