论文精选

ARC-AGI 三个版本分数呈幂律关系,v2 ≈ v1^4.53 可解释 98% 变化

精选理由

ARC Prize 拿三个版本的 ARC-AGI 分数做了拟合,v1 分数的 4.53 次方就能预测 v2,还发现同分模型在 v2 上能差 20 多个点。

ARC Prize 对 ARC-AGI 系列基准的模型分数做拟合,发现幂律曲线 v2 = v1^4.53 能解释约 98% 的 ARC-AGI-2 分数变化。这一关系在三个基准版本上普遍成立。同时,在 ARC-AGI-1 上打平的模型,到 ARC-AGI-2 上分数差距可超过 20 个百分点,说明新版本对模型能力差异有更强的区分度。

原文 · ARC Prize

Plotting ARC-AGI model scores reveals a strong relationship across all three benchmarks.

For example, the power curve v2 = v1^4.53 explains about 98% of the variation in ARC-AGI-2 scores. Models tied on ARC-AGI-1 can still differ by over 20 percentage points on ARC-AGI-2. https://t.co/7uG7hNXAwo