Epoch AI 发布 SpireClimb 基准:前沿模型《杀戮尖塔》最高难度胜率达 20%
Epoch AI 拿《杀戮尖塔》当考卷:半年前模型几乎打不过,现在最难难度也能赢 20% 了。
Epoch AI 推出基于卡牌游戏《杀戮尖塔》(Slay the Spire)的新基准 SpireClimb,用来测试模型的策略决策能力。半年前,前沿模型在这款游戏里还几乎打不赢;如今在 SpireClimb 最简单难度下,模型胜率已超过 90%。在最高难度下,模型最多能赢下 20% 的对局。
Six months ago, frontier AI models could barely beat Slay the Spire. Now, according to our new SpireClimb benchmark, they win 90%+ of runs at the easiest difficulty, and up to 20% of runs at the hardest. https://t.co/KvV5gD2RBh