ARC-AGI-3 相关 AI 资讯 · AITOP

8月25日

10:52

官方账号arXiv cs.AI@Seth Karten, Alex L. Zhang, Kevin Thomas, Sebastian Müller, Elie Bakouch, Daniel Auras, Mika Senghaas, Fares Obeid, Konstantin Dunas, Johannes Hagemann, Sami Jaghouar

Prime Agent 是一个开源的用于长期评估和编码代理工作流程的 harness。它通过 IPython REPL 和 Continual Harness 保留了历史、记忆、技能、提示和子代理规范，并通过直接代理间通信协调子代理。Prime Agent 将执行、恢复、验证和资源会计标准化，同时将策略构建留给模型。该 harness 将 ARC-AGI-3 RHAE Best@1 的成绩从 30% 提升至 95.5%，并在长上下文编码、GPU 内核生成、模拟器构建和自主 nanoGPT 快速运行方面与原生和流行的 harness 相匹配或超过。在 Factorio 上，我们发现改进允许持续的技术进步，而专用子代理能够实现并行化工作。代码可在 https://github.com/PrimeIntellect-ai/prime-agent 获取。

事件专题

推荐理由：Prime Agent 是一个强大的开源 harness，它通过递归语言模型和持续 harness 提高了长期评估和编码代理工作流程的效率，其性能在多个任务上超过了其他 harness，值得一试。

原文

8月21日

21:38

官方账号NVIDIA AI@NVIDIAAI

NVIDIA AVO通用编码智能体在ARC-AGI-3推理基准测试中满分，完成183个级别，无需指令或规则自主决策。

AI模型 NVIDIA ARC-AGI-3 智能体

事件专题

推荐理由：NVIDIA的通用编码智能体ARC-AGI-3测试满分，展示了强大的自主推理能力，是AI领域的又一里程碑！

原文

8月18日

00:20

官方一手@OpenAIDevs@OpenAIDevs

73°

OpenAI 发布 GPT-5.6 Sol 的基准结果。在 ARC-AGI-3 任务上，得分从 13.3% 提升到 38.3%。同时输出 token 数量减少约 6 倍。OpenAI 称这一改进来自保留推理和压缩机制。该结果由 OpenAI Devs 在 X 平台公布。

AI模型 GPT-5.6 ARC-AGI-3 OpenAI

事件专题

推荐理由：OpenAI 的 GPT-5.6 Sol 在 ARC-AGI-3 上分数翻倍还多，token 还省了六倍，看看他们怎么做到的。

原文

8月17日

10:44

官方账号arXiv cs.AI@Alexy Skoutnev, Kirill Acharya, Gaston Longhitano, Madeleine Udell, Kevin Ellis, Iddo Drori

精选

Twin 系统让前沿编程智能体在测试时编写可执行世界模型，用来完成 ARC-AGI-3 等持续学习任务，全程只靠模拟与交互推断游戏规则和目标。它在 183 个关卡中通过 179 个，成功率 97.8%，其中 158 个关卡的效率高于人类玩家（88.3%）。系统在 156 个已通关关卡中于任何奖励前就推断出目标（87.2%），其余关卡则靠搜索自动发现目标。直接用基础模型玩得分仅 7.8%，加现成 harness 升至 61.1%，而 Twin 世界模型把同一基础模型提升到 93.3%，打通 25 个游戏中的 23 个。

论文 Twin ARC-AGI-3 世界模型

推荐理由：Twin 让智能体边玩边写世界模型，ARC-AGI-3 得分从 7.8% 提到 93.3%，效率还超过人类。看看它怎么猜规则。

原文

8月14日

22:50

Gary Marcus@GaryMarcus

精选

Gary Marcus 在推文中表示，神经符号世界模型正是他在2020年《Next Decade in AI》中主张的方向。他引用 François Chollet 和 Jeremy 的工作，认为 LLM 引导的即时符号世界模型综合很强大。目前 ARC-AGI-3 上所有顶级 harness 都采用这种方法。他提到这是基准发布时推荐的做法，并高兴 ARC 3 推动了该领域研究。

AI模型 ARC-AGI-3 神经符号模型世界模型

推荐理由：Gary Marcus 说 ARC-AGI-3 上跑得最好的都用了神经符号世界模型，想看这方向为什么牛，可以读这条。

原文

12:59

Amjad Masad@amasad

72°

Jeremy Berman 使用 Claude Code + Opus 5（high）在 ARC-AGI-3 上拿到 96.2% 准确率，pass@2 为 99.3%。方案仅包含一个动作命令和文件系统日志，几乎没有 ARC 特定设计。作者此前预测编码工具链可泛化 LLM，这次结果支持了该判断。

AI模型 ARC-AGI-3 Opus 5 Claude Code

推荐理由：Jeremy Berman 用 Claude Code 加 Opus 5 把 ARC-AGI-3 刷到 96.2%，没做什么 ARC 定制，思路很通用。

原文

8月8日

10:33

宝玉@dotey

Prime Agent 是一个能自主改进的递归 Agent 框架。替换外部 Harness 后，Opus 5 的 ARC-AGI-3 评分从 30.2% 升至 95.5%，超过人类专家基线 95.4%。但作者认为，这种面向评分的优化价值有限，在现实场景中不会比 Claude Code 和 Codex 更好。

AI模型 Prime Agent Opus 5 ARC-AGI-3

事件专题

推荐理由：这个框架把 Opus 5 的评分从 30% 刷到 95.5%，但作者觉得换汤不换药，实战未必比 Claude Code 强。

原文

8月6日

22:17

小互@imxiaohu

Prime Agent是一个能自主改进的递归Agent框架。将Opus 5的外部框架替换为Prime Agent后，其ARC-AGI-3评分从30.2%提升到95.5%。这一成绩甚至超过了人类专家基线95.4%。该框架可直接作为Claude Code、Codex的替代品。开发者认为传统Agent框架的固定设计限制了模型发挥。

AI产品 Prime Agent Opus 5 ARC-AGI-3

事件专题

推荐理由：Prime Agent 这个递归框架挺有意思，直接把 Opus 5 的 ARC 成绩从 30% 拉到了 95%，还能替代 Claude Code 和 Codex，值得看看。

原文

17:03

官方一手marktechpost@Asif Razzaq

Prime Intellect开源了Prime Agent，一个面向编程与研究的工作流框架。它基于递归语言模型，将子智能体调用封装为持久IPython内核中的函数。持续工作台（Continual Harness）允许智能体在运行中修改自身提示词、技能、记忆和子智能体规格。在ARC-AGI-3基准上，搭配Opus 5的Prime Agent取得95.5%的RHAE Best@1，超过人类专家基线95.4%。

AI产品 Prime Agent Prime Intellect 智能体

事件专题

推荐理由：Prime Agent开源：子智能体是函数调用，可自改提示词，ARC-AGI-3超越人类基线。

原文

7月31日

15:47

15:47IT之家（博客/媒体）

79°

OpenAI通过两项框架改进，让GPT-5.6 Sol在ARC-AGI-3基准得分从7.8%升至38.3%。改进前的官方框架会丢弃私有推理，且滚动截断窗口导致早期动作丢失。OpenAI提出推理保留和上下文压缩两个方案，分别解决上述问题。启用改进后，GPT-5.6 Sol输出token降至六分之一，成绩增长188.42%。

AI模型 GPT-5.6 Sol OpenAI ARC-AGI-3

事件专题

推荐理由：OpenAI给GPT-5.6 Sol换了套测试框架，ARC-AGI-3得分从7.8%涨到38.3%，输出还省了六分之五，这招挺妙。

原文

11:56

官方账号arXiv cs.AI@Jens Lehmann, Andrei Aioanei, Sahar Vahdati

论文提出Tycho编码代理系统，在ARC-AGI-3的25个公开游戏中用Claude Opus 4.8测试四种编排策略，Actor请求委托策略获得最高平均RHAE 88.49。GPT-5.6 Sol和Opus 5在该策略下均达到100.00 RHAE，并完成全部183个关卡。Opus 5比官方人类基线少用61%的计分动作，游戏均衡首轮人类重播中位排名为100.0。自动修复策略虽能更准确复现观察转移，但RHAE仅83.07，说明还需决定何时构建、修复或绕过模型。

论文 Tycho ARC-AGI-3 Claude Opus 4.8

推荐理由：Tycho让AI在ARC-AGI-3里边玩边建模，GPT-5.6和Opus 5都满分通关，动作效率还胜过人类基线。

原文

06:44

官方账号OpenAI@OpenAI (@OpenAI)

ARC-AGI-3基准测试要求模型无需指令学习不熟悉的2D游戏。标准测试丢弃了GPT-5.6 Sol每步后的推理，并在上下文填满时丢弃早期动作。这导致模型无法积累有效经验，只能不断重启。测试结果凸显了长上下文维持对推理模型的关键性。

AI模型 ARC-AGI-3 GPT-5.6 Sol OpenAI

事件专题

推荐理由：ARC-AGI这个测试挺刁钻，GPT-5.6 Sol在没法记住之前推理的情况下学不会新游戏，说明长上下文对推理很重要。

原文

7月30日

15:47

官方账号Decoder@Matthias Bastian

82°

OpenAI声称其GPT-5.6 Sol模型在ARC-AGI-3基准测试中通过自定义测试环境获得38.3%的分数，高于Anthropic Opus 5的30.2%。但在官方标准环境下，GPT-5.6 Sol仅得7.8%，远低于Opus 5的30.2%。OpenAI的定制测试保留了推理链和上下文压缩作为辅助手段，而Opus 5在无辅助下完成。这一差异引发了关于基准测试公平性的讨论。

AI模型 GPT-5.6 Sol Opus 5 ARC-AGI-3

事件专题

推荐理由：OpenAI推出GPT-5.6 Sol，在自定测试里赢了Anthropic的Opus 5，但换官方环境就掉到7.8%，差距挺大。

原文

13:31

小互@imxiaohu

81°

OpenAI 发现 GPT-5.6 Sol 在 ARC-AGI-3 公开题库中仅得 13.3%，原因是推理过程中的私有思考被丢弃，上下文到达阈值后直接删除早期消息。通过开启 Responses API 将上一次响应 ID 传回以保留推理链，并启用 compaction 将超限上下文压缩为浓缩摘要，得分升至 38.3%。最高档每局输出 token 从 290 万降至 49 万，新程序在“高”档即达到旧程序“最高”档的分数，token 消耗相差约 12 倍。

技巧 GPT-5.6 OpenAI ARC-AGI-3

事件专题

推荐理由：OpenAI 分享了两个超实用的 API 开关，GPT-5.6 Sol 在 ARC-AGI-3 上分数直接翻了三倍，token 还省了十二倍，搞推理优化的一定要看看。

原文

09:37

官方账号Sam Altman@sama

Sam Altman 转发消息称，OpenAI 的 GPT-5.6 Sol 在 ARC-AGI-3 基准测试中达到 SoTA（最高性能）。该模型仅通过两个设置变化实现：允许其在多个上下文窗口中进行推理，并配合规范化的压缩实现。这一结果暗示通过调整推理机制，模型在挑战性视觉推理任务上表现显著提升。目前官方博客已发布详细方法说明。

AI模型 GPT-5.6 Sol OpenAI ARC-AGI-3

事件专题

推荐理由：OpenAI 的 GPT-5.6 Sol 改了俩设置就在 ARC-AGI-3 上屠榜，教你多窗口推理+规范化压缩这套新打法。

原文

08:38

官方账号OpenAI@OpenAI

GPT-5.6 Sol 成功解决了数学中的开放问题，但在 ARC-AGI-3 2D 拼图基准测试中表现挣扎。调查发现，问题出在 API 的 harness 不允许模型记住之前学到的内容。启用两个 API 设置后，分数提高了 3 倍，同时输出 token 减少了 6 倍。

技巧 GPT-5.6 Sol OpenAI ARC-AGI-3

事件专题

推荐理由：OpenAI 发现 GPT-5.6 Sol 在 ARC-AGI-3 上表现差是因为 API 设置没开对。改两个参数分数涨三倍，token 省六倍，学起来很实用。

原文

07:12

07:12官方一手OpenAI Blog（博客/媒体）

OpenAI 通过启用两个 API 设置（保留推理轨迹和启用结果压缩）让模型在 ARC-AGI-3 基准上的得分提升至原来的三倍。这些设置分别作用于推理过程和输出压缩，不增加额外计算成本。具体配置方法在官方博客中公开。

技巧 ARC-AGI-3 OpenAI 推理模型

事件专题

推荐理由：OpenAI 官方分享的实用技巧，只改两个参数就让 ARC-AGI-3 分数翻三倍，玩模型的可以试试。

原文

7月27日

11:01

Gary Marcus@GaryMarcus

Gary Marcus 引用 Ramez Naam 的推文，指出 Opus 5 在 ARC-AGI-3 基准上的成绩提升可能源于针对该评估的专门训练，而非抽象推理能力的普遍增强。该观点质疑当前用基准分数衡量 AGI 进展的有效性。推文获得 4 条回复、1 次转发和 10 个点赞。

行业 Opus 5 ARC-AGI-3 Gary Marcus

事件专题

推荐理由：Opus 5 的基准高分可能是刷出来的，看看专家怎么拆穿这个骗局。

原文

7月25日

06:46

06:46IT之家（博客/媒体）

82°

Anthropic 发布 Claude Opus 5，其性能接近更高规格的 Fable 5，但输入价格（5美元/百万词元）和输出价格（25美元/百万词元）仅为 Fable 5 的一半。在 Frontier-Bench v0.1 中，Opus 5 比 Opus 4.8 任务性能提升一倍以上，成本更低。在 ARC-AGI-3 测试中，Opus 5 得分约为第二名的3倍。在 CursorBench 3.2 最高努力模式下，Opus 5 与 Fable 5 差距仅0.5%，成本减半。

AI模型 Claude Opus 5 Anthropic Fable 5

事件专题

推荐理由：Anthropic 新出的 Opus 5 跑分逼近旗舰 Fable 5，价格只要一半，ARC-AGI-3 上直接三倍杀第二名，闭眼入。

原文

06:36

Claude@claudeai

71°

在ARC-AGI-3基准上，Opus 5的得分是次优模型的3倍。该基准测试AI模型解决全新问题的能力，共包含400道题。Opus 5在多项类人推理指标上表现突出。

AI模型 Opus 5 ARC-AGI-3 推理模型

事件专题

推荐理由：Opus 5在ARC-AGI-3上得分碾压其他模型，证明它的泛化和推理能力很强。

原文

7月17日

09:49

Gary Marcus@GaryMarcus

Gary Marcus转发Wenjie Ma的工作，指出神经符号AI方法schema可能使ARC-AGI-3基准变得可解。schema将经验转化为程序世界模型，并基于完整历史验证，然后搜索解决方案，无需进一步试错。该方法已在交互演示中展示效果，相关分析和演示托管在schema-harness.github.io。

AI模型神经符号AI ARC-AGI-3 schema

推荐理由：这个新方法用程序世界模型解决了ARC-AGI-3难题，不用反复试错，比纯神经网络更聪明。

原文

08:09

elvis@omarsar0

Impossible Research 团队推出自定义 agent harness 系统 Schema，能模拟物理学家思维方式。Schema 在 ARC-AGI-3 基准上达到饱和水平，支持游戏、代码编写和复杂推理。该工具旨在解决超困难问题，已公开演示成果。

AI模型 Schema ARC-AGI-3 Impossible Research

推荐理由：他们搞了个叫 Schema 的 harness，让 AI 学物理学家那样思考，直接刷爆 ARC-AGI-3 基准，挺有意思的。

原文

00:21

Naval@naval

Impossible Research团队发布了名为[schema]的agent harness，能使LLM像物理学家一样推理。在ARC-AGI-3公开测试中，该harness结合Opus 4.8与Fable 5达到99% RHAE，使用GPT-5.6 Sol达到95.35% RHAE。它还能玩游戏、写代码。

AI模型 Impossible Research schema ARC-AGI-3

推荐理由：Impossible Research的[schema]让LLM像物理学家推理，ARC-AGI-3刷到99% RHAE，太强了

原文