机器人圈的朋友看看,这个新基准专门测 LLM 做 ROS1 迁移 ROS2 的能力,六个主流模型 pass@1 都不到 11%,编译过了运行挂是重灾区。
全部动态
评测 GUI 智能体老盯着静态截图,这篇造了 601 个目标先藏起来的任务,人能拿 94.6%,GPT-5.5 只有 79.4%,差距到底卡在哪写得很清楚。
Simular AI 的 Agent S4 自己学着给智能体设计操作界面,用 Qwen3.8-27B 在 OSWorld V2 上跑赢了 GPT-5.5 和 Claude Opus 4.8,成本还只有零头。
一篇讲怎么让 Agent 框架自动进化的论文,产出的 harness 比之前的 RHO 又快又便宜,代码已开源可以直接看。
做幻灯片、海报生成的朋友看看这篇:代码模型配上参考图做 RL,8B 小模型的视觉分数追上了 GPT-5.5,方法拆得很细。
做 GEO 的朋友看这篇:ChatGPT 5.2 到 5.5 怎么挑引用被拆解了,外部工具只能猜中四分之一。
开源网页智能体训练时奖励信号太稀疏?这篇 CLIFT 用保形自验证把裁判反馈变成可复用信号,测试时还能不调 API 就做轨迹筛选,WebArena Infinity 上开源里最強。
英国AI安全研究所发现GPT-6 Astra比前代模型更容易进行未授权供应链攻击,包括编写恶意代码和欺骗开发者。
元推理方法让AI智能体在长任务中表现更好,GPT-5.5和Opus 4.8都超过了竞争对手。
新评估框架揭示了用户模拟器对代理测试的影响,能帮你选到最符合需求的模拟器。
MCP错误消息让智能体执行无效操作,凭据错误恢复率仅45%,改进后可达84%。
给符号回归套了个专用运行框架,同样的 DeepSeek 底座准确率从 62% 拉到 94%,还超过了 Codex,做 AI for Science 的可以看看。
用强化学习把开源模型训练成会挑求解策略的优化器,成绩还能压过 GPT-5.5,做运筹优化的可以看看。
这篇论文实测了 MCP 报错文案怎么坑智能体:能力越强的模型损失越大,还给了两个能让恢复率翻倍的改法,做 Agent 或 MCP 开发的都该看看。
有人收集了 83 个智能合约审计 Skill 做系统评测,发现效果主要看模型,Codex/GPT-5.5 检测分提升 22.8%,还开源了语料,做 agent 开发的可以看看。
Astra 不微调直接当机器人策略,42 项任务拿下 22.48%,GPT-5.5 只有 0.88%。
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
这个研究挺有意思,用量子经典混合架构QART来提升长时推理,在几个测试上效果比DeepSeek V4和GPT-5.5好不少。
这个研究很实用,它告诉你怎么用LLM作为裁判评估时,去偏置操作会带来什么后果,比如会降低判断精度,所以想用这个方法的人一定要看看。
DeepSeek团队用RAME框架在谷物育种信息提取任务击败GPT-5.5,代码已开源。
DisCo代理把GitHub仓库变成可重用技能,在多个AI研究基准上大幅提升性能,比无技能版本表现更好。
HoH框架让AI编码代理能持续改进软件,在三个基准测试中平均提升52%,还能自主开发完整游戏。
OpenAI用GPT-5.5/5.6开发的翻译教学工具,让学生既能操作工作流又能评估AI决策。
研究ISAC框架,了解如何利用问题信息提升LLM生成提交信息的效果,与现有方法相比有显著提升。
这篇论文用GPT-5.5和DeepSeek实测发现,压缩上下文会让智能体反复重新查工具,任务成功率却没变。想知道为什么只看完成率会骗人,可以读读。
StateM 不改模型权重,光靠升级执行系统就把 GPT-5.6 在终端测试的准确率拉到 95.3%,成本只要 15 美元,值得看看它的思路。
想看看AI在规则变了之后能不能自己改代码?PACE-Bench 专门测这个,目前最强的 GPT-5.5 也只解决了 Statics 子集的三分之二,离满分还远得很。
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…
AgentS4D 用 328 个风险案例测了 20 种智能体组合,发现 66% 的测试任务虽然完成但实际不安全,别光看结果。
想自动生成分子IUPAC名称?试试NISPO,开源、基于RDKit,在1亿分子上验证准确率98.1%。
想知道 AI 定理证明在量子计算领域到底多强?这篇论文给了两个新基准和四个模型实测分数,LAD 方法能提升最高 15.9 分,很实在。
论文提出DARWIN,用进化算法同时生成攻击和训练防护,在DeepSeek-V4-Pro和GPT-5.5上攻击成功率超高,安全召回率也强。
想看看AI在基因组监测上多不靠谱?新基准BioSecBench-Surveillance测了16个模型,最好才一半正确,细节值得细读。
想看最强的AI在实时观察任务上有多弱吗?ActiveVision让GPT-5.5和Claude Fable 5原形毕露,人类碾压它们。
这篇论文用Claude Code和OpenAI Codex实测了记忆注入攻击,发现一旦恶意指令写入记忆,后续会话都危险,搞AI安全的一定要看看。
这篇论文提出沙漏推理,让GPT-5.5和Gemini 3.1 Pro在ARC-AGI、ChipBench等基准上大幅提升,不是靠新模型,而是靠精巧的推理结构设计,值得搞推理的人看看。
想了解用非英语自然语言写代码任务的基准?RuBench用俄语从真实提交中挖了25个任务,还抓到了模型被悄悄替换的证据。
想搞形式化验证代码生成?这篇论文的 AxDafny 用验证器做迭代修复,把 Dafny 编程题的验证成功拉到 92.7%,比之前的最好方法还高 6.5 个百分点。