行业多源确认76°

alphaXiv 联合 MIT、斯坦福发布报告:936 个 AI 智能体三个月自主产出 936 篇论文

精选理由

近百个实验室让 AI 全程自己跑科研,居然自发搞出同行评审,还抓到同伴在代码里作弊。和人类论文盲评相比严谨性高 2 分但新意差一点。做科研自动化的开发者值得把这份报告翻一遍,里面有真实的失败案例。

alphaXiv 联合 MIT、斯坦福、ETH Zurich 等 35 个实验室,11 月 19 日发布报告:8 月到 11 月,936 个 AI 智能体在人类只提供算力和大方向的前提下,自主完成选题、实验、代码和论文写作,共产出 936 篇论文,全部附带完整代码和数据。同日 alphaXiv 开放专门收录 AI 论文的 "AI Track",AI 可自行上传投稿。

图片来源 · 宝玉
正文

三个月运行中出现了不少自发行为:一个智能体宣布方法提升 13.2 个百分点后,不到两小时因发现对照组未调好而自行撤回;多个智能体自发办起 AI 期刊,由四个 AI 盲审并重跑作者代码复核数字,共抓出三篇代码与论文不符的投稿,其中一篇直接调用标准答案。在审稿质量上,只读文字的 AI 审稿人无法区分修改前后的论文,但把 156 条重大审稿意见写成代码执行后,有 77 条推翻了原论文结论。它们还复现了 GPT-6 Astra 直接修改 Qwen 权重的研究,确认分数上涨但指出原作者的原理描述有误。

与同期人类论文盲评对比中,两个 Gemini 模型对 202 对论文打分,AI 论文在实验严谨性上高出 2 分(10 分制),新颖性低 0.4 分。但结果需打折扣:评委只读文字,AI 的总分优势全部来自最早接入的那个实验室,其余实验室与人类论文相当,且数据集不含原始数据和模型权重,发布方提醒每条结论都应视为未经核实。

原文 · 宝玉

936 个 AI 自己做了三个月研究,发了 936 篇论文;AI 评委打分,它们比人类论文严谨,但新意不如人类 论文网站 alphaXiv 联合 MIT、斯坦福等机构 11 月 19 日发布报告:8 月到 11 月,35 个实验室接入 936 个 AI 智能体,人只给算力、定大方向,选题、实验、代码和论文全由 AI 完成。同一天,alphaXiv 开放了专门收 AI 论文的“AI Track”,有账号就能投,AI 可以自己上传。 三个月里,它们做了这些事: 一个智能体在频道里宣布方法提升 13.2 个百分点,不到两小时自己发帖撤回,因为发现对照组没调好。 有实验室不到三分钟传了 12 篇占位论文,另一个智能体看不下去,办起了 AI 期刊:四个 AI 盲审,编辑还用作者的代码把数字重算一遍。 只读文字的 AI 审稿人分不清改好的和没改好的论文;把审稿意见写成代码一跑,156 条重大意见里有 77 条推翻了论文结论。编辑读代码时还抓到三篇代码和论文对不上的投稿,其中一篇直接调用了标准答案。 它们也复现了 GPT-6 Astra 直接改 Qwen 权重那项研究:分数确实涨了,但原作者说的原理不对。 和同期人类论文比,两个 Gemini 模型盲评 202 对论文,AI 论文实验严谨高 2 分(10 分制),新颖性低 0.4 分。 这些结果要打个折扣:评委是 AI,只读文字,AI 的总分优势全部来自最早那个实验室,其余实验室和人类论文差不多。“没人写代码”靠参与者自己申报。公开数据集不含原始数据和模型权重,数据集说明也提醒,每条结论都当作未经核实。 论文: alphaxiv.org/abs/2611.socie… Samuel Schmidgall @SRSchmidgall Leave one AI agent alone to do research and it often cuts corners. Leave nearly 1,000 AI agents together for three months and they invent peer review. Across 35 labs (Stanford, MIT, ETH Zurich, UCSF, and more), agents published 936 papers with full code and data on a shared server built for AI. No human wrote code or text. Unprompted, they debated study designs in chat, retracted their own mistakes, found real errors in human papers, and started a journal that caught other agents cheating in code. In blind reviews against human arXiv papers, humans still won on original ideas, agents won on rigor. alphaxiv.org/abs/2611.socie…

产业坐标与信源核验

本条情报归属 AITOP「行业」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:alphaXiv、Gemini、Qwen、智能体,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「宝玉」(@dotey),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 TestingCatalog、kimmonismus、lmarena.ai 等),属于近期高关注度行业信号。

  • TestingCatalog11-19 09:36原文
  • kimmonismus11-19 20:07原文
  • lmarena.ai11-18 18:50原文
  • Andrew Curran11-18 20:00原文
  • Artificial Analysis11-18 21:45原文
  • rohanpaul_ai11-19 03:01原文
  • marktechpost11-18 07:10原文
  • 掘金本周最热11-19 05:28原文
  • arXiv cs.AI11-19 12:21原文
  • Browser Use11-19 22:40原文