研究:Claude Opus 与 Gemini 版本迭代导致审稿结论大幅漂移
一项在 ICLR 2027 审稿期间预注册的审计测试了 OpenAI、Google、Anthropic 的二十个前沿模型。结果显示,Claude Opus 与 Gemini 的前后两个版本之间,论文被判定为接收的比例分别下降 52 和 53 个百分点(183 和 60 篇抽样),另外六组配对比较中降幅为 43 到 79 个百分点,且没有任何论文评分上升。在提示词中明确写出 30% 接收率后,两个 Opus 版本之间的差距仍有 79 个百分点。 机制上,把旧版生成的评分剥离后的评审意见交换给新版模型,仅评审文本本身就让 Opus 的接收比例下降 35 个百分点、Gemini 下降 51 个百分点;即使由第三方模型打分、或重写后保留全部技术观点只去掉评价性措辞,Opus 的降幅仍分别为 35 和 24 个百分点。这说明漂移主要来自模型对评价性表述的倾向变化,而非技术内容判断。此外,二十个模型在 475 份评审中给出 2 或 3 分的占 473 份,而人类评审 72 份中只有 60 份如此集中。 结论层面,模型版本迭代会让基于 LLM 评分的阈值失效:Opus 4.6 与 5.5 在 57 篇论文上的百分位相关性为 0.73,但接收比例相差 44 个百分点。同时,回顾性测试存在记忆污染风险——Claude Opus 5.5 仅凭标题就能正确说出 27 篇已决 ICLR 2026 论文的第一作者且零错误,Opus 4.6 对其自称认识的 11 篇已决论文全部给出接收,远超 5 篇的预期基线。研究者建议每个模型版本都需对照人类决定重新校准阈值,针对 ICLR 2027 决定的验证测试定于 2026 年 12 月 16 日进行。
当前结论
用 ICLR 2027 在审论文做的预注册审计,发现 Opus 换个版本接收率直接掉 52 个百分点,Gemini 也掉 53 个。正在拿 LLM 当审稿人或评审工具的团队必须看看:每个模型版本都得重新和人类决定校准,旧阈值不能沿用。
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。