事件专题 ·多源确认

Stanford 论文:8 个 LLM 评审都偏袒自己的医疗答案

Stanford 一项新研究发现,来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个 LLM 在评审医疗问答时,都把自己生成的答案排得更高,即使答案已匿名处理。实验让这 8 个模型回答 620 个真实临床医生提问,再互相给全部匿名答案排序,对比每个评审如何排列自己的答案与其他 7 个评审对同一答案的排名。结果显示,每个评审平均把自己的答案提前 1.22 个名次,GPT-5.6 Sol 偏差接近 3 个名次。 技术上,团队验证了两种常见去偏手段的效果:去掉评分 rubric 后自偏依然存在;而向评审公开答案对应的模型名称,偏差仅减少 0.094 个名次,说明匿名和命名几乎不影响结果。这意味着「LLM 当裁判」的做法在医疗基准测试中存在系统性倾斜——若基准只用单一模型或与被测模型同家族的模型来评分,排名会向该模型偏移。 作者给出的实操建议是:使用 LLM 评审时组建跨多个模型家族的评审团,并按每个评审分别报告结果,而不是合并成单一汇总分数。这对依赖 LLM-as-judge 做医疗模型评测的开发者和研究团队有直接参考价值。

当前结论

做模型评测的朋友该看看这篇。Stanford 用 620 个真实临床问题实测了 8 个模型的 LLM-as-judge 偏差,连匿名和加 rubric 都压不住,GPT-5.6 Sol 偏得最狠。文章结尾给了两个能直接落地的评审方案。

11 个信源61° AI 热度最后更新 2026/11/18 04:52:10

证据链

11 个信源
相关来源 3The Information
查看原文
相关来源 4歸藏(guizang.ai)
查看原文
相关来源 9阿里通义 Qwen
查看原文
相关来源 10The Business Times: Tech
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。