论文精选
Allen AI 评测：LLM 判断研究想法新颖性时结论不稳定
精选理由
Allen AI 拿 frontier 模型测了一圈发现，换个问法它们对同一个想法的新颖性判断就不一样了，搞 LLM-as-judge 的建议看看。
Allen AI 发布了一套评测，测试 LLM 能否判断 AI 生成的研究想法是否新颖。结果显示，即便是 frontier 级别的 LLM，对相似的想法也会因为提问方式不同而得出不同结论。这说明用 LLM 当评审来衡量研究新颖性的做法目前并不可靠。评测细节已在 Allen AI 的推文串和相关论文链接中公开。
原文 · Allen AI (Ai2)
LLMs are increasingly used to judge whether AI-generated research ideas are novel. But are they any good at it?
Our new eval reveals even frontier LLMs can reach different conclusions about similar ideas depending on how they're asked to evaluate them. 🧵
https://t.co/AWokjcVVnf
