论文官方一手
AllenAI 发布 NoveltyBench：LLM 能否判断研究想法的新颖性
Can we trust LLMs to judge whether a research idea is novel?
精选理由
AllenAI 做了个叫 NoveltyBench 的测试，专门看 GPT、Claude 这类模型当'论文评审'时能不能看出一个 idea 是不是已经有人做过了，做科研的朋友可以看看结果。
AllenAI（Ai2）在 Hugging Face 博客中介绍了 NoveltyBench，一个用于测试 LLM 判断研究想法新颖性能力的基准。该基准考察模型能否识别一个研究想法是否已有已有论文发表过类似工作。测试对象包括多个主流 LLM，用它们扮演评审角色来评估 idea 的新颖性。这项工作关注 LLM 作为科研评审员的可靠性问题，属于评测类论文/工具发布。
