我们能否信任 LLM 判断研究想法的新颖性

发布于 2026年10月29日 · 来源: huggingface.co

AI2 发布 Old Ideas, Novel Problems 基准，结果显示 LLM 在评估研究想法新颖性方面远非可靠。对六个 LLM 评判者而言，评估设置的小变化会导致对相同想法的判断显著不同。在一项实验中，提示中仅改变几个词就使识别哪个想法更新的准确率偏移超过 50 个百分点。

生成研究想法只是自动化科学发现挑战的一部分。判断想法是否新颖通常交给另一个 LLM。新的基准结果表明新颖性评估本身不可靠。