技术趋势

我们能否信任 LLM 判断研究想法的新颖性

技术趋势 · 2026年10月29日 · 来源: huggingface.co

AI2 发布 Old Ideas, Novel Problems 基准，结果显示 LLM 在评估研究想法新颖性方面远非可靠。对六个 LLM 评判者而言，评估设置的小变化会导致对相同想法的判断显著不同。在一项实验中，提示中仅改变几个词就使识别哪个想法更新的准确率偏移超过 50 个百分点。