Ai2 / Allen Institute for AI·2026-10-27 16:00· 12 天前精选AI 评分64

Ai2 发布研究检验大模型能否可靠判断科研想法新颖性

Can we trust LLMs to judge whether a research idea is novel?

AI 导读

Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和自动化评测集构建流程，结论是当前大模型判断科研想法新颖性远非可靠，在 AI 生成想法上尤其脆弱。

推荐理由

同一组研究想法会因提示词措辞微调得到相反结论，原文还给出比专用评估系统更准且更便宜的简单基线供复用。