LLM 能判断研究创新吗？先检验裁判

评测模型并非中立仪器

Ai2 的文章研究 LLM 对科研想法新颖性的判断，并发布基准、数据、代码与构建评测集的流程。其观察是：较小的评估设置变化也可能大幅改变同一想法的判定。

原文报告某个实验中，改动提示里的少量词语会令成对创新判断准确率变化超过五十个百分点。这是特定实验结果，不能推广成所有 LLM 评测都无效。

标签的来源影响结论

基准利用 ICLR 2026 审稿中明确讨论创新性的段落构造人类想法样本，并另建人类与生成想法混合的评测设置。作者特别指出，部分生成样本使用弱标签。

本站建议先追问“正确答案从哪里来”。录用与创新不是同一个概念，弱标签与逐条人工验证也不能等同。评测报告需要保留这些限制。

把裁判放进回归矩阵

检索和额外推理在来源实验中没有稳定提升判断。这提醒团队，不应把更长提示、更多工具调用自动视为更可靠的评测。

可行方法是固定数据集，对提示变体、顺序交换和多个评审模型进行对比。出现分歧时回到证据，必要时交给领域专家，而非简单投票掩盖不确定性。

实践检查表

• 公开标签来源与弱标签限制。
• 交换候选顺序，检查位置偏差。
• 记录提示、模型、检索配置与一致性。