Old Ideas, Novel ProblemsはLLMによる新規性の審査を検証しました。論文、ベンチマーク、データ、コードと評価集合を作る仕組みを公開しています。 採点モデルの変更や指示の差が研究の選別を左右します。人が書いた論文での精度を、AI生成案の評価へそのまま適用しないことが焦点です。 アイデアを生むAIを誰が評価するか Ai2は10月27日、研究アイデアの新規性を大規模言語モデルがどれだけ安定して判定できるかを調べた研究を公開しました。名称はOld Ideas, Novel Problemsです。科学的発見を支援するAIでは、案を作るだけでなく、先行研究に対して何が新しいかを見極める必要があります。この判定を別のLLMへ任せる場合、モデル、指示、推論量、文献検索の有無などを選ぶことになります。Ai2は、その選択が結論へ及ぼす影響を調べました。論文に加え、評価用のデータとコード、新しい評価集合を作る自動化の仕組みも公開しています。焦点は、新規性という難しい判断を、単一の採点結果で信頼してよいかです。人が書いた論文だけの検証では、AI生成案への弱点が見えにくいと報告しています。 同じ案の判定が指示の差で逆転する 研究ではICLR 2026の査読から、新規性を明示的に評価した記述を抽出しています。採否だけを新規性の代わりにせず、独創性に関する評価を使う構成です。人の研究同士の比較と、人の研究と単純な生成器が作った案の比較を用意しました。6つのLLM審査役を使い、指示などを一つずつ変えています。一つの実験では、同じ組のどちらが新しいかを問う指示の変更で、GPT-5.4の正答率が93.5%から40.9%へ変わりました。これは、その評価集合と設定における値です。検索や推論量の追加も、常に改善をもたらすわけではありませんでした。AIで研究案の候補を順位付けする組織では、最初の採点だけで候補を落とすと、設定由来の偏りを研究判断へ持ち込む可能性があります。 弱い正解ラベルと審査条件を記録する 評価の限界も示しています。人の案と生成案を組み合わせた集合では、生成案を低い新規性とみなすラベルは、すべてを確認した確定的な正解ではありません。専門家による追加点検などで支えていますが、結果の読み方には留保が必要です。一方で、同じ案に合理的な設定同士が反対の判断をする不安定さは、ラベルの正しさだけでは説明できません。導入側は、審査用の指示、モデル版、文献の参照範囲、案の表現形式を残すことが論点です。複数の設定で結論が変わる候補を人へ戻す運用も考えられます。公開データの利用時には、自分たちの研究領域と生成器に合うかを確認する必要があります。審査AIの点数は補助情報として扱い、先行研究との照合と研究者の検討を組み合わせることが焦点になります。その際、点数だけでなく判断に使った理由も残すと、設定変更の影響を調べる助けになると見られます。