ReproBAITは公開情報と学習データから既存ツールの機能を再現できるかを調べます。単純な対象での成功と、複雑な対象での失敗を報告しました。 コードを非公開にするだけで能力へのアクセスを管理できるかが論点です。単一機能の評価と完全な再現を区別し、データ管理も検討する必要があります。 非公開コードによる管理の強さを調べる 英国AI Security Instituteは10月26日、AIコーディングエージェントが論文などの情報から生物学のAIツールを再現できるかを調べた評価を公開しました。SecureBioと協力して作ったReproBAITです。科学の進歩に有用なツールでも、悪用を防ぐためにコードや利用者を制限する場合があります。ところが、公開された方法と学習データから機能を作り直せるなら、その管理の効果が変わる可能性があります。研究は、公開する説明の量と再現しやすさの関係を検証しています。結果は、比較的単純な対象の一部機能を再現できる一方、複雑な対象には限界があるというものです。コードを隠すことと、能力へのアクセスを制限できることを同じ意味で捉えない点が重要です。 機能の一部を測る評価と再現の限界 評価では、元のツールに関する限られた説明と学習データをエージェントへ渡し、一定の時間と計算資源の中で実装を作らせています。採点は別の隔離された仕組みで行い、学習中に見せなかったデータを使います。対象は複雑さの異なる3つのツールで、元の研究にある特定の性能指標を比較しています。最も複雑な対象では、評価した機能でも成功した再現は得られませんでした。一方、より単純な対象では、元に近い値や上回る値がありました。ただし、測ったのは各ツールの一部の機能であり、高い再現率が完全な複製を意味しないと明記しています。特定の指標だけを最適化すると、ほかの性質を損なう場合もあります。研究を管理する組織には、試験の成功率だけでなく、何の機能を測ったのかを確かめる材料です。 公開情報と基礎データを一緒に考える 原文は、公開コードが学習時に記憶されていた可能性も調べています。ただし、その兆候は方向を示す情報にとどまり、成功のうちどれだけが記憶によるかを確定できません。各条件では複数回のうち最良の結果を報告しており、一度の実行で常に同じ結果を得られるという意味でもありません。導入や提供の判断では、このような評価条件を残すことが論点になります。AISIは、コードの非公開だけに依存するより、基礎データの管理をさらに検討する必要があるとしています。研究成果の共有とアクセス管理の両方を担う組織は、公開資料、データ、モデル、利用条件の関係を整理する必要があると見られます。今回の結果をあらゆる生物学ツールへ一般化せず、対象の複雑さと測定範囲を踏まえ、公開後の技術進歩に応じて管理を見直すことが焦点です。