AISIは特定の学習データを除く方法を複数のモデル規模で評価しました。対象能力を選択的に下げる一方、追加学習で回復する限界を示しています。 初期評価の低下と、公開後も持続する保護を区別する必要があります。モデルだけでなく、基礎データへのアクセスも含めて検討することが焦点です。 学習前のデータ選別を保護策として検証 英国AI Security Instituteは10月26日、オープンウェイトのタンパク質モデルで、事前学習のデータを選別する保護策を調べた研究を公開しました。科学研究に役立つモデルでも、同じ能力が望ましくない用途へ使われる場合があります。特定領域のデータを学習から外す方法は、必要な能力を保ちながら一部の能力を抑える手段として考えられています。AISIは、その効果が選択的か、追加学習後も持続するか、規模によって変わるかを分けて調べました。対象の能力を下げること自体には効果があった一方、単独で頑健な保護策になるとはいえないと結論付けています。初期の能力低下だけでなく、その後に能力を取り戻せるかまで含める点が今回の評価の特徴です。 残したい性能と抑えたい性能を分けて評価 研究ではESM-2系列を複数の規模で学習し、除外対象と、それ以外のタンパク質に関する性能を比較しています。予測課題を通じて、対象とする領域で性能を下げながら、ほかの領域の有用性を概ね保てると報告しています。一方、除外した種類のデータを使う追加学習では、低下した能力が戻りました。この結果は、データの除外が能力を永久に消すというより、回復に必要な負担を変えることを示すと説明しています。科学モデルの開発者や提供者には、公開前の試験結果だけで保護の持続性を判断しない材料となります。モデルを利用する研究組織にとっても、有用性の維持と安全性の維持は別々に確かめる事項です。なお、実験は一つのモデル系列に基づいており、ほかの構成へ一般化できるかは未確定です。 公開時点だけで終わらない評価が必要 AISIは、データの選別を、データへのアクセス制御などと組み合わせる必要があるとしています。公開後に重みを変更できる場合、提供時に施した対策だけで状態を維持できるとは限りません。管理する側には、モデルの公開範囲と、学習の基礎となるデータの扱いを併せて検討する課題があります。実務上は、保護したい能力、残したい研究用途、変更後の評価を分けて記録する体制が考えられます。追加学習や外部データの参照によって、公開前の評価がどこまで変わるかも論点です。原文は回復に必要な計算費用の測定には不確かさがあると説明しており、特定の条件の値を将来の防御強度へそのまま換算することはできません。独立した検証と継続的な見直しを組み込み、一つの対策に依存しない提供設計を進めることが焦点になります。公開する側と利用する側で、評価の限界を共有することも重要な運用上の課題です。