追加学習なしの重み改変で、通常評価を通るモデルへ隠れた動作を仕込む研究です。モデルの来歴と元の重みとの比較を重視しました。 モデルの回答評価に加え、配布から実行までの完全性が焦点になります。検査の限界を踏まえ、Agentの権限と行動記録を整えます。 正常な回答の裏に隠れる重みの改変 Microsoft Researchは11月10日、Lazarusと呼ぶバックドア技術を説明しました。言語モデルの普段は活動しにくいニューロンを改変し、特定の合図で動作を変える研究です。追加の学習を必要とせず、10個未満のニューロンの変更でも成立すると報告しています。通常の評価では正常に振る舞い、合図が出た時だけ不正な命令を生成する点が問題です。ツールや端末を使うAgentでは、その出力が実際の操作へつながります。研究はモデルの能力だけでなく、配布された重みの完全性を検証する重要性を示します。公開モデルに限った問題ではなく、内部で開発したモデルも重みを書き換えられれば対象になると説明しています。 モデル調達と実行環境の両方に関わる 原文では、日付が変わることも引き金の例に挙げています。Agentが実行する命令は、与えられたアクセス権の範囲で影響を持ちます。そのため導入部門だけでなく、モデル保管、配布、実行権限を担う担当者にも関わります。Microsoft Foundryについては、元の発行者と結び付けた調達管理を説明しています。実行に使うコンテナも別に脆弱性を検査します。これらはモデルの入手経路と周辺ソフトウェアを管理する対策です。一方、信頼する提供者自体が侵害されるリスクは残るとしています。重みをAIで調べる検査や、改変の兆候を探す評価の整備も進めています。署名と検証可能な来歴の仕組みは計画として記述されており、すべてが完成済みの機能ではありません。モデルを入れ替える時だけでなく、保存先や配布経路を変更する時にも関わる問題です。評価と配布管理の担当者が連携する必要があると見られます。 来歴の比較と権限の制限を組み合わせる 研究者は、異常な重みの変更を高度なAgentが発見できる例も説明しています。ただし検査だけで安全を証明することはできず、元の未改変の重みとの比較が重要だとしています。実務では取得元、保存した版、配布後の変更を追える体制が論点になります。通常の質問応答テストを通ったことだけでは、隠れた動作の不存在を判断できません。Agentに与える権限を絞り、重要な操作の前に確認を置く設計も検討対象です。記録を残す場合には、どのモデルがどのツールを呼んだかを対応させる必要があると見られます。検査のための費用と運用負担は発生しますが、原文は一律の金額を示していません。調達時の確認と稼働中の監視を組み合わせ、検査結果を保証ではなく判断材料として扱うことが、研究の示す実務上の論点です。