CohereはModel VaultのCPU・GPU隔離、OHTTP、遠隔証明を組み合わせる設計を公開しました。証明の条件が一致しなければ顧客側で送信を止めます。 検証する証拠と承認する方針を運用へ組み込む設計です。メタデータや可用性など保護の対象外も確認することが重要です。 隔離だけでなく送信までの経路を保護 Cohereは10月22日、Model Vaultの機密推論を支える技術構成を説明しました。公開ベータの提供発表に合わせ、機密CPUとGPUの実行、要求内容の暗号化、遠隔証明をどう組み合わせるかを示しています。CPUだけを保護しても、推論を担当するGPUが外にあれば情報が露出するため、処理の実態に沿った境界が必要としています。Azureの基盤上で、NVIDIAの機密計算によりGPUメモリーとCPUとの通信も保護します。専用のモデル配備を中心に複数の制御を配置し、平文を扱う基盤への信頼を小さくする設計です。顧客がその構成を検証できることを重視しています。処理の環境と、そこへ情報を渡す経路の両方を対象にします。技術上の保護を、顧客側の確認によって有効にすることが設計の中心です。 署名された証拠を送信の可否に結び付ける 要求にはOHTTPを使い、証明された機密環境に対応する公開鍵で内容を暗号化します。中継基盤は通信を振り分けても、保護された内容を復号できない構成です。顧客側はハードウェアや実行ソフトウェアに関する署名付きの証拠を、承認した方針と照合します。測定値の変化やGPUの動作状態などが条件を満たさなければ、内容を送信しません。証明は更新され、その都度確認すると説明しています。影響を受けるのは推論APIを組み込む開発者に加え、構成を承認するセキュリティ担当者です。証明が何を示すかと、その状態を許容するかは別の判断です。検証を監査資料の保存だけにせず、実際の送信停止へつなぐ点が技術上の要点になります。ソフトウェア更新時の扱いも運用設計に含まれると考えられます。 残る信頼と見える情報を明確にする 原文は、機密計算で信頼がすべて消えるわけではないと説明しています。ハードウェア、ファームウェア、内部で実行するソフトウェア、基準測定値や証明基盤は引き続き信頼の対象です。通信時刻、量、経路などのメタデータも外部から見え得ます。現行構成ではAPI認証情報とモデル識別子もOHTTPで保護する内容の外にあります。可用性、一定の物理攻撃や副次的な情報漏えい、アプリケーションの脆弱性を解決するものでもありません。実務では、隠したい情報を分類し、どの項目が保護の内側に入るかを確認することが論点です。プロンプト注入やツールの誤操作には別の対策が必要です。配備する地域の選定や契約上の管理と合わせて評価し、証明が失敗した場合の業務継続も検討することが、利用判断の材料になります。