CohereはNVIDIA H100を使う機密計算機能を公開ベータにしました。顧客側で実行環境を検証し、条件を満たす場合だけ暗号化した要求を送れます。 処理中データの保護を検証可能にする選択肢です。対象環境、ベータ条件、アプリ側の権限管理を合わせて評価する必要があります。 推論中の情報を保護する公開ベータ Cohereは10月22日、Model Vault向けConfidential Computingを公開ベータで提供すると発表しました。Microsoft Azureの基盤とNVIDIA H100 GPUを利用します。保存中や通信中に加え、モデルが情報を処理している間の保護を対象とします。専用のモデル実行環境に、暗号化した要求経路と実行環境の証明を組み合わせます。企業が運用基盤を全面的に信頼する構成から、機密データを渡す前に確認する構成へ進める狙いです。原文は、機密データを扱うために管理型AIの利用を見送っていた業務を想定しています。今回の提供段階は公開ベータであり、一般提供の完了を示す発表ではありません。 設計資料や研究情報を扱う部署が対象 Cohereは用途として、研究や特許に関する資料、独自の設計文書、ソースコードの検索などを挙げています。顧客側のソフトウェアが、ハードウェア、ファームウェア、ソフトウェアについて署名された証明を検証します。承認した方針と一致しなければ、要求を送信しない仕組みです。要求の内容は証明済みの環境へ向けて暗号化され、中継基盤では平文を見せないと説明しています。応答の戻り経路にも保護を適用します。利用側は従来のModel Vault APIと要求形式を使えます。このため、既存アプリケーションの入出力形式を大きく変えずに検討できる可能性があります。一方、実際に適用できるモデルや利用条件は、検証する構成ごとに確認することが焦点になります。情報の分類を担う部署と基盤担当者の協力が必要と見られます。 保護範囲とアプリケーションの責任を合わせる 実務上は、証明の検証を有効にした状態で運用できるかが判断点です。単に暗号化された接続を使うだけでは、発表で説明された保護の全体にはなりません。証明が方針と一致しない際の停止や、ソフトウェア更新で基準が変わる際の承認を設計する必要があると考えられます。Cohereは、機密計算がアプリケーションの安全性や契約上の管理、データの所在に関する要件を置き換えないと明記しています。したがって、検索結果の権限やツール実行の制限も別に評価する対象です。公開ベータを試す企業では、使用するデータを絞り、証明の検証結果と運用上の負担を測る進め方が考えられます。ハードウェアによる保護と、利用者の操作や情報公開を制御する仕組みを合わせて確認することが導入の論点です。証明の確認を誰が保守し、条件が変わった際に誰が承認するかを決めることも、試験段階で確認する対象になります。