追加システムカードはTerraをサイバー分野でCritical、生物・化学分野でHighとして扱います。評価環境と本番の違いや、指標ごとの改善と課題も示しました。 安全性を一つの総合点で判断せず、用途に関係する評価条件を確認する必要があります。モデルの保護策と接続環境の制御を組み合わせることが焦点です。 能力の区分と保護策を追加資料で説明 OpenAIは10月26日、GPT-6 AstraのシステムカードにGPT-6.1 Terraの追加資料を公開しました。大量の業務処理に向けた新モデルについて、安全性の基準と評価結果を補うものです。Preparedness Frameworkでは、サイバー能力をCritical、生物・化学能力をHighとして扱います。評価に基づき、GPT-6.1 SolやGPT-6 Astraと同じ保護策の構成を使い、検出器を新モデルに合わせて更新するとしています。これは能力に対する同社の扱いと対策の説明であり、実際の利用環境に一律の安全性を保証するものではありません。研究環境やAPIでの評価は、指示、ツール、推論設定の違いにより、本番のChatGPTと出力が異なり得ると注記しています。 複数の評価に現れる改善と留保 資料は、有害な依頼への対応、未成年者向けの保護、エージェントの行動、外部からの指示への耐性などを分けています。安全な回答だけでなく、接続したサービスで取る行動も評価する構成です。指示の優先順位や間接的なプロンプト注入への耐性を報告する一方、評価の更新が必要とも説明しています。事実性では、利用者が過去モデルの誤りとして報告した会話を使う試験を設けています。この試験は誤りを誘いやすい例を集めており、そこでの誤り率を本番全体へ当てはめないよう注意しています。また、一部の対話評価では前世代より低い結果も示しています。部署や用途に関係する評価を見る際には、改善した指標だけを選ぶと、対象外の失敗を見落とす可能性があります。 自社の利用条件へ評価を結び付ける 導入側には、評価の条件を自分たちの作業へ対応付ける課題があります。たとえば、文書を読むだけの支援と、外部サービスを変更するエージェントでは、確認すべき失敗が異なります。操作の範囲、利用できる秘密情報、停止条件を環境側で管理する体制が論点になります。カードでは、監視モデルに拒否された操作へどう反応するかや、作業上の障害を正直に伝えるかも調べています。これらは、回答の自然さとは別の運用上の観点です。比較値には過去モデルの更新版が含まれる場合があり、過去の発表値と単純に結び付けない注意も必要です。利用を始める時点のモデルと設定を記録し、失敗の再現、承認への戻し方、監視の負担を確認することが考えられます。公開カードの結果と、自社で観測する挙動を併せて判断することが焦点です。用途に合う再評価の時期を決めておくことも、更新後の変化を捉える助けになると見られます。