OpenAIは選択肢、確率、スコアを返すDecisions APIを一般提供しました。GPT-Live連携、キャッシュ、米欧での推論処理拠点にも対応します。 小さな分類や振り分けを低遅延で挟む選択肢です。回答の確信度と実際の誤判定を業務データで比較することが焦点です。 自由文生成より狭い判断を高速に処理 OpenAIは10月22日、Decisions APIの一般提供を発表しました。アプリの入力分類、要求の振り分け、次の行動の選択といった小さな判断を対象にします。GPT-6 Lunaを基盤とし、回答を限定した質問へ集中する仕組みです。同社はResponses API経由の同モデルと比べ、最大10倍速いと説明しています。公開ベータ以降、GPT-Liveとの標準連携や再利用する文脈のキャッシュを追加しました。米国とEUでの推論処理拠点にも対応しています。入力からすべてを文章で生成する代わりに、業務側が定めた回答を得る設計です。判断が何度も挟まる処理で、個々の待ち時間と費用の積み重なりを減らす狙いがあります。 入力と回答形式を限定して処理へ組み込む 開発者は質問と許可する答えを定義し、文章、画像、JSONの文脈を渡します。回答には条件が真である確率、指定した選択肢、段階的な基準のスコアという3種類があります。1回の要求で最大400問を扱い、ベータ時の上限から倍増しました。質問の指示にも画像を含められます。対象には、文書の分類、確認が必要な要求の抽出、会話中の次の処理を選ぶエージェントなどが挙げられます。OpenAIは社内活用に加え、BoxやDatadog、Ramp、Sierra、Speakの事例を紹介しました。各社の速度や費用の改善値は、用途と比較条件が異なる顧客の報告です。共通の性能保証ではありません。音声との連携では、会話全体の生成を置き換えるより、進行中の会話に小さな判断を追加する役割が考えられます。 速度の改善率と失敗時の分岐を一緒に測る 実務では、答えを限定できる判断から試すことが論点です。確率やスコアが返る場合でも、その値が自社データの誤り率を正しく表すかは評価が必要です。誤分類した際に処理を戻せるか、低い確信度で人へ渡せるかも合わせて確認することが考えられます。最大の速度改善だけで採用を決めず、混雑時の応答やキャッシュの再利用率、まとめて送る質問数を含めて測る必要があります。入力の再利用で費用が下がる可能性がある一方、分類基準の変更や古い文脈の混入は別の管理対象です。処理拠点の選択も、保存やアプリの権限すべてを解決する機能とは分けて扱うべきです。既存の業務ルールと照合した評価集合を用意し、速度、費用、誤りによる手戻りを同じ条件で比較することが導入の判断材料になります。分類基準を変えたときは、以前の評価結果を引き継がず再確認することが重要です。