Cohereは問題を解く前の成功見込みと、解いた後の回答の正しさを別々に学習する手法を紹介しました。数学などの評価で確信度の改善を報告しています。 確信度を使う品質管理では、正答率との整合と誤答の見分けやすさを両方測る必要があります。自動検証や回答の見送りへの応用は未検証です。 解けそうかと今回の答えが正しいかを分離 Cohereは2026年10月20日、推論モデルの確信度を扱うCALIBERを紹介しました。長い推論を生成できても、その答えが正しい確率を適切に伝えられるとは限らないという課題を扱います。手法の特徴は、推論前と推論後で異なる予測を学ばせる点です。前者は問題を解ける見込み、後者は実際に出した答えが正しい見込みを表します。両者を一つの応答に含め、考えた結果を踏まえて自己評価を変えられるようにします。途中で新しい情報を得るため、二つの値が違うこと自体は矛盾ではありません。原文は、この区別が回答の受け入れや再確認を考えるための出発点になると説明しています。 確信度が合うことと誤答を見抜くことは別 研究では数学の問題で学習したモデルを、未使用の問題と質問応答の評価へ適用しています。七Bモデルについては、数学の評価で較正誤差を半分以上減らしたと報告しました。較正とは、たとえば高い確信を示した回答群が、それに見合う割合で正しいかを調べる考え方です。一方、すべての回答に同じ値を付けても全体平均と一致する場合があります。そのため原文は、正答へ誤答より高い確信を付けられるかも合わせて評価しています。影響を受けるのは、回答の確認順を決める仕組みや、品質の測定方法を設計する担当者と見られます。もっとも、別のモデル規模では、すべての比較指標で最良になるわけではありません。利用側が必要とする性質を一つの数値へまとめず、平均的な整合と個別の誤りの識別を分けて読む必要があります。運用後も入力の分布が変われば確信度の意味が変化する可能性があります。正答との対応を定期的に確認する体制も論点になると見られます。 自動承認の閾値へ直結させる前に検証する 実務で確信度を使う場合、値の上昇を正解の証拠として扱わないことが論点になります。原文も、推論前後の増減は文脈を伝えるもので、最終的な正誤の判定ではないと説明しています。社内の文書や専門用語へ適用するなら、独立した正解データを用意し、どの回答群で値が外れるかを確認する必要があると見られます。また、誤答を見逃す費用と、人が確認する費用は業務によって異なります。確信度だけで処理を確定せず、外部の照合結果や担当者の判断をどう組み合わせるかが検討点です。今回の実験は一回の推論前後を測るもので、追加検索、検証、回答の見送りを自動で選ぶ用途は試していません。そうした機能が完成したと受け取らず、評価方法の研究として扱うことが、導入可能な範囲を判断する上で重要になります。