組み込み指標と外部ライブラリーを組み合わせる方法を説明しました。業務成果を観測できる行動へ分解し、会話全体と個別処理を測ります。 完了率だけでは見えない情報漏えいや指示の取りこぼしを確認します。実行場所と正解データの有無に応じた指標選びが焦点です。 業務の成功を測れる行動へ分ける AWSは11月10日、Amazon Bedrock AgentCore Evaluationsの評価方法を説明しました。組み込みの評価に加え、DeepEvalとAutoEvalの管理された指標を使う内容です。回答の抜き取り確認や遅延の監視だけでは、仕事の完了や個人情報の漏えいを捉えきれないとしています。最初に業務上の成功を決め、それを観測できる行動へ分解する方法を示しました。次に、個別の処理か会話全体かを選び、適した指標に対応させます。指標の名前から選ぶより、必要な成果と失敗を先に整理する考え方です。評価の種類を増やすだけで品質が上がるとする発表ではありません。 会話の継続性と道具の経路を確認 組み込み指標は回答の正確さ、目的の達成、道具やSkillの利用、安全性などを扱います。DeepEvalには、会話で依頼を取りこぼしていないか、過去の情報を保っているかを測る指標があります。AutoEvalは不正な出力や、実行可能な依頼を過度に拒む動作などを扱います。管理された方式ではAgentCoreがコードを動かし、判定するモデルも選びます。独自の評価ではモデルや指示を変える方法もあります。一つの回答を複数の観点で評価し、各点数を別々に返す構成も説明しています。正確だが条件を守らない回答を、平均の一点で見逃さないためです。利用者の支援、調査、専門分野の内容作成など、Agentの仕事に合わせて評価を組み合わせる担当者に関わります。個別の呼び出しが正しくても、会話全体では依頼が残る場合があります。観測する単位を目的に合わせることが、測定を役立てる前提です。 正解のある試験と稼働中の評価を分ける 期待する回答や道具の経路が必要な指標は、固定したデータを使う評価に向いています。稼働中の会話には正解が付いていないため、そのまま同じ方法で測れるとは限りません。原文は開発中の随時評価、稼働中の評価、一括評価を区別しています。必要な証拠や実行条件を合わせて選ぶことが論点です。判定モデルを自分の環境で動かす必要がある場合も、管理された方式と分けて検討します。評価対象の内容がどこへ渡るかと、採点にかかる費用を確認することが判断材料です。高い完了率が出ても、情報の漏えいや指示違反を別に見る必要があります。実務では少数の重要な行動から測定を始め、見逃した失敗に応じて指標を加える方法が考えられます。採点結果を記録し、変更前後で同じ条件を保つことで、改善と悪化を説明しやすくなる可能性があります。