Lambdaによる独自評価器からJevとStrands Decider 2Bを呼び出します。固定の選択肢への確率を評価値へ変換し、既存の評価器と並行して使う構成です。 評価手法を替えると測定の意味も変わります。本番データの人手ラベルと照合し、しきい値や見逃しを確認してから公開判断に使うことが焦点です。 自由記述の採点とは別の判断器を組み込む AWSは11月4日、Amazon Bedrock AgentCore Evaluationsへ意思決定モデルを接続する方法を公開しました。意思決定モデルは、自由な説明文ではなく、決まった答えの候補に対する確率を返します。応答が根拠に沿っているかなど、範囲を絞った確認を対象にしています。AgentCoreのコード形式の独自評価器を通じ、AWS Lambdaから外部のモデルを呼び出す構成です。記事では、TypeSafeのホスト型モデルJevと、自分で運用するStrands Decider 2Bを取り上げました。既存の評価を置き換える発表ではなく、並行する確認手段を追加する実装です。 同じ実行記録を異なる観点で測る 例では、固定の模擬データを返す人事支援エージェントを使います。決定的なコード検査、既存のLLM評価器、意思決定モデルを同じ流れに組み合わせます。応答単位の根拠確認や有用性と、会話全体の目標達成を別々に扱います。ラベルだけでなく、選択肢の確率や重み付きの値をAgentCoreの形式へ変換します。対象は、エージェントの開発中と本番稼働後の評価を担うチームと見られます。細かな定型確認を先に行い、詳しい説明が必要な箇所を別の評価へ回す使い方も示しています。固定した模擬データで動くことは、実際の社内業務に対する評価精度の証明にはなりません。自社の会話と失敗例を使い、何を検出し何を見逃すかを調べる工程が必要です。 質問の書き換えは新しい測定として検証する AWSは、評価基準を意思決定モデルの質問へ変える際、新しい測定を作ることになると説明しています。同じ名前の指標でも、元の評価より厳しくも緩くもなり得ます。手順では、本番の会話から失敗や境界事例を含む標本を集め、人が独立して採点した結果と比べます。同じ入力を両方の評価器へ渡し、判断が割れる例も調べます。導入側では、確率をそのまま信頼できる尺度と見なさず、自社の対象でしきい値を確認することが論点です。Jevには外部サービスの利用条件、Deciderには自分で用意する実行環境が関わります。費用は評価器の呼び出しだけでなく、保存と処理、自己運用の設備を含めて確認する必要があると見られます。更新時の再評価も必要です。 開発用の構成を本番へ移す前に見直す サンプルは開発時の評価と継続的なオンライン評価を扱います。設定例では全セッションを採点するため、本番ではデータ量と保存方針の確認が必要と考えられます。会話全体を使う評価と一部のターンを使う評価では、渡す情報の範囲も変わります。次の判断点は、目的に合う質問形式と運用費です。詳しい根拠の説明が必要な箇所では、既存のLLM評価や人の確認を残し、役割を分けることが考えられます。質問文の変更を記録することも必要と見られます。