実行記録を共通形式へ変換し、7分野・36の組み込み指標で比較します。結果を保存し、変更後の改善や悪化を追う構成です。 基盤の変更をまたいだ比較に役立つ可能性があります。採点条件、個人情報、判定モデルの限界をそろえて評価することが焦点です。 異なる実行記録を一つの評価形式へ AWSは11月11日、Universal Agent Evaluation Frameworkを紹介しました。UAEFは異なるAgent基盤の記録を共通形式へ変換し、同じ尺度で評価する仕組みです。LangGraph、LangChain、Strands Agentsなどでは、メッセージや道具の呼び出しの残し方が異なります。その違いに評価が結び付くと、基盤を変えるたびに採点の仕組みも作り直す必要があります。UAEFはアダプターで記録を変換し、後段の評価を分離します。通信、医療、金融の12組織で使ったと説明しています。発表は実装方法や実行できるノートブックを示すもので、あらゆるAgentの品質を一つの点数で保証するサービスという意味ではありません。 36の指標から変更の影響を追う 共通形式のAgentTraceには、メッセージ、ツール呼び出し、Agent間の引き継ぎを含めます。既存の記録を渡すほか、エンドポイントなどを通じて実行して収集する方法もあります。7分野には道具の利用、回答品質、安全性、性能、複数ターン、複数Agent、推論が含まれます。36の組み込み指標から選び、独自の指標も追加できます。正解データは任意ですが、参照解と比較する指標では必要です。道具の利用を評価する場合は、期待する道具、順序、引数も用意します。結果はDynamoDBとS3へ保存し、過去の基準と比較できます。モデルやプロンプトを変えた時に、どの分野が変わったかを確認する担当者に関わります。総合点に隠れる悪化を、指標ごとに追える構成です。 判定結果を安全制御の代わりにしない 判定には決定的な計算と、言語モデルによる採点の両方があります。後者は評価対象の出力をモデルへ渡すため、入力を信頼しない設計を説明しています。根拠として引用した文が対象に見つからない場合は、その得点を記録しません。それでも採点は判断材料であり、安全性を制御する機能の代わりにはしないと明記しています。保存する記録の個人情報を検査し、保存用の写しで伏せ字を使う選択肢もあります。実務では指標とデータの条件を固定し、変更前後で同じ仕事を比較することが重要になると見られます。モデルによる採点やAgentの再実行には費用も生じます。全指標を一度に使うより、業務で失敗すると困る行動を捉える指標を選ぶことが判断材料です。基盤の共通化と、評価の妥当性を確認する作業は別に残ります。点数の変化を説明するために、実行時のモデルと設定も記録します。