既存のPlaywright回帰試験に自然言語のテストを追加し、複数チームで共用します。18段階の例で作成時間を5〜10分とする社内測定を報告しました。 テスト作成の効率と試験の有効性を分けて評価することが焦点です。成功した操作履歴の再生結果を、任意の画面での成功率へ一般化できません。 回帰試験へ自然言語の操作確認を追加 AWSは10月29日、EpsilonがAmazon Nova ActとAmazon Bedrock AgentCore Browserで構築したUIテスト基盤を紹介しました。複数の製品チームが使える管理された機能として提供する事例です。Epsilonは既存のPlaywrightによる回帰試験を維持し、その上に自然言語で目的を記述する試験を加えました。画面の細かな変更への対応と、チームごとにブラウザー設備を管理する負担の軽減を狙っています。共有のエージェント基盤には認証、事前の権限確認、MCP連携なども含まれます。今回の記事は既存試験の全面的な置き換えではなく、用途の異なる試験を共通の基盤で運用する構成と測定結果を説明しています。 チームごとの分離と手順ごとの記録を整備 利用者は対象URLと自然言語の手順を登録し、バックグラウンドの実行機構が一時的なブラウザーを開きます。Nova Actが操作を進め、各段階の画面、成否、全体の結果を保存します。AWSの認証とチームごとのアカウントを使い、既存の権限管理へ組み込む設計です。Epsilonは代表的な18段階の操作について、作成時間が5〜10分だったと報告しました。比較したPlaywrightの同等スクリプトは30〜90分としています。これは同社の内部測定であり、全種類の試験や組織で同じ差が生じると示した結果ではありません。試験担当者以外も手順を読み、修正を提案しやすくなる可能性があります。一方、自然言語で書けることだけでは、確認したい機能と失敗の条件を正しく定義できたかは分かりません。 成功した経路の再生と探索を分けて測る 記事は最初の探索で通常4〜5回の指示調整を行い、成功した操作履歴を保存して決定的に再生すると説明しています。その保存済み履歴の繰り返し実行では、内部測定で100％の成功率だったとしています。新しい画面を初見で操作する精度や、不具合を発見する能力と同じ指標ではありません。実務上は作成時間、調整時間、再生の安定性、異常を検出できた割合を分けることが論点になります。各段階の画面とCloudTrailの記録は、失敗の原因や実行した権限を調べる材料になります。多要素認証などで人が介入する運用も検討対象です。共通基盤を管理する担当者には、チーム間の分離、試験データの扱い、保存記録の管理が継続的な作業になると見られます。Playwrightと自然言語試験の役割を明確にすることが導入判断の軸になります。