AWSはSageMaker AIとAgentCoreを使った学習例を公開しました。gpt-oss-20bの課題達成率の変化と、学習トークンや実行基盤の費用を示しています。 最終成果を採点できる業務で小型モデルを調整する入口です。報酬設計と推論時の条件を揃えた評価が焦点になります。 単一回答では測れない行動の系列を学習 AWSは10月23日、SageMaker AIで複数ターンの強化学習を行う手順を公開しました。経費処理や問い合わせ対応のような任務では、複数の操作が成功につながったかを最後に判断します。各操作の正解例を用意しにくいため、最終結果から学ぶ方法を使います。記事はWordleを教材にしています。隠された単語を推測し、各文字への反応を次の推測へ使うため、複数ターンの仕組みを観察しやすい課題です。SageMaker AIが方針モデルの学習を担当し、AgentCore側にエージェントと環境、報酬関数を置きます。これは一般的な単語ゲームの能力競争よりも、業務固有の小さなモデルを調整する構成を学ぶ例として位置付けられています。 AgentCoreの環境から最終報酬を返す 各試行では、学習行をAgentCoreへ渡し、モデルが複数回の推測を行った後に1つの報酬を返します。GRPOで同じ問題に対する複数の結果を比較し、LoRAの重みを更新します。元の回答例をデータに並べる方式ではなく、成功と失敗をどう採点するかを定義します。公開例ではgpt-oss-20bを使い、既定の推論設定で未知の単語の達成率が61％から84％になったと報告しています。低い推論設定での結果は15％から69％でした。費用は学習トークンが約339ドル、AgentCoreの実行が別に約79ドルと説明しています。値は同社の実行例と当時の地域別価格に基づきます。学習、観測、評価を一続きで試すML担当者が対象で、MLflowやCloudWatchで過程を確認する方法も示しています。 学習費と実行費を分けて検証する 業務へ移す際は、達成を正しく採点できるかが最初の論点になります。部分的な行動を過度に褒めると、任務の完了ではなく報酬の抜け道を学ぶ可能性があります。学習と評価の問題を分け、推論の設定や生成上限も記録することが重要です。履歴を何度も読む入力、回答の生成、勾配計算には異なる課金があるため、単に実行時間だけでは比較できません。環境側の費用も別に加える必要があります。記事はロールの信頼先やリージョンの一致、学習中の再配布による失敗も説明しています。小さな試行で認証と報酬の返却まで確認してから、本格的な学習へ進む構成が考えられます。ゲームでの改善率を業務の成果へ一般化せず、未見の入力や失敗の種類を別に測ることが導入判断の材料になります。学習中の指標だけで判断せず、実際の配布時の設定でも再評価することが重要です。