Hugging FaceはSFT、蒸留、強化学習、環境、実行基盤を5段階で整理しました。動画、資料、記事、TRLの文書をまとめています。 単発の回答から複数ターンの行動へ評価を広げる教材です。学習データ、報酬、環境を何に合わせるかが導入前の論点になります。 回答だけでなく行動の列を学習対象にする Hugging Faceの著者らは10月20日、エージェントの事後学習を扱うカリキュラムを公開しました。事前学習後のモデルへ、指示への対応、ツール利用、特定の課題を学ばせる段階を整理しています。エージェントは複数ターンでツールを呼び、結果を読み、次の行動を選びます。そのため、最後の回答だけでなく一連の過程を学習と評価の対象にする必要があります。教材は配信シリーズに沿い、図、動画やスライド、解説記事、関連文書をまとめたものです。新しい汎用モデルの発表ではなく、学習方法を選び準備するための案内として提供されています。教材は方法の違いを整理し、必要な評価環境やデータを用意する入口になります。 方法ごとに必要なデータと道具を整理 最初のSFTは強いモデルなどが解いた行動の記録を使い、SFTTrainerで学びます。蒸留では教師のトークンや確率を使い、DistillationTrainerへ進みます。強化学習は結果への評価をGRPOTrainerで利用します。さらにOpenEnvなどの環境で行動の結果を測り、実際の実行基盤を含むAsyncGRPOTrainerの段階へ広げます。モデルの調整を検討する研究者や開発者が対象です。原文は、正しい行動の記録だけを見る方法では、自分で誤った際の回復を学びにくいことを説明しています。教師を呼ぶ蒸留にはその費用があり、報酬を使う方法には評価の設計が必要です。段階の名前だけでなく、何から学ぶかと何を準備するかを対応させて示しています。同じ学習方法でも、環境やツールが異なれば得られる行動も変わる可能性があります。 学習の前に業務の環境と評価を定める 実務では、微調整を始める前に、対象の作業を再現できる環境と合格条件を整えることが論点です。成功した行動の記録を集める場合は、ツール結果や途中の判断も必要になります。強化学習の報酬が実際の仕事の品質とずれていれば、点数だけを得る行動へ偏る可能性があります。教材を順番に試す際も、データの利用条件や、生成した行動が触れる対象を確認する必要があります。学習したモデルを、学習に使っていない課題で試すことも重要です。計算費用だけでなく、教師の実行、環境の維持、評価者による確認も負担になります。まず小さな作業で既存のモデルと比較し、学習を加える価値があるかを測る方法が考えられます。単発の正答率と、複数段階を最後まで進める成功率を分けて追うことが判断材料になります。失敗から回復できるかも確認する対象です。