AWSはTransformers v5、torchtitanのネイティブ実装、NKIカーネルを使う学習例を公開しました。共通の起動方法で構成を切り替えられます。 標準PyTorchの流れを保ちながら専用チップを評価できます。実行版の固定、重みの互換性、独自カーネルの検証が焦点です。 同じ学習の起動方法で実装を選ぶ AWSは10月21日、torchtitanを使ってQwen3をTrainiumで学習する手順を公開しました。TorchNeuronがTrainiumをPyTorchのデバイスとして登録し、標準インターフェースから利用します。記事は1台のtrn2.48xlargeで3種類の構成を試す内容です。公開済みの重みを微調整する場合と、初期状態から学習する場合の両方を想定します。Transformers v5を使う方式、torchtitanのQwen3実装、NKIによるカーネルの追加を順に説明しています。モデルの発表ではなく、同じ基盤で実装と最適化の段階を選ぶための技術解説です。設定を変える際の比較基準として利用できます。 標準の重みから専用カーネルまでをつなぐ 最初の構成ではAutoModelForCausalLMでHubのモデルを読み、safetensorsを直接読み書きします。次の構成はmodel_specを変え、torchtitan内のQwen3実装を使います。さらにMoE向けのNKIレシピや、独自カーネルを登録する仕組みを紹介しています。すべて同じtorchrunの起動パターンと設定構造を使うと説明しています。対象は、学習基盤の選定や専用チップ上の最適化を担う開発者です。既存モデルの取り込みから高度な変更まで、起動方法を大きく変えずに進められる可能性があります。一方、統合機能や上書き用モジュールは版によって変化します。原文は再現のために使用したバージョンを固定するよう案内しています。標準的な流れを使えることと、手元のコードが無変更で動くことは別に確認する必要があります。 版の整合性と学習結果を確認して比較する 実務では、Neuron向けPyTorchを通常の依存関係で上書きしないことや、ドライバー、ランタイム、コンパイラーの組み合わせを揃えることが論点です。記事は用意したAMIまたは学習用コンテナーを前提にしています。計算資源の利用費用を比較する際には、学習時間だけでなく、環境の準備やコンパイル、再実行にかかる時間も含める方法が考えられます。独自カーネルを使う場合は、速さと数値的な結果を合わせて確かめる必要があります。同じデータと設定で損失や保存した重みを比較し、他の推論環境へ戻せるかも確認する対象です。原文の例はQwen3の特定構成であり、任意のモデルで同じ性能を保証しません。標準実装で動作を確認してから変更を増やすことが、移行費用と最適化の価値を判断する材料になります。