NVIDIA MIGで計算資源とメモリを分割します。推論コンポーネントを使うエンドポイントが対象で、東京を含む7リージョンで利用できます。 分割数とレイアウトにはGPU別の制約があります。長い入力や高い同時実行数での費用改善を、低負荷の用途へそのまま当てはめないことが焦点です。 GPU一台単位から必要な区画を選ぶ AWSは11月6日、Amazon SageMaker InferenceでGPUの分割をサポートしたと発表しました。NVIDIA Multi-Instance GPUを使い、一つのGPUを独立した計算資源とメモリの区画に分けます。小さなモデルにもGPU一台を割り当てることで生じる余剰を減らす狙いです。区画ごとに異なるモデルを常駐させ、他のモデルの処理量による影響を抑える設計です。対象は推論コンポーネントを使うエンドポイントです。単一モデル用、サーバーレス、異種インスタンスプールは対象外としています。既存の構成すべてへ一括で適用できる変更ではありません。 東京でも使えるが分割形状は機種に依存 対応するインスタンス系列はP4d、P5、G7、G7eです。提供地域には東京、シンガポール、米国と欧州の拠点を含みます。各地域での機種の有無と利用枠は別に確認する必要があります。分割は最大7区画ですが、GPUによって上限と有効な組み合わせが異なります。計算資源だけでなく、メモリ量がモデルに合うかも確認する対象です。レイアウトはエンドポイント作成時に選ぶ構成で、稼働中に自由に形を変えられるわけではありません。複数GPUにまたがるモデルは引き続き全体のGPUを必要とします。運用担当者は、チーム別やモデル別に資源を割り当てる選択肢を得ます。一方、世代の異なるGPUへ移す際に、以前の分割名をそのまま流用しないことが論点になります。 低負荷では全体GPUが安い場合もある AWSは、H100の半分を使う構成とA100一台を比較した測定を紹介しています。一部の負荷条件では出力トークン当たりの費用が18〜34%低くなりました。ただし、入力が短い場合や同時実行数が低い場合には、A100全体の方が安かったとも説明しています。値は同社の料金と測定条件に基づき、全利用者に共通する削減率ではありません。導入時は、入力長、出力量、同時実行数と応答時間の基準をそろえて比較することが考えられます。区画を増やしても、各モデルの必要メモリを満たさなければ使えません。配置変更のための再作成や負荷試験の手間も含め、費用を判断する必要があると見られます。独立した区画の利点と、モデル更新時の容量の余裕を合わせて検討することが焦点です。 モデル更新時の余裕を残して配置する 小さな区画に収まるモデルでも、入力が長くなれば必要なメモリは変わる可能性があります。配置時の平均使用量だけでなく、混雑時と更新後の最大値を確認することが考えられます。複数のモデルをまとめた場合は、どの区画の費用を誰が負担するかも運用上の論点です。次の判断点は、分割による設備利用の改善が、再配置と負荷試験の手間を含めても見合うかです。必要な応答速度を守る負荷の範囲を記録してから展開することが焦点になります。