3D生成の構造と形状の段階を追加学習し、素材の段階は固定します。学習スクリプトとコンテナをローカルやJobsで使えます。 靴底など特定分野の形状を改善する例です。少数の未学習物体での結果を一般化せず、用途に合う形状評価とデータ準備を確認します。 用途ごとに崩れる形状を小さな追加学習で直す Hugging Faceは11月12日、3D生成モデルTRELLIS.2を追加学習するガイドを公開しました。一般的なモデルでは、靴が全体として自然に見えても靴底の形が不正確になる場合があります。解説はGoogle Scanned Objectsの靴188点を用い、特定のカテゴリに適応させる方法を示しました。元の重みを固定して小さな行列を学習するLoRAを使います。スクリプトとコンテナを公開し、手元のGPUとHugging Face Jobsの両方を案内しています。3D表現には複数の形式がありますが、今回の具体的な対象はTRELLIS.2です。ほかのモデルへ同じ結果を約束するものではありません。 構造と形状を変え素材の生成は固定する TRELLIS.2は入力画像を処理し、粗い構造、詳しい形状、素材を順に作ります。今回の例は構造と形状を扱う二つの段階へLoRAを入れ、素材の段階は固定します。学習はそれぞれA100の80GBを1基使い、7.2時間と3.6時間かかったと説明しました。評価では学習に使わない9物体を比較し、形状の一致を表すF-scoreなどの改善を報告しています。学習中の損失が下がるだけでは、生成物の幾何学的な品質は判断できません。ロボットの模擬環境やメディア向けの3D制作には、必要な形を特定して適応させる用途が考えられます。ただし、靴に限定した少数の評価です。家具や工業部品でも同じ追加学習が有効か、寸法や接地面が実用途の条件を満たすかは別に確認する必要があります。 データの準備と実用上の評価へ費用を割く 導入では、何を変えずに残すかを決めることが論点です。形状の問題に対して素材まで学習すると、必要のない変化が増える可能性があります。評価用の物体を学習から分け、元モデルと追加学習後を同じ条件で比較する必要があると見られます。前処理や画像表現に使うDINOv3へのアクセス条件も確認対象です。自前の資料を使う場合は、Hubへのアップロードとデータの利用範囲を整理します。学習時間だけでなく、3Dデータの整備、前処理、結果の確認まで含めて費用を見積もります。原文は将来の対象として他の3D生成や世界モデルを挙げていますが、今回の手順で対応済みとはしていません。見た目の自然さと、用途に必要な構造の正確さを別々に測ることが重要になります。出力の向きや基準の大きさが比較へ影響していないかも確認します。見た目を比べる画像と数値評価の条件をそろえ、改善した部分を説明できるようにします。