Property Finderは専門家が画像を再評価し、複数ラベルとモデル別の指示を使いました。記事は改善値とともに、調整用データを含む比較の限界も説明します。 評価集合の独立性と調整量の差を確認することが焦点です。モデルの差と、正解ラベル・指示・費用算定の違いを分けて判断する必要があります。 既存モデルの答えを正解にする偏りを点検 AWSは10月27日、不動産情報のProperty Finderが画像解析の評価方法を見直した事例を公開しました。問題の出発点は、置き換えたい既存モデルの出力が、候補モデルを採点する正解として使われる偏りです。その方法では、元のモデルと違う正しい答えも誤りとされる可能性があります。チームは、専門家が過去のモデル出力を参照せず、新しく画像へ注釈を付ける形へ変えました。記事はモデルの性能差だけでなく、何を正解とするかが選定を左右すると説明しています。画像の分類を一つに決める方式から、複数の内容を認める方式へ移したことも重要です。部屋が戸口越しに見える画像などでは、一つのラベルだけでは実際の内容を捉えにくいためです。 専門家のラベルと複数の属性で比較 報告した比較は、専門家が注釈したアラブ首長国連邦の不動産画像356枚を使っています。最初の256枚は指示を調整する集合にも使われました。チームは部屋の分類、透かし、画像の向きなどを評価し、頻度の多い属性だけでなく少数の属性も確認しています。Llama 4 Maverick 17B Instructの最終的な指示では、Micro F1が0.80、既存の非公開モデルは0.56と報告しています。ただし、調整用の画像を最終評価にも含むため、値は楽観的だと明記しています。候補モデルには既存モデルより多くの調整を行ったという差もあります。画像を日々扱うサービスには、業務に沿う分類と、地域特有の文字の扱いを明確にする事例です。単純なモデル順位として読むと、指示の改善や人の注釈の効果を見落とす可能性があります。 改善値を読む際に調整と試験を区別する 費用については、以前の構成から86%減という推定を載せていますが、2025年12月時点の地域と入出力の仮定に基づきます。精度比較で使った指示と費用比較の指示も完全には同じでなく、現在の自社費用へ直接当てはめられません。導入の論点は、調整に使わない試験用の集合を別に保ち、モデルごとの調整量と計測条件を残すことです。専門家が迷った画像や、複数のラベルが妥当な例を記録すると、数字の意味を確かめやすくなると見られます。運用後は、分類の正しさだけでなく、出力形式の乱れ、遅延、例外の修正負担も確認対象になります。原文は責任あるAIの制御も組み込むよう促しています。自社の画像と分類基準で独立した評価を設け、改善の要因を分けて判断することが焦点です。新しい地域や画像形式が増えた際には、正解ラベル自体を見直す担当も必要と見られます。