図面や表を含むファイルから成果物を作る200課題を評価します。10業種・83職種の専門家が関わり、別途10課題を公開しています。 順位だけでなく、視覚認識、成果物の正確さ、実行コストを確認します。非公開の本評価と公開課題の用途は異なります。 文章だけでは測れない仕事を評価へ Googleは11月10日、Artificial Analysisと開発したMKAを発表しました。対象は図面、画像、表などを含むファイルを読み、実務の成果物を作るエージェントです。従来の知識業務評価には文章だけで解ける課題が多いと説明しています。MKAは、見た目や配置から情報を取り出す作業を評価に取り込みます。専門家が普段行う仕事を基にし、単に質問へ答えるだけでなく、複数の工程を進める課題を用意しました。建築や生物学など異なる分野を含むため、ひとつの文書形式への適応だけでは足りない設計です。モデル発表に付随する性能紹介と、業務を測る評価手法の公開を分けて見ることができます。 200課題と同じ実行環境で比較する 評価セットは10業種、83職種の専門家と作った200課題です。熟練者が3〜8時間かける仕事を想定し、入力ファイルと指示、採点基準を組み合わせます。基準はおよそ70の二択項目で、事実の正確さを75%、視覚的な設計を25%の重みとします。全モデルは共通のオープンソース実行環境Stirrupを使います。道具、隔離環境、ターン数の条件もそろえます。採点にはGoogle以外のモデルを基にしたエージェントを使い、専門家との一致率は96%だったと報告しています。本評価の200課題は流出を防ぐため非公開で運用します。一方、形式を確認できる10課題をHugging Faceで公開しました。導入を検討する側は、試せる課題と継続して比較される本評価を区別する必要があります。視覚的に整った出力の中に計算や読取りの誤りがないかを、成果物そのものから確かめる工程が重要です。 成果物の検査と自社課題の対応が焦点 原文ではCarbonが品質で2位、最上位モデルより平均費用が6分の1になったと報告しています。これは同じ評価内の比較であり、社内のあらゆる処理の費用比ではありません。各モデルが使うターン数にも大きな差があり、正答率だけでは運用負担を説明できない可能性があります。業務へ適用する際は、対象ファイルの複雑さと採点基準が自社の仕事を表しているかが論点です。計算式の検査、ページの描画、図の読解を分けて確かめると、失敗の原因を整理しやすいと見られます。自動採点と人の評価が一致しない部分も残るため、重要な成果物には確認工程が必要になる可能性があります。公開課題の結果を非公開セットの成績と同一視せず、条件を記録して比較することが判断点です。実行環境を自社用に変更した場合も、公開順位との条件の差を示す必要があります。