公開資料をもとに組織構造、メール、会議などを合成し、業種別の業務を評価します。データ品質の内部指標は初期方式比39％改善したと報告しました。 内部の合成データ品質と実際の業務性能を分けて読むことが焦点です。再現可能な評価基盤と、残る多段階エージェント評価の課題が示されています。 機密情報を持ち込まず企業の複雑さを再現 Microsoft Researchは10月30日、Copilotの業種別評価に使うIndustry Evaluation Data Generation Platformを説明しました。実際の企業の組織構造や業務の複雑さを再現しつつ、顧客データを使わないことを設計の原則としています。O*NETの職業情報、公開求人、SECへの提出資料などを参考に、企業環境を合成します。対象は組織図だけでなく、利用者、会議、メール、文書などの関係です。一般的なベンチマークでは見つけにくい業務上の問題を調べる狙いがあります。環境の生成、評価質問の自動生成、構造化した品質確認を組み合わせています。製品の新しい利用機能ではなく、その品質を測る内部基盤についての報告です。 会議要約や組織内検索の検証を支える 影響を受けるのは、会議の要約、担当者の行動項目の抽出、組織内情報の検索などを評価する開発チームと見られます。合成した環境では、複数の人や文書の関係を含む質問を繰り返し試せます。Microsoftは現在、3つの業種にまたがり、各環境に数百人の利用者と通信履歴を含むと説明しています。内部の複合品質指標は、初期の生成方式に比べ39％改善したとしています。ただしこれは合成データの構造や文脈、統計的な忠実さを測る指標です。Copilotの回答精度が同じ割合で改善したという意味ではありません。データセットは社内の共有カタログで再利用されています。評価担当者には、共通基盤で条件をそろえた比較がしやすくなる一方、自社の業務を十分に再現しているかを確かめる課題が残ると見られます。 再現性と現実への近さを別々に確認 同社は、公開データの事前確認、由来の追跡、安全性の自動確認を組み込んだと説明しています。生成内容には顧客データを入力せず、個人を特定する情報や有害な内容を除く設計です。自動化により手作業で数日かかった評価データ作成を改善し、同じ設定から同じ結果を再生成できるとしています。実務上は、再現できることと実際の利用を代表することを分けるのが論点になります。合成環境の品質が高くても、現場の例外や時間による変化を十分に扱えるとは限りません。同社も複数ターンの対話、数か月以上にわたる組織変化、操作を伴うエージェントの評価を今後の課題に挙げています。導入判断では、内部指標の改善に加え、どの業務の失敗を発見できたかを確認することが次の材料になると見られます。評価データの由来と生成条件を残すことも、その比較を支える要素になります。