Ai2はLLMの選択結果に加え、説得を受けた際の判断変更を測る評価を公開しました。同じ理由でも、属性によって影響が異なる場合を調べます。 公平性の評価は最終回答の一致だけでは足りない可能性があります。定義の選択、説明文、判断の安定性を一緒に確認することが論点です。 同じ結論の裏にある判断の不均衡を調べる Ai2は2026年10月20日、FairStressを公開しました。人に影響する判断をLLMへ委ねる際の、属性による振る舞いの違いを測るベンチマークです。従来の評価では、条件を保ったまま属性を入れ替え、同じ候補を選ぶかを調べることが中心でした。今回の研究は、最初の結論が同じでも、説得を受けた後の変わりやすさに差が残る点へ着目しています。選択結果に加えて、判断を守る強さや説明の違いを検証する構成です。データとコードを公開し、評価環境のOlmo-evalにも組み込むとしています。公平性を単一の正答率で捉えるのではなく、対話の過程を含めて調べる試みです。 採用や教育などの選考を対話の中で評価 FairStressは二人の候補から選ぶ三〇〇の場面を用意し、二九の分野を扱います。採用、教育、住宅などを含み、明確に優れた候補がいる場合と、優劣が決めにくい場合を分けています。属性を直接示すだけでなく、名前などから間接的に伝える条件も設けました。判断を変えるよう促す文章には、権威や社会的な合意を使う例があります。同じ種類の理由で相手側を支持する文章も用意し、どちらの属性を支持するかによる差を調べます。影響を受けるのは、選考や優先順位付けを支援するシステムの開発・評価担当者と見られます。初回の出力が期待通りでも、追加の指示を受けた後まで同じ基準を維持できるかは別の確認対象です。原文は複数のモデル群で差を観測したと報告していますが、すべての利用場面に同じ差が出ると断定するものではありません。 評価の費用と公平性の定義を先に決める 属性や説得文を組み合わせた全体は一三〇〇万を超えるテストになります。計算負荷を抑えるため、五万項目のFairStress-Coreも用意しています。評価担当者には、まず小さな集合で傾向を把握し、必要な条件を掘り下げる方法が考えられます。ただし、項目を減らした結果だけで業務全体の妥当性を確定することはできません。原文は、同じ根拠に同じ基準を適用する対称的な公平性を採用すると明記しています。歴史的な不利益を考慮する立場など、すべての公平性の考え方を含むわけではありません。利用組織は、自らが評価したい基準とベンチマークの定義を対応付ける必要があると見られます。モデルの変更時には最終回答と説明、追加指示後の変化を一緒に比較し、差を発見した後の確認担当も決めることが実務上の論点になります。同じ場面でも会話の順番で差が出る可能性があるため、試験条件の保存も必要になると見られます。