Cohere Labsは文化固有の手掛かりを含む評価活動を紹介しました。50か国超の100人超が参加し、流暢な回答と文化的知識の差を調べています。 多言語対応の判定には翻訳の自然さだけでは足りません。地域の利用者が参加する評価と、誤答時の確信の強さを確認することが論点です。 流暢でも正しくない回答を文化の側から調べる Cohereは10月22日、文化的な手掛かりを含むなぞなぞでAIを評価する活動を紹介しました。Cohere Labsのオープンサイエンス活動として、多様な背景の参加者が問題を作り、回答を確かめています。出発点は、ハンガリーの文化や知識を踏まえた問いに、モデルが自然な文章で誤答した観察でした。英語中心の学習を経たモデルでは、言語が変わると推論の前提となる知識が足りない場合があります。発表は、新しい汎用モデルの性能順位ではなく、評価に必要な文化的知識と参加の方法を紹介する内容です。参加者が自分の文化に根差した問いを作るため、外から翻訳した問題では見えにくい前提を調べられます。言語の対応数だけでは捉えにくい問題を扱います。 各地域の知識を持つ人が問題と誤りを確認 原文では、50か国を超える100人以上の貢献者が参加したと説明しています。スポーツ、歴史、政治などの文化的な領域ごとに、なぞなぞ形式で問題を作りました。高校生や退職した教員も参加し、専門的なAI研究の経験を参加条件にしなかったとしています。影響を受けるのは多言語モデルの研究者や、地域向けにサービスを展開する企業です。単語を翻訳できても、問いに隠れた社会的な前提を理解できるとは限りません。参加者は、誤っているのに確信の強い回答が出る点も指摘しています。回答の文章の自然さ、文化的な正しさ、知識がない際の表現を分けて見る必要があると考えられます。発表は参加者の観察を紹介するもので、すべての言語やモデルに同じ傾向があると示したものではありません。 地域の評価者と不確実性の扱いを設計する 実務では、翻訳された既存テストだけで利用可能と判断せず、対象地域の知識を持つ人による確認を加えることが論点です。問い合わせ対応や教育向けの説明では、文化に固有の言い回しや前提が意味を変える可能性があります。正答率だけでなく、誤った回答をどの程度断定するかも確認する材料になります。判断できない場合に追加情報を求めるか、人へ引き継ぐかを業務に応じて決める方法が考えられます。一方、なぞなぞの結果だけで実際の業務全体の能力を評価することはできません。想定する質問の種類と利用者の背景を揃え、地域ごとに誤りを記録する必要があります。評価者の募集や継続参加の負担も含めて体制を整えることが重要です。文化的な知識を一度集めて終えるのではなく、利用後の指摘を次の検証へ戻す運用が判断点になります。問いの作成と回答の確認に異なる視点を入れることも検討できます。