生活時間調査と3,995人の意向調査を基に、育児、買い物、行政手続きなどの評価課題を設計しました。会話の回答だけでなく、行動を伴う支援の進歩を測ります。 個別課題の最高記録と、自分の業務で安定して完了する割合を分けることが焦点です。実行権限や本人確認を含めた運用評価が論点になります。 生活時間と利用者の希望から課題を設計 OpenAIは11月2日、日常生活の課題におけるAIの進歩を測るLifeValを発表しました。出発点は、米国と各国の生活時間を扱う既存の調査です。何に時間を使うかに加え、個人向けアシスタントに何を任せたいかを調べました。新たに実施した調査では、人口構成を代表する3,995人から意向を集めています。その結果を介護や育児、教育、家事管理、買い物、行政サービスなどの課題へ落とし込みました。同社は過去1年間、こうした日常課題をモデルの改善と進歩の追跡に用いたと説明しています。知識の正答だけでなく、生活の用事を進める能力を測る取り組みです。 予約や比較の先まで進める支援を評価 発表では、転居後の幼稚園選びや地域の洪水対策の調整などを例示しています。利用者の条件を読み取り、情報を比較し、次の行動へつなぐ場面です。商品を探して購入へ進む課題や、車の点検予約も含まれています。これらは検索結果を説明するだけでは完了しにくい作業です。ブラウザー操作、コンピューター操作、接続先の利用が組み合わさります。対象となるのは、個人向けサービスの開発者や、生活支援の窓口を設計する組織と見られます。原文の表はGPT-6 Astraの課題別の最高記録を示しています。高い数値があっても、すべての利用者や地域で同じ結果が出ることを意味しません。利用条件や外部サービスの違いを含め、自分の対象業務で確かめる必要があります。 実行範囲と完了確認を運用に組み込む 導入判断では、モデルの点数だけでなく、どこまで本人に代わって実行するかが論点になります。候補を提示する段階と、予約や購入を確定する段階では、求める確認が異なると考えられます。外部サービスの情報が変化した場合や、条件が足りない場合の差し戻しも設計対象です。利用者の希望を聞き直せるか、操作の結果を確認できるかを評価へ加えることが考えられます。また、複数の接続先を使う支援では、権限の管理と操作記録を担う体制が必要になる可能性があります。費用を比べる際も、単発の応答だけでなく、完了までの操作回数や再試行を含めることが論点です。生活上の重要な判断を伴う用途では、利用者が結果と根拠を確認する手順が欠かせません。 公開された例と利用可能な機能を分ける LifeValの発表は評価の考え方と課題例を示すものです。掲載された作業が、あらゆる環境で直ちに利用できるとした発表ではありません。評価対象の条件と実際のサービスの提供範囲を照合することが次の判断点になります。同じ課題でも、利用できる接続先や必要な本人確認が変われば、完了までの経路は変わると見られます。開発側には、最高記録に加えて失敗の種類や人へ戻す条件を把握する視点が求められます。評価の前提を利用者へ伝えることも課題です。