値の検索から、加算や変数間の受け渡しまで難度を分けて評価します。専用に訓練した再帰・ハイブリッド型の改善と、既存の先端モデルが長い更新列で崩れる結果を報告しました。 長い文書を読めることと、変更を最後まで正しく追えることを区別します。訓練条件と問題形式をそろえ、業務データの更新履歴で検証することが焦点です。 長い文書の中で変わる情報を追跡する試験 Ai2は11月3日、長い文脈で情報の状態変化を追うStateBenchを公開しました。コードの変数や、物語で移動する物と人物の関係などを想定した評価です。単に最新の記述を探せば済む課題と、過去の値を引き継いで更新する課題を分けます。従来の試験が難しい状態追跡へ偏りがちだったことを背景に、四つの難度で比較する構成です。研究はモデルの構造と訓練の両方を調べています。文書を入力できる長さだけでなく、その中の変化を保持できるかを測る狙いがあります。報告書、データ、コードも案内し、研究者が異なる方式を比較できる形にしています。 検索と累積、値の受け渡しを分けて比べる 最も単純な段階では値を一度設定するだけで、次の段階は値の上書きを扱います。さらに自分の現在値を使う加算などが入り、最も難しい段階では別の変数の値を渡す操作を加えます。比較条件をそろえるため、同じ変数と値、更新の位置を使い、操作の種類だけを変えています。先端モデルの試験ではGemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolとLunaを対象にしました。難しい更新では入力が長くなると精度が下がり、最長の一般有限問題では13％以下だったと報告しています。影響を受けるのは、長い履歴やコードを扱うモデルを選ぶ開発者と見られます。単純な情報検索で良い成績でも、変更の連鎖を正しく追えるとは限りません。 専用訓練の結果を既存モデルの能力と区別 研究では、2億7,500万パラメータのモデルを課題に直接訓練しています。学習は最大256回の代入で、試験は最大6万4,000回まで伸ばしました。再帰型とハイブリッド型は、簡単な段階や累積更新で長い列へ一般化しました。一方、最も難しい段階は方式によって限界が異なります。これは専用訓練を行った結果であり、既存のモデルをそのまま使った試験とは条件が違います。導入側では、モデルの構造名だけで性能を判断しないことが論点になります。問題の書式でも成績が変わるため、実務の記録に近い形で確かめる必要があると見られます。最終回答だけでなく、どの更新から誤ったかを追う仕組みも、障害の調査や評価に役立つ可能性があります。 新しい対象が増える履歴は今後の課題 StateBenchは変数の数が固定される前提です。実際の長い会話のように、途中で新しい人や物が増える状況はまだ扱っていません。数値精度や注意機構との組み合わせに関する理論上の問いも残っています。次の判断点は、公開された試験が自社の履歴のどの部分を測れるかです。長文への対応を示す一つの材料として使い、実際のデータや道具による補助まで含めて評価する必要があると見られます。単一の得点であらゆる業務への適性を決めないことが焦点です。