sleep frameworkは入力を扱う段階と、知識を重みに定着させる段階を交互に設けます。継続翻訳、長文の理解、数学などの研究評価を報告しました。 知識の更新と過去の能力の維持を同時に測ることが焦点です。研究上の仕組みを、現在の一般向けサービスの機能と混同しない必要があります。 固定された知識と忘却の問題に取り組む Google Researchは10月27日、大規模言語モデルの継続学習にsleep phaseを導入する研究を紹介しました。モデルは事前学習後の知識が固定されやすく、文脈内で得た情報も会話が終わると残りません。一方で、新しいデータで重みを更新すると、以前の能力を損なう破滅的忘却が問題になります。提案は、入力と対話を扱う活動段階と、入力を止めて記憶を定着させる段階を交互に設けます。脳の睡眠になぞらえた呼び名ですが、構成と学習規則は人が定めると明記しています。モデルが自分のコードや設計を自由に変えるという意味ではありません。新しい知識を取り込み、過去の能力も維持するために、学習と推論の境界を見直す研究です。 文脈の記憶を長期のパラメーターへ移す 休止中には、あらかじめ用意されたMoEの記憶用の部品を有効にし、短期の情報を長期の重みへ移す仕組みです。知識の定着と、生成した練習例による能力の改善を組み合わせます。活動段階で受けた情報を単に全文保存するのではなく、学習上の意味を残す方向を選ぶと説明しています。研究評価では、未学習の言語を順次学ぶ翻訳、長い文脈の理解、事実知識の追加、数学的推論を扱っています。BABILongでは最大1,000万トークンの条件まで調べています。この値は一般向け製品の入力上限を告知するものではありません。文脈の情報をパラメーターへまとめる手法の評価条件です。長期に使う業務エージェントや、変化する資料を学ぶ仕組みへの応用が考えられますが、現場への効果は追加の検証が必要です。 更新する知識の選別と検証が運用の課題 運用を考えると、何を長期記憶に残し、何を残さないかが大きな論点になります。入力に誤りや機密情報があれば、知識を定着させる利点と同じ仕組みが、訂正や削除の難しさにつながる可能性があります。学習前後の知識を記録し、古い能力と新しい情報の両方を試す体制が必要と見られます。また、休止中の計算、追加される記憶の容量、モデルを更新する頻度も費用に関係します。研究結果を読む際は、比較対象、学習課題、評価指標を揃えることが重要です。長文の試験で良い結果が出たことだけから、あらゆる事実を正しく覚え続けるとは判断できません。自社で応用を検討する場合は、既存の検索による参照と、重みに知識を取り込む方法を比較し、更新の追跡と取消しまで含めて選ぶことが焦点になります。利用者ごとの知識を扱う場合は、別の利用者へ情報が混ざらない条件も必要と見られます。研究上の性能とは別に、記憶の境界を試す課題です。