AWSはi14の線形注意モデルをTrainium2へ移した事例を公開しました。文脈長によらず一定の状態を保つ構成と、学習・推論の測定結果を示しています。 長時間動くエージェントではメモリーの増え方が費用に影響します。固定した状態へ圧縮する利点と、過去の情報を取り出す品質を合わせた評価が必要です。 長い文脈で増える状態を一定にする AWSは10月20日、i14のLaplace 3BをTrainium2で学習し、提供する取り組みを紹介しました。一般的な注意機構で増えるKVキャッシュに対し、線形注意を使って文脈を固定サイズの状態へ圧縮するモデルです。状態は系列ごとに29.5MBで、文脈長に依存しないと説明しています。GPU向けの実装を、TorchNeuron Nativeを通じたPyTorchの構成へ移しました。既存モデルをそのまま移動するだけでなく、演算やコンパイルに合わせた変更を含む技術事例です。推論状態を予測しやすくする一方、過去の情報をどこまで保持できるかは、別途評価する必要があると原文も示しています。 同時実行と検索品質の関係を確かめる AWSは単一のtrn2.48xlargeで、学習を毎秒約12万トークン、推論を1280系列の同時実行で毎秒11544出力トークンと報告しています。これらは記載されたモデルと実行条件での値です。影響を受けるのは、長い文書を扱うサービスや、過去の履歴を持ち続けるエージェントの開発者です。状態が増え続けなければ、同時に処理する件数や費用を計画しやすくなる可能性があります。ただし、履歴を圧縮する仕組みでは、細かい情報をそのまま残す場合とは特性が異なります。長い会話の前半にある制約や、特定の数字を後で参照できるかを、業務に沿って測ることが論点です。処理量が高いだけでは、回答の品質が同等とは判断できません。長い文脈の試験には、単に入力を長くするだけでなく、途中で制約が変わる例も含める必要があります。古い情報と新しい指示の区別が、実際のタスクの完了に影響すると考えられます。 移植作業と提供費用を含めて比較する 導入評価では、学習や推論の速度に加え、実装の変更、コンパイル、検証にかかる時間を含めることが論点です。原文にはカーネルの置き換えや計算の展開など、アクセラレーターへ適応する作業が示されています。費用は公表されたスループットだけから一律に計算できません。処理の長さ、同時実行数、稼働率が変わると、実際の単位費用も変わる可能性があります。既存のモデルと比較する場合は、同じデータと品質条件で、応答の遅延や状態の使用量を測る必要があります。次の判断点は、固定サイズの状態という利点が、自社の長期タスクでも有用な情報を保てるかです。特定の実行結果を、すべてのモデルや業務に適用できる一般的な性能保証とは区別して扱います。学習条件と推論条件の違いも比較の前提です。測定に使った同時実行数を自社の需要と照らすことで、利用率が低い時間帯の費用も見積もりやすくなります。