重みとKVキャッシュの圧縮、CPUや共有ストレージへの退避、RAG索引の配置を組み合わせます。容量だけでなく帯域と再利用を含む設計です。 公表した最大30倍は特定の構成と負荷でのドル当たり処理量です。量子化後の品質、退避と復帰の遅延、周辺設備の費用が論点です。 モデルと会話履歴がHBMを取り合う NVIDIAは11月5日、AI推論のメモリ制約へ対応する設計を解説しました。大きなモデル、長い入力、繰り返すツール呼び出しで、GPUの高速メモリHBMへの負担が増えるという内容です。HBMにはモデルの重みと、過去の文脈を保持するKVキャッシュが置かれます。容量を増やしても、帯域が足りなければ必要な速度でデータを供給できません。同社はGPU、CPU、通信、ストレージ、ソフトウェアを共同設計する方法を示しています。新しいメモリ製品だけの発表ではなく、既存の構成要素をどこに配置し、どう使い直すかを説明する記事です。 圧縮と退避と検索索引の配置を組み合わせる 重みの容量にはNVFP4による圧縮と、NVL72内のGPUへの分散を使います。KVキャッシュも圧縮し、使っていない文脈を低費用の層へ退避させます。VeraのCPUメモリは一時的な置き場所となり、Dynamoは共有のCMXへ文脈を移して再使用前に戻す構成です。Dynamoの再利用機能は、GPU、CPU、ストレージをまたぐキャッシュを管理します。RAGでは、文書の検索索引をCPUとストレージ側に置き、必要な文章だけをモデルへ渡します。対象は多数の利用者に推論を提供する基盤担当者と見られます。各層の役割が異なるため、安い保存先へ全部移せばよいわけではありません。応答が必要になる前にデータを戻すことと、同じ内容を何度も計算しないことが性能を左右する設計です。 最大倍率の前提を費用評価に残す 同社はSemiAnalysis AgentXのDeepSeek V4 Pro負荷で、Vera Rubin NVL72のドル当たり処理量がGB300 NVL72比で最大30倍と説明しています。その比較では利用者一人当たり毎秒125トークンという条件があります。GPU当たりのHBM増加は約3%としていますが、メモリだけの変更で倍率が生まれたという意味ではありません。導入では圧縮の品質、文脈を戻す遅延、同時利用者数を含めて評価することが論点です。共有ストレージや通信の費用と運用も必要になると見られます。長期保管用のデータ保護と短命なキャッシュは役割が異なり、保存先の選択にも影響します。自社の入力長や待ち時間に合う条件で、許される応答速度を守りながら完了する仕事量を測ることが考えられます。 退避した文脈の再利用を負荷試験へ含める 会話が中断してから再開するまでの間隔は、用途によって変わります。次の試験では、短い待ちと長い待ちを混ぜ、必要な文脈が戻るまでの時間を測ることが考えられます。キャッシュの利用率だけでなく、利用者に見える待ち時間と誤差のない応答を確認する必要があると見られます。各層の容量が余っていても、移動が集中すれば別の制約が生まれる可能性があります。実際の会話の流れを再現して設計を選ぶことが焦点です。待ち時間の分布も比較対象です。