GPUでの推論とCPUでのツール実行を往復する業務を対象に評価しました。パートナーによるコード実行、分析、サンドボックス起動の測定も紹介しています。 比較するCPUと電力上限で結果が変わります。個々の処理速度、同時実行数、電力当たりの仕事量を同じ条件で見ることが焦点です。 エージェントの待ち時間をCPUから見る NVIDIAは11月5日、Vera CPUによるエージェント処理の評価を公開しました。エージェントは文章を生成するだけでなく、検索、データベース照会、コードの実行とテストを行います。その過程でGPUの推論とCPUの処理を往復するため、CPUも応答時間と処理量を左右するという説明です。電力に上限のあるデータセンターでは、一件を速く終えることと、多数の仕事を同時に支えることを合わせて考えます。今回の発表はVeraの新規発売日を示すものではなく、同社の比較と利用企業の試験を紹介する内容です。性能値は、比較対象と用途に結び付けて読む必要があります。 一件の速さと同時処理の容量を比べる 同社は100メガワットのデータセンターを想定した比較を示しました。最速のx86 CPUとの比較では、電力当たりのエージェント数が1.6倍としています。最も電力効率の高いx86 CPUとの比較では、処理速度が2倍と説明しています。これは異なる比較対象による値であり、一つのCPUに対する二つの改善率とは限りません。パートナーの例では、Perplexityのコード作業、DeepInfraの処理調整、ClickHouseやDuckLabsの分析処理を紹介しています。Daytonaは多数のサンドボックス起動と同時処理を測り、Modalはコア当たりの処理量を比較しました。対象は、推論サーバーだけでなく、ツール実行の基盤や分析基盤を運営する事業者と見られます。個別の試験結果は用途ごとに分けて確認する材料です。 実際のツール実行で性能差を測る 導入時は、自社のエージェントがCPUを使う時間と、その間GPUが待つ時間を調べることが考えられます。短い処理を大量に起動する環境と、長い分析を続ける環境では、求める性能が異なる可能性があります。CPU単体の処理量だけでなく、完了した仕事の数、応答時間、電力を同じ負荷で比較することが論点です。原文の企業事例には、専用調整をしないバイナリの測定と、今後の本番配置計画が混在します。計画を既に全面稼働している実績と受け取らないことも重要です。移行費用を判断する際は、既存ソフトウェアの対応、周辺機器、運用手順の変更を含める必要があると見られます。発表の倍率だけで設備を決めず、実際の道具と並列数を再現した比較が次の判断点になります。 混雑時にも完了までの時間を測る 平均の処理量が高くても、一部の仕事が長く待てば利用者の体験は変わる可能性があります。次の評価では、CPUの仕事が集中する時間帯と、外部の道具が遅い場面を分けることが考えられます。どこを速くすれば全体が改善するかが分かれば、設備を替える効果を判断しやすくなります。Veraについての公表値は比較の出発点です。既存環境の記録と同じ仕事を使い、完了時間と電力の両方を確認することが焦点になります。混雑した時間帯も評価対象です。