推論システムの非効率性のうち、どれほどが処理済みのコンテキストの再計算に起因しているのか、考えてみてください。多くのAIインフラストラクチャ構築者は、テスト環境ではコンテキストを再計算するコストが比較的軽微であることを認識しています。プロンプトは短く、セッションは限られており、パフォーマンスは予測可能だからです。
しかし、本番環境では事情が異なります。規模が大きくなると、非効率性はすぐにコスト、遅延、利用率の問題につながります。SeagateがSK hynixとの最近の共同研究で取り組んだのは、まさにこの問題でした。
Seagateのハードディスク・ドライブに関する専門知識と、SK hynixのメモリおよびNANDフラッシュSSDにおけるリーダーシップが統合された本研究では、推論ワークロードのスケーリングにおけるシステムレベルのトレードオフを検証するとともに、SSDとハードディスク・ドライブの多層型アーキテクチャが成功の基盤となることを実証しています。
エージェント型への転換がもたらす変化
標準的なトランザクション型推論では、リクエストが届き、回答が送信され、白紙状態に戻ります。エージェント型ワークロードの場合、そのような仕組みでは機能せず、状態が保持されます。コンテキストはやり取りを通じて蓄積され、新しいリクエストは毎回、それまでのやり取りに基づいて処理されていきます。
従来のチャットボットと比較して、エージェント型AIは最大15倍のトークン1 を生成するため、システムに求められる役割が根本的に変わります。もはや単に新しいトークンを生成するだけではなく、これまでの作業をどの程度保持し、どの程度ゼロから作り直すかを決定しなければなりません。
KVキャッシュが制約に
Key-Value (KV) キャッシュには、以前のトークンの中間表現が格納されるため、モデルはリクエストのたびにそれらを再計算する必要がありません。最初のうちはそれでうまくいきますが、容量という制限が立ちはだかります。
NVIDIA H100 GPUには80GBの高帯域幅メモリが搭載されており、これは約1.2分間のKVキャッシュを格納するのに十分な容量です。CPUメモリが1TBのサーバーでは、その時間が約16分まで延びます。いずれの場合も、セッションが数時間、数日、あるいは数週間にわたって続く、複数のターンを伴うエージェント型ワークフローには到底対応できません。
メモリが満杯になると、システムは古いコンテキストを削除しなければなりません。そのコンテキストが再び必要になった場合（エージェント型ワークロードでは通常そうなります）、システムはそれを再計算することになります。その結果、最初のトークンが発行されるまでの時間が長くなり、有用な出力が一切増加しないにもかかわらずGPUの使用率が上昇し、需要が横ばいのように見えてもコストが増え続けます。
DRAMを増設すれば時間的余裕は生まれますが、根本的な問題は解決されません。このシステムは依然としてメモリの制約を受けており、ワークロードの拡大に伴い負荷が高まっています。
コンテキストを永続的な状態として扱う
そのアプローチに、変化の兆しが見え始めています。KVキャッシュをメモリ制約型の最適化として扱うのではなく、推論サイクルを超えて保持、取得、再利用される永続的な状態として捉えることもできます。
実際には、これは階層型ストレージを意味します。頻繁にアクセスされるコンテキストは、GPUに近いメモリ内に保持されます。SSDが高速なデータ取得や書き込みのためのバッファ層として機能するのに対し、ハードディスク・ドライブ・フリートはオブジェクト・ストレージ・システムを支えます。このシステムは、オールフラッシュのわずか数分の1のコストで、数日あるいは数週間にわたるコンテキストを保持するために必要な耐久性の高い容量を提供できます。
真の変化は、KVキャッシュがもはやメモリ内に限定されなくなったという点にあります。容量の拡張が可能な階層化されたストレージ・リソース群全体でKVキャッシュを管理できるようになったことで、推論システムは過去の処理結果をより多く保持し、ソースに基づく再計算を削減できるようになりました。
SeagateはSK hynixと緊密に連携しながら、SSDとハードディスク・ドライブのハイブリッドで構成されNVIDIA Dynamoを使用して、ベンチマーク・テストを実施しました。その結果、Time to First Token (TTFT)、スループット、GPU使用率、コストなど、インフラストラクチャ・チームにとって重要なあらゆる指標でその効果を測定できることがわかりました。
テスト環境では条件が制御されていますが、実際の運用環境ではこの効果はさらに顕著になります。セッション時間が長くなり、データセットも大規模になるため、再計算の負荷がさらに増大するからです。共同研究の全成果（さまざまなストレージ階層およびアーキテクチャ仕様にわたるコストモデリング）については、ホワイト・ペーパーに詳しく記載されています。
ハイブリッド・ストレージでは、再生成と比較してTTFTが95％短縮。
このソリューションは、ストレージが推論スタックに直接統合されている場合にのみ機能します。大規模な処理においてもCPUのボトルネックや新たなレイテンシを発生させたりすることなく、ストレージとGPUメモリの間でKVキャッシュ・データを移動させるには、汎用ハードウェアを改造するのではなく、専用のインフラストラクチャを導入する必要があります。
AI向け記録システムとしてのオブジェクト・ストレージ
SeagateとSK hynixの取り組みは、すでに進行中の、より広範なアーキテクチャの変革を反映していると考えられます。推論エンジンがますますステートフルになるにつれて、メモリとストレージの境界は曖昧になり始めています。
かつては一時的なコンテキストであったものが、ますます永続的な状態となり、各層にわたって管理され、長期間保持されるようになっています。このモデルでは、ストレージは単に推論をサポートするだけでなく、コンテキストの保持方法やアクセス方法を定義する役割も担っています。このことは、最新のAIインフラストラクチャ向け記録システムとしてのオブジェクト・ストレージへの移行という、現在の潮流と合致しています。
チームで大規模な推論に向けたアーキテクチャ設計に関する意思決定を行おうとしている方は、ぜひホワイト・ペーパーをご一読ください。システムを定義する際にこうしたトレードオフを評価するために必要なベンチマーク、階層化アプローチ、コスト・モデルについて概説しています。
ホワイト・ペーパーはこちら：『ハイブリッド・ストレージによるKVキャッシュのオフロードを通じた大規模推論の実現 』
1 『Introducing Nemotron 3 Super: An Open Hybrid Mamba-Transformer MoE for Agentic Reasoning 』、NVIDIA、2026年3月11日。3ページ。
