思考推理系統的效率低下是由於重複計算已經處理的情境所造成。許多人工智慧基礎結構建構者都知道，測試環境重新計算情境的成本相對來說微不足道。提示簡短有力，工作階段時間有限，效能可預測。
但生產情況就不同了。規模擴大後，效率低下會迅速導致成本、延遲和利用率的問題。這就是我們在與 SK 海力士的最新研究合作時著手解決的問題。
該研究結合 Seagate 在硬碟的專業知識和 SK 海力士在記憶體和 NAND 快閃 SSD 的領先地位，探討擴充推理工作負載的系統級權衡，並展示多層 SSD 和硬碟架構如何成為成功的基礎。
轉而使用代理式方式改變了數學推理
標準推理如刻板工作。收到請求，發出回應，然後工作結束。代理工作負載的運作不同。他們可以推動國家向前發展。互動時會不斷累積情境資訊，每個新請求都建立在先前請求的基礎上。
與傳統聊天機器人相較，代理式人工智慧產生的字根數量最多可達 15 倍1，從根本上改變系統需要執行的操作，不再只是產生新的字根。它必須決定保留先前工作成果的程度，以及從頭開始重建工作成果的程度。
KV 快取成為限制因素
鍵值 (KV) 快取儲存先前字根的中間表示方式，因此模型不會在每次請求時重新計算。初期效果很好。但是容量會限制其效能。
NVIDIA H100 GPU 配備 80GB 高頻寬記憶體，足以儲存約 1.2 分鐘的 KV 快取。一台配備 1TB CPU 記憶體的伺服器會延長時間到大約 16 分鐘。兩者都無法解決工作階段持續數小時、數天甚至數週的多輪代理工作流程。
記憶體被填滿時，系統必須清除較舊的情境。該情境再次取用時（在代理工作負載中，這種情況通常會發生），系統會重新計算。這導致取得第一個字根的時間不斷延長，GPU 使用率不斷上升，但有效產出卻沒有增加，即使需求看似平穩，成本也會不斷上升。
增加 DRAM 容量可以爭取時間，但無法根本解決問題。系統仍然受限於記憶體容量，隨著工作負載的增加，壓力也會增加。
將情境視為持久狀態
我認為方法從此處開始改變。與其將 KV 快取視為記憶體密集型最佳化，不如視為持久狀態，該狀態可以在推理週期中保留、擷取和重複使用。
實際上，這代表分層儲存。熱情境會留在記憶體中，靠近 GPU。SSD 提供緩衝層，可以快速擷取和放置資料；而硬碟陣列則提供物件儲存系統支援，以遠比全快閃低的成本提供持久的容量，以保留數天甚至數週的情境資訊。
真正的轉變在於 KV 快取不再受限於記憶體。現在，可以透過分層儲存資源管理，這些資源可以擴充容量，讓推理系統得以保留更多先前的工作，並減少來源重新計算。
我們與 SK 海力士密切合作，使用 NVIDIA Dynamo，進行混合 SSD 和硬碟配置的基準測試。我們發現，基礎結構團隊重視的每個指標上都可以量化這種影響：首次字根產生時間 (TTFT)、吞吐量、GPU 使用率和成本。
雖然測試環境反映受控條件，但實際部署中，由於工作階段時間更長、資料集更大，重複計算的影響會更明顯。我們目標一致努力的完整成果——跨儲存層和架構規範的成本建模——已在白皮書中詳細闡述。
只有儲存直接整合到推理堆疊時，此解決方案才有效。要達成此目標，在儲存和 GPU 記憶體間大規模移動 KV 緩存資料，而不產生 CPU 瓶頸或出現新的延遲，需要專門構建的基礎結構，而非改造通用硬體。
物件儲存作為人工智慧的記錄系統
我認為我們與 SK 海力士的合作反映了更廣泛的架構轉變，這種轉變已然開始。隨著推理引擎變得更進入狀態，記憶體和儲存間的界限開始變得模糊。
曾經短暫的情境逐漸變成持久狀態──可以跨層管理並長時間保留。在該模型中，儲存不僅支援推理，還定義如何保留和存取情境，這與現代人工智慧基礎結構以物件儲存作為記錄系統的趨勢一致。
如果您的團隊正在就大規模推理的架構做出決策，我建議您詳讀這份白皮書，其中概述了定義系統時評估這些權衡所需的基準、分層方法和成本模型。
此處閱讀白皮書：利用混合儲存進行大規模推理，以進行 KV 快取卸載。
1 隆重介紹 Nemotron 3 Super：An Open Hybrid Mamba-Transformer MoE for Agentic Reasoning，NVIDIA，2026 年 3 月 11 日。Page 3.
