利用多层存储扩展人工智能推理能力

想想你的推理系统有多少效率低下是由于重复计算已经处理过的上下文造成的。许多人工智能基础设施建设者都知道，在测试环境中，重新计算上下文的成本相对来说微不足道。提示简短，会话时间有限，表现可预测。

但生产情况就不同了。规模扩大后，效率低下会迅速累积，导致成本、延迟和利用率方面的问题。这就是我们在与 SK 海力士的最新研究合作中着手解决的问题。

Seagate 在硬盘领域的专长与 SK hynix 在内存和 NAND 闪存 SSD 领域的领先优势相结合，该研究探讨了扩展推理工作负载时的系统级权衡，并展示了多层级 SSD 和硬盘架构如何成为实现成功的基础。

转向能动性改变了数学

标准推理是事务性的。请求进来，响应发出，一切就此结束。代理工作负载并非如此运作。他们推动国家向前发展。交互过程中会不断积累上下文信息，每个新请求都建立在之前请求的基础上。

与传统聊天机器人相比，智能体人工智能生成的令牌数量最多可达其 15 倍¹，这从根本上改变了系统需要执行的操作。它不再仅仅是生成新的令牌。它必须决定保留多少先前的工作成果，以及从头开始重建多少工作成果。

KV缓存成为限制因素

键值 (KV) 缓存存储先前标记的中间表示，因此模型不会在每次请求时重新计算它们。初期效果很好。限制因素是容量。

NVIDIA H100 GPU 配备 80GB 高带宽内存，足以存储大约 1.2 分钟的 KV 缓存。一台配备 1TB CPU 内存的服务器可以将时间延长到大约 16 分钟。两者都无法解决会话持续数小时、数天甚至数周的多轮代理工作流程。

当内存被填满时，系统必须清除较旧的上下文。当该上下文再次变得相关时（在代理工作负载中，这种情况通常会发生），系统会重新计算它。这导致获得第一个代币的时间不断延长，GPU 利用率不断上升，但有效产出却没有增加，即使需求看起来平稳，成本也会不断上升。

增加 DRAM 容量可以争取时间，但并不能解决根本问题。系统仍然受限于内存，随着工作负载的增加，压力也会增加。

将上下文视为持久状态

我认为方法从这里开始发生变化。与其将 KV 缓存视为内存密集型优化，不如将其视为一种持久状态，该状态可以在推理周期中保留、检索和重用。

实际上，这意味着分层存储。热上下文会驻留在内存中，靠近GPU。SSD 提供缓冲层，用于快速检索和数据放置；而硬盘阵列则支撑对象存储系统，以远低于全闪存的成本提供持久的容量，以保留数天或数周的上下文信息。

真正的转变在于 KV 缓存不再局限于内存。现在，可以通过分层存储资源进行管理，这些资源可以扩展容量，从而使推理系统能够保留更多先前的工作，并减少源头的重新计算。

我们与 SK 海力士密切合作，使用 NVIDIA Dynamo 对混合 SSD 和硬盘配置进行了基准测试。我们发现，这种影响在基础设施团队关注的每个指标上都是可以衡量的：首次令牌生成时间 (TTFT)、吞吐量、GPU 利用率和成本。

虽然测试环境反映了受控条件，但在实际部署中，由于会话时间更长、数据集更大，重复计算的影响会更加明显。我们共同努力的全部成果——跨存储层和架构规范的成本建模——已在白皮书中详细阐述。

与再生储能相比，混合储能可将 TTFT 提高 95%。

只有当存储直接集成到推理堆栈中时，此解决方案才有效。要实现这一点，在存储和 GPU 内存之间大规模移动 KV 缓存数据，而不出现 CPU 瓶颈或引入新的延迟，需要专门构建的基础设施，而不是改造通用硬件。

对象存储作为人工智能的记录系统

我认为我们与 SK 海力士的合作反映了一种更广泛的架构转变，这种转变已经开始。随着推理引擎变得越来越有状态，内存和存储之间的界限开始变得模糊。

曾经短暂的上下文逐渐变成持久状态——跨层管理并随时间保留。在该模型中，存储不仅支持推理，还定义了如何保留和访问上下文，这与现代人工智能基础设施以对象存储作为记录系统的趋势相一致。

如果您的团队正在就大规模推理的架构做出决策，我建议您阅读这份白皮书，其中概述了在定义系统时评估这些权衡所需的基准、分层方法和成本模型。

在此阅读白皮书：利用混合存储实现大规模推理，以进行 KV 缓存卸载。

¹ 隆重推出 Nemotron 3 Super：用于智能推理的开放式混合 Mamba-Transformer MoE，NVIDIA，2026 年 3 月 11 日。第 3 页.