Oferece acesso a treinamento sobre produtos, recursos de vendas e marketing, registro de negócio e muito mais para nossos VARs, integradores, revendedores e outros parceiros do canal de distribuição.
Considere quanta ineficiência do seu sistema de inferência provém da recomputação do contexto que ele já processou. Muitos desenvolvedores de infraestrutura de IA sabem que, em ambientes de teste, o custo de recomputar o contexto é relativamente insignificante. As instruções são breves, as sessões são concisas e o desempenho é previsível.
Mas em produção é diferente. Em grande escala, a ineficiência se transforma rapidamente em desafios relacionados a custos, latência e utilização. Foi isso que nos propusemos a abordar em nossa mais recente colaboração de pesquisa com a SK hynix.
Unindo a experiência da Seagate em discos rígidos e a liderança da SK hynix em memória e SSDs flash NAND, a pesquisa explora as vantagens e desvantagens no nível de sistema da escalabilidade de cargas de trabalho de inferência e demonstra como as arquiteturas de SSD e disco rígido de várias camadas são fundamentais para o sucesso.
A alteração para agêntica muda a matemática
A inferência padrão é transacional. Uma solicitação é recebida, uma resposta é enviada e tudo se resolve. As cargas de trabalho agênticas não funcionam dessa maneira. Elas fazem o estado avançar. O contexto se acumula ao longo da interação, e cada nova solicitação se baseia no que veio antes.
Em comparação com chatbots convencionais, a IA agêntica gera até 15 vezes mais tokens1, o que muda fundamentalmente o que o sistema tem que fazer. Não se trata mais apenas de gerar novos tokens. É preciso decidir quanto do trabalho anterior será mantido e quanto será refeito do zero.
Onde o cache KV se torna a restrição
O cache de chave-valor (KV) armazena representações intermediárias de tokens anteriores, de modo que o modelo não os recompute a cada solicitação. No início, funciona bem. A limitação é a capacidade.
Uma GPU NVIDIA H100 possui 80 GB de memória de alta largura de banda, o que é suficiente para armazenar aproximadamente 1,2 minuto de cache KV. Um servidor com 1 TB de memória de CPU estende esse tempo para cerca de 16 minutos. Nenhuma das duas chega perto de dar conta de um fluxo de trabalho agêntico de múltiplas etapas, onde as sessões duram horas, dias ou semanas.
Quando essa memória se esgota, o sistema precisa remover o contexto mais antigo. Quando esse contexto volta a ser relevante (e em cargas de trabalho agênticas, isso geralmente acontece), o sistema o recomputa. Isso resulta em um aumento no tempo necessário para obter o primeiro token, aumento na utilização da GPU sem qualquer aumento na produção útil e custos variáveis, mesmo quando a demanda parece estável.
Adicionar mais DRAM ganha tempo, mas não resolve o problema subjacente. O sistema ainda está limitado pela memória e a pressão aumenta à medida que as cargas de trabalho se expandem.
Tratar o contexto como um estado persistente
É aqui que eu vejo a abordagem começar a mudar. Em vez de tratar o cache KV como uma otimização limitada pela memória, ele pode ser visto como um estado persistente que é retido, recuperado e reutilizado ao longo dos ciclos de inferência.
Na prática, isso significa armazenamento em camadas. O contexto ativo permanece na memória, próximo à GPU. Os SSDs fornecem uma camada de buffer para recuperação e armazenamento rápidos de dados, enquanto conjuntos de discos rígidos sustentam sistemas de armazenamento de objetos que oferecem a capacidade durável necessária para reter dias ou semanas de contexto a uma fração do custo de sistemas totalmente flash.
A verdadeira mudança é que o cache KV não está mais confinado à memória. Em vez disso, agora pode ser gerenciado em um conjunto hierárquico de recursos de armazenamento que podem expandir a capacidade, permitindo que os sistemas de inferência retenham mais trabalho anterior e reduzam a recomputação na origem.
Em estreita colaboração com a SK hynix, realizamos testes de benchmark utilizando o NVIDIA Dynamo com uma configuração híbrida de SSD e disco rígido. Constatamos que o impacto foi mensurável em todas as métricas importantes para as equipes de infraestrutura: tempo até o primeiro token (TTFT), taxa de transferência, utilização de GPU e custo.
Embora o ambiente de teste reflita condições controladas, o impacto é ainda mais pronunciado em implantações no mundo real, onde sessões mais longas e conjuntos de dados maiores amplificam a recomputação. Os resultados completos do nosso trabalho conjunto — modelagem de custos em diferentes camadas de armazenamento e especificações de arquitetura — estão detalhados no whitepaper.
O armazenamento híbrido proporciona uma melhoria de 95% no TTFT em comparação com a regeneração.
Essa solução só funciona quando o armazenamento está integrado diretamente na pilha de inferência. Para isso, mover dados de cache KV entre o armazenamento e a memória da GPU sem gargalos de CPU em grande escala ou introduzir nova latência requer uma infraestrutura construída especificamente para esse fim, e não a adaptação de hardware de uso geral.
Armazenamento de objetos como sistema de registro para IA
Acredito que nosso trabalho com a SK hynix reflete uma mudança arquitetônica mais ampla que já está em curso. À medida que os mecanismos de inferência se tornam mais orientados a estados, a fronteira entre memória e armazenamento começa a ficar menos nítida.
O que antes era um contexto transitório torna-se cada vez mais um estado persistente — gerenciado em diferentes níveis e retido ao longo do tempo. Nesse modelo, o armazenamento não apenas dá suporte à inferência, mas define como o contexto é retido e acessado, alinhando-se à mudança em direção ao armazenamento de objetos como o sistema de registro para a infraestrutura moderna de IA.
Se sua equipe está tomando decisões sobre a arquitetura para inferência em grande escala, recomendo a leitura do whitepaper, que descreve os benchmarks, a abordagem de hierarquização e o modelo de custos necessários para avaliar essas compensações ao definir seu sistema.
