Fornisce accesso a formazione sui prodotti, risorse di vendita e marketing, registrazione degli accordi e molto altro contenuto riservato a rivenditori a valore aggiunto, integratori, rivenditori e altri partner di canale.
Considera quanta parte dell'inefficienza del tuo sistema di inferenza deriva dal ricalcolare il contesto che ha già elaborato. Molti sviluppatori di infrastrutture per l'IA sanno che negli ambienti di test il costo del ricalcolo del contesto è relativamente irrilevante. Le istruzioni sono brevi, le sessioni sono circoscritte e le prestazioni sono prevedibili.
Ma la produzione è diversa. Su larga scala, l'inefficienza si moltiplica rapidamente, trasformandosi in problemi di costi, latenza e utilizzo. È proprio questo l'obiettivo che ci siamo prefissati di raggiungere nella nostra ultima collaborazione di ricerca con SK Hynix.
Unendo l'esperienza di Seagate nel settore degli hard disk alla leadership di SK hynix nelle memorie e nelle unità SSD flash NAND, la ricerca esplora i compromessi a livello di sistema nella scalabilità dei carichi di lavoro di inferenza e dimostra come le architetture multilivello per SSD e hard disk siano fondamentali per il successo.
Il passaggio all'agenzia cambia la matematica
L'inferenza standard è transazionale. Arriva una richiesta, viene inviata una risposta e tutto si azzera. I carichi di lavoro agentici non funzionano in questo modo. Essi portano avanti lo Stato. Il contesto si accumula nel corso delle interazioni e ogni nuova richiesta si basa su quanto accaduto in precedenza.
Rispetto ai chatbot convenzionali, l'IA agentica genera fino a 15 volte più token1, il che cambia radicalmente ciò che il sistema deve fare. Non si tratta più solo di generare nuovi token. Bisogna decidere quanta parte del lavoro preesistente conservare e quanta ricostruire da zero.
Dove la cache KV diventa il vincolo
La cache chiave-valore (KV) memorizza le rappresentazioni intermedie dei token precedenti, in modo che il modello non li ricalcoli a ogni richiesta. Inizialmente funziona bene. Il limite è la capacità.
Una GPU NVIDIA H100 dispone di 80 GB di memoria ad alta larghezza di banda, sufficienti per contenere circa 1,2 minuti di cache KV. Un server con 1 TB di memoria CPU estende questo tempo a circa 16 minuti. Nessuna delle due soluzioni si avvicina minimamente a gestire un flusso di lavoro agentico a più turni in cui le sessioni si protraggono per ore, giorni o settimane.
Quando quella memoria si riempie, il sistema deve eliminare il contesto precedente. Quando quel contesto torna a essere rilevante (e nei carichi di lavoro che coinvolgono agenti, di solito accade), il sistema lo ricalcola. Ciò si traduce in un aumento del tempo necessario per ottenere il primo token, un incremento dell'utilizzo della GPU senza alcun aumento della produzione utile e costi variabili anche quando la domanda sembra stabile.
Aggiungere altra DRAM fa guadagnare tempo, ma non risolve il problema di fondo. Il sistema è ancora limitato dalla memoria e la pressione aumenta con l'aumentare dei carichi di lavoro.
Trattare il contesto come stato persistente
È qui che vedo l'approccio iniziare a cambiare. Anziché considerare la cache KV come un'ottimizzazione limitata dalla memoria, la si può vedere come uno stato persistente che viene conservato, recuperato e riutilizzato nei cicli di inferenza.
In pratica, ciò significa archiviazione a livelli. Il contesto attivo rimane in memoria, vicino alla GPU. Le unità SSD forniscono un livello di buffer per il recupero e il posizionamento rapido dei dati, mentre gruppi di dischi rigidi sono alla base dei sistemi di archiviazione a oggetti che offrono la capacità duratura necessaria per conservare il contesto per giorni o settimane a una frazione del costo delle soluzioni all-flash.
Il vero cambiamento consiste nel fatto che la cache KV non è più confinata alla memoria. Ora, invece, può essere gestito tramite un insieme di risorse di archiviazione a livelli che possono scalare la capacità, consentendo ai sistemi di inferenza di conservare più lavoro precedente e ridurre il ricalcolo alla fonte.
In stretta collaborazione con SK hynix, abbiamo condotto test di benchmark utilizzando NVIDIA Dynamo con una configurazione ibrida SSD e disco rigido. Abbiamo riscontrato che l'impatto era misurabile su ogni parametro rilevante per i team infrastrutturali: tempo di generazione del primo token (TTFT), throughput, utilizzo della GPU e costi.
Sebbene l'ambiente di test rifletta condizioni controllate, l'impatto è ancora più pronunciato nelle implementazioni reali, dove sessioni più lunghe e set di dati più ampi amplificano i ricalcoli. I risultati completi della nostra collaborazione, ovvero la modellazione dei costi per diversi livelli di storage e le specifiche architetturali, sono descritti in dettaglio nel white paper.
L'accumulo ibrido offre un miglioramento del 95% nel TTFT rispetto alla rigenerazione.
Questa soluzione funziona solo quando l'archiviazione è integrata direttamente nello stack di inferenza. Per fare ciò, spostare i dati della cache KV tra la memoria di archiviazione e la memoria GPU senza colli di bottiglia della CPU su larga scala o senza introdurre nuova latenza richiede un'infrastruttura appositamente progettata, non l'adattamento di hardware generico.
Archiviazione degli oggetti come sistema di registrazione per l'IA
Credo che la nostra collaborazione con SK Hynix rifletta un più ampio cambiamento architettonico già in atto. Man mano che i motori di inferenza diventano più incentrati sullo stato, il confine tra memoria e archiviazione inizia a sfumare.
Ciò che un tempo era un contesto transitorio si trasforma sempre più in uno stato persistente, gestito su più livelli e conservato nel tempo. In questo modello, l'archiviazione non si limita a supportare l'inferenza, ma definisce anche come il contesto viene conservato e consultato, allineandosi al passaggio all'archiviazione a oggetti come sistema di registrazione per le moderne infrastrutture di intelligenza artificiale.
Se il vostro team sta prendendo decisioni in merito all'architettura per l'inferenza su larga scala, vi incoraggio a leggere il white paper, che illustra i benchmark, l'approccio a livelli e il modello di costo necessari per valutare questi compromessi durante la definizione del sistema.
