Biedt onze VAR's, integrators, wederverkopers en andere kanaalpartners toegang tot producttrainingen, sales- en marketingmateriaal, dealregistratie en nog meer.
Bedenk eens in hoeverre de inefficiëntie van uw inferentiesysteem voortkomt uit het opnieuw berekenen van context die het systeem al heeft verwerkt. Veel ontwikkelaars van AI-infrastructuur weten dat de kosten voor het opnieuw berekenen van de context in testomgevingen relatief verwaarloosbaar zijn. De prompts zijn kort, de sessies zijn overzichtelijk en de prestaties zijn voorspelbaar.
Maar bij de productie ligt dat anders. Op grote schaal leidt inefficiëntie al snel tot problemen op het gebied van kosten, vertraging en benuttingsgraad. Dit is precies wat wij willen aanpakken in ons meest recente onderzoeksproject in samenwerking met SK hynix.
Door de expertise van Seagate op het gebied van harde schijven te combineren met het leiderschap van SK hynix op het gebied van geheugen en NAND-flash-SSD’s, onderzoekt dit onderzoek de afwegingen op systeemniveau bij het opschalen van inferentiewerkbelastingen en laat het zien hoe architecturen met meerdere lagen van SSD’s en harde schijven de basis vormen voor succes.
Door de verschuiving naar agentic verandert de wiskunde
Standaard inferentie is transactioneel. Er komt een verzoek binnen, er wordt een antwoord verzonden en de lijst wordt gewist. Agentische werkbelastingen werken niet op die manier. Ze nemen de status mee naar de volgende fase. De context wordt tijdens de interactie opgebouwd, en elk nieuw verzoek bouwt voort op wat eraan voorafging.
In vergelijking met conventionele chatbots genereert agentische AI tot wel 15 keer meer tokens1, wat de taken van het systeem fundamenteel verandert. Het gaat niet langer alleen om het genereren van nieuwe tokens. Het moet beslissen in hoeverre het bestaande werk moet worden behouden en in hoeverre het geheel opnieuw moet worden opgebouwd.
Wanneer de KV-cache de beperkende factor wordt
Een key-value (KV)-cache slaat tussenliggende weergaven van eerdere tokens op, zodat het model deze niet bij elk verzoek opnieuw hoeft te berekenen. In het begin werkt het goed. De beperking ligt bij de capaciteit.
Een NVIDIA H100-GPU beschikt over 80 GB geheugen met hoge bandbreedte, wat voldoende is om ongeveer 1,2 minuut aan KV-cache op te slaan. Bij een server met 1 TB CPU-geheugen loopt die tijd op tot ongeveer 16 minuten. Geen van beide biedt komt ook maar in de buurt van een agentgebaseerde workflow met meerdere rondes, waarbij sessies uren, dagen of weken duren.
Wanneer dat geheugen vol raakt, moet het systeem oudere context verwijderen. Wanneer die context weer relevant wordt (en bij agentische werkbelastingen is dat meestal het geval), berekent het systeem deze opnieuw. Dit leidt tot een toename van de tijd die nodig is om het eerste token te genereren, een stijging van het GPU-gebruik zonder dat de nuttige output toeneemt, en oplopende kosten, zelfs wanneer de vraag stabiel lijkt te blijven.
Het toevoegen van meer DRAM levert weliswaar wat extra tijd op, maar lost het onderliggende probleem niet op. Het systeem wordt nog steeds beperkt door het geheugen en de druk neemt toe naarmate de werklast toeneemt.
Context behandelen als een permanente toestand
Dit is waar ik merk dat de aanpak begint te veranderen. In plaats van de KV-cache te beschouwen als een geheugengebonden optimalisatie, kan deze worden gezien als een permanente toestand die gedurende verschillende inferentiecycli wordt bewaard, opgehaald en hergebruikt.
In de praktijk komt dat neer op gelaagde opslag. De ‘hot context’ blijft in het geheugen opgeslagen, dicht bij de GPU. SSD’s bieden een bufferlaag voor het snel ophalen en opslaan van gegevens, terwijl groepen harde schijven de basis vormen voor objectopslagsystemen die de duurzame opslagcapaciteit bieden die nodig is om dagen of weken aan context te bewaren, tegen een fractie van de kosten van een volledig op flash gebaseerd systeem.
De echte verandering is dat de KV-cache niet langer beperkt blijft tot het geheugen. In plaats daarvan kan het nu worden beheerd via een gelaagde reeks opslagbronnen waarvan de capaciteit kan worden geschaald, waardoor inferentiesystemen meer eerder verricht werk kunnen bewaren en herberekeningen bij de bron kunnen beperken.
In nauwe samenwerking met SK hynix hebben wij benchmarktests uitgevoerd met behulp van NVIDIA Dynamo, waarbij gebruik werd gemaakt van een hybride configuratie van SSD’s en harde schijven. Wij hebben vastgesteld dat het effect meetbaar was op alle indicatoren die voor infrastructuurteams van belang zijn: tijd tot het eerste token (TTFT), doorvoercapaciteit, GPU-gebruik en kosten.
Hoewel de testomgeving gecontroleerde omstandigheden weerspiegelt, is het effect nog duidelijker merkbaar in praktijktoepassingen, waar langere sessies en grotere datasets de noodzaak tot herberekening versterken. De volledige resultaten van onze samenwerking — kostenmodellering voor verschillende opslagniveaus en architectuurspecificaties — worden in de whitepaper uitvoerig beschreven.
Hybride opslag zorgt voor een verbetering van 95% in de TTFT ten opzichte van regeneratie.
Deze oplossing werkt alleen wanneer de opslag rechtstreeks in de inferentiestack is geïntegreerd. Om dat te bereiken is een speciaal daarvoor ontworpen infrastructuur nodig om KV-cachegegevens op grote schaal tussen de opslag en het GPU-geheugen te verplaatsen zonder dat er CPU-knelpunten ontstaan of nieuwe latentie wordt geïntroduceerd; het volstaat niet om algemene hardware aan te passen.
Objectopslag als het primaire opslagsysteem voor AI
Ik ben van mening dat onze samenwerking met SK hynix een weerspiegeling is van een bredere architecturale verschuiving die al aan de gang is. Naarmate inferentie-engines steeds meer statusgevoelig worden, begint de grens tussen geheugen en opslag te vervagen.
Wat voorheen een tijdelijke context was, wordt in toenemende mate een permanente toestand — die over verschillende lagen heen wordt beheerd en in de loop van de tijd wordt behouden. In dat model dient opslag niet alleen ter ondersteuning van inferentie, maar bepaalt het ook hoe context wordt bewaard en geraadpleegd, wat aansluit bij de verschuiving naar objectopslag als het primaire opslagsysteem voor moderne AI-infrastructuur.
Indien uw team beslissingen neemt over het ontwerpen van een architectuur voor inferentie op grote schaal, raad ik u aan de whitepaper te lezen. Hierin worden de benchmarks, de gelaagde aanpak en het kostenmodel beschreven die nodig zijn om deze afwegingen te maken bij het ontwerpen van uw systeem.
