Donne accès, entre autres, aux formations sur les produits, aux ressources de vente et marketing, et à l'enregistrement des opportunités à nos revendeurs à valeur ajoutée, nos intégrateurs, nos revendeurs et nos autres partenaires de distribution.
Savez-vous à quel point le recalcul d’un contexte déjà traité impacte l’efficacité de votre système d’inférence ? Les concepteurs d’infrastructures d’IA savent pour la plupart que le coût lié au recalcul du contexte est relativement négligeable dans les environnements de test. Les prompts y sont brefs, les sessions circonscrites et les performances prévisibles.
Dans l’environnement de production, toutefois, il en va autrement. À grande échelle, cette source d’inefficacité entraîne rapidement des problèmes de coûts, de latence et d’utilisation. C’est la difficulté que nous avons cherché à résoudre dans le cadre de notre dernière collaboration avec SK hynix.
Combinant l’expertise de Seagate en matière de disques durs et le leadership de SK hynix dans le domaine de la mémoire et des disques SSD Flash NAND, cette collaboration explore les compromis au niveau système liés à la mise à l’échelle des charges de travail d’inférence, et démontre le rôle essentiel que jouent les architectures multi-niveaux associant disques durs et SSD.
L’approche agentique change la donne
L’inférence standard est transactionnelle. À l’arrivée d’une requête, une réponse est envoyée, puis le cycle recommence. Les charges de travail agentiques fonctionnent différemment. Elles conservent l’état. Le contexte s’accumulant au fil des interactions, chaque nouvelle requête s’appuie sur la précédente.
Comparée aux chatbots classiques, l’IA agentique génère jusqu’à 15 fois plus de jetons1, revisitant ainsi le fonctionnement même du système. Il ne s’agit plus seulement de générer de nouveaux jetons, mais de décider quelles parties du travail précédent doivent être conservées et celles à recréer à partir de zéro.
Quand le cache KV devient une contrainte
Le cache clé-valeur (KV) stocke les représentations intermédiaires des jetons précédents, de sorte que le modèle n’ait pas à les recalculer à chaque requête. Si au début, tout fonctionne bien, la capacité devient vite un problème.
Un GPU NVIDIA H100 embarque 80 Go de mémoire à large bande passante, permettant de stocker environ 1,2 minute de cache KV. Un serveur doté de 1 To de mémoire CPU porte ce délai à quelque 16 minutes. Or, aucune de ces solutions ne permet de traiter un flux de travail agentique à plusieurs itérations, où les sessions durent plusieurs heures, jours voire semaines.
Lorsque la mémoire est pleine, le système supprime le contexte plus ancien. Lorsque ce contexte redevient pertinent (ce qui est généralement le cas dans les charges de travail agentiques), le système le recalcule. Cela se traduit par un allongement du temps nécessaire à l’obtention du premier jeton, une hausse de l’utilisation des ressources GPU sans augmentation de la production utile ainsi qu’une dérive des coûts même lorsque la demande semble stable.
Si l’ajout de mémoire DRAM permet de gagner du temps, il ne résout pas le problème de fond. Le système reste limité par la mémoire et la pression augmente en même temps que les charges de travail.
Considérer le contexte comme un état persistant
C’est là que les choses commencent à bouger. Au lieu de considérer le cache KV comme une optimisation liée à la mémoire, il peut être vu comme un état persistant conservé, récupéré et réutilisé au fil des cycles d’inférence.
En pratique, cela se traduit par un stockage par niveaux. Le contexte « chaud » reste en mémoire, à proximité du GPU. Les SSD fournissent une couche tampon pour une récupération et un placement rapides des données, tandis que des parcs de disques durs sous-tendent les systèmes de stockage d’objets, lesquels offrent la capacité durable nécessaire pour conserver plusieurs jours de contexte (voire plusieurs semaines), à un coût bien inférieur à celui du stockage 100 % Flash.
Le véritable changement réside dans le fait que le cache KV n’est plus confiné à la mémoire. Désormais, il peut être géré à travers un ensemble de ressources de stockage multi-niveaux dont la capacité peut être augmentée, permettant ainsi aux systèmes d’inférence de conserver davantage de travaux précédents et de réduire les recalculs à la source.
Dans le cadre de notre collaboration avec SK hynix, nous avons effectué des tests de performance à l’aide de NVIDIA Dynamo avec une configuration hybride SSD et disque dur. L’impact était mesurable sur tous les indicateurs importants pour les équipes d’infrastructure : délai d’obtention du premier jeton (TTFT), débit, utilisation du GPU et coût.
Bien que l’environnement de test reflète des conditions contrôlées, l’impact est encore plus flagrant dans les déploiements réels où les besoins en recalcul sont amplifiés par des sessions plus longues et des volumes de données plus conséquents. Vous trouverez dans le livre blanc les résultats complets de notre collaboration, avec une modélisation des coûts sur l’ensemble des niveaux de stockage et les spécifications de l’architecture.
Le stockage hybride offre une amélioration de 95 % du TTFT par rapport à la régénération.
Cette solution ne fonctionne que lorsque le stockage est intégré directement dans la pile d’inférence. Pour pouvoir transférer les données du cache KV entre le stockage et la mémoire GPU sans subir les goulots d’étranglement au niveau du GPU ni introduire de nouvelle latence, une infrastructure dédiée est nécessaire.
Le stockage d’objets comme système d’enregistrement pour l’IA
Je suis convaincu que notre travail avec SK hynix reflète une évolution architecturale plus large déjà à l’œuvre. À mesure que les moteurs d’inférence intègrent l’état, la frontière entre mémoire et stockage s’estompe.
Le contexte transitoire d’autrefois devient de plus en plus un état persistant, géré sur différents niveaux de stockage et conservé dans le temps. Dans ce modèle, le stockage ne se contente pas de soutenir l’inférence, il définit également la manière dont le contexte est conservé et consulté, s’inscrivant ainsi dans la tendance visant à transformer le stockage d’objets en un système d’enregistrement pour l’infrastructure d’IA moderne.
Si votre équipe prend des décisions concernant l’architecture de l’inférence à grande échelle, je vous encourage à lire le livre blanc. Vous y trouverez des points de référence, l’approche par niveaux et le modèle de coût nécessaires pour évaluer ces compromis lors de la définition de votre système.
