Un défi croissant pour le stockage des données de l’IA
L’intelligence artificielle fournit de réelles avancées dans tous les secteurs et révolutionne tous les domaines, des diagnostics médicaux à la modélisation financière, en passant par les véhicules autonomes et l’automatisation à grande échelle. Toutefois, à mesure que les systèmes d’IA deviennent plus sophistiqués, les besoins en matière de stockage de données augmentent de manière exponentielle, générant des problèmes d’évolutivité, d’efficacité et de coût.
Les ensembles de données de l’apprentissage automatique nécessitent désormais des pétaoctets de stockage, certaines entreprises gérant même des ensembles de données se mesurant en exaoctets pour suivre le rythme de l’évolution des modèles d’IA. Ces ensembles de données volumineux doivent être stockés, récupérés et traités avec efficacité pour permettre l’entraînement des modèles et l’inférence. L’infrastructure de stockage requise par l’IA n’est plus une simple question informatique, elle est devenue un moteur essentiel de l’innovation de l’IA en elle-même.
Malgré les avancées réalisées dans le domaine de l’informatique basée sur l’IA, les architectures de stockage traditionnelles sont devenues complexes et coûteuses à l’échelle requise pour alimenter des processeurs graphiques gourmands en données, ce qui génère des limites qui ralentissent l’adoption de l’IA. Trois raisons expliquent cela :
Tout d’abord, alors que les architectures SSD offrent des performances exceptionnelles en termes de vitesses, leurs coûts d’acquisition élevés les rendent incompatibles avec les besoins en stockage à grande échelle des charges d’entraînement de l’IA. Pour la plupart des entreprises, conserver des ensembles de données volumineux uniquement sur des SSD est une solution financièrement inaccessible.
Ensuite, bien que les systèmes de disque durs SAS/SATA continuent d’offrir un stockage fiable et rentable pour de nombreuses applications d’entreprise, les charges de travail d’IA présentent des exigences spécifiques en termes d’infrastructure de stockage. Les interfaces SAS/SATA reposent sur des puces, des adaptateurs de bus hôte (HBA) et des architectures de contrôleur propriétaires qui n’étaient initialement pas conçus pour les besoins de débit élevé et de faible latence inhérents aux charges de travail d’IA. À mesure que l’adoption de l’IA se généralise, ces facteurs peuvent introduire de la complexité et une latence supplémentaire, qui font que les modèles d’IA ont de plus en plus de mal à accéder rapidement à des ensembles de données volumineux.
Enfin, les charges de travail d’IA qui dépendent du stockage dans le cloud font souvent face à des coûts de transfert de données WAN élevés, à des pics de latence et à des temps de récupération imprévisibles. Ces inefficacités limitent la réactivité des modèles d’IA et augmentent les dépenses pendant que le matériel de traitement attend les données distantes.
Par conséquent, étant donné que l’IA continue d’évoluer, une nouvelle approche est nécessaire, une approche qui complète les architectures de stockage existantes tout en équilibrant capacité, coût et vitesse afin de prendre en charge l’entraînement et l’inférence de l’IA sans générer de compromis.
Une nouvelle approche : Disques durs NVMe pour les charges de travail d’IA
Seagate est le pionnier d’une solution révolutionnaire qui introduit la technologie NVMe dans des disques durs à capacité élevée. En développant le protocole NVMe en tant que futur protocole standard pour la connectivité des disque durs, Seagate propose une alternative conçue pour optimiser les pipelines de données d’IA, Elle permet de réduire les goulots d’étranglement liés au stockage tout en conservant les avantages des disques durs : coût abordable et densité élevée.
Contrairement aux disques durs SAS/SATA, les disques durs NVMe n’ont pas besoin d’adaptateurs de bus hôte, de ponts de protocole, ni d’une infrastructure SAS supplémentaire, ce qui rationalise le stockage lié à l’IA. Ces disques permettent de faire évoluer les charges de travail d’IA de façon fluide en intégrant un stockage sur disque dur haute densité et une mise en mémoire cache SSD ultrarapide au sein d’une architecture NVMe unifiée.
Cette évolution offrirait des avantages considérables. Tout d’abord, en éliminant les adaptateurs matériels qui servaient à communiquer avec le processeur, les disques durs NVMe simplifient le déploiement du stockage lié à l’IA, ce qui permet aux entreprises de créer des environnements de stockage IA à grande échelle sans avoir besoin de contrôleurs spécialisés. Ensuite, grâce à un pilote NVMe unique et à une pile dans le système d’exploitation, ces disques assurent un fonctionnement conjoint efficace des disques durs et des SSD, ce qui supprime la nécessité de disposer de couches logicielles séparées.
L’un des principaux avantages est l’accès direct des données du processeur graphique vers l’emplacement de stockage via les unités de traitement de données (DPU), évitant ainsi les goulots d’étranglement liés au processeur. Dans les architectures de stockage traditionnelles, les données sont acheminées via des pipelines passant par le processeur, ce qui crée des problèmes de latence. Les disques durs NVMe peuvent résoudre cette inefficacité, en permettant aux modèles d’IA d’intégrer et de traiter de vastes ensembles de données dans des délais considérablement réduits.
De plus, le protocole NVMe over Fabrics (NVMe-oF) permet aux disques durs NVMe de s’intégrer dans des architectures de stockage IA distribuées, pour une évolutivité parfaite au sein des réseaux des centres de données très performants. Cette fonctionnalité est particulièrement adaptée aux entreprises ayant besoin de solutions de stockage flexibles et composables pour leurs flux d’IA.
En associant des disques durs NVMe et des SSD, les entreprises pourront optimiser les coûts tout en préservant les performances, en réservant les SSD pour les ensembles de données actifs et en utilisant des disques durs pour la conservation à long terme des données d’entraînement de l’IA.
Préparer l’avenir : Étude de faisabilité des disques durs NVMe de Seagate
Afin de démontrer l’impact potentiel des disques durs NVMe, Seagate a réalisé une étude de faisabilité intégrant des disques durs NVMe, des SSD NVMe, des DPU NVIDIA BlueField et des logiciels AIStore, afin de présenter un écosystème de stockage IA haute efficacité.
Cette étude a mis en évidence les principaux avantages des disques durs NVMe dans les flux d’IA, démontrant ainsi qu’ils peuvent avoir un impact significatif sur les environnements de stockage IA à grande échelle :
- Les ingénieurs ont montré que la communication directe entre le processeur graphique et l’emplacement de stockage via des disques durs NVMe et des DPU permettait de réduire la latence liée au stockage dans les flux de données d’IA.
- La charge liée aux systèmes SAS/SATA existants a été éliminée, ce qui a permis de simplifier l’architecture système et d’améliorer l’efficacité du stockage.
- AIStore a optimisé de façon dynamique la mise en mémoire cache et la hiérarchisation, améliorant ainsi les performances d’entraînement des modèles tout en simplifiant l’agrégation du stockage et l’évolutivité vers des niveaux de l’ordre de l’exaoctet.
- L’intégration de NVMe-oF a permis une évolutivité fluide, démontrant la composabilité des clusters de stockage IA multirack.
À travers cette étude de faisabilité, Seagate illustre comment les disques durs NVMe peuvent gérer les charges de travail d’IA les plus exigeantes au monde sans nécessiter d’architectures 100 % Flash.
Concrètement : Stockage lié à l’IA en action
Seagate s’appuie sur dix années d’expérience dans le déploiement de modèles d’IA dans ses usines intelligentes pour valider les disques durs NVMe dans des charges de travail d’IA réelles.
Sur les sites de production d’antennes quantiques de Seagate, la détection des défauts basée sur l’IA s’appuie sur l’acquisition d’images à haute vitesse et leur récupération rapide pour l’entraînement des modèles et l’amélioration continue. En exploitant les connaissances de ses propres environnements de production basés sur l’IA, Seagate explore la manière dont les disques durs NVMe pourraient permettre les processus suivants en fournissant un stockage évolutif et rentable prenant en charge à la fois le traitement en temps réel et la conservation à long terme :
- Énormes capacités de stockage d’images haute définition sans compression de données avec perte.
- Stockage à long terme efficace des ensembles de données d’entraînement de l’IA.
- Accès direct pour les nouveaux entraînements des modèles d’IA et leur amélioration continue.
En étudiant l’intégration des disques durs NVMe dans une architecture de stockage, Seagate montre comment cette nouvelle technologie permettrait de réduire les coûts de stockage liés à l’IA tout en assurant une réactivité en temps réel pour la détection des défauts par l’IA. Les gains d’efficacité incluent des analyses basées sur l’IA plus rapides, l’amélioration de la précision et la réduction des coûts d’infrastructure.
En dehors de l’industrie, les disques durs NVMe ont des applications dans les véhicules autonomes, l’imagerie médicale, l’analyse financière et les plates-formes d’IA cloud ultra-évolutives.
Développement durable et économies : Avantages des disque durs NVMe
L’infrastructure d’IA consomme d’énormes quantités d’énergie, ce qui fait du développement durable une préoccupation croissante. Avec les disques durs NVMe, Seagate offre une alternative rentable et économe en énergie aux architectures reposant sur de nombreux SSD.
Par rapport aux SSD, les disques durs NVMe offrent les avantages suivants :
- Carbone incorporé par téraoctet 10 fois plus efficace pour une réduction significative de l’impact sur l’environnement.
- Consommation d’énergie en fonctionnement par téraoctet 4 fois plus faible, pour une réduction des coûts énergétiques des centres de données d’IA.
- Coût au téraoctet considérablement réduit, pour une diminution du coût total de possession de stockage IA à grande échelle.
À mesure que l’infrastructure d’IA se développe, le stockage durable devient un facteur essentiel de réduction des coûts et d’impact sur l’environnement. La stratégie de développement de Seagate prévoit des avancées continues en matière d’efficacité des disque durs NVMe, avec pour objectif d’aider les entreprises à faire évoluer leur stockage lié à l’IA tout en atteignant leurs objectifs de développement durable à long terme.
Une stratégie pour l’avenir du stockage lié à l’IA
Seagate travaille au développement d’innovations qui donneront naissance à la prochaine génération d’infrastructures de stockage basées sur l’IA, en adéquation avec les tendances du secteur et les besoins des environnements cloud et ultra-évolutifs.
Cette stratégie comprend les éléments suivants :
- Mise à l’échelle de la plate-forme Mozaic (qui propose désormais des disques de 36 To) pour développer des disques durs NVMe offrant des capacités encore plus élevées.
- Prise en charge accrue du protocole NVMe-oF pour permettre une évolution fluide des charges de travail d’IA au sein d’environnements hybrides.
- Création d’architectures de référence, qui permettent aux développeurs de systèmes d’IA de déployer facilement des solutions de stockage optimisées.
Seagate collabore avec ses clients et partenaires pour étudier la façon dont les disques durs NVMe peuvent s’intégrer dans la nouvelle génération de solutions de stockage lié à l’IA, afin que les entreprises puissent satisfaire leurs besoins en termes de stockage IA de façon abordable et efficace.
L’engagement de Seagate en faveur de l’avenir du stockage lié à l’IA
L’IA transforme les secteurs d’activité, mais de nombreuses organisations restent confrontées à la complexité de la gestion des données et à l’augmentation des coûts de stockage. Un stockage efficace et évolutif est essentiel pour faire avancer l’innovation dans le domaine de l’IA.
Le travail de Seagate sur les disques durs NVMe démontre comment la connectivité NVMe pourrait réduire la complexité du déploiement du stockage tout en conservant les avantages des disques durs en termes de coût et de densité.
En permettant l’intégration d’AIStore, l’évolutivité de NVMe-oF et des voies de stockage optimisées pour le processeur graphique dans son étude de faisabilité, Seagate est à la pointe de l’innovation en matière d’infrastructure d’IA.
Tandis que l’IA remodèle les secteurs, Seagate redéfinit l’évolution des infrastructure de stockage IA pour répondre à la demande croissante en stockage de données.
