Une nouvelle étape a été franchie en juin par Dropbox et Seagate en matière d’infrastructure évolutive et durable lorsque Dropbox a opté pour les disques durs Seagate Exos® de 32 To embarquant la technologie d’enregistrement magnétique assisté par laser (HAMR) et basés sur la plateforme Mozaic™ pour ces centres de données. C’est un tournant important pour Dropbox, qui renforce ainsi sa capacité d’évolution et de traitement des charges de travail d’IA tout en respectant ses objectifs en matière de développement durable. Avec la plateforme Mozaic de grande capacité, Dropbox augmente son volume de stockage sans réorganiser son infrastructure, et ce sans faire de compromis sur la consommation d’énergie, l’espace ou l’empreinte carbone
Pour bien comprendre l’importance de ce choix et le contexte général du secteur, nous avons rencontré l’équipe chargée de l’infrastructure chez Dropbox : Ali Dasdan, directeur de la technologie, Jesse Lee, responsable technique et Vishal Mannanal, spécialiste des technologies de stockage.
Comment l’évolution des charges de travail d’IA remodèle-t-elle les priorités de votre infrastructure de données, notamment en matière de capacité de stockage, de performances et d’efficacité ?
Dropbox : L’IA modifie fondamentalement notre approche de l’infrastructure. Il ne s’agit pas seulement de stocker davantage de données, mais de les stocker plus intelligemment. L’accent est mis désormais sur l’efficacité globale plutôt que sur la capacité brute. Alors que les modèles d’IA deviennent de plus en plus complexes et gourmands en données, nous sommes conscients qu’il faut désormais parvenir à allier performances, évolutivité et efficacité, plutôt que privilégier seulement l’un ou l’autre.
Les données d’IA sont dynamiques : elles sont constamment ingérées, générées et traitées dans divers formats tels que du texte, des images et du son. À mesure que la taille et la complexité des ensembles de données augmentent, chaque étape du cycle de vie de l’IA impose des exigences distinctes en matière de stockage. Le choix de la bonne architecture de stockage (une association stratégique de disques durs et de SSD) est devenu un facteur de différenciation essentiel pour garantir la réussite de l’IA, que ce soit en termes de vitesse des applications, d’optimisation des coûts ou d’efficacité.
Comment l’optimisation de l’IA à grande échelle façonne-t-elle les décisions en matière d’infrastructure de stockage ?
Les charges de travail d’IA mobilisent différents types de données, des plus sollicitées (données chaudes) aux moins consultées (données froides), avec des critères de performances et des coûts qui leur sont propres. Par exemple, la rentabilité et l’évolutivité des disques durs sont idéales pour l’ingestion de documents hors ligne et l’archivage, tandis que la vitesse des SSD est optimale pour les flux de travail opérationnels nécessitant une faible latence.
Notre architecture reflète cela :
- La mémoire HBM/DRAM optimise le débit du calcul pour l’entraînement et l’inférence en temps réel.
- Les SSD gèrent les données chaudes pour les tâches nécessitant peu de latence, l’entraînement des modèles et l’inférence en temps réel, entre autres. Leur rapidité et leur IOPS font toute la différence.
- Enfin, les disques durs stockent les données tièdes et froides. Avec leur capacité évolutive, ils sont particulièrement adaptés pour l’ingestion de données, la conservation à long terme et les accès peu fréquents, notamment pour les lacs de données d’IA, les anciens ensembles de données d’entraînement et les archives d’inférence. À mesure que les technologies comme HAMR progresseront, les disques durs offriront des densités plus élevées, une plus grande longévité et une meilleure efficacité énergétique, nécessaires pour soutenir la croissance de l’IA tout en respectant les objectifs en matière de développement durable.
Pourquoi les équipes de Dropbox ont-elles choisi d’intégrer la plateforme Mozaic de Seagate ? Comment les innovations au niveau des périphériques, en particulier les avancées offertes par Mozaic, permettent-elles à Dropbox de concrétiser ses ambitions en matière de données ou de répondre aux besoins techniques et opérationnels que la technologie d’enregistrement magnétique perpendiculaire (PMR) ne saurait pas gérer ?
À mesure que les charges de travail d’IA s’intensifient, nous donnons la priorité à la densité de stockage, au contrôle de la latence et à la gestion des coûts sans compromettre les performances. C’est pourquoi nous avons intégré la plateforme Mozaic de Seagate. Cette solution de nouvelle génération constitue un véritable bond en avant en termes de densité surfacique grâce aux caractéristiques de la technologie HAMR : supports avancés de Seagate, têtes de lecture/écriture repensées, firmware évolué et intégration parfaite dans l’hôte, autant de facteurs déterminants qui ont guidé notre choix.
Nous avons également conçu avec Seagate un châssis de haute densité optimisé pour cet équilibre entre acoustique, vibrations et chaleur qui nous garantit un accès aux données et à faible latence au fur et à mesure de l’évolution de notre infrastructure.
Résultat : Un partenariat gagnant-gagnant qui nous permet de pérenniser notre infrastructure tout en nous aidant à atteindre nos objectifs en matière d’IA et de données avec précision et en toute confiance.
Comment Dropbox a-t-elle pu adopter la technologie HAMR sans réorganiser en profondeur son architecture ?
Notre stratégie d’infrastructure tournée vers l’avenir a permis d’intégrer très facilement les disques HAMR : il n’a pas été nécessaire de concevoir de nouveaux racks, d’introduire des changements complexes, ni d’engager une refonte complète de l’infrastructure de l’architecture existante.
L’architecture de stockage de Dropbox a été volontairement conçue pour pouvoir s’adapter à différentes situations. En adoptant précédemment la technologie d’enregistrement magnétique par chevauchement (SMR) pour notre plateforme Magic Pocket, nous avions jeté les bases des futures innovations telles que la technologie HAMR. En s’appuyant sur des API connues et des modèles d’écritures basés sur les zones, les disques Mozaic sont compatibles avec l’ensemble des logiciels Dropbox existants et nous permettent ainsi d’adopter très facilement des technologies avancées et de bénéficier d’une parfaite évolutivité sans réorganisation de notre architecture. En optant pour un stockage de plus haute densité avec un minimum de perturbations, Dropbox a renforcé son excellence opérationnelle et sa valeur commerciale à long terme en améliorant sa rentabilité et en réduisant ses coûts, tout cela sans faire de compromis sur la fiabilité ou les performances.
Depuis longtemps, Dropbox se concentre sur la durabilité opérationnelle. Alors que l’IA fait grimper les besoins de stockage, dans quelle mesure l’efficacité d’une entreprise est-elle corrélée à sa durabilité opérationnelle ? Ces deux notions entrent-elles parfois en contradiction ?
Nous consolidons les charges de travail sur des plateformes moins nombreuses et plus denses, et avons constaté des résultats rapides dans deux domaines : l’efficacité opérationnelle et la durabilité. Lorsque la densité de stockage par serveur est plus élevée, un plus petit nombre de serveurs est nécessaire, ce qui réduit directement les frais d’alimentation électrique, de refroidissement et de maintenance. Dans le même temps, cette optimisation du centre de données entraîne une baisse des déchets électroniques et de la consommation de matières premières.
L’investissement initial est rentable, car la montée en gamme du matériel réduit considérablement le coût total de possession tout au long du cycle de vie : prudence financière et durabilité à long terme vont ainsi de pair.
Quels résultats rapides en termes d’efficacité ou de durabilité Dropbox a-t-elle obtenus avec des disques durs de plus grande capacité, et comment ces résultats se traduisent-ils à long terme ?
L’adoption de la plateforme Mozaic de Seagate a changé la donne en permettant à Dropbox de créer ses centres de données les plus rentables à ce jour. L’augmentation considérable de la densité surfacique des disques nous a permis d’optimiser notre coût total de possession à différents niveaux en réduisant le nombre de disques, de racks et d’infrastructures réseau nécessaires pour atteindre les mêmes objectifs de stockage.
Les gains immédiats sont évidents : en faisant évoluer notre matériel de la 4e à la 7e génération, nous avons réduit notre consommation d’énergie de 50 % et notre empreinte physique de 75 % par exaoctet de stockage. Cela se traduit par une baisse tangible des frais d’exploitation en termes d’énergie, de refroidissement et de maintenance des disques, ainsi que par une diminution des dépenses d’investissement liée à la réduction des besoins en matériel et en infrastructure.
Au-delà des gains d’efficacité opérationnelle, ces premiers résultats se traduisent par un impact plus important et à long terme sur la durabilité : nous réduisons notre empreinte carbone tout en améliorant notre capacité à évoluer très facilement à mesure que les besoins en données augmentent. Un choix qui en vaut la peine, car notre écosystème de centre de données est allégé, plus écologique et conçu pour les charges de travail basées sur l’IA de demain.
À l’avenir, comment un investissement dans des plateformes à capacité élevée et peu gourmandes en énergie telles que Mozaic peut-il aider Dropbox à faire évoluer ses charges de travail futures tout en respectant ses objectifs environnementaux, sociaux et de gouvernance ?
En investissant dans des plateformes importantes telles que Mozaic, nous marquons des points sur deux de nos priorités essentielles en parallèle : les performances évolutives et la responsabilité environnementale.
Mozaic résout des problèmes que les disques PMR traditionnels ne savaient pas gérer. En déployant des disques durs de grande capacité dans des architectures à haute densité, nous bénéficions d’une densité surfacique sans précédent de plus de 3 To par disque. Les disques Mozaic offrent des performances optimales à grande échelle pour la plupart des charges de travail d’aujourd’hui.
Dans le même temps, Mozaic nous permet de regrouper nos serveurs et d’utiliser moins de disques, ce qui réduit notre consommation d’énergie par pétaoctet stocké, l’empreinte de notre infrastructure physique, ainsi que nos besoins en refroidissement et notre utilisation de matières premières. Cela se traduit par une réduction régulière d’année en année de notre indicateur watts/pétaoctet, une mesure directe de l’efficacité opérationnelle et de la réduction de l’impact carbone.
Alors que la croissance des données se poursuit, des plates-formes comme Mozaic vont être essentielles pour pérenniser notre infrastructure et créer une base de données agile, résiliente et respectueuse du climat.
Nous constatons une évolution dans l’ensemble du secteur, délaissant les systèmes à usage général au profit d’infrastructures optimisées pour des charges de travail spécifiques. Comment Dropbox aborde-t-il cette tendance et répond-il aux nouveaux besoins engendrés par l’évolution de l’IA ?
Dropbox poursuit sa stratégie d’optimiser sa structure en fonction des charges de travail afin de trouver le bon équilibre entre performances et développement durable, ce qui est essentiel pour suivre le rythme d’évolution de l’IA.
Alors que les charges de travail d’IA s’intensifient, Dropbox s’éloigne résolument des anciens systèmes à usage général, qui sont inefficaces sur le plan énergétique et inadaptés aux exigences d’inférence modernes. Au lieu de cela, nous déployons des plates-formes de calcul à haute efficacité spécialement conçues pour l’IA, en dimensionnant les charges de travail de sorte à réduire le surprovisionnement et en améliorant continuellement l’efficacité énergétique de nos installations en colocation.
À la manière d’un cloud hybride, Dropbox délègue également certaines tâches d’IA pour optimiser l’utilisation des ressources et réduire la charge énergétique interne, tout en gardant le contrôle sur les compromis à faire en termes de coûts et de développement durable.
Cette approche axée sur l’infrastructure reflète l’engagement de Dropbox en matière d’innovation responsable et nous permet de faire évoluer nos capacités d’IA sans compromettre notre intégrité environnementale ou opérationnelle.
Comment les décisions prises aujourd’hui par Dropbox en matière d’infrastructure contribuent-elles à pérenniser sa plateforme face à des modèles d’IA toujours plus volumineux, plus désagrégés et plus gourmands en énergie ?
Les décisions que nous prenons aujourd’hui en matière d’infrastructure continueront de façonner notre avenir. Nous concevons notre architecture dans un souci d’évolutivité, de précision et d’adaptabilité, et fondons notre stratégie d’infrastructure sur trois piliers : l’intégration de la plateforme, l’alignement des fournisseurs et la flexibilité opérationnelle.
Alors que la demande en solutions d’IA progresse, nous introduisons différentes catégories de matériel, vérifions le refroidissement par liquide et affinons la gestion acoustique et thermique, afin d’accompagner la progression de la technologie HAMR, qui devient la pierre angulaire de notre infrastructure tournée vers l’avenir.
Cette démarche d’innovation permanente restera l’un des principaux axes stratégiques de Dropbox.
Pourquoi le partenariat avec Seagate était-il le bon choix stratégique pour Dropbox ?
Le partenariat entre Dropbox et Seagate est véritablement orienté vers la collaboration, axé sur l’innovation et multidimensionnel. Il va bien au-delà d’un simple engagement entre un acheteur et un vendeur.
De la mise en œuvre de la technologie SMR à la caractérisation conjointe des systèmes de serveurs compatibles HAMR et à l’intégration de la plateforme Mozaic de Seagate dans l’environnement de production de Dropbox, nous avons, ensemble, conçu et déployé des technologies de stockage avancées. Cette collaboration a permis à Dropbox de faire évoluer son système de stockage de haute densité avec précision et efficacité.
Au-delà de l’infrastructure, nous avons coordonné nos stratégies de commercialisation, y compris pour la gamme de produits Ultra Touch de Seagate, qui permet à nos clients de bénéficier d’une sauvegarde automatique sur Dropbox via des disques durs externes. En exploitant les disques durs de Seagate sur site et via Lyve Cloud, Dropbox a acquis un profil client unique en tant que partenaire de stockage entièrement compatible avec Seagate.
Ce partenariat illustre comment l’alignement stratégique et l’innovation partagée peuvent ouvrir de nouvelles possibilités pour les plateformes de données à grande échelle.
Enfin, pour les autres acteurs du secteur qui se demandent où investir pour répondre aux besoins en données basées sur l’IA tout en restant respectueux de l’environnement, quels sont vos conseils pour préparer l’infrastructure de stockage et de calcul qui gérera la prochaine vague ?
L’avenir des infrastructures ne passe pas par une évolution à grande échelle, mais par une évolution intelligente. Notre stratégie en trois points pour une infrastructure orientée vers l’avenir est la suivante : tout d’abord, créer un moteur d’innovation. Deuxièmement, unifier sa stratégie en matière d’infrastructures. Troisièmement, investir dans des partenariats stratégiques.
Pour garder une longueur d’avance en termes de performances, d’efficacité et de durabilité, il est essentiel de créer un moteur d’innovation en adoptant les technologies émergentes. Des plateformes comme Mozaic de Seagate, qui permettent d’optimiser la densité et de réaliser des économies d’énergie, en sont d’excellents exemples. Dans le même temps, il est important d’unifier votre stratégie d’infrastructure en menant une réflexion globale sur le stockage et le calcul. Une intégration étroite entre les deux permet de maximiser le débit et de réduire les déchets, en particulier pour les charges de travail d’IA. Et enfin, il est impossible d’évoluer tout seul. Les partenariats stratégiques, comme celui qui a été noué entre Dropbox et Seagate, jouent un rôle clé dans l’amélioration des capacités, la conception de solutions en collaboration et la pérennisation des opérations.
