Quand toute évolutivité est impossible sans performances : Découvrez comment un fournisseur mondial de services cloud répond à ces deux exigences grâce à des disques durs

Alors que les exigences de mutualisation et de performances remodèlent l’infrastructure des données, l’un des changements les plus importants s’opère non seulement au niveau des clusters d’apprentissage, mais également dans les systèmes qui répondent en temps réel à des milliards d'interactions d'utilisateurs.

Chez l'un des géants de l'Internet¹, les architectes d'infrastructure ont récemment commencé à repenser une charge de travail clé liée à l'engagement des utilisateurs : l'infrastructure de mise en mémoire cache qui prend en charge les commentaires sur les réseaux sociaux (une couche de données temporaire qui permet d'accéder rapidement au contenu fréquemment utilisé). Les enjeux étaient de taille (augmentation des volumes de trafic, simultanéité élevée et forte demande en lecture/écriture) tout comme la nécessité de réduire les coûts et la consommation à grande échelle. L'équipe a identifié une solution stratégique, mais néanmoins peu conventionnelle : un niveau de mémoire cache reposant sur des disques d'entreprise Seagate à faible capacité.

Certains pensent que cette couche nécessite un stockage Flash, mais l'analyse des charges de travail a montré que les disques durs répondent aux exigences de performances tout en offrant des avantages significatifs en termes de coût et d'efficacité, en particulier pour les charges de travail d'inférence et de stockage intermédiaire des données, qui sont généralement plus limitées par le coût, la consommation et l'échelle que par la latence brute.

Cette architecture illustre ce qu'il est possible de faire lorsque les décisions relatives à l'infrastructure sont prises en tenant compte du comportement réel des charges de travail. Elle montre également comment les disques durs, utilisés de manière pertinente, peuvent permettre un fonctionnement performant, évolutif et économique à l'échelle mondiale.

Comprendre les charges de travail de données : Transferts en rafales, simultanéité élevée

L'objectif de la charge de travail était de permettre un accès rapide et fiable aux données relatives aux commentaires des utilisateurs sur du contenu viral, une tâche qui devient rapidement complexe à grande échelle. Mais le volume et la volatilité de la demande ont fait que le processus n'a rien d'ordinaire.

Lorsqu'un contenu devient viral, l'engagement augmente instantanément. Des milliers, voire des millions d'utilisateurs, peuvent affluer sur un seul fil de discussion en quelques minutes pour aimer, répondre, actualiser et republier. Le système doit faire face à un déferlement de lectures et d'écritures de petits objets, avec des augmentations soudaines, suivies d'une baisse tout aussi rapide. Et si les performances comptent, elles n'ont de valeur que si elles peuvent être utilisées malgré les goulots d'étranglement du système.

Les architectures de la plateforme devaient prendre en charge :

• Des volumes d'accès simultanés extrêmement élevés sur de courtes périodes.
• Un trafic élevé en lecture et en écriture lié à l'activité des utilisateurs.
• Une mise en mémoire cache ultra-rapide pour une meilleure expérience d'utilisation, sans mémoire Flash à faible latence permanente.

La hiérarchisation traditionnelle des données chaudes et froides n'était pas efficace pour ce type de modèle dynamique. Et si la technologie Flash pouvait répondre aux besoins en performances, son coût, son usure et son profil énergétique la rendait insoutenable à ce niveau de l'architecture.

Débit ou latence : repenser la mise en mémoire cache des données pour améliorer les performances du cloud

Tout le monde pense que les couches de mise en mémoire cache, en particulier dans les systèmes destinés aux utilisateurs, doivent être basées sur la technologie Flash pour répondre aux besoins en performances. Dans ce cas précis, une analyse approfondie de la charge de travail a révélé que le débit (vitesse de lecture ou d'écriture des données par seconde) et la simultanéité (capacité à traiter plusieurs requêtes simultanées) étaient les facteurs limitatifs, et non la latence à l'échelle de la microseconde. Les disques durs offrent des performances très élevées sur ces deux points, et dans les architectures système conçues pour optimiser ces atouts (via le parallélisme, les stratégies de mise en cache et la hiérarchisation intelligente), ils peuvent dépasser les performances des configurations Flash pour la même charge de travail.

En exploitant tous ces atouts, le fournisseur cloud a pu :

• Fournir un débit séquentiel et simultané élevé.
• Traiter de gros volumes de données lors de pics d'activité intenses et de courte durée.
• Réduire les coûts et la consommation énergétique par téraoctet, un avantage certain étant donné que les budgets alloués à la consommation énergétique des centres de données sont de plus en plus limités.

Pour de tels déploiements, les disques durs d'entreprise offrent un coût d'acquisition par téraoctet bien inférieur à celui des SSD, actuellement plus de 7 fois inférieur, d'après les analyses effectuées par IDC, TRENDFOCUS et Forward Insights pour Seagate. Cette différence peut influencer de manière significative les choix en matière d'architecture, en particulier lorsque l'efficacité de la mise en cache et l'endurance font partie de l'équation.

Mise en mémoire cache sur disque dur : la solution pour un accès aux données évolutif et efficace

Dans l'architecture finale, les disques durs d'entreprise à faible capacité de Seagate ont été déployés en tant que couche de mise en mémoire cache persistante et positionnés entre une couche applicative principale et une couche cloud basée sur des disques durs à capacité élevée. La configuration a été créée à partir de boîtiers dont l'équipe disposait déjà pour d'autres charges de travail, pour une réutilisation efficace du système.

Voici son fonctionnement :

• Lors des pics d'activité, les données de commentaires sont écrites directement sur les disques durs du niveau de mise en mémoire cache.
• Cette couche de données basée sur disque dur offre un débit et une simultanéité suffisamment élevés pour garantir un accès rapide et reproduisible à l'échelle mondiale lors des pics.
• Lorsque la demande diminue, les données mises en cache sont soit supprimées, soit migrées vers un niveau de stockage plus bas reposant sur des disques de plus grande capacité (par exemple, 24 To ou 30 To).

Généralement, les diamètres extérieurs des disques du niveau de mise en mémoire cache sont réservés afin que de l'espace soit disponible pour la mise en cache, ce qui permet d'optimiser le comportement en écriture et les performances en fonction de l'utilisation.

Équilibrer le coût, la consommation et les performances dans une infrastructure de stockage dans le cloud

Ce schéma d'architecture illustre la manière dont la mise en mémoire cache sur disque dur, le stockage grande capacité et les services d'applications fonctionnent ensemble pour gérer efficacement et à moindre coût les afflux de données virales.

Le déploiement a permis d'améliorer de manière significative l'efficacité énergétique et le coût global de l'infrastructure, tout en répondant aux exigences de hautes performances des charges de travail grâce à des disques conçus pour un débit soutenu, une grande endurance en écriture, la disponibilité des données en cas de sollicitations intensives et un déploiement à l'échelle du parc.

• L'utilisation de disques durs d'entreprise de plus faible capacité a permis d'obtenir les performances requises pour un coût d'acquisition par téraoctet nettement inférieur à des solutions avec mémoire flash.
• La consommation énergétique par unité de débit a chuté, car les disques ont été optimisés pour des écritures en rafales continues, et non pour des IOPS au repos. De manière générale, les comparaisons effectuées au niveau du système montrent également que les disques durs peuvent réduire la consommation énergétique par téraoctet de 70 % par rapport à une mémoire flash QLC.
• L'équipe a pu réutiliser son infrastructure existante, ce qui a permis de réduire au minimum les nouveaux investissements en matériel et de raccourcir les délais de déploiement.
• Fait important, le niveau de mise en mémoire cache sur disque dur continue à satisfaire, voire à dépasser, les attentes en matière de taux de réussite, ce qui facilite l'envoi de commentaires, même lors des pics de trafic les plus viraux.

La plupart des charges de travail d'inférence et de stockage intermédiaire des données sont davantage limitées par le coût, la consommation et l'échelle que par la latence brute, faisant des disques durs une solution adaptée pour ce niveau architectural.

Mise en mémoire cache évolutive dans le cloud : de la réussite des projets pilotes à une plate-forme standard globale

À l'heure où nous publions ce document, cette architecture de plate-forme était activement déployée par le client sur des emplacements clés, et une évaluation en vue d'un déploiement à l'échelle de l'entreprise était en cours. Les premiers indicateurs étaient plus que prometteurs : stabilité des performances de mise en cache, expérience utilisateur inchangée et amélioration du coût total de possession.

Si les résultats des projets pilotes se maintiennent, la plate-forme pourrait étendre ce modèle de manière significative, avec des volumes de déploiement annuels potentiels atteignant des millions de disques, ce qui reflète la demande de plus de 6 Eo par an et la confiance dans les disques durs pour offrir performances et efficacité à l'échelle du parc.

Il ne s'agit pas d'une optimisation ponctuelle, mais d'un modèle émergent permettant un meilleur partage des images, des microblogs, des vidéos et d'autres contenus dans lequel la simultanéité et la pertinence pour les utilisateurs déterminent les exigences en matière d'infrastructure et améliorent la rentabilité de la plateforme.

Quels sont les éléments clés pour la création d'architectures de mise en mémoire cache évolutives et économiques ?

Le succès de ce modèle ne repose pas sur une seule innovation, mais sur trois principes essentiels qui feront écho chez d'autres fabricants de plates-formes d'IA :

• Conception en fonction la charge de travail, et non d'une hypothèse réelle, car les couches très performantes ne nécessitent pas toutes une mémoire Flash.
• Les points clés en matière de performance, comme le débit, la simultanéité, la disponibilité en écriture, la vitesse d'ingestion et l'utilisation du système, sont souvent plus pertinents que la latence brute.
• Les niveaux de stockage peuvent optimisés, voire réutilisés, pour répondre plus efficacement aux demandes d’aujourd’hui.

Les disques durs ne sont pas « meilleurs » que la technologie Flash, mais dans ce cas précis, ils étaient tout simplement plus adaptés. Ils sont en effet capables de fournir performances, faible coût et efficacité opérationnelle dans un environnement réel. Dans les infrastructures d'entreprise et cloud, ils continuent à gérer la grande majorité des charges de travail de données pour lesquelles le débit, l'efficacité et l'évolutivité sont primordiaux.

Conclusion : créer une infrastructure cloud en tenant compte des charges de travail réelles

Pour atteindre les performances nécessaires aux charges de travail actuelles, une puissance de calcul et un stockage évolutifs sont primordiaux. La réussite d'un modèle dépend en effet de la pertinence immédiate et continue fournie à l'utilisateur final.

Alors que l'intelligence artificielle et d'autres charges de travail actuelles continuent de façonner la conception des infrastructures dans tous les secteurs, la question n'est plus de savoir s'il faut utiliser des disques durs ou Flash. Il s'agit de créer des systèmes qui reflètent le comportement réel des charges de travail, les contraintes réelles et les possibilités concrètes d'optimisation.

Ce fournisseur mondial de services cloud a prouvé que les disques durs n'étaient pas seulement adaptés, mais au cœur de l'évolutivité des architectures actuelles, en garantissant une grande réactivité concernant l'accès aux données, ainsi que leur disponibilité, même en cas de pics de demande.

Notes de bas de page

^{Anonymisé selon l'accord de confidentialité des données signé par les deux parties.}