X

Informations techniques La vision Seagate Kinetic Open Storage

Découvrez comment une nouvelle plate-forme et des outils de développement API répondent aux besoins des infrastructures de stockage actuelles. La plate-forme Seagate® Kinetic Open Storage est une nouvelle catégorie de disques Ethernet clé/valeur, associés à des interfaces de programmation des applications (API, Application Programming Interface) et des outils de développement pour une approche logicielle, orientée objet et évolutive de l'architecture des centres de traitement des données.

vision-kinetic-comment-les-nouveaux-outils-de-développement-seagate-répondent-aux-besoins-des-plates-formes-de-stockage-dans-le-cloud-galerie-plate-forme-kinetic

Le monde du stockage évolue : type de données, modèles d'accès, demande et utilisation

Au cours des 10 dernières années, la croissance exponentielle des applications à grande échelle basées sur les données a transformé progressivement, mais fondamentalement, la nature des infrastructures de stockage des entreprises. Le modèle traditionnel de systèmes basés sur les fichiers et centrés sur des éléments matériels évolue peu à peu vers une approche logicielle basée sur les objets.

Le nouveau modèle, quant à lui, est orienté objet : un univers d'images, de vidéos, de commerce en ligne et de données Web, de recherches, de jeux et d'archives de tous ces éléments. Dans cet univers, les objets (informations) sont écrits, lus et supprimés, mais jamais modifiés. Les systèmes et centres de traitement des données sont de plus en plus souvent conçus pour des capacités optimales plutôt que pour les performances. La hiérarchisation et la distribution sont devenues des éléments impératifs. Les analyses ont pris un caractère habituel et essentiel : à la demande, en temps réel, sur toutes les dimensions et quels que soient le niveau et l'intensité des données.

Par ailleurs, Ethernet étant la base incontestée des centres de traitement de données et du trafic des applications, il s'est naturellement révélé comme la colonne vertébrale de l'infrastructure de stockage. La croissance phénoménale des serveurs et des infrastructures de bureau virtuels en témoigne, tout comme l'adoption grandissante des services Amazon Web Services.

Cette croissance est encouragée par le développement spectaculaire des mobiles, des réseaux sociaux, du cloud computing et des Big Data.  Ces applications s'appuient sur des données principalement non structurées (ou semi-structurées) qu'il est possible de créer simplement et économiquement. En conséquence, la valeur des analyses, la réglementation et les attentes personnelles en matière de préservation des données alimenteront la croissance de l'infrastructure de stockage pour plusieurs années encore.

L'association de ces facteurs redéfinit les équipements de stockage, les interfaces et les architectures full-stack. Afin que le secteur puisse atteindre la croissance nécessaire pour répondre à ces demandes de stockage, nous devons éliminer les couches inefficaces des architectures traditionnelles et introduire une nouvelle approche optimisée pour les besoins des applications et des centres de traitement des données évolutifs.

Les outils de développement Seagate Kinetic Open Storage ont été conçus exactement dans ce but. Ils permettent de mettre en œuvre et d'activer la pile la plus efficace (équipements, protocole, interface, logiciels, systèmes) pour une réaction optimisée aux demandes actuelles et futures des applications. Ils activent de manière unique les applications orientées objet pour tirer directement parti du stockage, et ils alimentent l'innovation des centres de traitement des données évolutifs. De la sorte, ils permettent d'obtenir des performances considérablement supérieures, de simplifier la gestion et de réduire le coût total de possession.

Centre de traitement des données Seagate Kinetic Open Storage et modèle traditionnel : désintermédiation, séparation, sécurité

La plate-forme Seagate Kinetic Storage représente une possibilité de répondre en grande partie aux problèmes d'inefficacité des centres de traitement des données traditionnels dont les architectures héritées sont inadaptées aux charges de travail hautement distribuées et optimisées pour la capacité pour les applications et données non structurées en plein essor.

Les centres de traitement des données actuels sont caractérisés par de multiples couches de logiciels et de matériel empilées afin de créer un chemin de données entre deux systèmes peu compatibles : une couche d'application orientée objet et une couche matérielle (disque dur en rotation, disque SSD et bande) sur la base du stockage en bloc. Le chemin de transfert entre l'application et le stockage nécessite plusieurs couches de manipulation des bases de données, jusqu'aux interfaces POSIX, systèmes de fichiers, gestionnaires de volume et pilotes. Les informations transitent via l'Ethernet par le Fibre Channel, vers les contrôleurs RAID, les expandeurs SAS et les adaptateurs de bus hôte SATA.

Par exemple, une pile traditionnelle ressemble à l'illustration de la figure 1 ci-dessous :

articlename-figure#-widthxheight.jpg, alt text

Figure 1 : modèle de la pile de stockage traditionnelle : serveur, serveur de stockage et équipements

Au-delà de l'inefficacité évidente de la traversée de plusieurs couches, ce modèle s'appuie sur une hypothèse obsolète quant au fonctionnement des équipements de stockage locaux dont l'organisation était basée sur les attributs physiques de l'équipement (et placée à proximité). Mais tout cela a changé. Toutefois, la pile logicielle n'a pas évolué de manière appropriée.

La majorité des applications d'objets à grande échelle actuelles n'ont pas besoin à la fois de la sémantique des fichiers et du système de fichiers pour déterminer et conserver la meilleure stratégie pour la gestion de l'espace sur un équipement. Les applications modernes ont uniquement besoin de la sémantique des objets (par exemple, écriture de l'élément dans son intégralité, lecture de l'élément dans son intégralité, suppression de l'élément dans son intégralité, référence à cet élément via un identificateur choisi par le client et le gestionnaire du cluster), ailleurs qu'à l'emplacement des données sur un équipement spécifique.

Afin de gérer cette complexité, un écosystème complet de fournisseurs de technologies de serveurs de stockage (à la fois matériel et logiciel) s'est développé pour l'extraire des couches du matériel et des applications. Non seulement c'est inefficace, mais cela introduit également des barrières supplémentaires entre les deux parties, pouvant empêcher l'émergence des fonctionnalités de stockage.

Et si nous pouvions tout reprendre depuis le début et restructurer la pile de bas en haut ? À quoi ressemblerait le système si les applications orientées objet pouvaient se connecter directement dans le langage de l'équipement de stockage ? Eh bien, il ressemblerait à la plate-forme Seagate Kinetic Storage.

Plate-forme Seagate Kinetic Open Storage

Seagate Kinetic Storage, c'est :

  • Une nouvelle catégorie de disques Ethernet clé/valeur et des outils de développement qui comprennent une interface de programmation des applications (API, Application Programming Interface) ouverte et les bibliothèques associées.
  • Un système conçu pour garantir l'extraction sémantique la plus simple et permettre l'activation de la plus large gamme d'applications via des API pratiques.
  • Une plate-forme efficace pour une innovation optimisée.

Ensemble, ces éléments permettent aux applications de cibler les équipements de stockage directement et de tirer le meilleur parti des fonctionnalités de stockage. Les disques communiquent au moyen de clés et de valeurs. Par exemple, ils obtiennent, placent et suppriment. Ils permettent aux applications de distribuer les objets et de traiter les clusters tout en laissant le disque gérer efficacement les fonctionnalités, telles que :

  • Gestion de l'ordre des clés (objets) ;
  • Qualité de service ;
  • Migration des données de disque à disque basée sur des règles ;
  • Gestion des défaillances partielles des équipements et autre gestion ;
  • Sécurité des données au repos.

Ainsi, contrairement à la pile traditionnelle décrite ci-dessus, la pile Seagate Kinetic Storage pourrait ressembler à la figure 2.

articlename-figure#-widthxheight.jpg, alt text

Figure 2. La pile Seagate Kinetic Storage

Le modèle Seagate Kinetic Storage a de nombreuses répercussions importantes et enthousiasmantes. Par exemple :

  • Les couches superflues de matériel et de logiciels sont supprimées.
  • Le niveau du serveur de stockage traditionnel est rendu inutile.
  • Le stockage peut réellement être séparé du traitement.
  • Les piles peuvent être plus denses.
  • Le nombre de ventilateurs est réduit.
  • Le trafic de données exploite le composant de transfert existant du centre de traitement des données (Ethernet).
  • La gestion opérationnelle du centre de traitement des données est simplifiée et le coût et les risques liés sont réduits.

L'évolution est simplifiée et plus économique, et elle n'est plus limitée par les architectures et infrastructures héritées.  L'information se trouve désormais toute proche, il suffit d'une adresse IP pour l'obtenir.

API pour la plate-forme Seagate Kinetic Open Storage

Les API ont été conçues pour permettre aux développeurs d'accéder directement aux fonctionnalités de stockage essentielles et optimisées, de manière ouverte et extensible. Les développeurs utilisant plusieurs piles logicielles (open source ou propriétaires) et travaillant au sein de l'architecture du centre de traitement des données peuvent s'appuyer sur les fondations Seagate Kinetic Storage pour venir à bout des défis liés au stockage des plus difficiles. Leur conception est destinée à alimenter l'innovation ouverte en matière de logiciels, afin de permettre la résolution flexible et optimale des problèmes uniques.

De plus, de nombreuses fonctionnalités souhaitées depuis longtemps pour les disques durs sont désormais accessibles. Par exemple :

  • Partage de données : le partage de données entre différents disques a toujours été un problème difficile. Avec les API Kinetic Storage, les données issues de différentes sources peuvent être partagées très simplement entre les applications. Une application peut écrire une clé et une valeur sur un disque, alors qu'une autre a la capacité de lire les données.
  • Transfert des données de disque à disque : traditionnellement, le déplacement de données d'un disque à un autre impliquait l'utilisation de serveurs de stockage particulièrement coûteux. Avec les API Kinetic Storage, les données sont désormais déplacées directement d'un disque à l'autre avec des commandes de copie P2P où des ensembles de clés peuvent être déplacés entre les disques.
  • Intégrité des données : la corruption silencieuse des données fait malheureusement partie de notre quotidien. Avec Kinetic Storage, les données peuvent être stockées avec des contrôles d'intégrité complets de bout en bout qui garantissent qu'elles ont été reçues correctement par le disque. Le disque et le destinataire final peuvent ainsi certifier leur exactitude.

En plus de ces valeurs, l'abstraction sémantique clé/valeur Seagate Kinetic Storage permet l'innovation en matière de disques (par exemple, technologie multimédia, taille de secteur) pour une évolution en parallèle avec l'innovation logicielle (mais de manière indépendante) au-dessus de la couche Seagate Kinetic Storage. Les développeurs n'ont plus besoin de mettre en œuvre les changements logiciels pour bénéficier des avancées technologiques des disques sous-jacentes. L'application fonctionne simplement sur des clés et valeurs définies, et le disque exécute ses tâches de manière transparente et optimale.

Proposition de valeur de Seagate Kinetic Open Storage : performances, évolutivité, simplicité, coût total de possession et sécurité

La plate-forme Seagate Kinetic Storage est organisée pour permettre des performances et une évolutivité du stockage simples et flexibles. Elle garantit un coût total de possession optimal pour le stockage dans les centres de traitement des données, grâce à des économies en termes d'investissement initial et de dépenses de fonctionnement.

Performances

Les disques compatibles avec Seagate Kinetic Storage sont par essence des magasins natifs de clés/valeurs. La lourde responsabilité de conserver le mappage de l'espace d'un équipement d'un système de fichiers au disque lui-même est ainsi éliminée. Les applications peuvent placer et obtenirdes objets, et elles n'ont plus besoin de deviner la disposition LBA ni d'imposer l'emplacement des données. Cette évolution élimine un nombre considérable d'E/S de disque qui ne déplacent aucune donnée mais représentent une surcharge liée au système de fichiers et aux métadonnées.

Un avantage supplémentaire favorise également l'évolutivité : les fabricants d'équipements et les opérateurs de centres de traitement des données dans le cloud perfectionnant la capacité des équipements de manière très agressive, l'efficacité des E/S améliorée, et l'utilisation nette des E/S en résultant, permet une évolutivité plus équilibrée des E/S et de la capacité, en plus de performances optimales sur un équipement donné et un cluster Seagate Kinetic Storage.

Les gains de performances en aval proviennent de l'amélioration de la gestion permise par l'abstraction sémantique clé/valeur. Par exemple, cette abstraction permet un traitement en douceur des pannes matérielles, y compris les pannes partielles, dans certains cas sans les temps de reconstruction particulièrement longs habituellement caractéristiques des disques grande capacité.

Évolutivité

La plate-forme Seagate Kinetic Storage est optimisée pour les centres de traitement des données évolutifs à croissance fulgurante. L'architecture Seagate Kinetic Storage et sa séparation entre stockage et traitement permettent aux opérateurs de centres de traitement des données d'ajouter très simplement du stockage au fur et à mesure de l'évolution du besoin en capacité. Par ailleurs, l'impact combiné de la connectivité Ethernet et de la structure de commande de l'API clé/valeur permet de mettre en place une capacité supplémentaire de manière hautement distribuée, la réplication des données étant dirigée d'un disque un autre pour un coût système et des dépenses en capital réduits.

Simplicité, facilité de l'adoption

Les clients peuvent créer leurs propres applications de gestion ou appeler le disque directement en utilisant les API Seagate Kinetic Storage. Les API sont conçues pour permettre une intégration rapide dans une grande variété d'applications logicielles de stockage. Par ailleurs, les équipements Seagate Kinetic Storage peuvent être découverts de manière dynamique, ce qui permet leur adoption dans les centres de traitement des données existants et leur évolution dans un environnement hétérogène.

Les disques Seagate spécifiques sont fournis avec une bibliothèque utilisateur exhaustive qui permet aux applications d'accéder directement au disque. Cette bibliothèque offre une interface complète pour l'accès aux données et la gestion du disque. Elle contourne la pile de stockage du système d'exploitation normale et permet à l'application de communiquer directement avec le disque, comme si elle communiquait avec un autre service du centre de traitement des données. Ce processus utilise un appel de procédure à distance (RPC) classique pour les applications. Cette API Kinetic Storage propose actuellement des bibliothèques pour Java, C++, C, Python et Erlang. D'autres langages seront fournis au fil du temps.

L'API Seagate Kinetic Storage permet aux applications d'interagir avec le disque comme si celui-ci était un service clé/valeur typique sur le réseau. Elle offre également aux applications la possibilité de placer les données sur le disque sous la forme de clés et de valeurs et de récupérer ces données en indiquant tout simplement la clé. Naturellement, les clés et leurs valeurs peuvent être supprimées. De plus, les clés sont organisées de sorte qu'il est possible de les rechercher au sein d'une fourchette, et de trouver les clés précédentes et suivantes.

Le schéma ci-dessous présente l'architecture de base.

articlename-figure#-widthxheight.jpg, alt text

Les implémentations initiales de l'API Seagate Kinetic Storage comprennent notamment Swift et Riak CS. D'autres sont en cours. Ces systèmes permettent à des milliers de disques d'être gérés comme un cluster de stockage unique et fiable. Avec un tel logiciel de gestion tiers, les données sont stockées de manière fiable (grâce à la réplication et/ou aux codes d'effacement), mais les disques défaillants sont également récupérés de manière transparente pour les applications.

Des commandes complètes de gestion du disque sont également proposées. Elles permettent au disque de signaler son état de santé et à l'utilisateur de gérer la liste des systèmes autorisés à communiquer avec lui.

Amélioration du coût total de possession

La plate-forme Seagate Kinetic Storage permet la mise en œuvre de nouvelles architectures de centres de traitement des données. En effet, les disques Seagate Kinetic Storage peuvent interagir directement avec les applications, ce qui élimine un niveau entier de matériel.

Cet avantage technologique engendre des piles de stockage plus denses, et le coût total de possession s'en trouve amélioré sur différents points :

  • Diminution des dépenses en capital : les architectures Seagate Kinetic Storage permettent la suppression de serveurs de stockage du centre de traitement des données. Les dépenses en capital s'en trouvent directement réduites lors de la conception des centres de traitement des données. Pour un même niveau de dépenses en capital, les clients peuvent donc allouer une capacité de stockage bien plus importante dans le même espace physique.
  • Main-d'œuvre : si l'architecture Seagate Kinetic Storage supprime la nécessité de serveurs de stockage, le nombre de techniciens nécessaires à leur entretien est lui aussi revu à la baisse. De plus, le stockage étant plus dense grâce à l'architecture Seagate Kinetic Storage, le nombre général de techniciens dont un centre de traitement des données a besoin est réduit, ce qui engendre des économies substantielles en matière de main-d'œuvre.
  • Consommation d'énergie : l'élimination du niveau de l'architecture du serveur de stockage et la densité supérieure de la pile permettent l'utilisation d'un nombre inférieur de piles pour le même volume de stockage. La consommation d'énergie est donc réduite.
  • Disponibilité/erreur du technicien : la grande fiabilité de l'architecture Seagate Kinetic Storage quant à la réplication automatique et aux pannes réduit le nombre d'erreurs liées à la gestion du centre de traitement des données de stockage. Par ailleurs, la gestion des erreurs intégrée au disque est censée réduire les principaux incidents dus aux techniciens au niveau d'entretien de routine.

L'augmentation de la densité des piles offre un autre avantage sérieux en matière de coût lorsque l'aspect immobilier est important, par exemple pour les centres de traitement des données situés dans des installations de co-hébergement. Plus la densité de la pile est élevée, plus l'encombrement physique du centre de traitement des données est réduit, ce qui génère immédiatement des économies.

Les conséquences exactes sur le coût total de possession seront variables en fonction de différents facteurs (nombre de disques durs utilisés dans chaque serveur de stockage, données foncières, etc.) spécifiques aux centres de données.

Sécurité

La sécurité des services de stockage dans le centre de traitement des données dans le cloud est une tâche difficile. La bibliothèque d'interface prend en charge ces différents éléments :

  • Authentification : authentification chiffrée complète des serveurs qui sont autorisés à accéder au disque.
  • Intégrité : contrôle complet de l'intégrité de la commande et des données.
  • Autorisation : ensemble clair de rôles pour le serveur en fonction de ce que l'application est autorisée à faire. Les rôles types sont la lecture, la lecture/écriture, la gestion du disque et la gestion de la sécurité au sein du disque.
  • TLS (Transport Layer Security) : pour la sécurité des données très sensibles et/ou des commandes de gestion, une suite TLS normalisée complète est également fournie.

Il s'agit d'une différence importante avec les autres systèmes de stockage distribués où, au sein du centre de traitement des données, le trafic entre les services n'est pas sécurisé ni authentifié. Ainsi, tous ceux qui peuvent accéder au centre de traitement des données bénéficient également d'un accès complet et sans entrave au stockage leur permettant de lire, modifier et même supprimer toutes les données. Dans ces situations, la sécurité devient la responsabilité de l'infrastructure de réseau, et nécessite des réseaux plus coûteux, des îlots distincts ou des VLAN compliqués. L'architecture de sécurité Seagate Kinetic Storage permet l'utilisation de réseaux de centres de traitement des données économiques et flexibles.

Points clés

La plate-forme Seagate Kinetic Storage représente une avancée importante et fondamentale en matière d'architecture de stockage. Les demandes de notre monde mobile et en ligne, connecté 24 h/24, et l'infrastructure de stockage dans le cloud spectaculaire qui est nécessaire pour y répondre, exigent une véritable refonte des meilleures pratiques et des technologies. La plate-forme Seagate Kinetic Storage offre le nouveau modèle nécessaire pour nous permettre, en tant que secteur, de répondre à cette exigence, et de le faire de manière optimale et économique.

Tag :

DONNÉES TECHNIQUES CONNEXES
Gestion des centres de données : tendances et défis

Seagate a interrogé des responsables de centres de données aux États-Unis et en Chine afin de découvrir les principaux problèmes auxquels ils sont confrontés.

En savoir plus
RESSOURCES CONNEXES
Seagate est le leader mondial des disques durs destinés au cloud computing et au stockage.
Les architectures de cloud computing et de stockage dans le cloud

Tirer parti des connaissances fondamentales de l'entreprise et du stockage de données informatiques

En savoir plus
Architecture de stockage unifié : vers la réduction des coûts d'infrastructure de stockage à long terme

Les disques durs d'entreprise compatibles de Seagate permettent d'obtenir une solution de stockage convergée

En savoir plus