Moderne Speicherarchitektur für KI in Rechenzentren.
Supermicro, Seagate und OSNexus entwickeln gemeinsam eine besonders effiziente und skalierbare Lösung für die Zukunft der künstlichen Intelligenz.
Minute gelesen
Inhaltsverzeichnis:
Die zunehmende Verbreitung von künstlicher Intelligenz (KI) hat zu einer beispiellosen Nachfrage nach skalierbaren, hochleistungsfähigen und kostengünstigen Speicherlösungen für Rechenzentren geführt. Dieses Whitepaper stellt eine umfassende Lösung vor, bestehend aus Hardware von Supermicro, Exos-Festplatten mit der HAMR-basierten Mozaic 3+™-Technologie von Seagate sowie der Software QuantaStor von OSNexus. Diese gemeinsame Lösung erfüllt den explosionsartig wachsenden Bedarf an Datenspeicherung im Zusammenhang mit KI und bietet eine robuste Architektur, die Konfigurationen sowohl zum vertikalen als auch zum horizontalen Skalieren unterstützt. Zu den Hauptvorteilen zählen die verbesserte Skalierbarkeit für wachsende KI-Workloads, die außergewöhnlich hohe Leistung mit hohem Durchsatz und geringer Latenz, erhöhte Kosteneffizienz durch weniger physische Laufwerke und Stromkosten, eine einheitliche Verwaltungsplattform für unkomplizierteren Betrieb, moderne Sicherheitsfunktionen für die Einhaltung von Vorschriften und schließlich eine geringere Umweltbelastung durch energieeffiziente Speicherlösungen.
Die rasante Entwicklung von KI und maschinellem Lernen (ML) hat den Markt für Datenspeicherung von Grund auf verändert. Fortschritte bei der Rechenleistung, demokratisierter Zugriff für Entwickler und schnellere Entwicklungstools haben zu einem explosionsartigen Anstieg von KI-gestützter Entwicklung geführt. Da KI-Modelle immer ausgefeilter werden, ist der Bedarf an skalierbaren, hochleistungsfähigen Speicherlösungen so groß wie nie. Daten sind das Rückgrat der KI. Damit KI-Modelle trainiert und KI-Anwendungen bereitgestellt werden können, müssen die Unternehmen große Datenmengen effizient speichern, verwalten und darauf zuzugreifen können. Herkömmliche Speicherlösungen werden diesen Anforderungen oft nicht gerecht, sodass neue Architekturen entwickelt werden müssen, die auf KI-Workloads zugeschnitten sind.
KI-Workloads bringen völlig neue Herausforderungen mit sich, die mit herkömmlichen Speicherlösungen nur schwer zu meistern sind. KI-Modelle benötigen für das Training riesige Datenmengen, die oft im Petabyte-Bereich liegen. Daten müssen jederzeit und schnell abrufbar sein, denn nur so sind KI-Trainings in realistischen Zeitrahmen zu bewältigen. Zudem leisten KI-Anwendungen häufig umfangreiche Datenverarbeitung mit Echtzeit-Ergebnissen, für die ein hoher Durchsatz und niedrige Latenzzeiten erforderlich sind.
Die Rechenleistung von KI-Workloads erzeugt zudem erhebliche Mengen an Metadaten, die effizient verwaltet werden müssen, um Engpässe zu vermeiden. Herkömmliche Speicherlösungen sind aufgrund ihrer eingeschränkten Skalierbarkeit und Leistung für diese Anforderungen ungeeignet. Ihnen fehlt oft die Flexibilität, um dynamische Workloads zu bewältigen, was zu Ineffizienzen und höheren Betriebskosten führt.
KI-gestützte Innovationen erfordern Speicherlösungen, die schnell skalierbar sind, große Mengen unstrukturierter Daten verarbeiten und nahtlosen Zugriff auf diese Daten bieten. Zum Training eines komplexen KI-Modells gehört beispielsweise die iterative Verarbeitung riesiger Datensätze, um die Algorithmen zu verfeinern und die Treffsicherheit zu verbessern. Die schiere Menge an Daten, die für diese Iterationen erforderlich ist, kann herkömmliche Speichersysteme überfordern. Es kommt dann zu Verzögerungen und Effizienzeinbußen beim KI-Betrieb.
Zudem werden KI-Anwendungen zunehmend in Echtzeitumgebungen eingesetzt, in denen eine sofortige Datenverarbeitung erwartet wird. Dazu zählen unter anderem Anwendungen für autonome Fahrzeuge, vorausschauende Instandhaltung und personalisierte Gesundheitsversorgung. Für derartige Anwendungsfälle müssen Speicherlösungen nicht nur große Kapazität, sondern auch überaus hohe Leistung bieten, damit die schnelle Datenanalyse und Entscheidungsfindung überhaupt möglich sind.
Die gemeinsame Lösung von Supermicro, Seagate und OSNexus kombiniert hochmoderne Hardware und Software zu einer robusten, skalierbaren und kostengünstigen Speicherinfrastruktur für KI-Workloads. Zu den Kernkomponenten der Lösung gehören Server und JBODs von Supermicro, Mozaic 3+-Festplatten von Seagate, Nytro NVMe-SSDs von Seagate und die Software QuantaStor von OSNexus.
Die Architektur der gemeinsamen Lösung unterstützt Konfigurationen für vertikales und horizontales Skalieren und deckt so unterschiedliche Anforderungen bei der Bereitstellung ab.
Beim vertikalen Skalieren („Scale-up“) wird die Kapazität eines einzelnen Speichersystems oder Servers durch zusätzliche Ressourcen wie CPUs, Arbeitsspeicher oder Speicherlaufwerke erhöht. Auf diese Weise lässt sich zwar in einzelnen Einheiten maximale Leistung erreichen, die Skalierbarkeit ist jedoch nur begrenzt gewährleistet.
Beim horizontalen Skalieren („Scale-out“) werden einem System hingegen weitere Speicherknoten oder Server hinzugefügt, wodurch der Workload auf mehrere Einheiten verteilt wird. Dieser Ansatz ermöglicht eine praktisch unbegrenzte Skalierbarkeit, sodass Systeme größere und komplexere KI-Workloads bewältigen können. Die Architektur wächst dabei lückenlos mit steigendem Bedarf mit.
Konfigurationen mit vertikaler Skalierung mit einem Durchsatz von bis zu 5 bis 10 GB/s sind ideal für kleinere Anwendungen mit begrenztem Budget. Im Gegensatz dazu sind horizontal skalierbare Konfigurationen für größere Bereitstellungen ausgelegt. Die Leistung wird dabei durch Integration von zusätzlichen Knoten linear skaliert. Mit dieser Skalierbarkeit erreicht die Lösung einen Durchsatz von Hunderten Gigabyte pro Sekunde und wird damit den Anforderungen intensiver KI-Workloads gerecht.
Durch die nahtlose Integration von Supermicro-Servern, Seagate-Festplatten und QuantaStor-Software entsteht eine in sich geschlossene und effiziente Speicherlösung. Diese Architektur unterstützt sowohl Datei- als auch Objektspeicher und bietet Unternehmen die Flexibilität, die jeweils am besten geeignete Konfiguration für ihre Anforderungen zu wählen. Die einheitliche Verwaltung mit QuantaStor gewährleistet, dass alle Komponenten harmonisch zusammenarbeiten und optimale Leistung und Zuverlässigkeit entstehen. Auf der Plattform können die vertikal und die horizontal skalierbaren Konfigurationen gleichzeitig verwaltet werden. Das vereinfacht die Abläufe und verringert die Komplexität, die die Verwaltung mehrerer Speichersysteme normalerweise mit sich bringen würde.
Die Architektur umfasst Server von Supermicro, Exos Mozaic 3+-Festplatten und Nytro NVMe-SSDs von Seagate, alles gesteuert durch die Software QuantaStor von OSNexus. Diese Kombination erfüllt die hohen Anforderungen von KI-/ML-Workloads – hoher Durchsatz, geringe Latenz und eine effiziente Verarbeitung großer Datensätze.
Abwägungen zur Bereitstellungsinfrastruktur.
Abhängig von den spezifischen Erwartungen an Leistung und Datenkapazität der KI-/ML-Workloads sind bestimmte Konfigurationen besser geeignet. Faktoren wie das zu verarbeitende Datenvolumen und die gewünschte Zugriffsgeschwindigkeit entscheiden darüber, ob sich eine Hybrid- oder eine reine Flash-Konfiguration am besten für das jeweilige Szenario eignet. Des Weiteren beeinflussen Budget und Skalierbarkeit die Gestaltung der Architektur.
Damit KI- und ML-Workloads innerhalb der Speicherarchitektur optimal funktionieren, sind effektive Verwaltung und Optimierung entscheidend. Das moderne Verwaltungstool QuantaStor optimiert den Betrieb und ermöglichen eine umfassende Kontrolle und Übersicht über verschiedene Konfigurationen.
Jeder KI- und ML-Workload erfordert eigens darauf abgestimmte Speicherlösungen, damit er optimale Leistung und Kosteneffizienz erzielen kann. Je nach Umfang und Komplexität des Workloads können vertikal skalierbare, horizontal skalierbare oder gemischte Konfigurationen eingesetzt werden, um die spezifischen Anforderungen der verschiedenen Branchen und Anwendungen zu erfüllen.
Die moderne Technologie in dieser Lösung ist entscheidend für ihre Leistungsfähigkeit. Die Exos Mozaic 3+-Festplatten von Seagate sind ein echter Technologiesprung in der Welt der Speicherlösungen. Durch die HAMR erreichen diese Festplatten eine bisher unerreichte Flächendichte und bieten damit größere Speicherkapazität bei gleichem Platzbedarf. Diese Verbesserung ermöglicht nicht nur umfangreiche Datenspeicher, sondern verbessert auch die Energieeffizienz, da zum Speichern der gleichen Datenmenge weniger Festplatten erforderlich sind.
Die Vorteile von Mozaic 3+-Festplatten im Hinblick auf TCO sind beträchtlich: Sie bieten die dreifache Speicherkapazität bei gleichem Platzbedarf im Rechenzentrum, 25 % geringere Kosten pro TB, einen um 60 % geringeren Stromverbrauch pro TB und einen um 70 % reduzierten CO2-Ausstoß pro TB (verglichen mit den aktuell weit verbreiteten und obsolet werdenden 10 TB-PMR-Festplatten). Der geringere Stromverbrauch der Festplatten schlägt sich in geringeren Stromkosten nieder, während die höhere Dichte den Platzbedarf verringert – alles Dinge, die die Kosten für Rechenzentren senken. Durch den gesenkten CO2-Ausstoß sind die Festplatten außerdem umweltfreundlicher und erleichtern Unternehmen das Erreichen ihrer Nachhaltigkeitsziele.
Die Integration der Nytro NVMe-SSDs von Seagate verbessert die Leistung zusätzlich. Diese High-Speed-Laufwerke sind unerlässlich für die Bewältigung der intensiven Lese- und Schreiboperationen, die für KI-Workloads typisch sind. Die geringe Latenz der Lösung sorgt dafür, dass Daten in Echtzeit abgerufen und verarbeitet werden können, was für das Training von KI-Modellen und die Bereitstellung von KI-Anwendungen entscheidend ist. Das Design der SSDs mit zwei Ports erhöht die Zuverlässigkeit, da es einen kontinuierlichen Betrieb ermöglicht, selbst wenn ein Port ausfällt.
Die Software QuantaStor von OSNexus bereichert die Lösung durch intelligente Datenverwaltung und moderne Sicherheitsfunktionen. Die Auto-Tiering-Funktionen der Software stellen sicher, dass Daten auf der am besten geeigneten Ebene gespeichert werden, was sowohl die Leistung als auch die Wirtschaftlichkeit optimiert. Die Ende-zu-Ende-Verschlüsselung und die Einhaltung von Branchenstandards tragen zum Schutz der Daten bei. Das betrifft vor allem Branchen wie das Gesundheitswesen und das Finanzwesen, in denen häufig mit sensiblen Daten umgegangen wird und in denen KI-Anwendungen keine Lücken bei Sicherheit und Datenschutz zulassen dürfen.
Die gemeinsame Lösung von Supermicro, Seagate und OSNexus bietet mehrere wichtige Vorteile, die den spezifischen Anforderungen von KI- und ML-Workloads gerecht werden. Diese Vorteile sind:
Die Lösung ist so vielseitig, dass eine Vielzahl von Anwendungsfällen in verschiedenen Branchen denkbar ist. Mögliche Beispiele sind:
Die von Supermicro, Seagate und OSNexus gemeinsam entwickelte KI-Lösung bietet eine umfassende, skalierbare und kostengünstige Speicherarchitektur, die speziell auf die besonderen Anforderungen von KI- und ML-Workloads zugeschnitten ist. Durch die Kombination fortschrittlicher Hardware und Software bietet die Lösung herausragende Leistung, Zuverlässigkeit und Effizienz. Das macht sie zur idealen Wahl für Unternehmen, die KI nutzen und sich damit einen Wettbewerbsvorteil verschaffen möchten. Ob im Gesundheitswesen, im Finanzwesen, für die Medienbranche, in der Fertigung oder in der Forschung – die Lösung bietet die robuste Infrastruktur für die nächste Generation von KI-Anwendungen. Damit ist der Weg in die Zukunft der KI-gestützten Innovation in allen möglichen Branchen geebnet.
Topologie | Produkt- | Ausfallsicherheitsmodell | Reine Kapazität | Nutzbare Kapazität | Detaillierte Spezifikationen |
---|---|---|---|---|---|
Vertikales Skalieren | SBB hybrid; | Dreifache Parität | 2.039 TB brutto | 1.512 TB nutzbar | Link |
Vertikales Skalieren | SBB rein Flash | Doppelte Parität (4d + 2p) | 737 TB brutto | 553 TB nutzbar | Link |
Horizontale Skalierung | Hyper rein Flash | EC2k+2m/REP3 | 1.106 TB brutto | 533 TB nutzbar | Link |
Horizontale Skalierung | 4U/36 | EC4K+2m/REP3 | 3.974 TB brutto | 2.513 TB nutzbar | Link |
Horizontale Skalierung | 4U/36 | EC8K+3m/REP3 | 8.342 TB brutto | 5.786 TB nutzbar | Link |
Horizontale Skalierung | Topload mit zwei Knoten | EC8K+3m/REP3 | 11.981TB brutto | 8.406 TB nutzbar | Link |
Akronyme und zusätzliche Informationen.
SBB: Storage Bridge Bay.
EC: Erasure Coding.
„Doppelte Parität“ und „Dreifache Parität“ steht für die Anzahl der Paritätsblöcke, die für Datenredundanz und Fehlertoleranz verwendet werden.
Numerische Zeichenfolgen beziehen sich auf das Ausfallsicherheitsmodell.