NVMe-Festplatten und die Zukunft des KI-Speichers

Die KI-Datenspeicherung ist eine immer größere Herausforderung

Künstliche Intelligenz sorgt aktuell in allen Branchen für Durchbrüche – von der Gesundheitsdiagnostik und der Finanzmodellierung bis hin zu autonomen Fahrzeugen und der weitreichenden Automatisierung von Prozessen. Mit der zunehmenden Komplexität von KI-Systemen steigen auch die Anforderungen an die Datenspeicherung exponentiell, verbunden mit Herausforderungen hinsichtlich Skalierbarkeit, Effizienz und Kosten.

Datensätze für maschinelles Lernen erfordern mittlerweile Speicher im Petabyte-Bereich. Einige Unternehmen haben sogar schon Datensätze im Exabyte-Bereich, um mit den sich entwickelnden KI-Modellen Schritt zu halten. Für das Training und die Inferenz der Modelle müssen diese großen Datensätze effizient gespeichert, abgerufen und verarbeitet werden. Die der KI zugrunde liegende Speicherinfrastruktur ist mittlerweile ein entscheidender Faktor bei der KI-Innovation und damit eine wichtige Fragestellung für Unternehmen.

Trotz der Fortschritte im Bereich des KI-Computing sind herkömmliche Speicherarchitekturen sehr komplex und teuer geworden und können mitunter nicht mit dem Datenhunger der GPUs mithalten. Diese Architekturen erweisen sich dadurch oft als Hemmschuh für die Verbreitung von KI. Ausschlaggebend sind hierbei drei Gründe:

Erstens liefern SSD-basierte Architekturen zwar High-Speed-Performance, sie sind aber aufgrund ihrer hohen Anschaffungskosten für den enormen Speicherbedarf von KI-Trainingsworkloads ungeeignet. Die meisten Unternehmen können es sich nicht erlauben, für große Datensätze allein SSDs zu nutzen.

Zweitens bieten auf der anderen Seite SAS-/SATA-Festplatten zwar zuverlässigen und kostengünstigen Speicher, doch KI-Workloads stellen einzigartige Anforderungen an die Speicherinfrastruktur. SAS-/SATA-Schnittstellen basieren auf proprietärer Hardware, Hostbus-Adaptern (HBAs) und Controller-Architekturen, die ursprünglich nicht für die hohen Durchsatzraten und niedrigen Latenzanforderungen von KI-Workloads entwickelt wurden. Diese Faktoren können irgendwann zu Komplexität und zusätzlichen Latenzzeiten führen, wodurch KI-Modelle nicht mehr ohne Weiteres schnell auf große Datensätze zugreifen können.

Drittens bringt die Nutzung von cloudbasiertem Speicher für KI-Workloads oft hohe Kosten für die WAN-Datenübertragung, Latenzspitzen und unvorhersehbare Abrufzeiten mit sich. Diese Ineffizienzen schränken die Reaktionsfähigkeit von KI-Modellen ein und erhöhen die Betriebskosten, während die Verarbeitungshardware auf Remotedaten wartet.

Angesichts dieser Probleme braucht es einen neuen Ansatz, wenn der KI keine Grenzen gesetzt sein sollen. Bestehende Speicherarchitekturen müssen ergänzt und Kapazität, Kosten und Geschwindigkeit abgewogen werden.

Ein neuer Ansatz: NVMe-Festplatten für KI-Workloads 

Seagate positioniert sich durch sein Engagement bei der NVMe-Technologie als Vorreiter einer transformativen Lösung für Festplatten mit großer Kapazität. Mit NVMe als zukünftigem Standardprotokoll für die Festplattenkonnektivität bietet Seagate eine Alternative, die KI-Datenpipelines optimiert, Speicherengpässe reduziert und gleichzeitig die Erschwinglichkeit und hohe Dichte von Festplatten ausnutzt.

Im Gegensatz zu SAS-/SATA-basierten Festplatten sind bei NVMe-Festplatten keine HBAs, Protokollbrücken und zusätzliche SAS-Infrastrukturen mehr erforderlich, was den KI-Speicher effizienter macht. Diese Laufwerke ermöglichen eine nahtlose Skalierung von KI-Workloads durch die Kombination aus Festplatten mit hoher Dichte und schnellem SSD-Caching in einer einheitlichen NVMe-Architektur.

Diese Lösung würde erhebliche Vorteile mit sich bringen. Erstens vereinfachen NVMe-Festplatten die Bereitstellung von KI-Speicher, da hierbei keine Hardwareadapter als Schnittstelle zum Prozessor notwendig sind. So lassen sich große KI-Speicherumgebungen ohne spezielle Controller aufbauen. Zweitens reichen ein einziger NVMe-Treiber und ein OS-Stack für das effiziente Zusammenspiel von Festplatten und SSDs, sodass keine separaten Softwareebenen erforderlich sind.

Einer der größten Vorteile ist der direkte Speicherzugriff der GPU über DPUs, wodurch CPU-Engpässe umgangen werden. Herkömmliche Speicherarchitekturen leiten Daten durch CPU-gesteuerte Pipelines und verursachen dadurch Latenzprobleme. NVMe-Festplatten können diese Ineffizienz beseitigen, sodass KI-Modelle große Datensätze mit deutlich geringeren Verzögerungen aufnehmen und verarbeiten können.

Zudem ermöglicht NVMe over Fabrics (NVMe-oF) die Integration von NVMe-Festplatten in verteilte KI-Speicherarchitekturen, was eine nahtlose Skalierung innerhalb von Hochleistungs-Rechenzentren gewährleistet. Diese Funktion ist besonders für Unternehmen von Vorteil, die flexible, modulare Speicherlösung für ihre KI-Workflows suchen.

Mit NVMe-Festplatten in Kombination mit SSDs erreichen Unternehmen eine hohe Kosteneffizienz bei gleichbleibend hoher Leistung. Dabei werden SSDs für aktive Datensätze verwendet und Festplatten für die langfristige Speicherung von KI-Trainingsdaten.

Erwiesenermaßen zukunftssicher: Proof of Concept für NVMe-Festplatten von Seagate

Um zu zeigen, was NVMe-Festplatten unter realen Bedingungen leisten können, führte Seagate einen Proof of Concept durch (POC). Hierzu wurde ein hocheffizientes KI-Speicher-Ökosystem geschaffen, bestehend aus NVMe-Festplatten, NVMe-SSDs, NVIDIA BlueField-DPUs und Software von AIStore.

Der POC machte die Hauptvorteile von NVMe-Festplatten in KI-Workflows deutlich und zeigte, was sie in großen KI-Speicherumgebungen leisten können.

• So führte die GPU-Speicher-Kommunikation über NVMe-Festplatten und DPUs zu einer geringeren speicherbezogenen Latenz in KI-Daten-Workflows.
• Durch den nun fehlenden Overhead von SAS/SATA-Festplatten ist die Systemarchitektur vereinfacht und die Speichereffizienz verbessert.
• AIStore hat Caching und Tiering dynamisch optimiert und so die Leistung des Modelltrainings verbessert sowie die Speicheraggregation und Skalierbarkeit bis in den Exabyte-Bereich vereinfacht.
• Die NVMe-oF-Integration ermöglichte eine nahtlose Skalierung und bewies die Zusammensetzbarkeit von KI-Speicherclustern in mehreren Racks.

Durch diesen POC demonstriert Seagate, wie sich mit NVMe-Festplatten die anspruchsvollsten KI-Workloads der Welt realisieren lassen – auch ohne reine Flash-Architekturen.

Greifbare Vorteile: KI-Speicher in Aktion

Seagate nutzt seine jahrzehntelange Erfahrung mit KI-Modellen in seinen Smart Factories, um NVMe-Festplatten in realen KI-Workloads auf den Prüfstand zu stellen.

In seinen Produktionsanlagen für Quantenantennen nutzt Seagate KI-gestützte Fehlererkennung anhand von Hochgeschwindigkeits-Bildaufnahmen und schnellem Abruf und trainiert damit Modelle. Seagate nutzt die Erkenntnisse aus seinen eigenen KI-fähigen Produktionsumgebungen und untersucht, wie NVMe-Festplatten diesen Prozess durch skalierbaren, kostengünstigen Speicher unterstützen können, der sowohl Echtzeitverarbeitung als auch langfristige Aufbewahrung ermöglicht.

• Massive Speicherkapazität für hochauflösende Bilder ohne verlustbehaftete Datenkomprimierung.
• Effiziente Langzeitspeicherung von KI-Trainingsdatensätzen.
• Nahtloser Zugriff für erneutes Training von KI-Modellen und kontinuierliche Verbesserung.

Mit der versuchsweisen Integration von NVMe-Festplatten in Speicherarchitekturen konnte Seagate zeigen, wie die neue Technologie die KI-Speicherkosten senken und gleichzeitig die Reaktionsfähigkeit für die KI-Fehlererkennung in Echtzeit sicherstellen kann. Im Hinblick auf die Effizienz wurden schnellere KI-gestützte Analysen, höhere Genauigkeit und niedrigere Infrastrukturkosten festgestellt.

Neben der Anwendung in der Fertigung finden NVMe-Festplatten Anwendung bei autonomen Fahrzeugen, der Bildgebung im Gesundheitswesen, der Finanzanalyse und Hyperscale-Cloud-KI-Plattformen.

Nachhaltigkeit und Kosteneinsparungen: Vorteile von NVMe-Festplatten

KI-Infrastrukturen verbrauchen extrem viel Strom, womit die Frage nach nachhaltigen Speicherlösungen immer stärker in den Fokus rückt. Seagate sieht in NVMe-Festplatten eine potenzielle kostengünstige und energieeffiziente Alternative zu Architekturen mit hohem SSD-Anteil.

Im Vergleich zu SSDs bieten NVMe-Festplatten folgende Vorteile:

• 10-mal weniger grauer Kohlenstoff pro Terabyte, was die Umweltauswirkungen erheblich reduziert.
• 4-mal höhere Energieeffizienz im Betrieb pro Terabyte und geringere Stromkosten für KI-Rechenzentren.
• Deutlich geringere Kosten pro Terabyte, wodurch die Gesamtbetriebskosten für KI-Speicher in großem Umfang reduziert werden.

Mit der Zunahme an KI-Infrastruktur wird nachhaltiger Speicher zu einem entscheidenden Faktor für die Reduzierung von Kosten und Auswirkungen auf die Umwelt. Seagate strebt perspektivisch die ständige Optimierung der Effizienz von NVMe-Festplatten an, damit KI-Speicher wachsen können und Unternehmen gleichzeitig ihre langfristigen Nachhaltigkeitsziele erreichen.

Ein Fahrplan für die Zukunft des KI-Speichers

Seagate entwickelt Innovationen, die die nächste Generation von KI-fähigen Speicherinfrastruktur ermöglichen und sich dabei an Branchentrends und den Anforderungen von Hyperscale- und Cloud-Umgebungen orientieren.

Das plant Seagate für die nähere Zukunft:

• Skalierung der Mozaic-Plattform (jetzt mit 36 TB) für NVMe-Festplatten mit noch höherer Kapazität.
• Weiterentwicklung von NVMe-oF für nahtlose Skalierung von KI-Workloads in hybriden Umgebungen.
• Erstellen von Referenzarchitekturen, die sicherstellen, dass KI-Entwickler problemlos optimierte Speicherlösungen bereitstellen können.

Seagate untersucht mit Kunden und Partnern, wie NVMe-Festplatten in KI-Speicherlösungen der nächsten Generation integriert werden können, damit Unternehmen den Bedarf an KI-Speicher kostengünstig und effizient bewältigen können.

Seagates Engagement für die Zukunft des KI-Speichers

Viele Unternehmen kämpfen inmitten der KI-Revolution mit einer komplexen Datenverwaltung und steigenden Speicherkosten. Um mit der Entwicklung mitzuhalten, ist skalierbarer, effizienter Speicher unerlässlich.

Seagate konnte bereits zeigen, dass NVMe-Konnektivität die Komplexität der Speicherbereitstellung reduziert und gleichzeitig die Preisgünstigkeit und Speicherdichte von Festplatten ausnutzt.

Seagate nutzte in seinem POC die AIStore-Integration, NVMe-oF-Skalierbarkeit und GPU-optimierte Speicherpfade und steht damit an vorderster Front bei den aktuellen Entwicklungen in der KI-Infrastruktur.

Während KI ganze Branchen verändert, entwickelt Seagate neue Wege, um Speicherinfrastrukturen so zu skalieren, dass sie mit dem rasant wachsenden Datenbedarf mithalten können.