Wenn Skalierung Leistung erfordert: Wie ein globaler Cloud-Service-Anbieter beide Anforderungen mit Festplatten erfüllt

Während Multi-Tenancy- und Hochleistungs- -Anforderungen die Dateninfrastruktur verändern, findet einer der folgenreichsten Veränderungen nicht nur im Bereich des Trainings von Clustern statt, sondern auch bei den Systemen, die in Echtzeit auf Milliarden von Benutzerinteraktionen reagieren.

Bei einem der weltweit größten Internetgiganten¹haben sich Infrastrukturarchitekten kürzlich vorgenommen, einen zentralen Workload , der mit der Benutzerinteraktion verbunden ist, neu zu konzipieren: die Caching-Infrastruktur zur Unterstützung der Kommentaraktivität in sozialen Medium (d. h. eine temporäre Datenschicht, die den schnellen Zugriff auf häufig angeforderte Inhalte ermöglicht). Es stand viel auf dem Spiel – steigendes Datenverkehrsaufkommen, hohe Nebenläufigkeit und hohe Lese-/ Schreiben – und ebenso mussten die Kosten und der Energieverbrauch im großen Maßstab reduziert werden. Das Team fand eine strategische, jedoch unkonventionelle Lösung: eine festplattengestützte Cache Schicht auf Basis der Unternehmen Festplatten von Seagate mit geringer Speicherkapazität.

Es wird zwar angenommen, dass diese Schicht Flash-Speicher benötigt, aber die Workload Analyse zeigte, dass Festplatten die Leistungsanforderungen erfüllen und gleichzeitig signifikante Kosten- und Effizienzvorteile bieten – insbesondere bei Inferenz- und Daten-Bereitstellungs-Workloads, die typischerweise durch Kosten, Stromverbrauch und Skalierung eher eingeschränkt sind als die reine Latenz.

Diese Architektur zeigt, was möglich ist, wenn Infrastrukturentscheidungen auf dem tatsächlichen Workload Verhalten basieren, und wie Festplatten – bei strategischer Anwendung – einen leistungsfähigen, skalierbaren und kosteneffizienten Betrieb auf globaler Ebene ermöglichen können.

Daten-Workloads verstehen: Kurze Bursts, hohe Parallelität

Ziel dieses Workload war es, einen schnellen, zuverlässigen Zugriff auf Benutzerkommentare bei der Interaktion mit kritischen Inhalten zu ermöglichen – eine Herausforderung, die im großen Maßstab schnell zu einer komplexen Herausforderung wird. Das Volumen und die Unbeständigkeit der Nachfrage machten dies jedoch alles andere als gewöhnlich.

Wenn ein Inhalt verbreitet wird, steigt die Interaktion mit dem Kunden augenblicklich. Tausende bis Millionen von Benutzern können innerhalb von Minuten zu einem einzigen Diskussionsverlauf strömen – liken, antworten, aktualisieren und erneut posten. Das System muss einen Wirbelsturm an Lese- und Schreibvorgängen auf kleinen Objekten verkraften können, die einen steilen Anstieg aufweisen und genauso schnell wieder abfallen. Und obwohl die Leistung zählt, bietet sie nur dann einen Mehrwert, wenn Systemengpässe die Nutzung dieser Leistung ermöglichen.

Die Architekten der Plattform mussten Folgendes unterstützen:

• Extrem hohes gleichzeitiges Zugriffsvolumen über kurze Zeiträume.
• Hoher Lese- und Schreiben aufgrund der Benutzeraktivität
• Schnelles Caching für ein besseres Benutzererlebnis – jedoch ohne ständig eingeschalteten Flash-Speicher mit niedriger Latenz.

Das herkömmliche Hot/Cold-Tiering war für diese Art von dynamischen Mustern nicht effektiv. Flash-Speicher konnte zwar die Leistungsanforderungen erfüllen, war jedoch aufgrund seines Kosten-, Verschleiß- und Energieprofils auf dieser Ebene der Architektur nicht nachhaltig.

Durchsatz vs. Latenz: Daten-Caching für Cloud-Leistung neu denken

Es ist eine weit verbreitete Annahme, dass Caching-Ebenen – insbesondere bei benutzerorientierten Systemen – flash-basiert sein müssen, um den Leistungsanforderungen gerecht zu werden. In diesem Fall zeigte die detaillierte Workload -Analyse, dass der Durchsatz (die Rate, mit der Daten pro Sekunde gelesen oder geschrieben werden können) und die Nebenläufigkeit (die Fähigkeit, viele Anfragen gleichzeitig zu bearbeiten) die einschränkenden Faktoren waren und nicht die Latenz im Mikrosekundenbereich. Festplatten sind in diesen Dimensionen hochleistungsfähig und in Architekturen auf Systemebene, die diese Stärken maximieren – durch Parallelismus, Caching-Strategien und Smart Tiering – können sie Flash-basierte Konfigurationen für dieselbe Workload übertreffen .

Durch diese Kombination verschiedener Stärken konnte der Cloud Anbieter :

• hohen sequenziellen und gleichzeitigen Durchsatz.
• Verarbeiten Sie große Datenmengen bei starken, kurzlebigen Spitzen.
• Die Rechenzentren bieten geringere Kosten und geringeren Stromverbrauch pro Terabyte, da die Budgets für Rechenzentrum hinsichtlich Strom und Wärmeentwicklung zunehmend eng werden.

In solchen Anwendungen bieten Unternehmen -Festplatten pro Terabyte pro Terabyte mehr als das Siebenfache der Kosten für Halbleiterfestplatten. Dies geht aus der von Seagate durchgeführten Analyse der Studien IDC, TRENDFOCUS und Forward Insights hervor. Dieses Delta kann die Entscheidung für die Architektur erheblich beeinflussen, insbesondere wenn Cache Effizienz und Cache-Widerstandsfähigkeit mit einbezogen werden.

Festplatten-Caching: Die Lösung für skalierbaren, effizienten Datenzugriff

Die endgültige Architektur verwendete Unternehmen -Festplatten mit geringer Speicherkapazität von Seagate als dauerhaften Zwischenspeicher und positionierte sie zwischen einer primären Anwendungsschicht und einer Cloud-Schicht mit großer Festplatte, Laufwerk. Die Konfiguration wurde mithilfe von Gehäusen erstellt, die das Team bereits für andere Workloads im Einsatz hatte, was eine effiziente Wiederverwendung des Systems ermöglichte.

Und so funktioniert es:

• Bei Spitzenauslastung werden Kommentardaten direkt in den Festplatte, Laufwerk Cache geschrieben.
• Diese Festplatte, Laufwerk Datenschicht bietet die hohe Durchsatzrate und die hohe Nebenläufigkeit, die für einen schnellen, wiederholbaren Zugriff im globalen Maßstab bei Bursts erforderlich sind.
• Sobald die Nachfrage abnimmt, werden die Daten im Cache entweder gelöscht oder in eine tiefere Speicherebene migriert, die aus Festplatten mit größerer Kapazität (z. B. 24 TB oder 30 TB) besteht.

Die Festplatten in der Caching-Ebene setzen üblicherweise Prioritäten für den Außendurchmesser ihrer Scheiben, um nutzbaren Cache Speicherplatz zu nutzen. Auf diese Weise wird das Schreiben optimiert und die effektive Leistung für den jeweiligen Anwendungsfall maximiert.

Kosten, Energie und Leistung in der Cloud-Speicherinfrastruktur ausbalancieren

Dieses Architekturdiagramm veranschaulicht, wie Festplatte, Laufwerk Caching, tiefer Speicher und Anwendungsdienste zusammenarbeiten, um virtuelle Datenspitzen effizient und kostengünstig zu verarbeiten.

Der Einsatz führte zu bedeutenden Verbesserungen bei den Gesamtkosten der Infrastruktur und der Energieeffizienz. Gleichzeitig wurden die Hochleistungs- der Workload durch Festplatten erfüllt, die für anhaltenden Durchsatz, Schreiben , Datenverfügbarkeit unter Druck und Flottenmanagement ausgelegt waren.

• Durch den Einsatz von Unternehmen -Festplatten mit geringerer Kapazität konnte die benötigte Leistung zu wesentlich niedrigeren Anschaffungskosten pro Terabyte im Vergleich zu Flash-basierten Alternativen erreicht werden.
• Der Stromverbrauch pro Durchsatz ist gesunken, da die Festplatten für anhaltende Schreiben optimiert wurden, nicht für IOPS im Leerlauf . Vergleiche auf Systemebene zeigen, dass Festplatten den Stromverbrauch pro Terabyte im Vergleich zu QLC-Flash-Speicher um bis zu 70 % senken können.
• Das Team konnte die bestehende Infrastruktur wiederverwenden und so die Investitionen in neue Hardware minimieren und die Bereitstellungsfristen verkürzen.
• Wichtig ist dabei, dass die Festplatte, Laufwerk Cache Ebene die Erwartungen hinsichtlich der Zugriffsrate auch weiterhin erfüllt bzw. übertrifft, was eine nahtlose Kommentierung selbst bei den drastischsten Video-Datenverkehrsspitzen ermöglicht.

Die meisten Inferenz- und Datenbereitstellungsworkloads sind mehr durch Kosten, Energieverbrauch und Skalierung als durch die reine Latenz eingeschränkt. Daher bieten Festplatten eine praktische Lösung für die richtige Architekturebene.

Skalierung des Cloud-Caching: Vom Piloterfolg zum globalen Plattformstandard

Zum Zeitpunkt der Veröffentlichung wurde diese Plattformarchitektur vom Kunde aktiv in den wichtigsten Regionen eingesetzt, wobei eine breitere Einführung laufend evaluiert wurde. Die Frühindikatoren waren sehr gut: Die Metriken zur Cache -Leistung blieben konstant, das Benutzererlebnis blieb reaktionsschnell und die Gesamtbetriebskosten konnten verbessert werden.

Sollten die Pilotergebnisse weiterhin halten, kann die Plattform dieses Modell möglicherweise erheblich ausweiten. Mit einem potenziellen jährlichen Einsatzvolumen im Laufwerk, Festplatte Bereich. Dies spiegelt die Nachfrage nach mehr als 6 EB pro Jahr sowie das Vertrauen in die Leistung und Effizienz von Festplatten im großen Maßstab wider.

Es handelt sich hier nicht um eine einmalige Optimierung, sondern um ein neues Muster für eine bessere Freigabe von Bildern, Microblogs, Videos und anderen Inhalten, bei dem die Nebenläufigkeit und Relevanz der Endnutzer die Anforderungen an die Infrastruktur Laufwerk, Festplatte und die Rentabilität der Plattform erhöhen.

Wichtige Erkenntnisse zum Aufbau skalierbarer, kosteneffizienter Cloud-Caching-Architekturen

Der Erfolg dieses Konzepts beruht nicht auf einem einzelnen Durchbruch, sondern auf drei Grundprinzipien, die bei anderen KI-Plattformanbietern Anklang finden werden:

• Ein Design, das der Workload entspricht Dies ist jedoch nicht der Grund, warum nicht jede Hochleistungs- Flash-Speicher benötigt.
• Wichtige Leistungsdimensionen – wie Durchsatz, Nebenläufigkeit, Schreiben , Aufnahmegeschwindigkeit und Systemauslastung – sind häufig relevanter als die reine Latenz.
• Speicher-Tiers können optimiert werden wiederverwendet – um modernen Anforderungen besser gerecht zu werden.

Festplatten haben hier nicht „überzeugt“ – sie machten einfach Sinn. So sieht es aus, wenn Leistung, Kosten und betriebliche Effizienz in einer realen Umgebung in Einklang gebracht werden. In Unternehmen und Cloud-Infrastrukturen bedienen sie weiterhin den Großteil der Daten-Workloads, bei denen es vor allem auf Durchsatz, Effizienz und Skalierung ankommt.

Letzter Gedanke: Aufbau einer Cloud-Infrastruktur, die die tatsächlichen Arbeitslasten widerspiegelt

Um den Leistungsanforderungen gerecht zu werden, benötigen moderne Workloads sowohl skalierbare Rechenleistung als auch Speicher – insbesondere, weil der Erfolg von Modellen von der unmittelbaren, kontinuierlichen Relevanz für den Endbenutzer abhängt.

Da KI und andere moderne Workloads branchenübergreifend das Infrastrukturdesign prägen, stellt sich die Frage nicht mehr, ob Festplatten oder Flash-Speicher eingesetzt werden sollen. Hier erfahren Sie, wie Sie Systeme aufbauen können, die echtes Workload -Verhalten, gegebene Einschränkungen und echte Optimierungsmöglichkeiten bieten.

Dieser weltweit führende Anbieter von Cloud-Services hat bewiesen, dass Festplatten nicht nur relevant sind, sondern auch eine zentrale Rolle bei der Skalierung moderner Architekturen spielen, da sie auch bei Spitzenauslastung einen reaktionsschnellen Datenzugriff und Verfügbarkeit gewährleisten.

Fußnoten

^{Gemäß gegenseitigem NDA anonymisiert.}