Kiedy skala wymaga wydajności: W jaki sposób globalny dostawca usług w chmurze spełnia oba te wymagania dzięki dyskom twardym

W miarę zmiany kształtu infrastruktury danych przez obsługę wielu podmiotów oraz wymagania w wysoka wydajność , jedna z najważniejszych zmian zachodzi nie tylko w klastrach szkoleniowych, lecz także w systemach, które reagują w czasie rzeczywistym na miliardy interakcji użytkowników.

U jednego z największych na świecie internetowych gigantów¹, architekci infrastruktury przystąpili niedawno do ponownego wyobrażenia sobie kluczowego obciążenie związanego z zaangażowaniem użytkowników: infrastruktury buforowania, która obsługuje komentarze z nośnik społecznościowych (tj. tymczasowej warstwy danych, która umożliwia szybki dostęp do często żądanych treści). Stawka była wysoka – rosnący ruch, wysoka współbieżność oraz duże zapotrzebowanie na operacje odczytu/ zapis – podobnie jak potrzeba zmniejszenia kosztów i zużycia energii w dużej skali. Zespół zidentyfikował strategiczne, lecz niekonwencjonalne rozwiązanie: oparte na warstwie pamięć podręczna twarde, bazujące na dyskach Seagate korporacja o niskiej pojemności.

Zakłada się, że ta warstwa wymaga pamięci flash, lecz analiza obciążenie wykazała, że dyski twarde spełniają wymagania w zakresie wydajności, oferując jednocześnie znaczne korzyści pod względem kosztów i wydajności – zwłaszcza w przypadku wnioskowania i obciążeń stopniowaniem danych, które są zazwyczaj bardziej ograniczone przez koszty, moc i skalę niż przez opóźnienie.

Ta architektura ilustruje to, co jest możliwe, gdy decyzje dotyczące infrastruktury są oparte na rzeczywistych obciążeniach obciążenie , oraz to, w jaki sposób dyski twarde – używane strategicznie – mogą zapewnić wydajne, skalowalne i oszczędne operacje w skali globalnej.

Zrozumienie obciążeń związanych z danymi: Krótkie serie, wysoka współbieżność

obciążenie celem było umożliwienie szybkiego i niezawodnego dostępu do danych z komentarzami użytkowników podczas angażowania się w wirusowe treści – wyzwania, które szybko staje się skomplikowane w skali. Jednak wielkość i zmienność popytu sprawiły, że wcale nie było to zwyczajne.

Kiedy treść staje się wirusowa, zaangażowanie natychmiast wzrasta. Tysiące lub miliony użytkowników mogą w ciągu kilku minut zebrać się w jeden wątek – polubić, odpowiedzieć, odświeżyć i ponownie opublikować. System musi radzić sobie z gwałtownymi gwałtownymi gwałtownymi odczytami i zapisami małych obiektów, osiągając gwałtowny wzrost i równie szybkie zanikanie. I choć wydajność ma znaczenie, zapewnia wartość tylko wtedy, gdy zatory systemu pozwalają na jej wykorzystanie.

Architekci platformy potrzebowali wsparcia:

• Ekstremalnie wysoki poziom jednoczesnego dostępu w krótkich okresach.
• Duży ruch odczytu i zapis związany z aktywnością użytkownika.
• Błyskawiczne czasy reakcji buforowania poprawiają komfort użytkowania – bez korzystania z zawsze włączonej pamięci flash o niskich opóźnieniach.

W przypadku tego rodzaju dynamicznego wzorca tradycyjny podział na warstwy na gorąco i na zimno był nieskuteczny. Chociaż pamięć flash może zaspokajać potrzeby w zakresie wydajności, jej koszty, zużycie i profil energetyczny sprawiły, że stała się niestabilna na tym poziomie architektury.

Przepustowość a opóźnienia: Nowe podejście do buforowania danych w celu zwiększenia wydajności chmury

Powszechnie przyjmuje się, że warstwy buforowania – zwłaszcza w przypadku systemów obsługujących użytkownika – muszą być oparte na pamięci flash, aby sprostać wymaganiom w zakresie wydajności. Jednak w tym przypadku szczegółowa analiza obciążenie wykazała, że czynnikami ograniczającymi były przepustowość (szybkość odczytu lub zapisu danych w ciągu sekundy) oraz współbieżność (zdolność do obsługi wielu jednoczesnych żądań), a nie opóźnienia na poziomie mikrosekund. Dyski twarde charakteryzują się wysoką wydajnością w tych wymiarach, a dzięki architekturze systemowej zaprojektowanej w celu maksymalizacji tych zalet – poprzez równoległość, strategie buforowania i inteligentne warstwowanie – mogą przewyższyć wydajność konfiguracji opartych na pamięci flash przy takim samym obciążenie.

Poprzez wykorzystanie tej kombinacji atutów dostawca chmury był w stanie:

• Wysoka przepustowość sekwencyjna i jednoczesna.
• Obsługa dużych woluminów danych podczas intensywnego, krótkotrwałego obciążenia.
• Koszty pracy i niższe zużycie energii na terabajt mają istotne znaczenie w miarę coraz większych ograniczeń budżetów centrum danych na pobór mocy i chłodzenie.

W takich wdrożeniach dyski twarde klasy korporacja oferują znacznie niższy koszt pozyskania na terabajt – obecnie ponad siedmiokrotnie niższy niż w dyskach SSD, według analizy Seagate przeprowadzonej na podstawie badań IDC, TRENDFOCUS i Forward Insights. Ta różnica może znacząco wpływać na wybory dotyczące architektury, zwłaszcza gdy liczy się wydajność i wytrzymałość pamięć podręczna podręcznej.

Buforowanie dysków twardych: Rozwiązanie zapewniające skalowalny i wydajny dostęp do danych

Ostateczna architektura wdrożyła dyski twarde Seagate korporacja o niskiej pojemności jako warstwę trwałego buforowania i umieściła je pomiędzy podstawową warstwą aplikacji a warstwą chmury opartą na dysk twardy o dużej pojemności. Konfiguracja została stworzona przy użyciu obudów, które zespół posiadał już w użyciu przy innych obciążeniach roboczych, co pozwalało na wydajne ponowne wykorzystanie systemu.

Jak to działa:

• W szczycie aktywności dane komentarzy są zapisywane bezpośrednio w warstwie pamięć podręczna podręcznej dysk twardy .
• Ta warstwa danych oparta na dysk twardy zapewnia wysoką przepustowość i wydajność wymaganą do zapewniania szybkiego, powtarzalnego dostępu w skali globalnej podczas przerw w działaniu.
• Po zmniejszeniu zapotrzebowania buforowane dane są usuwane lub przenoszone do głębszej warstwy pamięci masowej opartej na dyskach o większej pojemności (np. 24 TB lub 30 TB).

Dyski w warstwie buforowania zazwyczaj działają w taki sposób, że priorytetowe są zewnętrzne przekroje talerzy, aby zapewnić użyteczną przestrzeń pamięć podręczna , optymalizując zachowanie zapis i maksymalizując efektywną wydajność w zależności od zastosowania.

Równoważenie kosztów, zużycia energii i wydajności w infrastrukturze pamięci masowej w chmurze

Diagram architektury pokazuje, jak buforowanie oparte na dyskach twardych, pamięć masowa i usługi aplikacyjne współpracują, aby efektywnie i ekonomicznie obsługiwać gwałtowny przyrost danych.

Wdrożenie przyniosło znaczącą poprawę w zakresie kosztów infrastruktury i efektywności energetycznej, przy jednoczesnym spełnieniu wymagań wysoka wydajność związanych z obciążenie dzięki dyskom zaprojektowanym pod kątem stałej przepustowość, trwałości zapis , dostępność danych pod presją oraz wdrożenia w skali całej floty.

• Zastosowanie dysków twardych korporacja o mniejszej pojemności zapewniło wymaganą wydajność przy znacznie niższym koszcie pozyskania na terabajt w porównaniu z alternatywnymi dyskami opartymi na pamięci flash.
• Pobór mocy na jednostkę przepustowość spadł, ponieważ dyski zostały zoptymalizowane pod kątem długotrwałych cykli zapis , a nie w stanie spoczynku operacji IOPS. Porównania na poziomie systemu pokazują również, że dyski twarde mogą zmniejszyć pobór mocy na terabajt nawet o 70% w porównaniu z QLC flash.
• Zespół był w stanie ponownie wykorzystać istniejącą infrastrukturę, minimalizując inwestycje w nowy sprzęt i przyspieszając czasy wdrażania.
• Co ważne, warstwa pamięć podręczna opartej na dysk twardy nadal spełnia lub przekracza oczekiwania w zakresie współczynnika trafień, obsługując bezproblemowe reagowanie na komentarze nawet przy najbardziej nasilonym ruchu wirusowym.

Większość obciążeń roboczych wnioskowania i przemieszczania danych jest bardziej ograniczona przez koszty, moc i skalę niż przez opóźnienia, co sprawia, że dyski twarde idealnie pasują do odpowiedniej warstwy architektury.

Skalowanie buforowania w chmurze: Od udanego pilotażu do globalnego standardu platformy

W momencie publikacji tej publikacji architektura platformy była aktywnie wdrażana przez klient w kluczowych lokalizacjach geograficznych, z ciągłą oceną jej szerszego wdrożenia. Pierwsze wskaźniki były mocne: wydajność pamięć podręczna utrzymywała się na stałym poziomie, doświadczenie użytkownika pozostało elastyczne, a całkowity koszt posiadania uległ poprawie.

Jeśli wyniki pilotażowe się utrzymają, platforma może znacznie rozszerzyć ten model – przy potencjalnym rocznym wdrożeniu osiągając sześciocyfrową liczbę napęd , co odzwierciedla zapotrzebowanie na ponad 6 EB rocznie oraz pewność, że dyski twarde zapewniają wydajność i efektywność w skali całej floty.

Nie chodzi tu o jednorazową optymalizację – to nowy wzorzec służący lepszemu udostępnianiu zdjęć, mikroblogów, filmów i innych treści, w przypadku których współbieżność i trafność użytkownika końcowego napęd wymagania w zakresie infrastruktury i pozwalają poprawić rentowność platformy.

Kluczowe wnioski dotyczące tworzenia skalowalnych i ekonomicznych architektur buforowania w chmurze

Sukces tego projektu nie opiera się na żadnym pojedynczym przełomie, ale na trzech podstawowych zasadach, które będą rezonować z innymi konstruktorami platform AI:

• Projektowanie pod kątem obciążenie — nie założenie, ponieważ nie każda warstwa o wysoka wydajność wymaga pamięci flash.
• Kluczowe wymiary wydajności — np. przepustowość, zapis , dostępność, szybkość i wykorzystanie systemu — są często bardziej istotne niż rzeczywiste opóźnienia.
• Możliwość optymalizacji poziomów pamięci masowej — a nawet ponownego wykorzystania — aby skuteczniej zaspokajać współczesne potrzeby.

Dyski twarde nie wygrywały tutaj z pamięcią flash — one po prostu miały sens. Tak właśnie wygląda dostosowanie wydajności, kosztów i efektywności operacyjnej w rzeczywistym środowisku. W całej infrastrukturze korporacja i w chmurze rozwiązania te nadal obsługują większość obciążeń roboczych związanych z danymi, w których przepustowość, wydajność i skala mają największe znaczenie.

Podsumowanie: Budowanie infrastruktury chmurowej odzwierciedlającej rzeczywiste obciążenia

Aby sprostać potrzebom w zakresie wydajności, nowoczesne obciążenia robocze wymagają zarówno mocy obliczeniowej, jak i pamięci masowej, które umożliwiają skalowanie – zwłaszcza, że sukces modelu zależy od natychmiastowego, stałego znaczenia dla użytkownika końcowego.

W miarę jak sztuczna inteligencja i inne nowoczesne obciążenia robocze wpływają na projektowanie infrastruktury w różnych branżach, pytanie nie brzmi, czy korzystać z dysków twardych, czy z pamięci flash. Mówi o tym, jak budować systemy, które odzwierciedlają rzeczywiste zachowania przy obciążenie , rzeczywiste ograniczenia i możliwości optymalizacji.

Ten wiodący globalny dostawca usług w chmurze dowiódł, że dyski twarde są nie tylko istotne – odgrywają kluczową rolę w procesie ewolucji nowoczesnych architektur w celu skalowania, zapewniając responsywny dostęp do danych i dostępność nawet przy szczytowym zapotrzebowaniu.

Przypisy

^{Anonimizacja na podstawie wzajemnej umowy NDA.}