Sztuczna inteligencja zmienia pojęcie tworzenia wydajnych systemów danych.
Dwie trzecie przedsiębiorstw spodziewa się, że GenAI zwiększy ilość przechowywanych danych. Jednak tylko około jedna trzecia ankietowanych twierdzi, że ich infrastruktura jest „w pełni zoptymalizowana pod kątem GenAI”. Kluczowe jest zaprojektowanie architektury centrów danych zdolnej do obsługi zadań związanych ze sztuczną inteligencją i coraz większą ilością danych, których ona wymaga.
Każdy wytrenowany model, każdy przeanalizowany film i każda udoskonalona symulacja generują falę danych, które muszą zostać zapisane do ponownego wykorzystania. Czy architektura i modele biznesowe nadążą za tempem tworzenia danych? Dzięki warstwowaniu danych, tak.
Jak warstwowanie danych (ang. tiering) optymalizuje wydajność i skalę sztucznej inteligencji
Dzięki warstwowaniu danych informacje znajdują się we właściwym miejscu i czasie. W ten sposób infrastruktura równoważy wydajność, skalę i koszty bez konieczności ciągłego ręcznego dostrajania.
- Warstwy dostępu w czasie rzeczywistym obsługują aktywne serie odczytów, a pamięć masowa i pamięć flash często je obsługują.
- Warstwy częstego dostępu obsługują mieszane działania, a klastry pamięci masowej opartej na dyskach twardych obsługują je w wydajny sposób na dużą skalę.
- Warstwy o dużej pojemności przechowują duże zestawy danych, dzięki czemu są one dostępne do ponownego wykorzystania i analizy, natomiast dyski twarde o dużej pojemności służą do ich przechowywania, zapewniając najniższy koszt na terabajt i optymalną wydajność.
Podział na warstwy nie ma nic wspólnego z hierarchią, lecz z harmonią. Każda warstwa pełni określoną rolę, a razem sprawiają, że system jest szybszy, wydajniejszy, bardziej skalowalny i zrównoważony.
Dane generowane przez aplikacje oparte na sztucznej inteligencji nie podążają prostą ścieżką — przepływają przez wiele warstw w trakcie ich rejestrowania, przetwarzania, trenowania, udoskonalania i ponownego trenowania w celu dokopania się do ich prawdziwej wartości. Dzięki warstwowaniu nieograniczony przepływ danych staje się zaletą: większa ilość danych pozostaje produktywna, a nie uśpiona. Gwarantuje to również, że wartościowe wyniki nie zostaną utracone. Zespoły kodyfikują dane za pomocą zasad, tagów cyklu życia i telemetrii. Cel: utrzymanie zestawu roboczego blisko obliczeń i zapewnienie, że zestaw położony głęboko będzie niedrogi, trwały i gotowy do użycia w razie potrzeby.
Jak warstwowanie danych zapewnia szybkość i wydajność szkolenia sztucznej inteligencji
Procesory graficzne przynoszą zyski tylko wtedy, gdy otrzymują wystarczająco dużo danych na tyle szybko, że są cały czas zajęte. Nowoczesne systemy dysków twardych zapewniają szybkość reakcję na poziomie milisekund — wystarczającą, aby zapewnić ciągłość szkolenia i wnioskowania sztucznej inteligencji. Pamięć i pamięć flash odpowiadają za pamięć podręczną, natomiast dyski twarde zapewniają głębokie przechowywanie danych. Dlatego około 85% danych w chmurze nadal znajduje się na dyskach twardych1: skala zależy od ich pojemności, która jest duża i przystępna cenowo.
Dzięki warstwowaniu petabajty danych wyjściowych nie przeciążają kosztownej infrastruktury ani nie znikają, zanim będzie można je wykorzystać do szkolenia kolejnego modelu. Dzięki temu praktyczne staje się ich ponowne wykorzystanie: ta sama baza danych może posłużyć do szkolenia jednego, dostrajania kolejnego oraz do audytów w przyszłości. Planowanie pojemności staje się dźwignią, a nie ograniczeniem.
Sprawność to nowa wydajność
Dzięki warstwowaniu danych przedsiębiorstwa mogą optymalnie wykorzystywać istniejącą infrastrukturę. Zapobiega to nadmiernemu gromadzeniu zasobów, ogranicza pobór mocy w stanie bezczynności i wydłuża żywotność aktywów. Na poziomie systemowym układy oparte na dyskach twardych zapewniają znaczną przewagę pod względem całkowitego kosztu posiadania.
Wyższa gęstość powierzchniowa — dyski przeznaczone do zastosowań wymagających dużej ilości danych — oznacza więcej terabajtów na dysk, mniej szaf do zasilania i chłodzenia oraz niższe zużycie energii na terabajt. Rezultatem jest większa sprawność energetyczna bez poświęcania szybkości i odporności.
W jaki sposób warstwowe przechowywanie danych zmniejsza zużycie energii i wspiera zrównoważoną sztuczną inteligencję
W dużej skali sprawność często równa się zrównoważonemu charakterowi. Przenoszenie rzadko używanych danych do energooszczędnych warstw o dużej pojemności pozwala na redukcję emisji związanych z działaniem.
Najnowsze modelowanie na poziomie systemu potwierdza tę tezę: szafy na dyski twarde zużywają około cztery razy mniej energii i emitują około 10 razy mniej dwutlenku węgla niż szafy na dyski SSD o tej samej pojemności.2
Praktyki gospodarki o obiegu zamkniętym — takie jak odnawianie i ponowne wdrażanie napędów lub ponowne wprowadzanie pierwiastków ziem rzadkich do łańcucha dostaw — redukują wbudowane emisje dwutlenku węgla i wydłużają okres użytkowania.
Mniej dysków, dłuższe cykle życia i mniej odpadów: to namacalne korzyści, jakie daje wielowarstwowa pamięć masowa3.
Jak przedsiębiorstwa osiągają sukces
Miejsce potrzebne na dane związane z AI będzie tylko rosnąć. Dzięki warstwowaniu danych przedsiębiorstwa utrzymują przewagę, zapewniając prędkość tam, gdzie jest potrzebna, skalę tam, gdzie jest wymagana, i zrównoważony rozwój przez cały czas.
W przypadku rozwiązań na masową skalę dyski twarde pozostają podstawą tej równowagi: zapewniają wydajność, przystępną cenę i efektywność – wszystko naraz.
Właśnie w ten sposób warstwowanie danych zapewnia przewagę na dużą skalę. Dzięki temu właściwe dane znajdują się we właściwym miejscu i czasie.
Pełny potencjał sztucznej inteligencji wymaga danych — i pamięci masowej, na której są przechowywane.
Przypisy
- Analiza raportów wielu analityków branżowych przeprowadzona przez firmę Seagate.
- HotCarbon 2024, “A Call for Research on Storage Emissions.”
- FY2024: ponad 1,8 miliona dysków przywrócono do pracy (Seagate Circularity); FY2023: 1,19 miliona dysków o przedłużonej żywotności wraca do pracy (Seagate Planet page, “Circularity”).
