Sztuczna inteligencja (AI) oraz uczenie maszynowe (ML) stymulują przełomowe innowacje, począwszy od przewidywania struktur białkowych, aż po tłumaczenie językowe w czasie rzeczywistym. U podstaw tych innowacji leży nieustanna potrzeba wysokiej jakości danych. Modele AI działają w oparciu o ogromne zbiory danych, jednak bez niezawodnej i kosztowo efektywnej pamięci masowej danych modele te – oraz informacje, które generują – nie będą mogły osiągnąć swojego pełnego potencjału.
Pamięć masowa danych jest motorem rozwoju sztucznej inteligencji, tak jak tlen jest paliwem dla ludzkiego umysłu. Zdolność przechowywania, dostępu i wydajnego przetwarzania danych determinuje skuteczność uczenia i udoskonalania modeli AI. Coraz większemu zapotrzebowaniu na sztuczną inteligencję towarzyszą jednak również wyzwania związane z zarządzaniem cyklem życia danych AI – ich gromadzenia, przechowywania w pamięci masowej i przetwarzania – przy jednoczesnej kontroli kosztów i złożoności.
Rosnące zapotrzebowanie na dane gotowe do wykorzystania przez AI
Dane przeszły ewolucję od arkuszy kalkulacyjnych i prostej analityki do zaawansowanych syntez informacji uzyskanych na podstawie uczenia maszynowego. Departament Pracy Stanów Zjednoczonych informuje, że istnieje aktualnie ponad 200 000 miejsc pracy przy analityce danych, a w ciągu następnej dekady przewiduje się wzrost tej liczby o 36% . Eksperci w różnych branżach, jesli nawet nie mają formalnego szkolenia z zakresu analityki danych, wprowadzają narzędzia AI do swoich procesów produkcyjnych, korzystając z platform bez kodu, które pozwalają im tworzyć modele i analizować dane szybciej niż dotychczas.
Surowe dane nie są jednak przydatne same w sobie. Zanim trafią do modeli AI, muszą zostać ustrukturyzowane, oczyszczone i oznaczone – jest to proces często nazywany zbieraniem danych. Narzędzia typu open source, takie jak Pandas pomagają przekształcić ogromne zbiory danych w ustrukturyzowane formaty, z których mogą korzystać modele AI. Aby jednak uniknąć wąskich gardeł, które spowalniają rozwój modelu, proces ten wymaga szybkiej, wydajnej i lokalnej pamięci masowej danych.
Wyzwania związane z zarządzaniem danymi AI
Sama ilość danych do trenowania AI stanowi poważne wyzwanie logistyczne. Przechowywanie i zarządzanie dużymi zestawami danych to nie tylko kwestia pojemności, ale również kosztów, zgodności i dostępności.
Oto kilka największych wyzwań w zakresie zarządzania danymi AI:
- Suwerenność i bezpieczeństwo danych. Organizacje muszą przestrzegać przepisów w zakresie własności intelektualnej, ochrony danych i właściwości prawnej.
- Koszty pamięci masowej w chmurze . Zestawy danych AI przechowywane w chmurze mogą kosztować pięć do 10 razy drożej niż przy użyciu lokalnych rozwiązań NAS.
- Wąskie gardła w przepływie danych. Przesyłanie dużych zestawów danych przez rozległe sieci jest powolne i kosztowne, co powoduje opóźnienia pracy dla rozproszonych geograficznie zespołów.
Tradycyjnie scentralizowana pamięć masowa konkuruje z rozproszonymi geograficznie źródłami danych. Coraz więcej specjalistów od sztucznej inteligencji wybiera lokalne rozwiązania pamięci masowej na brzegu sieci, które oferują większą kontrolę, niższe koszty i krótszą latencję.
Wykorzystanie pamięci masowej AI na brzegu sieci
Zamiast przesyłać ogromne zbiory danych do scentralizowanych serwerów w chmurze, organizacje mogą przetwarzać i przechowywać dane AI bliżej miejsca, w którym są generowane. Takie podejście – często nazywane przetwarzaniem na brzegu sieci – minimalizuje koszty przenoszenia danych, poprawiając jednocześnie wydajność.
Jednym z opłacalnych rozwiązań są małe, hybrydowe systemy NAS, które dostarczają lokalną wysokowydajną pamięć masową do obsługi obciążeń roboczych AI. W przeciwieństwie do tradycyjnych systemów NAS, systemy te integrują skonteneryzowane narzędzia AI, takie jak Jupyter Notebooks, umożliwiając ekspertom w danej dziedzinie i programistom AI współpracę bezpośrednio w systemie pamięci masowej. Eliminując potrzebę stałego przesyłania danych, te rozwiązania NAS zmniejszają koszty operacyjne, przyspieszając jednocześnie rozwój sztucznej inteligencji.
Przetwarzanie danych AI na brzegu sieci daje również organizacjom większą kontrolę nad zestawami danych. Suwerenność w zakresie danych treningowych AI gwarantuje zgodność z przepisami branżowymi i zmniejsza ryzyko związane z przechowywaniem tych danych w pamięci masowej podmiotów zewnętrznych. Takie podejście sprawia, że procesy produkcyjne wykorzystujące sztuczną inteligencję są wydajniejsze, przechowując dane blisko miejsca, w którym są gromadzone i analizowane.
Przetwarzanie danych na brzegu sieci oferuje wiele korzyści dla rozwoju sztucznej inteligencji:
- Obniża koszty. Zmniejsza koszty pamięci masowej w chmurze i transferu danych.
- Przyspiesza rozwój AI. Umożliwia lokalny dostęp do danych treningowych.
- Lepsza kontrola danych. Dane przechowywane i przetwarzane wewnętrznie zapewnia samodzielną kontrolę i zgodność z przepisami.
Laboratorium AI na brzegu sieci: Architektura i konfiguracja systemu
Zbudowaliśmy trzywęzłowy klaster NAS i zmierzyliśmy wydajność jego pamięci masowej, aby zbadać możliwość obsługi obciążeń AI w zlokalizowanej pamięci masowej.
Konfiguracja systemu:
- Sprzęt:
- Procesor Intel N5095 (niskie zużycie energii)
- Podwójne porty Ethernet 2,5 GE
- 4 dyski twarde IronWolf Pro o pojemności 24 TB (z RAID5, 70 TB do wykorzystania na węzeł)
- Opcjonalne dyski SSD i procesory tensorowe (TPU) zapewniają przyspieszenie
- Oprogramowanie:
- Kontenery Jupyter Notebook do sztucznej inteligencji opartej na języku Python
- Technologia NATS Jetstream oferuje odporność na błędy komunikatów, pamięć masową typu key-value oraz obiektową pamięć masową
- Wielowęzłowa replikacja danych zapewnia nadmiarowość i odporność
Testowanie wydajności: Ocena pamięci masowej i infrastruktury sieciowej
Najpierw zmierzyliśmy wydajność pojedynczego węzła, aby ustalić punkt odniesienia dla przepustowości. System oosiągnął 200 MB/s na łącze 2,5 GE do dużych transferów danych.
Następnie przeanalizowaliśmy wpływ wielowęzłowej replikacji na wydajność. Chociaż replikacja danych zwiększyła ruch w sieci, to jej wpływ na wydajność odczytu był minimalny, co jest dużą zaletą w przypadku obciążeń roboczych, które wymagają spójności danych w wielu węzłach.
Testy wydajności sieci wykazały, że dodanie drugiego łącza 2,5 GE przyniosło jedynie niewielkie korzyści w zapisie, natomiast sieci 10 GE poprawiły wydajność w wybranych przypadkach.
Realny trening sztucznej inteligencji na brzegu sieci
Aby przeprowadzić symulację procesów produkcyjnych wykorzystujących sztuczną inteligencję, przetestowaliśmy prawdziwe zadanie uczenia maszynowego za pomocą systemu NAS. Wytrenowaliśmy model klasyfikacji łodzi, korzystając z zestawu danych składającego się z 500 oznaczonych obrazów, przeprowadzając lokalną ekstrakcję cech i trening modelu.
Obrazy były przechowywane w zasobniku obiektowej pamięci masowej z etykietami metadanych, a następnie użyliśmy PyTorch Img2Vec aby wyodrębnić cechy z każdego obrazu, a następnie wyszkolić losowy klasyfikator. Uzyskany model osiągnął 78% dokładności w mniej niż minutę.
Oto kluczowe obserwacje z tego testu:
- Ekstrakcja cech zajęła najwięcej czasu (81%), co wskazuje na potrzebę szybkiej lokalnej pamięci masowej.
- Szkolenie dotyczące modelu AI zostało ukończone w mniej niż minutę, udowadniając, że lokalna pamięć NAS może efektywnie obsłużyć procesy AI.
- Eksperci w omawianej dziedzinie, bez formalnego przeszkolenia w zakresie sztucznej inteligencji, byli w stanie pomyślnie przeprowadzić eksperyment, demonstrując szeroką dostępność tej metody.
Eksperyment wykazał, że zlokalizowana pamięć NAS może służyć jako niedrogi koncentrator danych AI, zmniejszając zależność od usług w chmurze, przy jednoczesnej poprawie dostępności i wydajności.
Uwagi końcowe: Pamięć masowa wykorzystująca sztuczną inteligencję musi ewoluować
Przyszłość sztucznej inteligencji zależy od wydajnej, oszczędnej i skalowalnej pamięci masowej. Ze względu na stały wzrost ilości danych, organizacje muszą przemyśleć sposób przechowywania i zarządzania zestawami danych AI.
Zlokalizowane rozwiązania NAS zapewniają praktyczną alternatywę dla drogiej pamięci masowej w chmurze, pozwalając zespołom AI na:
- zmniejszenie kosztów przy zachowaniu wysokowydajnego dostępu do danych.
- poprawę wydajności procesów produkcyjnych wykorzystujących sztuczną inteligencję dzięki przechowywaniu danych blisko procesów obliczeniowych.
- poprawę zgodności i suwerenności dzięki kontroli, nad miejscem przechowywania danych AI.
Podobnie jak powietrze podtrzymuje życie, pamięć masowa danych wspiera innowacje w zakresie sztucznej inteligencji. Organizacje mogą zmaksymalizować swoje przełomowe osiągnięcia, jeśli będą mieć do dyspozycji bardziej dostępną, ekonomiczną i wydajną pamięć masową do obsługi sztucznej inteligencji.
