Generatywna sztuczna inteligencja w końcu urzeczywistnia obietnicę Big Data

Osobom, które od pewnego czasu śledzą trendy w branży przełomowych technologii, z pewnością znana jest koncepcja „big data”. Chodzi o to, że firmy miały zebrać wszystkie dostępne im źródła danych — od tradycyjnych dokumentów biurowych i wiadomości e-mail, danych dotyczących procesów biznesowych, wyników sprzedaży, po bazy danych klientów, filmy, zapisy czatów itp. — a następnie wykorzystać te dane, aby uzyskać wartościowe informacje, które usprawnią działanie ich organizacji. 

Teoretycznie koncepcja była rozsądna, a oczekiwania wobec niej — duże. Musiały się gdzieś w tym kryć perełki przydatnych informacji i wiele nieoczekiwanych spostrzeżeń, które zaczęłyby się pojawiać, gdyby wszystkie różne źródła danych zostały połączone w coś, co zwolennicy tej teorii uważali za potężną mieszankę znaczeń. Rzeczywistość jednak przyniosła zupełnie inne wyniki. 

Wczesne wyzwania dla Big Data 

Po pierwsze, okazało się, że znacznie trudniej jest zorganizować dane firmy w strukturę, która pozwalałaby na sensowne łączenie lub porównywanie różnych źródeł. Występowały nie tylko problemy z łączeniem danych ustrukturyzowanych i nieustrukturyzowanych, ale także z ponownym formatowaniem, importowaniem, łączeniem i wykonywaniem innych form przetwarzania danych.

Jeszcze większym wyzwaniem okazało się jednak przeprowadzenie analizy na podstawie dostępnych baz danych. Okazało się, że tylko osoby posiadające wysoce wyspecjalizowane przeszkolenie w zakresie zaawansowanych narzędzi analityki danych — czyli tzw. „specjaliści od SQL” — potrafiły tworzyć niezwykle złożone polecenia niezbędne do uzyskania dostępu do tak ogromnego zbioru danych. Niestety wiele osób nie wiedziało, jakiego rodzaju zapytania mogą przynieść nieoczekiwane informacje obiecywane przez Big Data. Zwykli przedsiębiorcy, którzy mieli pojęcie o tych kwestiach, nie mogli łatwo formułować zapytań i wiele wysiłków spalało się na etapie komunikacji pomiędzy obiema grupami. 

Spełnienie obietnicy dzięki GenAI 

Wraz ze wzrostem popularności stosowania GenAI — technologii niezwykle skutecznej w wyszukiwaniu wzorców i generowaniu pomysłów na podstawie ogromnej bazy danych — sytuacja zaczęła się zmieniać. Dzięki wprowadzeniu danych organizacji do modelu sztucznej inteligencji — albo poprzez wytrenowanie niestandardowego modelu, albo poprzez dostosowanie istniejącego dużego modelu językowego (LLM) — organizacje mogą teraz tworzyć gigantyczne bazy danych, które od zawsze miały być w centrum zapytań dotyczących dużych zbiorów danych. Co więcej, dostępne są teraz proste interfejsy w stylu chatbotów, które wykorzystują te modele, co sprawia, że osoby na każdym szczeblu organizacji mogą z nich łatwo korzystać. W rezultacie wreszcie poczyniono pierwsze kroki ku urzeczywistnieniu obietnicy „big data”. Od młodszych handlowców, próbujących węszyć za trendem, który ich zdaniem zaczyna być zauważany w branży, po dyrektorów wyższego szczebla poszukujących kompleksowych pulpitów nawigacyjnych łączących konkretne kluczowe wskaźniki, ludzie w różnych organizacjach mogą teraz wykorzystywać GenAI, aby uzyskać szeroki zakres informacji na temat przedsiębiorstwa. 

Implikacje dla przechowywania danych 

Ma to ogromne konsekwencje dla przechowywania danych w organizacji. W przeszłości niektóre organizacje mogły odrzucać lub wyłączać pewne źródła danych ze względu na ich ograniczoną postrzeganą wartość, ale obecnie rośnie świadomość, że każde źródło danych może pomóc w odkrywaniu nowych, nieprzewidzianych spostrzeżeń i trendów. W rezultacie firmy nie tylko dbają o zachowanie wszystkich generowanych przez siebie danych, ale także udostępniają je wszystkim użytkownikom.

Jednym z głównych czynników sprzyjających temu trendowi są tradycyjne, dobre magnetyczne dyski twarde. Dzięki postępom technologicznym, takim jak Seagate Mozaic, obecnie możliwe jest zmieszczenie 3 TB danych na jednym talerzu dysku twardego. Skalowanie tego do rackowego systemu pamięci masowej w korporacyjnym centrum danych lub obiekcie kolokacyjnym pozwala na konwersję do nawet 32 PB pamięci masowej w przestrzeni pojedynczej szafy rackowej o szerokości 19 cali i wysokości 73 cali (42U). Dzięki wykorzystaniu takich pojemności pamięci masowej organizacje mogą bardzo efektywnie przechowywać ogromne ilości danych, co pozwala im skonsolidować wiele dysków o mniejszej pojemności w mniejsze, bardziej energooszczędne systemy i zapewnia dużo miejsca na dalszy rozwój.

Patrząc na to szerzej, tego typu dyski twarde o dużej pojemności doskonale wpasowują się w ogólną architekturę pamięci masowej. Organizacje będą nadal używać szybkich dysków SSD do przechowywania najnowszych wersji modeli GenAI i innych aplikacji, dla których szybkość dostępu do pamięci ma większe znaczenie niż wymagania dotyczące pojemności. Podobnie inne rodzaje dysków SSD będą prawdopodobnie wykorzystywane do takich celów, jak chatboty oparte na sztucznej inteligencji, przechowywanie zapytań i inne umiarkowanie wymagające zastosowania. Jednak w przypadku ogólnego przeznaczenia przechowywania danych pochodzących z wielu źródeł, które zasilają te dostosowane modele sztucznej inteligencji, dyski twarde o dużej pojemności zapewniają optymalny zestaw właściwości, które są bardzo dobrze dostosowane do danego zastosowania. 

Odrodzenie w budowaniu wewnętrznej infrastruktury AI

Kolejnym istotnym czynnikiem jest lokalizacja urządzeń przechowujących dane. Ze względów bezpieczeństwa i kosztów większość organizacji przechowuje znaczną część swoich danych za własną zaporą sieciową, a nie w chmurze. Dotyczy to w szczególności niektórych rzadziej używanych źródeł danych, które można teraz łatwiej zintegrować z modelami sztucznej inteligencji dzięki nowym narzędziom do szkolenia i dostosowywania modeli. W miarę jak organizacje zaczynają tworzyć własne modele sztucznej inteligencji, obserwuje się wzrost zainteresowania tworzeniem własnej wewnętrznej infrastruktury do celu szkolenia, dostosowywania i hostowania niektórych z tych modeli. Firmy takie jak Dell, HPE, Lenovo i Cisco odnotowują duże wzrosty popytu na serwery wyposażone w procesory graficzne przeznaczone dla przedsiębiorstw, a firma Nvidia już od jakiegoś czasu mówi o wzroście liczby korporacyjnych fabryk AI. W rezultacie wzrosło zainteresowanie budową korporacyjnych centrów danych ze wszystkimi związanymi z tym zasobami obliczeniowymi, sieciowymi i pamięciowymi. 

Dzięki połączeniu wszystkich tych elementów sprzętowych z szybko rozwijającymi się możliwościami i coraz powszechniejszym wykorzystaniem modeli i narzędzi GenAI, w końcu możemy cieszyć się obiecaną nam pierwotnie wizją dużych zbiorów danych, pozwalającą uzyskać istotne informacje. Choć nie wszystkie działania muszą prowadzić do magicznych, olśniewających spostrzeżeń, to już teraz widać, że jeden z najbardziej zaskakujących i korzystnych rezultatów wykorzystania GenAI — prawdziwa demokratyzacja analizy danych — jest już widoczny i zaczyna przynosić efekty. 

Chcesz wcielić w życie swoją wizję Big Data? Porozmawiaj z ekspertem, aby dowiedzieć się jak.