In één oogopslag
- GenAI begint de eerdere belofte van big data waar te maken.
- Medewerkers op alle niveaus genereren momenteel een enorme hoeveelheid inzichten.
- Dit wordt mogelijk gemaakt door bedrijfsgegevens – alle gegevens – die worden opgeslagen, en niet langer worden verwijderd.
Degenen die de trends in de big tech-industrie al een tijdje volgen, herinneren zich ongetwijfeld het concept van 'big data'. Het idee was dat bedrijven alle verschillende gegevensbronnen waarover zij beschikten, van traditionele kantoordocumenten en e-mails tot bedrijfsprocesgegevens, verkoopresultaten, klantendatabases, video's, chatlogs en meer, zouden samenbrengen en vervolgens al die gegevens zouden gebruiken om zinvolle inzichten te verkrijgen om hun organisaties te versterken.
In theorie was het concept solide en waren de verwachtingen hooggespannen. Er zouden ongetwijfeld verborgen schatten aan nuttige informatie en tal van onverwachte inzichten naar voren komen wanneer alle verschillende gegevensbronnen zouden worden gecombineerd tot wat voorstanders beschouwden als een krachtige mengeling van betekenis. In de praktijk waren de resultaten helaas heel anders.
Uitdagingen in de beginfase van big data
Ten eerste bleek het aanzienlijk moeilijker om de gegevens van een bedrijf te ordenen in een structuur waarin de verschillende bronnen op een zinvolle manier konden worden gecombineerd of vergeleken. Er waren niet alleen problemen met zaken als het samenbrengen van gestructureerde en ongestructureerde gegevens, maar er waren ook moeilijkheden met het opnieuw formatteren, importeren, koppelen en uitvoeren van andere vormen van gegevensverwerking.
Wat echter nog uitdagender bleek te zijn, was het uitvoeren van analyses op de gegevensopslagplaatsen waartoe zij wel toegang hadden. Het bleek dat alleen degenen die een zeer gespecialiseerde opleiding hadden gevolgd in geavanceerde data-analysetools – d.w.z. SQL-experts – de zeer complexe commando's konden samenstellen die nodig waren om deze enorme schat aan gegevens te ontsluiten. Helaas wisten veel van deze personen niet welke soorten zoekopdrachten de onverwachte inzichten konden opleveren die big data beloofde. Algemene zakenmensen die wel een idee hadden van deze kwesties, konden niet gemakkelijk de vragen formuleren, waardoor veel inspanningen uiteindelijk verloren gingen in de communicatie tussen de twee groepen.
De belofte waarmaken met GenAI
Met het toenemende gebruik van GenAI, dat bijzonder goed is in het vinden van patronen en het genereren van ideeën op basis van een enorme hoeveelheid gegevens, begint de situatie te veranderen. Door de gegevens van een organisatie in een AI-model in te voeren – hetzij door een aangepast model te trainen, hetzij door een bestaand groot taalmodel (LLM) aan te passen – zijn organisaties nu eindelijk in staat om de gigantische gegevensopslagplaats te creëren die altijd bedoeld was als de kern van big data-query's. Bovendien zijn de eenvoudige chatbot-achtige interfaces die gebruikmaken van deze modellen nu beschikbaar voor alle medewerkers binnen een organisatie, ongeacht hun niveau, zodat zij deze eenvoudig kunnen gebruiken. Het netto resultaat is dat de oorspronkelijke belofte van big data eindelijk werkelijkheid wordt. Van junior verkopers die een vermoeden onderzoeken over een trend die zij denken te zien in het veld, tot C-level executives die op zoek zijn naar dashboards met een totaaloverzicht waarin bepaalde belangrijke statistieken worden gecombineerd: mensen in alle lagen van organisaties kunnen nu gebruikmaken van GenAI om een enorm scala aan inzichten in bedrijven te verkrijgen.
Implicaties voor gegevensopslag
De gevolgen hiervan voor de gegevensopslag binnen een organisatie zijn aanzienlijk. Hoewel sommige organisaties in het verleden bepaalde gegevensbronnen mogelijk hebben verwijderd of offline hebben gehaald vanwege hun beperkte waargenomen waarde, groeit het besef dat elke gegevensbron uiteindelijk kan bijdragen aan het ontdekken van nieuwe, onvoorziene inzichten en trends. Als gevolg hiervan zorgen bedrijven er niet alleen voor dat ze alle gegevens die ze genereren bewaren, maar stellen ze deze ook beschikbaar.
Een van de belangrijkste factoren die deze trend mogelijk maken, zijn de vertrouwde, traditionele, magnetische harde schijven. Dankzij technologische ontwikkelingen zoals Seagate MozaicTM is het nu mogelijk om 3 TB aan gegevens op één enkele schijf op een harde schijf op te slaan. Door dit op te schalen naar een rack-achtig opslagsysteem in een bedrijfsdatacenter of colocatiesite, kan tot wel 32 PB aan opslagruimte worden gerealiseerd in een enkele rackruimte van 19 inch breed en 73 inch hoog (42U). Door gebruik te maken van dit soort opslagcapaciteiten kunnen organisaties zeer efficiënt grote hoeveelheden gegevens opslaan, waardoor ze talrijke schijven met een lagere capaciteit kunnen consolideren in kleinere, energiezuinigere systemen en voldoende ruimte hebben voor verdere groei.
In het algemeen passen dit soort harde schijven met hoge capaciteit uitstekend in een algehele opslagarchitectuur. Organisaties zullen gebruik blijven maken van snelle SSD's voor het opslaan van de nieuwste versies van hun GenAI-modellen en andere toepassingen waarbij de toegangssnelheid tot het geheugen belangrijker is dan de capaciteitsbehoeften. Evenzo zullen andere soorten SSD's waarschijnlijk worden ingezet voor zaken als AI-chatbots, snelle queryopslag en andere redelijk veeleisende toepassingen. Voor algemene gegevensopslag van veel van de bronnen die deze aangepaste AI-modellen voeden, bieden harde schijven met een hoge capaciteit echter een optimale reeks kenmerken die zeer geschikt zijn voor deze toepassing.
Heropleving van de ontwikkeling van interne AI-infrastructuur
Een andere belangrijke factor is de locatie van deze gegevensopslagapparaten. Om kosten- en veiligheidsredenen bewaren de meeste organisaties het grootste deel van hun gegevens achter hun eigen firewall in plaats van in de cloud. Dit geldt met name voor sommige van de minder toegankelijke gegevensbronnen die nu gemakkelijker kunnen worden geïntegreerd in AI-modellen met nieuwe tools voor het trainen en aanpassen van modellen. Nu organisaties hun eigen AI-modellen beginnen te ontwikkelen, is er een sterke opleving waarneembaar in het opzetten van eigen interne AI-infrastructuur om sommige van die modellen te trainen, aan te passen en te hosten. Bedrijven zoals Dell, HPE, Lenovo en Cisco zien een aanzienlijke toename in de vraag naar servers met GPU's die zijn ontworpen voor de zakelijke markt, en Nvidia benadrukt al enige tijd de opkomst van AI-fabrieken voor bedrijven. Het resultaat is een hernieuwde belangstelling voor het opzetten van bedrijfsdatacenters met alle benodigde reken-, netwerk- en opslagmiddelen die daarbij horen.
Nu al deze hardware-elementen op hun plaats vallen, in combinatie met de snel groeiende mogelijkheden en het toenemende gebruik van GenAI-modellen en -tools, is het potentieel voor het soort big data-visie met zinvolle inzichten dat ons oorspronkelijk was beloofd, eindelijk binnen handbereik. Hoewel niet alle inspanningen noodzakelijkerwijs tot magische 'aha'-inzichten leiden, is het nu al duidelijk dat een van de meest verrassende en gunstige resultaten van het gebruik van GenAI – de ware democratisering van data-analyse – zich aandient en zijn impact begint te laten gelden.
Wilt u uw big data-visie realiseren? Neem contact op met een deskundige om te ontdekken hoe u dit kunt doen.
