Generative KI erfüllt endlich das Versprechen von Big Data

Diejenigen, die schon länger die großen Trends in der IT-Branche verfolgen, erinnern sich bestimmt an das Konzept „Big Data“. Die Idee dahinter war, dass Unternehmen alle ihre verfügbaren Datenquellen zusammenführen – herkömmliche Dokumente und E-Mails, Geschäftsprozessdaten, Verkaufsergebnisse, Kundendatenbanken, Videos, Chatprotokolle und mehr – und diese Daten dann nutzen, um wertvolle Erkenntnisse zu gewinnen, die ihre Unternehmen voranbringen. 

In der Theorie war das Konzept solide und die Erwartungen daran waren hoch. Es mussten einfach nützliche Informationen und viele unerwartete Erkenntnisse darin verborgen sein, die zum Vorschein kommen würden, sobald alle verschiedenen Datenquellen kombiniert würden, was nach Ansicht der Befürworter zu revolutionären Einblicken führen würde. In der Praxis sahen die Ergebnisse leider ganz anders aus. 

Frühe Herausforderungen für Big Data 

Zuerst stellte sich heraus, dass es deutlich schwieriger war, die Daten eines Unternehmens so zu strukturieren, dass die verschiedenen Quellen sinnvoll kombiniert oder verglichen werden konnten. Es gab nicht nur Probleme beim Zusammenführen strukturierter und unstrukturierter Daten, sondern auch Schwierigkeiten beim Neuformatieren, Importieren, Verknüpfen und Durchführen anderer Formen der Datenaufbereitung.

Noch schwieriger erwies sich jedoch der Versuch, die Datenspeicher zu analysieren, die zugänglich waren. Es stellte sich heraus, dass nur Fachkräfte mit sehr speziellen Kenntnissen in fortgeschrittenen Datenanalysetools – also SQL-Experten – die sehr komplexen Befehle zusammenstellen konnten, die erforderlich waren, um auf diese riesigen Datenmengen zuzugreifen. Leider wussten viele dieser Personen nicht, welche Arten von Abfragen die unerwarteten Erkenntnisse liefern konnten, die Big Data versprach. Geschäftsleute, die ein Gespür für diese Fragen hatten, konnten die Abfragen aber nicht so einfach stellen, und so gingen viele Bemühungen im Wesentlichen bei der Übersetzung zwischen den beiden Gruppen verloren. 

Generative KI löst das Versprechen ein 

Mit der zunehmenden Verbreitung von generativer KI – die äußerst gut darin ist, Muster zu erkennen und auf der Grundlage einer riesigen Datenbasis Ideen zu entwickeln – beginnt sich das Blatt jetzt zu wenden. Indem sie die Daten einer Organisation in ein KI-Modell einspeisen – entweder durch das Trainieren eines benutzerdefinierten Modells oder durch die Anpassung eines vorhandenen Large Language Models (LLM) – können Unternehmen nun endlich den riesigen Datenspeicher erstellen, der schon immer als Herzstück von Big-Data-Abfragen gedacht war. Darüber hinaus stehen die einfachen Schnittstellen im Chatbot-Stil, die diese Modelle nutzen, jetzt Mitarbeitern auf allen Ebenen eines Unternehmens zur einfachen Nutzung zur Verfügung. Im Endergebnis wird das ursprüngliche Versprechen von Big Data endlich eingelöst. Von Nachwuchsverkäufern, die einem Gespür für einen Trend nachgehen, den sie in der Branche zu erkennen glauben, bis hin zu Führungskräften auf C-Ebene, die nach Dashboards mit einem Gesamtbild suchen, die bestimmte Schlüsselkennzahlen kombinieren, können Mitarbeiter im ganzen Unternehmen jetzt GenAI nutzen, um sehr vielfältige Einblicke in das Geschäft zu gewinnen. 

Auswirkungen auf die Datenspeicherung 

Die Auswirkungen auf die Datenspeicherung innerhalb eines Unternehmens sind enorm. Während manche Unternehmen früher bestimmte Datenquellen aufgrund des scheinbar geringen Werts verworfen oder offline genommen haben, setzt sich heute zunehmend die Erkenntnis durch, dass jede Datenquelle letztendlich zum Entdecken neuer, unvorhergesehener Erkenntnisse und Trends beitragen kann. Dadurch sorgen Unternehmen nicht nur für die Speicherung aller von ihnen generierten Daten, sondern stellen sie auch vollständig zur Verfügung.

Einer der wichtigsten Faktoren für diesen Trend sind die guten alten, herkömmlichen Magnetfestplatten. Dank technologischer Fortschritte wie Seagate Mozaic^TM ist es jetzt möglich, 3 TB Daten auf einer einzigen Platte in einer Festplatte unterzubringen. Durch die Skalierung in ein Rack-Speichersystem in einem Unternehmensrechenzentrum oder an einem Nebenstandort können bis zu 32 PB Speicher in einem einzigen 19 Zoll breiten und 73 Zoll hohen (42U) Rack-Platz umgewandelt werden. Durch die Aktivierung dieser Art von Speicherkapazitäten können Unternehmen große Datenmengen sehr effizient speichern. Sie haben die Möglichkeit, zahlreiche Laufwerke mit geringerer Kapazität in kleineren, energieeffizienteren Systemen zu konsolidieren und so dafür zu sorgen, dass ausreichend Raum für weiteres Wachstum bleibt.

Im Großen und Ganzen passen diese Arten von Festplatten mit hoher Kapazität gut in eine umfassende Speicherarchitektur. Unternehmen nutzen weiterhin Hochgeschwindigkeits-SSDs zum Speichern der neuesten Versionen ihrer GenAI-Modelle und anderer Anwendungen, bei denen die Zugriffsgeschwindigkeit auf den Speicher wichtiger ist als die Kapazitätsanforderungen. In ähnlicher Weise werden andere SSD-Typen wahrscheinlich für Einsatzbereiche wie KI-Chatbots, die Speicherung schneller Abfragen und andere mäßig anspruchsvolle Anwendungen genutzt. Für die allgemeine Datenspeicherung vieler Quellen, die in diese maßgeschneiderten KI-Modelle einfließen, bieten Festplatten mit hoher Kapazität jedoch optimale Eigenschaften, die sich sehr gut für die Anwendung eignen. 

Wiederbelebung des Aufbaus interner KI-Infrastrukturen

Ein weiterer kritischer Faktor ist der Standort dieser Geräte für die Datenspeicherung. Aus Kosten- und Sicherheitsgründen bewahren die meisten Unternehmen einen Großteil ihrer Daten hinter der eigenen Firewall auf und nicht in der Cloud. Das gilt insbesondere für einige der weniger genutzten Datenquellen, die sich jetzt mit neuen Modelltrainings- und Anpassungstools einfacher in KI-Modelle integrieren lassen. Während Unternehmen mit der Entwicklung eigener KI-Modelle beginnen, ist eine starke Wiederbelebung des Aufbaus eigener interner KI-Infrastrukturen für das Trainieren, Anpassen und Hosten einiger dieser Modelle zu verzeichnen. Unternehmen wie Dell, HPE, Lenovo und Cisco verzeichnen einen starken Nachfrageanstieg nach mit GPUs ausgestatteten Servern für Unternehmen, und Nvidia spricht schon seit einiger Zeit vom Aufstieg der KI-Fabriken in Unternehmen. Das Ergebnis ist ein erneutes Interesse am Aufbau von Unternehmensrechenzentren mit allen damit verbundenen Rechen-, Netzwerk- und Speicherressourcen. 

Wenn alle diese Hardwareelemente zusammen mit den rasch wachsenden Fähigkeiten und der zunehmenden Nutzung von GenAI-Modellen und -Tools ihren Platz finden, ist das Potenzial für die Art von Big-Data-Vision aussagekräftiger Erkenntnisse, die ursprünglich versprochen wurde, endlich da. Auch wenn nicht alle Bemühungen zwangsläufig zu magischen Aha-Erlebnissen führen werden, ist bereits jetzt klar, dass eines der überraschendsten und vorteilhaftesten Ergebnisse der GenAI-Nutzung – die wahre Demokratisierung der Datenanalyse – bereits hier ist und seine Wirkung zeigt. 

Möchten Sie Ihre Big-Data-Vision verwirklichen? Sprechen Sie mit einem Experten, um zu erfahren, wie das möglich ist.