La IA generativa finalmente está haciendo realidad la promesa del big data

Quienes han estado siguiendo las grandes tendencias de la industria tecnológica durante un tiempo, sin duda recordarán el concepto de "big data". La idea era que las empresas reunieran todas las diversas fuentes de datos a las que tenían acceso (desde documentos de oficina y correos electrónicos tradicionales, datos de procesos comerciales, resultados de ventas, bases de datos de clientes, videos, registros de chat y más) y luego aprovecharan todos esos datos para obtener información significativa para empoderar a sus organizaciones. 

En teoría, el concepto era sólido y las expectativas en torno a él eran altas. Seguramente habría fragmentos ocultos de información útil y muchos descubrimientos inesperados que comenzarían a aparecer a medida que se combinaran todas las diversas fuentes de datos en lo que los defensores creían que sería una poderosa mezcla de significado. En la práctica, lamentablemente, los resultados fueron muy diferentes. 

Desafíos tempranos para el big data 

En primer lugar, resultó mucho más difícil organizar los datos de una empresa en una estructura que permitiera combinar o comparar las distintas fuentes de manera significativa. No solo hubo problemas con cosas como reunir datos estructurados y no estructurados, sino también dificultades con el reformateo, la importación, la vinculación y la realización de otras formas de manipulación de datos.

Sin embargo, lo que resultó ser aún más desafiante fue intentar realizar análisis de los almacenes de datos a los que tenían acceso. Resultó que solo quienes contaban con una formación muy especializada en herramientas avanzadas de análisis de datos (es decir, expertos en SQL) podían armar los comandos muy complejos necesarios para acceder a ese vasto tesoro de datos. Desafortunadamente, muchas de esas personas no sabían qué tipos de consultas podían generar los conocimientos inesperados que prometía el big data. Los empresarios en general que tenían una idea de esas preguntas no podían generar fácilmente las consultas y muchos esfuerzos terminaron esencialmente perdidos en la traducción entre los dos grupos. 

Haciendo realidad la promesa con la GenAI 

Con el uso cada vez más generalizado de la GenAI, que es extremadamente buena para encontrar patrones y generar ideas a partir de una enorme base de datos, la situación ha comenzado a cambiar. Al introducir los datos de una organización en un modelo de IA (ya sea entrenando un modelo personalizado o personalizando un modelo de lenguaje grande (LLM) existente), las organizaciones ahora pueden finalmente crear el almacén de datos gigante que siempre se pensó que sería el centro de las consultas de big data. Además, las interfaces sencillas de estilo chatbot que aprovechan estos modelos ahora están disponibles para que las personas en cualquier nivel de una organización las utilicen fácilmente.. El resultado neto es que la promesa original del big data finalmente se está haciendo realidad. Desde vendedores jóvenes que investigan una corazonada sobre una tendencia que creen que están empezando a ver en el campo, hasta ejecutivos de nivel C que buscan paneles de control generales que combinen ciertas métricas clave, las personas en todas las organizaciones ahora pueden aprovechar GenAI para obtener una enorme variedad de conocimientos sobre las empresas. 

Implicaciones para el almacenamiento de datos 

Las implicaciones de esto en el almacenamiento de datos dentro de una organización son enormes. Si bien en el pasado algunas organizaciones podrían haber descartado o retirado del mercado ciertas fuentes de datos debido a su valor percibido limitado, existe un creciente reconocimiento de que cualquier fuente de datos podría terminar ayudando a descubrir perspectivas y tendencias nuevas e imprevistas. Como resultado, las empresas no solo se aseguran de conservar todos los datos que generan, sino que también los ponen a disposición.

Uno de los factores clave que impulsan esta tendencia son los buenos y tradicionales discos duros magnéticos. Gracias a los avances tecnológicos como Seagate Mozaic, ahora es posible colocar 3 TB de datos en un solo plato dentro de un disco duro. Ampliar esto a un sistema de almacenamiento tipo bastidor en un centro de datos corporativo o sitio de ubicación conjunta permite obtener hasta 32 PB de almacenamiento en un solo espacio de bastidor de 19 pulgadas de ancho y 73 pulgadas de alto (42U). Al habilitar este tipo de capacidades de almacenamiento, las organizaciones pueden almacenar de manera muy eficiente grandes cantidades de datos, lo que les permite consolidar numerosas unidades de menor capacidad en sistemas más pequeños y con mayor eficiencia energética, y garantizar que tengan suficiente espacio para un mayor crecimiento.

Mirando el panorama general, este tipo de discos duros de alta capacidad encajan perfectamente en una arquitectura de almacenamiento general. Las organizaciones continuarán utilizando unidades SSD de alta velocidad para almacenar las últimas versiones de sus modelos GenAI y otras aplicaciones donde la importancia de la velocidad de acceso a la memoria supera las demandas de capacidad. De manera similar, es probable que se utilicen otros tipos de unidades SSD para cosas como chatbots de IA, almacenamiento de consultas rápidas y otras aplicaciones moderadamente exigentes. Sin embargo, para el almacenamiento de datos de propósito general de muchas de las fuentes que alimentan estos modelos de IA personalizados, los discos duros de alta capacidad proporcionan un conjunto óptimo de características que se adaptan muy bien a la aplicación. 

Resurgimiento en la construcción de infraestructura de IA interna

Otro factor crítico es la ubicación de estos dispositivos de almacenamiento de datos. Por razones de costo y seguridad, la mayoría de las organizaciones mantienen gran parte de sus datos detrás de su propio firewall en lugar de en la nube. Esto es particularmente cierto para algunas de las fuentes de datos a las que menos se accede que ahora pueden integrarse más fácilmente en los modelos de IA con nuevas herramientas de entrenamiento y personalización de modelos. A medida que las organizaciones comienzan a construir sus propios modelos de IA, ha habido un gran resurgimiento en la construcción de su propia infraestructura de IA interna para entrenar, personalizar y alojar algunos de esos modelos. Empresas como Dell, HPE, Lenovo y Cisco están viendo grandes saltos en la demanda de servidores equipados con GPU diseñados para la empresa, y Nvidia ha estado hablando del auge de las fábricas de IA empresarial desde hace un tiempo. El resultado es un renovado interés en construir centros de datos corporativos con todos los recursos de computación, redes y almacenamiento que esto implica.. 

Con todos estos elementos de hardware en funcionamiento combinados con las capacidades en rápida expansión y el uso creciente de los modelos y herramientas GenAI, el potencial para el tipo de visión de big data de información significativa que nos prometieron originalmente finalmente está ante nosotros. Si bien no todos los esfuerzos conducirán necesariamente a descubrimientos mágicos tipo “ajá”, ya está claro que uno de los resultados más sorprendentes y beneficiosos del uso de GenAI (la verdadera democratización del análisis de datos) está aquí y comienza a dar a conocer su impacto. 

¿Quiere hacer realidad su visión de big data? Hable con un experto para aprender cómo.