생성형 AI, 마침내 빅데이터의 잠재력 실현

한동안 빅테크 산업 동향을 주시해 온 사람이라면 분명히 "빅데이터"라는 개념을 기억할 것입니다. 이 개념은 기업들이 전통적인 사무 문서와 이메일, 비즈니스 프로세스 데이터, 판매 실적, 고객 데이터베이스, 비디오, 채팅 로그 등 자신들이 접근할 수 있는 다양한 데이터 소스를 모두 한데 모으고, 이 모든 데이터를 활용해 조직의 역량을 강화할 수 있는 의미 있는 통찰력을 얻는다는 것이었습니다. 

이론상으로는 그 개념이 타당했고 이이에 대한 기대도 높았습니다. 다양한 데이터 소스가 결합되어 지지자들이 믿던 강력한 의미를 지닌 혼합물로 통합되며, 숨겨져 있던 유용한 정보와 예상치 못한 통찰력이 드러날 것이 분명했습니다. 하지만 안타깝게도 실제로 그 결과는 크게 달랐습니다. 

빅데이터의 초기 과제 

첫째, 다양한 출처를 의미 있는 방식으로 결합하거나 비교할 수 있는 구조로 회사 데이터를 구성하는 일은 훨씬 더 어려운 것으로 나타났습니다. 구조화된 데이터 및 구조화되지 않은 데이터를 모으는 것과 같은 문제뿐만 아니라, 데이터를 다시 포맷하고, 가져오고, 연결하고, 다른 형태의 데이터를 정리하는 데에도 어려움이 있었습니다.

하지만 그보다 더 큰 난관은 그들이 접근할 수 있는 데이터 저장소에 대한 분석을 시도하는 것이었습니다. 결국, 이 광대한 데이터를 활용하는 데 필요한 매우 복잡한 명령을 작성할 수 있는 사람은 고급 데이터 분석 도구에 대한 매우 전문적인 교육을 받은 사람, 즉 SQL 전문가뿐이었습니다. 안타깝게도 많은 사람들은 빅데이터가 약속하는 예상치 못한 통찰력을 얻을 수 있는 쿼리 유형이 무엇인지 알지 못했습니다. 이런 문제에 대한 인식을 지닌 일반 비즈니스 관계자들조차 쉽게 쿼리를 만들어낼 수 없었고, 두 그룹 사이에서 많은 노력이 사실상 허사에 그치고 말았습니다. 

생성형 AI로 약속을 현실로 만들다 

방대한 데이터에서 패턴을 찾고 아이디어를 생성하는 데 매우 뛰어난 생성형 AI의 사용이 확대되면서 상황이 바뀌기 시작했습니다. 조직의 데이터를 AI 모델에 공급함으로써(맞춤형 모델을 훈련하거나 기존의 대규모 언어 모델(LLM)을 맞춤화하는 방식) 조직은 마침내 원래부터 빅데이터 쿼리의 핵심이 되도록 의도된 거대한 데이터 저장소를 만들 수 있게 되었습니다. 또한, 이러한 모델을 활용한 간단한 챗봇 스타일 인터페이스는 이제 조직 내 모든 직급의 사람들이 쉽게 사용할 수 있게 되었습니다. 마침내 빅데이터의 원래 약속이 실현되고 있는 것입니다. 현장에서 나타나기 시작한 트렌드에 대한 직감을 탐구하는 주니어 영업 사원부터 특정 핵심 지표를 결합한 전반적인 대시보드를 찾는 C급 임원에 이르기까지, 조직 전반의 구성원들은 이제 생성형 AI를 활용하여 비즈니스에 대한 광범위한 통찰력을 얻을 수 있게 되었습니다. 

데이터 스토리지에 미치는 영향 

이것이 조직 내 데이터 저장에 미치는 영향은 엄청납니다. 과거에는 일부 조직이 데이터 가치를 제한적이라고 판단해 특정 데이터 소스를 폐기하거나 오프라인으로 전환했지만, 어떤 데이터 소스든 예상치 못한 새로운 통찰력과 추세를 발견하는 데 도움이 될 수 있다는 인식이 확산되고 있습니다. 그 결과, 기업들은 자신들이 생성하는 모든 데이터를 보관할 뿐만 아니라, 모든 데이터를 공개하고 있습니다.

이러한 추세를 뒷받침하는 주요 요소 중 하나는 오래된 전통적인 자기식 하드 드라이브입니다. Seagate Mozaic^TM과 같은 기술 발전 덕분에 이제 하드 드라이브 내부의 단일 플래터에 3TB의 데이터를 저장할 수 있게 되었습니다. 이를 기업 데이터 센터나 코로케이션 사이트의 랙 스타일 스토리지 시스템으로 확장하면 폭 19인치, 높이 73인치(42U)의 단일 랙 공간에서 최대 32PB의 스토리지로 변환됩니다. 이러한 유형의 저장 용량을 활성화하면 조직은 엄청난 양의 데이터를 매우 효율적으로 저장할 수 있으며, 여러 개의 저용량 드라이브를 더 작고 전력 효율적인 시스템으로 통합하여 추가 성장을 위한 충분한 공간을 확보할 수 있습니다.

더 큰 그림을 보면, 이러한 유형의 대용량 하드 드라이브는 전반적인 저장 아키텍처에 잘 들어맞습니다. 조직에서는 생성형 AI 모델과 기타 애플리케이션의 최신 버전을 저장하는 데 고속 SSD를 계속 사용할 것이며, 이 경우 메모리에 대한 액세스 속도가 용량 요구 사항보다 중요합니다. 마찬가지로, 다른 유형의 SSD는 AI 챗봇, 즉각적인 쿼리 저장 및 기타 적당히 요구 사항이 높은 애플리케이션과 같은 작업에 활용될 가능성이 높습니다. 반면, 이러한 맞춤형 AI 모델에 필요한 많은 데이터 소스를 일반적인 목적으로 저장할 경우, 대용량 하드 드라이브는 해당 애플리케이션에 매우 적합한 최적의 특성 세트를 제공합니다. 

자체 AI 인프라 구축의 부활

또 다른 중요한 요소는 이러한 데이터 스토리지 장치의 위치입니다. 비용과 보안상의 이유로 대부분의 조직에서는 클라우드가 아닌 자체 방화벽 뒤에 많은 데이터를 보관합니다. 이는 특히 접근성이 낮은 일부 데이터 소스에 해당하며, 이제 새로운 모델 학습 및 맞춤화 도구를 통해 이러한 데이터 소스를 AI 모델에 보다 쉽게 통합할 수 있습니다. 조직에서 자체 AI 모델을 구축하기 시작하면서, 일부 모델을 훈련, 맞춤화하고 호스팅하기 위해 자체적인 AI 인프라를 구축하는 추세가 다시 크게 늘고 있습니다. Dell, HPE, Lenovo, Cisco와 같은 회사에서는 기업용으로 설계된 GPU 장착 서버에 대한 수요가 크게 증가하고 있으며, Nvidia는 한동안 기업용 AI 팩토리의 성장을 이야기해 왔습니다. 그 결과, 컴퓨팅, 네트워킹, 스토리지 리소스를 모두 갖춘 기업용 데이터 센터를 구축하려는 관심이 다시 높아졌습니다. 

이러한 모든 하드웨어 요소가 생성형 AI 모델과 도구의 급속한 확장 기능과 사용 증가와 결합되면서, 원래 약속했던 의미 있는 통찰력을 제공하는 빅데이터 비전의 가능성이 마침내 우리 앞에 다가왔습니다. 모든 노력이 반드시 마법같은 "아하!" 통찰력으로 이어지는 것은 아니지만 생성형 AI 활용의 가장 놀랍고 유익한 결과 중 하나인 데이터 분석의 진정한 민주화가 실현되었고 그 영향력이 알려지기 시작했다는 것은 이미 분명합니다. 

빅데이터 비전을 현실로 만들고 싶으신가요? 전문가에게 문의하여 방법을 알아보세요.