인공 지능(AI) 및 머신 러닝(ML)은 단백질 구조 예측부터 실시간 언어 번역 지원까지 다양한 혁신적 성과를 이끌어냈습니다. 이러한 혁신의 중심에는 고품질 데이터에 대한 끊임없는 수요가 있습니다. AI 모델은 방대한 데이터 세트를 기반으로 작동하지만, 신뢰할 수 있고 비용 효율적인 데이터 스토리지가 뒷받침되지 않으면 모델 자체는 물론, 그로부터 도출되는 인사이트도 잠재력을 발휘하지 못합니다.
산소가 인간의 사고를 가능하게 하듯 데이터 스토리지는 AI 개발을 가능하게 하는 원동력입니다. 데이터를 효율적으로 저장, 액세스 및 처리하는 능력은 AI 모델의 학습 및 고도화 수준을 결정짓는 핵심 요소입니다. 그러나 AI 기반 솔루션에 대한 수요가 증가함에 따라 데이터 수집부터 저장, 처리에 이르는 AI 데이터의 수명 주기를 관리하는 과제도 함께 커지고 있습니다. 이 모든 과정을 비용과 복잡성을 최소화하면서 수행해야 한다는 점에서 더욱 까다롭습니다.
AI 지원 데이터에 대한 수요 증가
데이터 과학은 스프레드시트와 단순 분석을 넘어, ML 기반의 강력한 인사이트를 도출하는 단계로 발전해 왔습니다. 미국 노동부에 따르면 현재 데이터 과학 분야의 일자리는 20만 개 이상이며, 향후 10년 동안 36%의 성장률이 예상됩니다. 다양한 산업 분야의 현업 전문가들은 정식 데이터 과학 교육 없이도 노코드 플랫폼을 사용하여 AI 도구를 작업 흐름에 통합하고 있습니다. 이러한 플랫폼은 모델 구축 및 데이터 분석 과정을 그 어느 때보다 빠르게 만들어 줍니다.
그러나 원시 데이터는 그 자체로는 유용하지 않습니다. AI 모델에 입력되기 전에 데이터는 구조화되고 정제되며 라벨링되어야 합니다. 이 과정을 일반적으로 데이터 정리라고 합니다. Pandas와 같은 오픈 소스 도구는 방대한 데이터 세트를 AI 모델이 사용할 수 있는 구조화된 형식으로 변환하는 데 도움을 줍니다. 그러나 이 과정에서는 모델 개발 속도를 저하시키는 병목 현상을 방지하기 위해 빠르고 효율적인 로컬 데이터 스토리지가 필요합니다.
AI 데이터 관리의 도전과제
AI 학습 데이터의 방대한 양은 큰 물류적 과제를 안겨줍니다. 대규모 데이터 세트를 저장하고 관리하는 데에는 용량만이 아니라 비용, 규정 준수, 접근성까지 고려해야 합니다.
AI 데이터 관리의 가장 큰 도전과제는 다음과 같습니다.
- 데이터 주권 및 보안. 조직은 지식재산권, 개인정보 보호, 관할권 통제와 관련된 규제를 준수해야 합니다.
- 클라우드 스토리지 비용. 클라우드에 저장된 AI 데이터 세트는 온프레미스 NAS 솔루션을 사용할 때보다 5배에서 10배까지 비용이 더 들 수 있습니다.
- 데이터 이동 시 발생하는 병목 현상. 대규모 데이터 세트를 광역 네트워크를 통해 전송하는 데에는 시간과 비용이 많이 들기 때문에 지리적으로 분산된 팀의 작업에 지연이 발생할 수 있습니다.
전통적인 중앙 집중식 스토리지 방식은 지리적으로 분산된 데이터 소스로 인해 한계를 겪고 있습니다. 점점 더 많은 AI 실무자들이 더 높은 제어력, 낮은 비용, 짧은 대기 시간을 제공하는 로컬 에지 스토리지 솔루션을 선택하고 있습니다.
AI 데이터 스토리지를 에지로 가져오기
방대한 데이터 세트를 중앙 집중식 클라우드 서버로 전송하는 대신, 조직은 AI 데이터를 생성된 지점 가까이에서 처리하고 저장할 수 있습니다. 이러한 방식은 에지 컴퓨팅이라고 불리며 데이터 이동에 따른 비용을 최소화하고 성능을 개선하는 데 효과적입니다.
비용 효율적인 솔루션 중 하나는 AI 작업 부하를 위한 로컬 고성능 스토리지를 제공하는 소형 하이브리드 NAS 시스템입니다. 기존 NAS와 달리 이러한 시스템은 Jupyter Notebook과 같은 컨테이너 기반 AI 도구를 통합하여 현업 전문가와 AI 개발자가 스토리지 시스템 상에서 직접 협업할 수 있도록 지원합니다. 지속적인 데이터 전송이 필요 없기 때문에 이러한 NAS 솔루션은 운영 비용을 절감하는 동시에 AI 개발 속도를 높여줍니다.
에지에서 AI 데이터를 처리하면 조직은 데이터 세트에 대한 제어권을 더욱 강화할 수 있습니다. AI 학습 데이터에 대한 주권을 유지하면 산업 규제를 준수하고 타사 스토리지와 관련된 위험을 줄일 수 있습니다. 이러한 방식은 데이터를 수집하고 분석하는 위치 가까이에 두기 때문에 AI 작업 흐름을 더욱 효율적으로 만듭니다.
에지 컴퓨팅은 AI 개발에 다음과 같은 이점을 제공합니다.
- 비용 절감. 클라우드 스토리지 및 데이터 전송에 드는 비용을 줄여줍니다.
- 더 빠른 AI 개발. 학습 데이터를 로컬에 유지하여 빠르게 액세스할 수 있습니다.
- 향상된 데이터 제어력. 데이터를 내부에서 저장하고 처리함으로써 주권을 유지하고 규제를 준수할 수 있습니다.
AI 에지 연구소: 시스템 아키텍처 및 설정
로컬 스토리지에서 AI 작업 부하를 실행할 수 있는 가능성을 확인하기 위해 세 개의 노드로 구성된 NAS 클러스터를 구축하고 스토리지 성능을 측정했습니다.
시스템 구성:
- 하드웨어:
- Intel N5095 프로세서(저전력 사용)
- 듀얼 2.5GE 이더넷 포트
- IronWolf® Pro 24TB 하드 드라이브 4개 구성(RAID5, 노드당 가용 용량 70TB)
- 가속을 위한 선택 사양 SSD 및 텐서 처리 장치(TPU)
- 소프트웨어:
- Python 기반 AI 개발을 위한 Jupyter Notebook 컨테이너
- 내결함성 메시징, 키-값 스토리지, 오브젝트 스토리지를 위한 NATS Jetstream
- 중복성 및 복원력을 위한 다중 노드 데이터 복제
성능 테스트: 스토리지 및 네트워킹 평가
우선 단일 노드 성능을 측정하여 기준 처리량을 설정했습니다. 시스템은 대용량 데이터 전송 시 2.5GE 링크당 200MB/s의 처리 속도를 기록했습니다.
다음으로 다중 노드 복제가 성능에 미치는 영향을 분석했습니다. 데이터 복제로 인해 네트워크 트래픽은 증가했지만, 읽기 성능에는 거의 영향을 주지 않았습니다. 이는 여러 노드 간 데이터 일관성이 중요한 작업 부하에서 큰 장점이 됩니다.
네트워킹 성능 테스트 결과, 2.5GE 링크를 하나 더 추가해도 쓰기 성능 향상은 미미했으며 10GE 네트워킹을 사용할 경우 일부 상황에서 성능이 향상되는 것으로 나타났습니다.
에지 환경에서의 실제 AI 학습
AI 작업 흐름을 시뮬레이션하기 위해 NAS 시스템을 사용하여 실제 머신 러닝 작업을 테스트했습니다. 500장의 라벨링된 이미지로 구성된 데이터 세트를 사용하여 보트 분류 모델을 학습했으며, 특징 추출 및 모델 학습을 로컬에서 실행했습니다.
이미지를 메타데이터 라벨과 함께 오브젝트 스토리지 버킷에 저장한 후, PyTorch Img2Vec을 사용하여 각 이미지에서 특징을 추출하고 이를 바탕으로 랜덤 포레스트 분류기를 학습시켰습니다. 학습된 모델은 1분 이내에 78%의 정확도를 기록했습니다.
이 테스트에서 얻은 주요 관찰 결과는 다음과 같습니다.
- 전체 작업 시간 중 81%가 특징 추출에 소요되어 빠른 로컬 스토리지의 필요성을 다시금 확인했습니다.
- AI 모델 학습은 1분 이내에 완료되어 로컬 NAS가 AI 작업 흐름에 매우 효율적이라는 점을 입증했습니다.
- 정식 AI 교육을 받지 않은 현업 전문가들도 실험을 성공적으로 수행함으로써 이 방식의 높은 접근성을 보여주었습니다.
이 실험을 통해 로컬 NAS 스토리지가 비용 효율적인 AI 데이터 허브로 활용될 수 있음을 확인했습니다. 이는 클라우드 서비스에 대한 의존도를 낮추면서도 접근성과 성능을 동시에 개선해 줍니다.
결론: AI 스토리지는 진화해야 합니다
AI의 미래는 효율적이고 비용 효율적이며 확장 가능한 데이터 스토리지에 달려 있습니다. 데이터 볼륨이 지속적으로 증가함에 따라 조직은 AI 데이터 세트를 저장하고 관리하는 방식을 재고해야 합니다.
로컬 NAS 솔루션은 고비용 클라우드 스토리지의 현실적인 대안이 될 수 있으며, AI 팀이 다음과 같은 이점을 누릴 수 있습니다.
- 고성능 데이터 액세스를 유지하면서 비용 절감을 할 수 있습니다.
- 계산이 이루어지는 위치 가까이에서 데이터를 관리함으로써 AI 작업 흐름의 효율성을 높일 수 있습니다.
- AI 데이터의 저장 위치를 제어함으로써 규정 준수 및 데이터 주권을 강화할 수 있습니다.
산소가 생명을 유지하듯 데이터 스토리지는 AI 혁신을 지속시키는 기반입니다. AI 지원 스토리지를 더 쉽게 접근 가능하고 비용 효율적이며 고성능으로 구축함으로써 조직은 AI 기반 혁신을 더욱 빠르게 실현할 수 있습니다.
