AI 데이터 스토리지의 심화되는 도전 과제
인공 지능은 의료 진단 및 금융 모델링에서 자율 주행 차량 및 대규모 자동화에 이르기까지 모든 분야에 혁신을 일으키며 산업 전반에서 발전을 주도하고 있습니다. 그러나 AI 시스템이 더욱 정교해짐에 따라, 데이터 스토리지에 대한 수요가 기하급수적으로 증가하여 확장성, 효율성 및 비용 면에서 문제가 발생하고 있습니다.
머신 러닝 데이터 세트에는 이제 페타바이트 규모의 저장 공간이 필요하며, 일부 기업에서는 끊임없이 진화하는 AI 모델에 발맞춰 엑사바이트 규모의 데이터 세트를 관리하고 있습니다. 이러한 대규모 데이터 세트는 모델 학습 및 추론을 지원하기 위해 효율적으로 저장, 검색 및 처리되어야 합니다. AI를 뒷받침하는 스토리지 인프라스트럭처는 더 이상 IT만의 관심사가 아니라 AI 혁신 자체를 지원하는 핵심 요소가 되었습니다.
AI 컴퓨팅의 발전에도 불구하고, 데이터 집약적인 GPU 운용에 필요한 규모에서는 기존 스토리지 아키텍처가 복잡하고 비용이 많이 들어 AI 채택을 지연시키고 있습니다. 다음과 같은 세 가지 이유가 있습니다.
첫째, SSD 기반 아키텍처는 고속 성능을 제공하지만, 높은 구입 비용으로 인해 AI 학습 작업 부하의 대규모 스토리지 요구를 충족하기에는 실용성이 떨어집니다. 대부분의 엔터프라이즈에 대용량 데이터 세트를 SSD에만 보관하는 것은 비용 측면에서 지속 가능하지 않습니다.
둘째, SAS/SATA 하드 드라이브 시스템이 많은 엔터프라이즈 애플리케이션에 안정적이고 비용 효율적인 스토리지를 제공하는 반면, AI 작업 부하는 스토리지 인프라스트럭처에 고유한 요구 사항을 제시합니다. SAS/SATA 인터페이스는 AI 작업 부하의 고처리량 및 저지연 요구에 맞게 설계되지 않은 전용 실리콘, HBA(호스트 버스 어댑터) 및 컨트롤러 아키텍처에 기반하고 있습니다. AI 채택이 확대됨에 따라 이러한 요소는 복잡성과 추가 대기 시간을 유발하여, AI 모델이 대규모 데이터 세트에 빠르게 액세스하는 것을 어렵게 만듭니다.
마지막으로, AI 작업 부하가 클라우드 기반 스토리지에 의존할 경우, WAN 데이터 전송 비용이 높아지고 대기 시간이 급증하며 검색 시간을 예측할 수 없게 될 수 있습니다. 이러한 비효율성은 AI 모델의 응답성을 떨어뜨리고, 처리 하드웨어가 원격 데이터를 기다리는 동안 운영 비용을 증가시킵니다.
결과적으로 AI가 지속적으로 확장됨에 따라, 기존 스토리지 아키텍처를 보완하면서도 용량, 비용 및 속도 간 균형을 유지하여 AI 학습과 추론을 무리 없이 지원할 수 있는 새로운 접근 방식이 필요합니다.
새로운 접근 방식: AI 워크로드를 위한 NVMe 하드 드라이브
Seagate는 대용량 하드 드라이브에 NVMe 기술을 적용하여 혁신적인 솔루션을 선도하고 있습니다. Seagate는 하드 드라이브 연결성을 위한 차세대 표준 프로토콜로 NVMe를 개발하였으며, 그 목적은 하드 드라이브의 경제성과 고밀도 이점을 유지하면서도 스토리지 병목 현상을 줄이고 AI 데이터 파이프라인을 최적화하도록 설계된 대안을 제공하는 것이었습니다.
SAS/SATA 기반 하드 드라이브와 달리 NVMe 하드 드라이브는 HBA, 프로토콜 브리지 및 추가 SAS 인프라가 필요하지 않으므로 AI 스토리지가 더욱 간소화됩니다. 이러한 드라이브를 사용하면 통합 NVMe 아키텍처에서 고밀도 하드 드라이브 스토리지와 고속 SSD 캐싱을 통합하여 AI 작업 부하를 원활하게 확장할 수 있습니다.
이러한 변화는 상당한 이점을 제공합니다. 첫째, 프로세서와의 연결을 위한 하드웨어 어댑터를 제거함으로써 NVMe 하드 드라이브는 AI 스토리지 배포를 단순화하고, 조직이 특수 컨트롤러 없이도 대규모 AI 스토리지 환경을 구축할 수 있도록 지원합니다. 둘째, 단일 NVMe 드라이버와 OS 스택을 통해 이러한 드라이브는 하드 드라이브와 SSD가 효율적으로 함께 작동하도록 보장하여 별도의 소프트웨어 계층이 필요 없게 됩니다.
가장 핵심적인 이점 중 하나는 DPU를 통해 GPU가 스토리지의 데이터에 직접 액세스할 수 있어 CPU 병목 현상을 피할 수 있다는 점입니다. 기존 스토리지 아키텍처는 CPU 기반 파이프라인을 통해 데이터를 라우팅하므로 대기 시간 문제가 발생합니다. NVMe 하드 드라이브를 사용하면 이러한 비효율성을 제거하여 AI 모델이 대규모 데이터 세트를 더 빠르게 수집하고 처리할 수 있습니다.
또한 NVMe-oF(NVMe over Fabrics)를 통해 NVMe 하드 드라이브를 분산형 AI 스토리지 아키텍처에 통합할 수 있어 고성능 데이터 센터 네트워크 내에서 원활한 확장이 가능합니다. 이 기능은 AI 작업 흐름에 유연한 구성 가능 스토리지 솔루션이 필요한 엔터프라이즈에 특히 유용합니다.
NVMe 하드 드라이브와 SSD를 함께 사용하면, 조직은 성능을 유지하면서 비용을 최적화할 수 있으며, SSD는 활성 데이터 세트 보관에, 하드 드라이브는 장기 AI 학습 데이터 보관에 사용할 수 있습니다.
미래를 입증하다: Seagate의 NVMe 하드 드라이브 개념 증명
NVMe 하드 드라이브가 실제 환경에 미칠 수 있는 잠재적 영향을 입증하기 위해, Seagate는 NVMe 하드 드라이브, NVMe SSD, NVIDIA BlueField DPU 및 AIStore 소프트웨어를 통합한 POC(개념 증명)를 수행하여 고효율 AI 스토리지 생태계를 선보였습니다.
이번 POC는 AI 워크플로에서 NVMe 하드 드라이브의 중요 장점을 강조하며, 대규모 AI 스토리지 환경에 실질적인 영향을 미칠 수 있다는 근거를 제시했습니다.
- 엔지니어들은 NVMe 하드 드라이브와 DPU를 통한 GPU-스토리지 간 직접 통신이 AI 데이터 작업 흐름에서 스토리지 관련 대기 시간을 줄이는 데 도움이 된다는 것을 입증했습니다.
- 레거시 SAS/SATA 오버헤드를 제거함으로써 시스템 아키텍처가 단순해지고 스토리지 효율성이 향상되었습니다.
- AIStore는 캐싱과 계층화를 동적으로 최적화하여 모델 학습 성능을 향상시키고, 스토리지 통합 및 엑사바이트급 확장성 확보를 간소화했습니다.
- NVMe-oF 통합으로 원활한 확장이 가능해졌으며, 멀티 랙 AI 스토리지 클러스터의 구성 가능성이 입증되었습니다.
이번 POC를 통해 Seagate는 NVMe 하드 드라이브가 올플래시 아키텍처 없이도 세계에서 가장 까다로운 AI 작업 부하를 지원할 수 있음을 입증했습니다.
실제 효과: AI 스토리지의 활용
Seagate는 스마트 팩토리에서 AI 모델을 운영해 온 10년의 경험을 바탕으로, 실제 AI 작업 부하 환경에서 NVMe 하드 드라이브를 검증하고 있습니다.
Seagate의 양자 안테나 생산 시설에서는 AI 기반 결함 감지가 고속 이미지 수집 및 신속한 검색에 기반하여 모델 학습 및 지속적인 개선을 수행합니다. 자체 AI 기반 생산 환경에서 얻은 인사이트를 바탕으로 Seagate는 NVMe 하드 드라이브가 이 프로세스를 어떻게 구현할 수 있는지 모색하고 있습니다. NVMe 하드 드라이브는 실시간 처리와 장기 보관을 모두 지원하는 확장 가능하고 비용 효율적인 스토리지를 제공하며, 다음과 같은 기능을 실현합니다.
- 고화질(HD) 이미지를 손실 압축 없이 저장할 수 있는 대용량 저장 공간
- AI 학습 데이터 세트의 효율적인 장기 보관
- AI 모델 재학습 및 지속적 개선을 위한 원활한 액세스
NVMe 하드 드라이브를 스토리지 아키텍처에 통합하는 방법을 살펴봄으로써 Seagate는 이 새로운 기술이 AI 결함 감지를 위한 실시간 응답성을 유지하면서도 AI 스토리지 비용을 절감할 수 있음을 보여주고 있습니다. 이러한 효율성 향상에는 AI 기반 분석 속도 증가, 정확도 개선 및 인프라 비용 절감이 포함됩니다.
NVMe 하드 드라이브는 제조 분야를 넘어 자율 주행 차량, 의료 영상, 재무 분석 및 하이퍼스케일 클라우드 AI 플랫폼에도 활용될 수 있습니다.
지속 가능성 및 비용 절감: NVMe 하드 드라이브의 장점
AI 인프라는 막대한 전력을 소비하기 때문에 지속 가능성이 점점 더 중요한 과제로 떠오르고 있습니다. Seagate는 NVMe 하드 드라이브를 통해 SSD 중심 아키텍처에 대한 비용 효율적이고 에너지 효율적인 대안을 모색하고 있습니다.
SSD와 비교하면 NVMe 하드 드라이브는 다음과 같은 장점을 제공합니다.
- 테라바이트당 탄소 배출량 측면에서 10배 더 효율적이며, 환경에 미치는 영향을 크게 줄여줍니다.
- 테라바이트당 작동 전력 소비가 4배 더 효율적이며, AI 데이터 센터의 에너지 비용을 절감할 수 있습니다.
- 테라바이트당 비용이 대폭 낮아져 AI 스토리지의 TCO를 대규모로 줄여줍니다.
AI 인프라가 확장됨에 따라 지속 가능한 스토리지는 비용 및 환경 영향을 줄이는 데 중요한 요소가 될 것입니다. Seagate의 개발 로드맵에는 NVMe 하드 드라이브의 지속적인 효율성 개선이 포함되어 있으며, 이를 통해 조직이 AI 스토리지를 확장하면서 장기적인 지속 가능성 목표를 달성할 수 있도록 지원하는 것을 목표로 하고 있습니다.
AI 스토리지의 미래를 위한 로드맵
Seagate는 차세대 AI 지원 스토리지 인프라스트럭처를 가능하게 할 혁신 기술을 개발하고 있으며, 이는 산업 동향과 하이퍼스케일 클라우드 환경의 요구에 부합합니다.
로드맵에는 다음 계획이 포함됩니다.
- Mozaic 플랫폼(현재 36TB 드라이브 배송)을 확장하여, 더 큰 용량의 NVMe 하드 드라이브를 개발합니다.
- 하이브리드 환경에서 AI 작업 부하를 원활하게 확장할 수 있도록 NVMe-oF 지원을 강화합니다.
- AI 개발자가 최적화된 스토리지 솔루션을 쉽게 배포할 수 있도록 참조 아키텍처를 생성합니다.
Seagate는 고객 및 파트너와 협력하여 차세대 AI 스토리지 솔루션에 NVMe 하드 드라이브를 어떻게 통합할 수 있는지 모색하고 있으며, 이를 통해 엔터프라이즈가 AI 스토리지 수요를 저렴하고 효율적으로 충족할 수 있도록 지원하고 있습니다.
AI 스토리지의 미래를 위한 Seagate의 노력
AI는 여러 산업을 변화시키고 있지만, 많은 조직은 데이터 관리의 복잡성과 스토리지 비용 상승으로 어려움을 겪고 있습니다. 확장 가능하고 효율적인 스토리지는 AI 혁신을 이어가는 데 필수적입니다.
Seagate의 NVMe 하드 드라이브 개발은 NVMe 연결성이 하드 드라이브의 비용 및 밀도 이점을 유지하면서 스토리지 배포의 복잡성을 줄일 수 있음을 보여주고 있습니다.
Seagate는 POC를 통해 AIStore 통합, NVMe-oF 확장성 및 GPU 최적화 스토리지 경로를 구현함으로써 차세대 AI 인프라 혁신을 주도하고 있습니다.
AI가 산업을 재편하는 가운데, Seagate는 증가하는 데이터 스토리지 수요에 맞춰 AI 스토리지 인프라스트럭처의 확장 방식을 재정의하고 있습니다.
