올바른 데이터, 올바른 장소, 올바른 시간

AI는 효율적인 데이터 시스템을 구축하는 의미를 바꾸고 있습니다.

기업의 3분의 2는 GenAI가 저장되는 데이터 양을 늘릴 것으로 예상합니다. 하지만 약 3분의 1만이 자사 인프라가 "GenAI에 완벽하게 최적화되어 있다"고 답했습니다. AI 워크로드와 이에 필요한 점점 더 많은 데이터를 지원할 수 있는 데이터 센터 아키텍처를 설계하는 것이 중요합니다.

학습된 모든 모델, 분석된 모든 비디오, 개선된 모든 시뮬레이션은 저장하고 재사용해야 하는 엄청난 양의 데이터를 생성합니다. 아키텍처와 비즈니스 모델이 데이터 생성 속도에 맞춰 발전할 수 있을까? 네, 계층화 덕분에 가능하죠.

데이터 계층화가 AI 성능과 규모를 최적화하는 방법

데이터 계층화를 통해 정보를 적절한 시간에 적절한 위치에 보관할 수 있습니다. 이는 인프라가 지속적인 수동 조정 없이도 성능, 규모 및 비용의 균형을 유지하는 방식입니다.

• 실시간 액세스 계층은 메모리와 플래시가 종종 이를 지원하여 활성적이고 읽기 중심적인 버스트를 처리합니다.
• 빈번한 액세스 계층은 다양한 활동을 처리하고 하드 드라이브 스토리지 클러스터는 이를 대규모로 효율적으로 유지합니다.
• 대용량 계층은 대용량 데이터 세트를 보관하므로 재사용 및 분석이 가능한 반면, 고용량 하드 드라이브는 이를 고정하여 테라바이트당 비용이 가장 낮고 성능이 최적입니다.

계층화는 위계질서에 관한 것이 아니라 조화에 관한 것입니다. 각 계층은 고유한 역할을 수행하며, 이러한 계층이 합쳐지면 시스템이 더 빠르고, 효율적이며, 확장 가능하고 지속 가능해집니다.

AI 기반 애플리케이션에서 생성된 데이터는 직선 경로를 따르지 않습니다. 데이터는 수집, 처리, 학습, 정제 및 재학습을 거쳐 진정한 가치를 끌어내는 등 여러 계층을 거칩니다. 계층화는 무한한 데이터 흐름을 장점으로 바꿔줍니다. 즉, 더 많은 데이터를 휴면 상태로 두지 않고 생산적으로 유지할 수 있습니다. 귀중한 결과가 손실되는 것을 방지합니다. 팀은 정책 배치, 수명 주기 태그 및 원격 측정을 통해 데이터를 체계화합니다. 목표: 작업 집합을 컴퓨팅에 가깝게 유지하고 심층 집합을 저렴하고 내구성 있게 유지하며 호출 시 바로 사용할 수 있도록 합니다.

계층형 스토리지가 AI 학습을 빠르고 효율적으로 유지하는 방법

GPU는 지속적으로 작업할 수 있을 만큼 빠르게 대량의 데이터를 공급받을 때에만 성과를 냅니다. 최신 하드 드라이브 시스템은 밀리초 수준의 응답 속도를 제공합니다. 이는 AI 학습과 추론을 지속하기에 충분히 빠른 속도입니다. 메모리와 플래시는 캐시를 처리하는 반면 하드 드라이브는 깊이를 제공합니다. 그렇기 때문에 클라우드 데이터의 약 85%가 여전히 하드 드라이브에 저장됩니다.¹: 확장성은 용량이 크고 저렴해야 가능합니다.

계층화를 통해 페타바이트 규모의 결과물이 고비용 인프라에 과부하가 걸리거나 다음 모델을 학습시키기 전에 사라지는 것을 방지할 수 있습니다. 재사용이 실용적입니다. 동일한 데이터베이스를 오늘은 교육에 활용하고, 내일은 세부 조정을, 장래에는 거버넌스 감사에 활용할 수 있습니다. 용량 계획은 제약이 아닌 지렛대가 됩니다.

효율성은 새로운 성과입니다

계층화는 기업이 기존 인프라를 최적으로 활용하는 데 도움이 됩니다. 과도한 공급을 방지하고, 유휴 전력 소모를 줄이며 자산 수명을 연장합니다. 시스템 수준에서 하드 드라이브 기반 계층은 총 소유 비용 측면에서 강력한 이점을 제공합니다.

더 높은 면적 밀도(데이터 사용량이 많은 애플리케이션을 위해 제작된 드라이브)는 스핀들당 더 많은 테라바이트, 전원을 공급하고 냉각해야 하는 랙이 줄어들고 테라바이트당 에너지가 낮아진다는 것을 의미합니다. 결과적으로 속도나 회복력을 희생하지 않고도 효율성이 더욱 향상되었습니다.

계층형 스토리지가 에너지 사용을 줄이고 지속 가능한 AI를 지원하는 방식

규모에 따라 효율성은 종종 지속 가능성과 동일합니다. 접근 빈도가 낮은 데이터를 전력 효율이 높고 용량이 큰 계층으로 옮기면 운영상의 배출량이 줄어듭니다.

최근 시스템 수준 모델링은 이를 뒷받침합니다. 하드 드라이브 랙은 동일한 용량의 SSD 랙보다 약 4배 적은 전력을 사용하고 약 10배 적은 탄소를 배출합니다.²

순환적 관행(예: 드라이브를 개조하고 재배치하거나 희토류 원소를 공급망에 재배치)은 구체화된 탄소를 줄이고 사용 수명을 연장합니다.

드라이브 수 감소, 수명 주기 연장, 폐기물 감소: 이는 계층형 스토리지를 통해 실현 가능한 실질적인 이점입니다.³

기업이 성공하는 방법

AI의 데이터 발자국은 계속해서 확장될 것입니다. 계층화는 기업이 앞서 나가는 방법으로, 필요한 곳에 속도를 제공하고, 요구되는 곳에 규모를 제공하며, 전반적으로 지속 가능성을 보장합니다.

대규모로 보면 하드 드라이브는 이러한 균형의 중추로 남아 있으며, 성능, 경제성, 효율성을 모두 동시에 구현합니다.

이것이 바로 계층화가 규모에 따라 이점을 제공하는 방식입니다. 적절한 데이터를 적절한 시기에 적절한 장소에 보관합니다.

AI의 잠재력을 최대한 발휘하려면 데이터가 필요하며, 이를 보관할 수 있는 저장소도 필요합니다.

주석

1. Seagate가 여러 업계 분석 보고서를 분석한 결과입니다.
2. HotCarbon 2024, “저장 배출에 대한 연구 요청.”
3. 2024 회계연도: 180만 개 이상의 드라이브가 서비스로 복귀(Seagate Circularity); 2023 회계연도: 119만 개의 드라이브가 서비스로 다시 확장되었습니다(Seagate Planet 페이지, "순환성").