많은 기업에서 AI 투자는 의사 결정 개선, 제품 개발 가속화, 더욱 개인화된 사용자 경험 제공과 같은 성과와 직접적으로 연결되어 있습니다.
기업들이 클라우드 기반 플랫폼과 서비스를 활용하여 제품을 개발하는 방식을 생각해 보세요. 경쟁 우위는 단 하나의 통찰력에서 비롯되는 것이 아니라, 수년간의 고객 상호 작용, 테스트, 실패, 피드백 및 개선을 통해 축적된 지식에서 나옵니다. 기업이 보유하고 적용할 수 있는 조직적 지식이 많을수록 개선 속도는 더 빨라집니다.
인공지능 시스템도 같은 방식으로 작동하기 시작했습니다. 초기에 가장 큰 어려움은 모델을 훈련시키는 것이었습니다. 배포가 성숙해짐에 따라, 그 가치는 이전 상호 작용 및 결과물을 통해 축적된 데이터를 얼마나 효과적으로 보존, 접근 및 재사용할 수 있는지에 점점 더 달려 있습니다. 처음에는 작업이 수월하게 느껴지지만, 배포가 성숙해짐에 따라 기대치가 높아지고 있습니다. 시스템이 이미 발생한 일을 분석하는 것만으로는 더 이상 충분하지 않습니다. 새로운 데이터가 들어올 때마다 지속적으로 학습하고, 권장 사항을 개선하고, 경험을 조정해야 합니다. 모델 자체도 중요하지만, 시스템이 이미 파악한 정보를 기억하고 필요할 때 다시 활용하는 능력 또한 중요합니다.
고객 행동, 이전 결과물, 그리고 변화하는 패턴은 모두 지속적으로 유지되고 접근 가능해야 하며, 이는 대화의 방향을 바꿉니다. 모델 성능은 여전히 중요하지만, 더 이상 전부는 아닙니다. 더 중요한 질문은 시스템 자체가 진화함에 따라 그러한 맥락을 유지할 수 있는지 여부입니다.
수년간 인공지능에 대한 논의는 모델과 연산에 집중되어 왔습니다. 기업들은 GPU에 투자하고, 데이터 과학자를 고용하고, 교육에 집중했습니다. 스토리지는 데이터 세트를 저장하고 대부분 백그라운드에서 작동하면서 프로세스를 지원했습니다.
이러한 시스템들이 널리 보급되면서, 또 다른 현상이 나타나고 있습니다. 모델은 지속적으로 실행되며, 작업의 초점은 인텔리전스를 생성하는 것에서 이를 확장하는 것으로 옮겨갔습니다. 이는 흔히 에이전트형 AI라고 불리는데, 단순히 요청에 응답하는 데 그치지 않고 맥락을 파악하고 이미 수행한 작업을 기반으로 새로운 기능을 구축하는 시스템을 의미합니다.
그들은 출력을 생성하고, 저장된 데이터를 활용하며, 이전 상호 작용을 기반으로 구축합니다. 겉보기에는 단일 요청처럼 보이지만, 실제로는 맥락을 파악하고, 응답을 다듬고, 새로운 정보를 시스템에 다시 입력하는 지속적인 순환 과정의 한 단계일 뿐입니다.
시스템 개선은 점점 더 데이터가 워크플로 전반에 걸쳐 얼마나 효과적으로 보존, 접근 및 재사용되는지에 달려 있습니다. 하이퍼스케일 환경, 즉 이러한 시스템이 작동하는 대규모의 전 세계적으로 분산된 클라우드 인프라에서 객체 스토리지는 축적된 데이터의 기록 시스템이 됩니다. 하드 드라이브에 대규모로 구축되는 이 시스템은 AI 시스템이 컨텍스트를 보존하고, 시간이 지남에 따라 확장하며, 지속적으로 개선할 수 있도록 하는 내구성이 뛰어나고 경제적인 기반을 제공합니다.
기록 보관소에서 기록 시스템으로
시스템이 이러한 방식으로 작동하기 시작하면 스토리지의 역할이 바뀌기 시작합니다. 제품 개발 과정에서 고객 피드백, 이전 제품 결과물, 테스트 데이터 및 이전 상호 작용은 향후 개선 사항을 결정하는 데 지속적으로 활용됩니다. 인공지능 시스템이 데이터를 보존하고 재사용하는 데 의존하는 모든 산업 분야에서 동일한 패턴이 나타납니다.
객체 스토리지는 오랫동안 데이터가 더 이상 활발하게 사용되지 않을 때 저장되는 장소로 여겨져 왔습니다. 그 모델은 작업량이 간헐적일 때 효과적이었습니다. 하지만 지속적으로 학습하고 진화하는 AI 시스템에는 명확한 종료 시점이 없습니다.
모든 상호작용에는 무언가가 남는다. 출력값은 누적되며, 보존될 경우 시스템의 작동 맥락의 일부가 됩니다. 사라지는 대신, 그러한 결과물들은 이전의 모든 것들과 함께 남아 다음에 일어날 일들을 형성합니다. 이러한 시스템이 시간이 지남에 따라 구축되면서 객체 스토리지는 단순한 저장소를 넘어 축적된 데이터가 영구적으로 저장되고, 접근성이 유지되며, 향후 결과에 반영하기 위해 활성 워크플로에 다시 활용될 수 있는 계층으로서 더욱 핵심적인 역할을 하게 됩니다.
데이터는 다른 계층을 거쳐 계속 이동합니다. 데이터는 메모리에 로드되고, 처리 계층으로 불러와져 실시간으로 사용되며, 단일 워크플로 내에서 여러 번 사용되는 경우도 많습니다. 하지만 결국 어딘가에서는 계속 존재해야만 합니다. 접근성이 좋고, 내구성이 뛰어나며, 언제든 다시 사용할 수 있도록 준비되어 있어야 합니다.
그 역할은 점차 객체 스토리지에 맡겨지고 있으며, 하이퍼스케일 클라우드에서 객체 스토리지는 하드 드라이브를 기반으로 구축됩니다. 실제로 클라우드 데이터 센터 용량의 90% 이상이 하드 드라이브에 저장되어 있는데, 이는 데이터가 저장되는 위치뿐만 아니라 대규모로 저장되어야 하는 위치를 반영합니다.¹ 스토리지는 AI가 컨텍스트를 유지하는 방식입니다. 규모가 커지면 이는 더 이상 부차적인 고려 사항이 아니라 시스템의 기능을 정의하는 핵심 요소가 됩니다.
데이터에 대한 질문이 바뀌었습니다.
훈련 시대에는 데이터에 대한 질문이 간단했습니다. 유용한 모델을 구축하기에 충분한 데이터가 있는가?
이러한 시스템에서는 또 다른 질문이 제기됩니다. 시스템이 실행되는 동안 종종 반복적으로 올바른 데이터에 적시에 접근할 수 있을까요?
여기서부터 이론적인 차원을 벗어나게 된다. 시스템이 저장된 데이터를 반복적으로 가져오고, 더 많은 맥락 정보가 추가됨에 따라 출력을 개선하는 것을 볼 수 있습니다. 겉보기에는 단일 쿼리처럼 보이지만, 실제로는 내부적으로 일련의 조회 작업이 수행되며, 각 조회는 이미 저장된 정보에 따라 달라집니다. 이러한 시스템이 성숙해짐에 따라 데이터는 새로운 역할을 수행하게 됩니다. 사용하지 않을 때 저장 공간에 보관되어 있는 것은 유휴 상태가 아닙니다. 이는 시스템이 알고 있는 정보의 일부입니다. 이전 출력, 상호 작용 및 다음에 발생할 일을 결정하는 신호 등이 포함됩니다. 그렇게 축적된 맥락은 모델 자체만큼이나 중요해지기 시작합니다. 대규모 AI 워크로드는 엄청난 양의 데이터를 계속해서 생성하지만, 그중 상당 부분은 여전히 시스템이 구축할 수 있는 기반으로 보관되기보다는 한 번 사용하고 버려지는 일시적인 데이터로 처리되고 있습니다.
바로 그 지점에서 새로운 제약 조건이 나타납니다. 데이터가 장기적인 자산이 됨에 따라, 이제는 단순히 얼마나 많은 데이터를 저장할 수 있느냐가 아니라 시스템 규모가 커짐에 따라 얼마나 많은 데이터를 접근성, 내구성 및 재사용성을 유지하며 보존할 수 있느냐가 관건이 되었습니다.
시장은 이미 그러한 현실에 맞춰 조정되고 있습니다. IDC는 대규모의 영구적이고 접근 가능한 데이터에 대한 수요 증가를 반영하여 객체 스토리지 용량이 연평균 25.6% 성장할 것으로 예측합니다.²
저장 장치와 컴퓨팅 장치의 동기화가 어긋날 때
이론적으로 인공지능 시스템은 효율성을 위해 설계되었습니다. 실제로 규모가 커질수록 그러한 효율성을 유지하기는 더욱 어려워집니다. 컴퓨팅 기술은 점점 더 강력하고 정교한 모델들을 통해 지속적으로 발전하고 있습니다. 시스템이 성숙해짐에 따라 이러한 시스템이 보존하고 의존하는 데이터의 양은 훨씬 더 빠르게 증가합니다.
조직들은 정보를 검색하고 활용하는 데 점점 더 능숙해지고 있으며, 적절한 시점에 적절한 데이터를 워크플로에 통합하고 있습니다. 하지만 동시에 그들이 유지하고 싶어하는 정보의 양은 계속해서 늘어나고 있습니다. 시스템이 성숙해짐에 따라 과거 비즈니스 데이터, 이전 결과물, 고객 상호 작용 및 축적된 조직 지식은 모두 더욱 가치 있게 됩니다. 인공지능 시스템의 결과물 품질은 시스템이 접근할 수 있는 정보의 깊이와 폭을 점점 더 반영하고 있습니다.
성능이 부족할 때, 사람들은 여전히 컴퓨팅 성능을 더 높이려는 본능적인 반응을 보입니다. 하지만 그것이 항상 근본적인 문제를 해결하는 것은 아닙니다. 데이터 처리 그 이상의 어려운 문제는 시스템에 맥락을 제공하는 축적된 데이터에 대한 접근성을 유지하고, 시스템이 발전함에 따라 해당 데이터를 보존, 검색 및 재사용할 수 있도록 보장하는 것입니다.
그러한 불균형은 인프라 계획에도 나타나기 시작했습니다. AI 시스템이 더 많은 데이터를 저장하고 재사용함에 따라, 데이터 계층은 시스템의 확장성을 결정하는 아키텍처 설계에서 더욱 중요한 요소가 되고 있습니다.
결국 시스템은 실행 속도가 아니라, 얼마나 많은 과거 데이터를 유용한 상태로 유지할 수 있는지에 따라 제약을 받게 됩니다.
소프트웨어 아래에 있는 하드웨어
기업들이 지금 내리는 인프라 관련 결정은 인공지능 시스템이 실제로 얼마나 발전할 수 있을지를 결정할 것입니다.
이러한 기능의 상당 부분은 소프트웨어 정의 방식으로 설명되며, 시스템 동작의 상당 부분은 데이터의 배포 및 접근 방식에 따라 결정됩니다. 하지만 배포 규모가 커짐에 따라 또 다른 현실을 무시하기 어려워집니다. 바로 이러한 시스템이 얼마나 성장할 수 있는지는 궁극적으로 기반이 되는 하드웨어에 의해 결정된다는 것입니다.
AI 인프라는 여러 계층에 걸쳐 작동합니다. 기억은 현재 일어나고 있는 일을 뒷받침합니다. 플래시는 지연 시간이 중요한 상황에서 고속 액세스를 가능하게 합니다. 이 두 가지 모두의 기반에는 하드 드라이브에 대규모로 구축된 객체 스토리지가 있어 데이터가 장기간 사용 가능하도록 내구성이 뛰어난 토대를 제공합니다.
시스템이 더욱 연속적으로 변할수록 그 차이는 더욱 분명해집니다. 성능 계층은 즉각적인 처리를 담당하고, 객체 스토리지는 이미 발생한 작업이 계속 사용 가능하도록 보장합니다. 이러한 시스템은 대량의 비정형 데이터를 지속적으로 생성하고 재사용하기 때문에 성능 계층만으로는 유지 관리가 불가능합니다. 밀도, 내구성 및 확장성이 부차적인 고려 사항에서 핵심적인 제약 조건으로 자리 잡음에 따라 하드 드라이브는 여전히 매우 중요합니다.
소프트웨어는 시스템의 동작 방식을 결정합니다. 하드웨어는 하드웨어가 알 수 있는 정보를 결정합니다.
밀도가 결정적인 요소가 되는 이유
인공지능 투자라면 결국 모두 같은 질문에 직면하게 됩니다. 시스템이 기반 인프라를 앞지르지 않고 계속 성장하려면 어떻게 해야 할까요? 저장 밀도가 바로 그 질문에 대한 해답입니다. 기업용 AI의 진정한 제약은 컴퓨팅 능력이 아니라 지속성입니다. 인프라 규모를 확장하지 않고 더 많은 데이터를 저장할 수 있는 능력은 시스템의 확장성에 직접적인 영향을 미칩니다.
규모가 커지면 그 효과는 더욱 증폭됩니다. 1엑사바이트 규모의 배포에서 Seagate의 Mozaic™ 4+ 플랫폼은 표준 30TB 배포 대비 인프라 효율성을 약 47% 향상시키면서 데이터 센터 공간과 에너지 소비를 줄입니다.3
인프라 구축 결정과 사업적 결정은 결국 동일한 것으로 드러났다. 학습한 내용을 기억하고, 효율적으로 검색하며, 수백만 건의 상호 작용에 걸쳐 재사용하는 시스템은 그 가치를 더욱 높일 것입니다. 데이터를 일시적인 것으로 취급하는 인프라를 기반으로 구축된 시스템은 결국 정체기에 접어들 것입니다. 모델 자체가 틀렸기 때문이 아니라, 그 모델을 뒷받침하는 토대가 무게를 지탱할 수 없기 때문입니다.
스토리지는 AI가 지식을 축적하는 방식이며, 규모가 커질수록 저장된 컨텍스트는 시스템이 과거로부터 얼마나 학습하고, 적응하고, 비즈니스에 가치를 제공할 수 있는지를 결정합니다.
HDD 기반의 다중 계층 스토리지 아키텍처가 대규모 객체 스토리지를 지원하는 방법을 알아보세요.
참조 자료
- Seagate Technology, “데이터 센터 작업 부하를 전부 하이브리드 및 하드 드라이브 스토리지 시스템으로 처리하는 Seagate,” Seagate U.S.,
https://www.seagate.com/blog/seagate-data-center-workloads-hdd-hybrid-storage/
- IDC, 객체 스토리지 전망, 2024~2028: 전 세계 파일 및 객체 기반 스토리지 시장 현황 및 전망, 2024년.
- Seagate Technology, “Seagate, 차세대 Mozaic 4+로 업계 최고 용량 하드 드라이브 출시”, 2026년 3월 3일
https://www.seagate.com/stories/articles/seagate-delivers-industrys-highest-capacity-hard-drives-with-next-generation-mozaic-4/
