X

기술 관련 식견 Seagate Kinetic Open Storage 비전

새로운 장치 기반 플랫폼과 API 개발 도구가 오늘날의 스토리지 인프라 요구를 어떻게 충족하는지를 알아보십시오. Seagate® Kinetic Open Storage 플랫폼은 새로운 종류의 키/값 이더넷 드라이브 및 개발 도구이며 데이터 센터 아키텍처에 대한 소프트웨어 정의, 객체 지향 및 스케일 아웃 방식의 접근법입니다.

kinetic-vision-how-seagate-new-developer-tools-meets-the-needs-of-cloud-storage-platforms-kinetic-platform-gallery

데이터 타입, 액세스 모델, 수요 및 사용 사례 등에 있어서 스토리지의 세계가 바뀌었습니다

지난 10년간 대규모 데이터 기반 애플리케이션의 폭발적 성장은 엔터프라이즈 스토리지 인프라의 성격을 근본적으로 전환시키기 시작했습니다. 하드웨어 중심, 파일 기반의 전통적 패러다임은 소프트웨어 정의, 객체 기반의 새로운 접근방식에 자리를 내주고 있습니다.

새로운 패러다임은 객체지향적인 것으로, 사진, 영화, 전자상거래 및 웹 데이터, 검색, 게임, 아카이브와 이 모두를 포함한 세계입니다. 이러한 세계에서는 객체(정보)를 쓰고, 읽고, 삭제하지만 수정하지는 않습니다. 시스템 및 데이터 센터는 점점 더 성능보다는 용량을 위해 설계되고 있습니다. 계층화와 분산은 필수적인 것이 되었습니다. 분석은 일상적이고 필수적인 것이 되었습니다. 주문에 의해, 실시간으로, 모든 차원에 걸쳐,핫, 콜드 데이터 모두에 대한 분석이 이루어집니다.

또한 이론의 여지 없이 이더넷은 데이터 센터와 애플리케이션 트래픽의 기본 구조가 되어, 당연한 결과로 스토리지 인프라의 중추로 떠오르고 있습니다. 이는 가상 서버 및 데스크탑 인프라의 경이적인 성장을 통해 확인할 수 있으며, Amazon 웹 서비스의 폭넓은 채택이 이를 입증하고 있습니다.

이러한 성장은 모바일, SNS, 클라우드 컴퓨팅 및 빅 데이터에 의해 추진됩니다.이러한 응용은 기본적으로 구조화되지 않은(또는 반 구조화된), 생성하기 쉽고 저렴한 데이터에 의존합니다. 결과적으로, 분석, 규제 및 데이터 보존에 대하여 개인이 기대하는 가치는 현재와 가까운 미래의 스토리지 인프라 성장에 일조합니다.

이러한 요소의 조합은 스토리지 장치, 인터페이스 및 풀 스택 아키텍처를 재정의합니다. 업계가 이러한 스토리지 요구를 지원하기 위해 요구되는 성장을 달성할 수 있도록 하려면 우리는 기존 아키텍처로부터 비효율성의 층을 걷어내고 스케일 아웃 애플리케이션과 데이터 센터에 최적화된 접근방식을 도입해야 합니다.

Seagate Kinetic Open Storage 개발 도구가 정확히 이와 같은 일을 합니다. Seagate Kinetic Open Storage 개발 도구는 현재와 미래의 애플리케이션 요구에 대해 최적화하기 위해 가장 효율적인 스택(장치, 프로토콜, 인터페이스, 소프트웨어, 시스템)을 구현 및 가능하게 하고, 스토리지를 직접 활용하기 위해 객체 지향 애플리케이션을 독특한 방식으로 가능하게 하며, 스케일 아웃 데이터 센터 혁신에 일조합니다. 이렇게 하는 과정에서 성능, 관리 및 총 소유 비용(TCO)에서 큰 이득을 얻을 수 있도록 허용합니다.

Seagate Kinetic Open Storage 데이터 센터와 전통적 모델 비교: 탈중개화, 세분화, 보안

Seagate Kinetic Storage 플랫폼은 기존의 아키텍처가 폭발적으로 증가하는 비구조적 데이터 및 애플리케이션의 고도로 분산되고 용량 최적화된 작업 부하에 제대로 적응하지 못하는 전통적 데이터 센터의 비효율성을 크게 해결할 수 있는 기회를 나타냅니다.

현재의 데이터 센터는 제대로 호환되지 않는 두 개의 시스템 (객체 지향 애플리케이션 계층과 블록 스토리지 기반의 하드웨어 계층(HDD, SSD, 테이프 등)) 사이에서 데이터 경로를 사용할 수 있도록 집적된 소프트웨어 및 하드웨어의 여러 계층을 특징으로 합니다. 애플리케이션으로부터 스토리지까지의 이동 경로는 데이터베이스로부터 그 아래의 POSIX 인터페이스와 파일 시스템, 볼륨 매니저 및 드라이브까지에 이르는 여러 계층의 조작을 필요로 합니다. 정보는 이더넷으로부터 파이버 채널을 통해 RAID 컨트롤러, SAS 확장기 및 SATA 호스트 버스 어댑터까지 전달됩니다.

예를 들어, 전통적 스택은 아래의 그림 1과 같이 보일 수 있습니다:

articlename-figure#-widthxheight.jpg, alt text

그림 1: 전통적 스토리지 스택 모델: 서버, 스토리지 서버 및 장치

여러 계층을 통과해 이동해야 하는 명백한 비효율성 외에도, 이 모델은 장치의 물리적 특성에 기반하여 이에 가깝게 조직된 로컬 스토리지 장치의 작동에 대한 오래된 가정에 의존합니다. 이 모든 것이 바뀌었습니다. 하지만 소프트웨어 스택은 적절하게 진화되지 않았습니다.

오늘날 대규모 객체 애플리케이션의 대부분은 장치에 대한 공간 관리를 위한 최선의 전략을 결정 및 유지하기 위해 파일 구문이나 파일 시스템을 필요로 하지 않습니다. 현대적 애플리케이션은 주어진 장치에서의 데이터 위치가 아니라 객체 의미론(예: 전체 쓰기, 전체 읽기, 전체 삭제, 클라이언트 및 클러스터 관리자가 선택한 핸들을 사용한 참조)만을 필요로 합니다.

이러한 복잡성을 관리하기 위해, 스토리지 서버 기술 공급자(하드웨어와 소프트웨어 모두)의 전체 생태계는 장치 및 애플리케이션 계층 모두에서 이를 추상화하게 되었습니다. 이는 비효율적일 뿐 아니라, 스토리지의 특성 및 기능의 표면화를 방해할 수 있는 양 측면 사이의 추가적인 장벽을 가져옵니다.

처음부터 다시 시작해서 아래로부터 스택을 재구성할 수 있다면 어떨까요? 객체 지향 애플리케이션이 스토리지 장치의 언어를 통해 직접 연결될 수 있다면 어떤 모습일까요? 그것은 아마도 Seagate Kinetic Storage 플랫폼과 같을 것입니다.

Seagate Kinetic Open Storage 플랫폼

Seagate Kinetic Storage는 다음과 같습니다.

  • 오픈 API(애플리케이션 프로그래밍 인터페이스)와 관련 라이브러리를 포함한 새로운 종류의 키/값 이더넷 드라이브 및 개발 도구
  • 가장 간단한 의미 추상화를 제공하고 사용하기 쉬운 API를 통해 가장 광범위한 애플리케이션 집합을 가능하게 하도록 설계
  • 혁신을 극대화할 수 있는 효율적인 플랫폼

이와 같은 조각들이 한 데 모여 애플리케이션은 스토리지 장치를 직접 목표로 하여 스토리지 기능을 최대한 활용할 수 있게 됩니다. 드라이브는 키와 값을 통해 통신합니다. 예를 들어, 드라이브는 get, putdelete 등을 실행합니다. 이를 통해 애플리케이션은 드라이브가 다음과 같은 기능을 효율적으로 관리하도록 하면서 객체를 배포하고 클러스터를 관리할 수 있습니다.

  • 키(객체) 정렬 관리
  • QoS(서비스 품질)
  • 정책 기반 드라이브간 데이터 마이그레이션
  • 부분 장치 오류 및 기타 관리 처리
  • 미사용 데이터 보안

따라서 위에서 설명한 전통적 스택과는 대조적으로, Seagate Kinetic Storage 스택은 그림 2와 같습니다.

articlename-figure#-widthxheight.jpg, alt text

그림 2. Seagate Kinetic Storage 스택

Seagate Kinetic Storage 모델은 여러 중요하고 흥미로운 시사점을 지니고 있습니다. 예를 들어:

  • 기존 소프트웨어와 하드웨어의 불필요한 레이어가 제거됩니다.
  • 기존 스토리지 서버 계층에 대한 필요성이 사라집니다.
  • 스토리지를 컴퓨팅으로부터 진정으로 세분화할 수 있습니다.
  • 랙의 밀도를 높일 수 있습니다.
  • 팬이 최소화됩니다.
  • 데이터 트래픽이 기존 데이터 센터 전송의 기본 구조(이더넷)를 활용합니다.
  • 데이터 센터 운영이 단순화되고 비용과 위험이 모두 감소됩니다.

스케일 아웃이 단순화되고, 비용 효율적이며, 기존 아키텍처 및 인프라에 의해 제약되지 않습니다. 이제 IP 주소만 있으면 정보를 얻을 수 있습니다.

Segate Kinetic Open Storage 플랫폼 API

API는 개방적이고 확장 가능한 방식으로 개발자들에게 필수적이고 최적화된 특성 및 기능에 대한 직접적인 액세스를 제공하기 위해 설계됩니다. 다중 소프트웨어 스택(오픈 소스 및 독점)을 사용하고 데이터 센터 아키텍처 내에서 작업하는 개발자는 Seagate Kinetic Storage의 기초 위에서 가장 어려운 스토리지 문제를 해결하기 위한 기반을 구축할 수 있습니다. 디자인은 열린 혁신을 가속화하도록 이루어져 고유의 문제가 유연한 최적의 방식으로 해결될 수 있게 합니다.

또한 오래 동안 희망했던 하드 디스크의 기능들이 이제 가능해졌습니다. 예를 들어:

  • 데이터 공유—드라이브 간의 데이터 공유는 실제로 매우 어려운 일입니다. Kinetic Storage API를 사용하면 여러 소스의 애플리케이션간에 데이터를 쉽게 공유할 수 있습니다. 한 애플리케이션은 드라이브에 키와 값을 쓰고 다른 애플리케이션은 해당 데이터를 읽을 수 있습니다.
  • 드라이브간 데이터 전송—전통적으로, 하나의 드라이브에서 다른 드라이브로 데이터를 이동하기 위해서는 고가의 스토리지 서버를 통한 라우팅이 필요했습니다. 이제 Kinetic Storage API를 통해 드라이브간에 키를 이동시키는 피어-투-피어 데이터 복사 명령으로 드라이브 사이에서 데이터를 직접 이동시킬 수 있습니다.
  • 데이터 무결성—불행하게도 소리 없이 이루어지는 데이터 손상은 삶의 일부가 되었습니다. Kinetic Storage를 사용하면 드라이브에서 데이터를 올바르게 수신되었음을 확인하는 포괄적인 종단간 무결성 검사를 통해 데이터를 저장하여 드라이브, 궁극적으로는 수신자가 데이터가 여전히 정확함을 보장할 수 있게 합니다.

이러한 값 외에도, Seagate Kinetic Storage 키/값 의미 추상화를 통하여 Seagate Kinetic Storage 계층을 넘어서는 소프트웨어 혁신과 병행하여, 또는 이와는 독립적으로 드라이브 혁신이(예: 미디어 기술, 섹터 기술에 있어서의) 진행될 수 있습니다. 개발자는 더 이상 기본적인 드라이브 기술 진보의 혜택을 얻기 위해 소프트웨어의 변경 사항을 적용할 필요가 없습니다 . 애플리케이션은 단순히 정의된 키와 값을 바탕으로 작동하며, 드라이브는 Seagate Kinetic Storage 뒤에서 최적의 방식으로 원활하게 실행됩니다.

Seagate Kinetic Open Storage 가치 제안: 성능, 규모, 단순성, TCO 및 보안

Seagate Kinetic Storage 플랫폼은 간단하고 유연한 스토리지 성능 및 확장이 가능하도록 설계되었습니다. Seagate Kinetic Storage 플랫폼은 데이터 센터 스토리지를 위한 최적의 TCO를 제공하여 자본 비용과 운영 비용 모두를 절감할 수 있습니다.

성능

설계상 Seagate Kinetic Storage 지원 드라이브는 원시적 키/값 저장소입니다. 이를 통해 장치의 공간 매핑 유지의 부담이 파일 시스템에서 드라이브 자체로 이동합니다. 애플리케이션은 객체에 대한 putget 작업을 실행할 수 있으며, 더 이상 LBA 레이아웃을 추측하거나 데이터 위치를 규정할 필요가 없습니다. 이러한 변화는 대체로 데이터는 이동시키지 않고 메타 데이터를 표현하는 매우 많은 양의 드라이브 I/O와 파일 시스템 관련 오버헤드를 제거합니다.

규모 확대에 대한 증분적 이익도 있습니다. 장치 제조 업체와 클라우드 데이터 센터 사업자 모두가 최대한 적극적으로 장치 용량을 증가시킴에 따라, 증가된 I/O 효율성과 이로 인한 I/O 순 활용도 증가로 인해 특정 장치와 Seagate Kinetic Storage 클러스터 전반에 걸친 절대 성능과 더불어 I/O 및 용량의 균형 잡힌 규모 확대가 가능하게 되었습니다.

증분적 하향식 성능 향상은 키/값 의미 추상화에 의한 관리 개선으로부터 발생합니다. 예를 들어, 이러한 추상화를 통하여, 대용량 드라이브의 특징인 아주 긴 재구축 시간을 소요하지 않고도 부분 오류를 포함한 장치 오류를 적절하게 처리할 수 있습니다.

규모

Seagate Kinetic Storage 플랫폼은 폭발적으로 성장하는 스케일 아웃 데이터 센터에 독특하게 최적화되어 있습니다. Seagate Kinetic Storage는 컴퓨팅으로부터 스토리지를 세분화하여, 클라우드 데이터 센터 운영자가 용량에 대한 요구가 증가할 때 단순히 스토리지를 추가할 수 있게 합니다. 또한 이더넷 연결과 키/값 API 명령 구조의 결합은 최소한의 증분 시스템과 설비 투자 비용으로 드라이브간 데이터 복제를 실시하여 고도로 분산된 방식으로 증분 용량이 확대될 수 있도록 영향을 주고 있습니다.

단순성, 간편한 채택

고객은 Seagate Kinetic Storage API를 사용하여 자신만의 관리 애플리케이션을 구축하거나 드라이브를 직접 호출할 수 있습니다. API는 다양한 소프트웨어 애플리케이션의 신속한 통합을 가능하게 하도록 설계되었습니다. 또한 Seagate Kinetic Storage 장치는 동적으로 발견될 수 있으므로, 기존 데이터 센터에 대한 도입 및 이종간 환경 진화가 가능합니다.

특정 Seagate 드라이브는 애플리케이션이 드라이브를 직접 액세스할 수 있게 하는 포괄적인 사용자-공간 라이브러리와 함께 제공됩니다. 이 라이브러리는 데이터에 액세스하여 드라이브를 관리할 수 있는 완벽한 인터페이스를 제공합니다. 일반적 운영 체제 스토리지 스택은 우회되며, 애플리케이션이 마치 데이터 센터의 다른 서비스와 대화하는 것처럼 드라이브와 직접 대화를 할 수 있게 합니다. 이러한 프로세스는 일반적인 응용 프로그램 원격 프로시저 호출(RPC)을 사용합니다. 이 Kinetic Storage API 플랫폼은 현재 Java, C++, C, Python 및 Erlang을 위한 라이브러리를 제공하며, 시간이 지남에 따라 다른 언어에 대한 라이브러리 또한 제공될 것입니다.

Seagate Kinetic Storage API를 통해 애플리케이션은 이것이 마치 네트워크 상의 일반적 키/값 서비스인 것처럼 드라이브와 상호 작용할 수 있습니다. 애플리케이션은 데이터를 키와 값의 형태로 드라이브에 전달하고(put) 키만을 지정하여 이 데이터를 다시 가져올 수(get) 있습니다. 기대할 수 있는 바와 같이, 키와 해당 값은 삭제할 수 있습니다. 또한 키는 범위 내의 키 검색과 이전 및 다음 키 찾기가 가능하도록 정렬됩니다.

아래의 도식은 기본 아키텍처를 보여줍니다.

articlename-figure#-widthxheight.jpg, alt text

Seagate Kinetic Storage API의 초기 구현에는 프로세스에 Swift 및 Riak CS 및 기타 솔루션이 포함됩니다. 이러한 시스템을 통해 수천 개의 드라이브를 신뢰할 수 있는 단일 스토리지 클러스터로 관리할 수 있습니다. 이러한 타사 관리 소프트웨어를 통해 (복제 및/또는 삭제 코딩을 사용하여) 데이터가 안정적으로 저장될 뿐 아니라 고장 난 드라이브가 애플리케이션에 투명하게 복구됩니다.

드라이브가 자신의 상태를 보고하고 누가 드라이브와 통신하도록 허용되는지를 관리할 수 있게 하는 광범위한 드라이브 관리 명령 또한 제공됩니다.

TCO 개선

Seagate Kinetic Storage 플랫폼은 새로운 데이터 센터 아키텍처의 구현을 가능하게 합니다. 이것은 Seagate Kinetic Storage 드라이브가 애플리케이션과 직접 상호작용을 함으로써 하드웨어의 전체 계층이 제거되기 때문입니다.

이러한 기술적 이점은 더욱 높은 밀도의 스토리지 랙을 가능하게 하며, 이는 다양한 영역의 TCO에 영향을 미칩니다:

  • 낮은 자본 지출—Seagate Kinetic Storage 아키텍처를 통하여 데이터 센터에서 스토리지 서버를 제거할 수 있습니다. 데이터 센터를 실제로 구축할 때 이것은 낮은 자본 지출로 직접 이어집니다. 또는 비슷한 수준의 자본 지출로 고객은 동일한 물리적 공간에 훨씬 더 많은 스토리지 용량을 할당할 수 있습니다.
  • 노동력—Seagate Kinetic Storage 아키텍처는 스토리지 서버의 필요성을 제거함으로써 서버 유지를 위해 필요한 기술자의 수를 줄일 수 있습니다. 또한 Seagate Kinetic Storage 아키텍처를 통해 가능해진 높은 스토리지 밀도는 잠재적으로 데이터 센터가 일반적으로 고용해야 하는 기술자의 수를 줄임으로써 상당한 인건비 절감으로 이어집니다.
  • 전력 소비—스토리지 서버 아키텍처 계층의 제거와 더욱 효율적인 랙 밀도를 통해 동일한 양의 저장 공간을 더 적은 수의 랙으로 지원할 수 있습니다. 이로 인해 에너지 소비가 절감됩니다.
  • 가동 시간/기술자의 오류—자동 복제 및 페일오버(failover)와 관련한 Seagate Kinetic Storage 아키텍처의 뛰어난 신뢰성을 통해 스토리지 데이터 센터의 관리와 관련한 오류의 수를 줄일 수 있습니다. 또한 드라이브 내 오류 관리를 통해 기술자에 의한 주요 오류가 일상적인 유지 관리의 수준으로 줄어들도록 보장됩니다.

예를 들면, 코로케이션 시설에 위치한 데이터 센터와 같이 물리적 부동산이 중요한 고려 사항인 경우에 있어서 랙 밀도의 증가는 또 다른 강력한 비용 이점을 제공합니다. 랙 밀도의 증가는 데이터 센터를 위한 물리적 공간의 대폭적인 감소를 의미하며, 이는 비용 절감으로 직접 이어집니다.

TCO에 대한 정확한 영향은 데이터 센터 특정의 다양한 요인(각 스토리지 서버에 대한 HDD의 수, 부동산 특성 등)에 따라 달라집니다.

보안

클라우드 데이터 센터 내의 스토리지 서비스 보안은 어려운 작업입니다. 인터페이스 라이브러리는 다음을 지원합니다.

  • 인증—드라이브에 대한 액세스 권한이 있는 서버에 대한 전체 암호화 인증
  • 무결성—명령 및 데이터에 대한 완전 무결성 검사
  • 권한 부여—애플리케이션이 무엇을 할 수 있는가와 관련한 서버에 의한 명확한 역할 세트. 전형적인 역할은 읽기, 읽기/쓰기, 드라이브 관리 및 드라이브 보안 관리입니다.
  • 전송 계층 보안(TLS)—매우 민감한 데이터 및/또는 관리 명령의 보안을 위해 업계 표준 TLS 전체 제품군 또한 제공됩니다.

이것은 데이터 센터 내의 서비스간 트래픽에 대한 보안 및 인증이 이루어지지 않는 다른 분산 스토리지 시스템과는 뚜렷한 차이입니다. 이를 통해 데이터 센터에 대한 액세스 권한이 있는 모든 사람들에게는 모든 데이터를 읽고, 수정하고, 심지어 삭제할 수 있는 스토리지에 대한 완전하고 자유로운 액세스 권한이 제공됩니다. 이러한 상황에서 보안은 네트워크 인프라와 고비용의 네트워킹, 별도의 네트워크 아일랜드 또는 복잡한 VLAN의 책임이 됩니다. Seagate Kinetic Storage 보안 아키텍처는 저비용의 유연한 데이터 센터 네트워킹 아키텍처를 가능하게 합니다.

핵심 사항

Seagate Kinetic Storage 플랫폼은 스토리지 아키텍처의 근본적이고 중대한 도약을 제시합니다. 항상 연결되어 있는 모바일 및 온라인 세계에 살고 있는 우리의 요구와 이에 대한 지원을 위해 필요한 대규모 클라우드 스토리지 인프라는 최고의 모범 사례와 기술에 대한 진정한 재구상을 필요로 합니다. Seagate Kinetic Storage 플랫폼은 하나의 산업으로서 우리가 공동으로 이러한 요구를 충족하기 위해서 뿐 아니라 가장 비용 효율적인 방법으로 요구를 충족하기 위해 필요한 새로운 패러다임을 제공합니다.

태그:

관련 고급 기술 정보 특징
데이터 센터 관리: 동향과 도전

Seagate는 시설의 의사 결정자가 직면하고 있는 가장 두드러진 문제들을 분석하기 위해 미국과 중국 전역의 데이터 센터 관리자들에 대한 설문 조사를 실시하였습니다.

자세한 내용
관련 리소스
Seagate는 클라우드 컴퓨팅 및 스토리지에서 사용되는 하드 드라이브 스토리지 장치 분야의 세계적 선도 기업입니다.
클라우드 컴퓨팅과 클라우드 스토리지 아키텍처

기초적인 엔터프라이즈 및 IT 데이터 스토리지에 대한 지식 활용

자세한 내용