AIデータ・ストレージが抱える課題の深刻化
人工知能によって、さまざまな業界が飛躍的な進歩を遂げつつあります。人工知能がもたらす革命的な変化は、医療診断、金融モデリングから自動運転車、大規模自動化にいたるまであらゆる分野に及んでいます。しかし、AIシステムが高度化するにつれて、データ・ストレージに対する要求が急激に増大し、拡張性、効率性、コストに課題が生じています。
機械学習のデータセットは今やペタバイト規模のストレージを必要とし、進化を続けるAIモデルに対応するためにエクサバイト規模のデータセットを管理する企業もあります。モデル・トレーニングと推論をサポートするには、これらの膨大なデータセットの効率的な保存、検索、処理が欠かせません。AIを支えるストレージ・インフラストラクチャは、もはや単なるITの問題ではなく、AIイノベーションそのものの不可欠な実現手段となっています。
AIコンピューティングが進歩しているにもかかわらず、従来のストレージ・アーキテクチャは、データを大量に必要とするGPUに対応できる規模にすると、複雑で高価なものになります。これは、AIの普及を遅らせる要因となっています。これには3つの理由があります。
まず、SSDベースのアーキテクチャは高速パフォーマンスを実現するものですが、取得コストが高いため、AIトレーニングのワークロードが必要とする大規模ストレージとしては非現実的です。大容量のデータセットをSSDだけで保持することは、ほとんどの企業にとって財務的に持続不可能です。
また、SAS/SATAハードディスク・ドライブ・システムは、信頼性とコスト効率の高いストレージとして現在でも多くのエンタープライズ・アプリケーションに使用されていますが、AIワークロードのストレージ・インフラストラクチャに対する要求は他に例を見ないものです。SAS/SATAインターフェイスは、独自のシリコン、ホスト・バス・アダプタ (HBA)、コントローラ・アーキテクチャに依存しています。これらは、AIワークロードが必要とする高スループットと低遅延を実現するために設計されたものではありません。これらが要因となって、AIの導入規模が拡大するにつれて複雑さと遅延が増大し、AIモデルによる膨大なデータセットへのアクセスが一層困難になります。
最後に、AIワークロードにクラウドベースのストレージを利用すると、WANデータ転送コストの増大と遅延の急増を招いたり、検索時間が予測困難になったりすることも少なくありません。このような非効率性によってAIモデルの応答性が制約されるだけでなく、処理ハードウェアがリモート・データを待つため、運用経費が増大します。
つまり、AIが拡大を続けるなかでは、新しいアプローチが必要です。容量、コスト、速度のバランスを取りながら既存のストレージ・アーキテクチャを補完し、AIのトレーニングと推論を妥協することなくサポートすることが求められています。
新しいアプローチ：AIワークロード向けNVMeハードディスク・ドライブ
Seagateは、大容量ハードディスク・ドライブにNVMeテクノロジーを適用する革新的なソリューションを他に先駆けて開発しています。Seagateは、ハードディスク・ドライブを接続する将来の標準プロトコルとしてNVMeを開発することで、AIデータ・パイプラインを最適化する代替手段を提供します。これにより、ハードディスク・ドライブの手頃な価格とストレージ密度の利点を維持しながら、ストレージのボトルネックを軽減します。
SAS/SATAベースのハードディスク・ドライブとは異なり、NVMeハードディスク・ドライブでは、HBA、プロトコル・ブリッジ、追加のSASインフラストラクチャが不要なので、AIストレージが簡素化されます。このドライブを使用すると、高密度ハードディスク・ドライブ・ストレージと高速SSDキャッシュを単一のNVMeアーキテクチャに統合できるため、AIワークロードのシームレスな拡張が可能になります。
このシフトによって多大なメリットがもたらされます。まず、NVMeハードディスク・ドライブを採用すると、プロセッサとのインターフェイスとなるハードウェア・アダプタが不要になるため、AIストレージの導入が簡素化されます。専用のコントローラを使用しなくても大規模なAIストレージ環境を構築できます。また、NVMeドライバとOSスタックが単一となるため、ハードディスク・ドライブとSSDの効率的な連携が実現します。個別のソフトウェア層を用意する必要はありません。
最も重要なメリットの1つは、GPUからストレージへのデータ・アクセスがDPUを介して直接行われるため、CPUのボトルネックを回避できる点です。従来のストレージ・アーキテクチャでは、データがCPU主導のパイプラインを通過するため、遅延の問題が発生していました。NVMeハードディスク・ドライブを使用すると、このような非効率性が解消されるため、AIモデルが膨大なデータセットを取り込んで処理する際の遅延が大幅に軽減されます。
さらに、NVMe over Fabrics (NVMe-oF) によってNVMeハードディスク・ドライブが分散AIストレージ・アーキテクチャに統合されるため、データ・センターの高性能ネットワーク内でのシームレスな拡張が可能になります。AIワークフローにふさわしい柔軟かつ構成可能なストレージ・ソリューションを必要としている企業にとって、この機能は非常に有益なものです。
NVMeハードディスク・ドライブとSSDを併用すれば、アクティブなデータセットにはSSDを用意し、AIトレーニング・データの長期的な保持にはハードディスク・ドライブを使用することで、パフォーマンスを維持しながらコストを最適化できます。
未来を証明する：SeagateのNVMeハードディスク・ドライブを対象とした概念実証
Seagateは、NVMeハードディスク・ドライブが現実世界に与える潜在的な影響を明らかにすることを目的に、概念実証 (POC) を実施しました。この実証では、NVMeハードディスク・ドライブ、NVMe SSD、NVIDIA BlueField DPU、AIStoreソフトウェアを統合し、高効率のAIストレージ・エコシステムを実現しています。
このPOCによって、AIワークフローにおけるNVMeハードディスク・ドライブの主な利点が明らかになるとともに、大規模なAIストレージ環境に大きな影響を与える可能性があることが証明されました。
- GPUとストレージとの間の通信をNVMeハードディスク・ドライブとDPUを介して直接行うことで、AIデータ・ワークフローにおけるストレージ関連の遅延が軽減されることがエンジニアによって実証されました。
- 従来のSAS/SATAのオーバーヘッドがなくなったため、システム・アーキテクチャが簡素化され、ストレージ効率が向上しました。
- AIStoreによってキャッシングと階層制御が動的に最適化されるようになったため、モデル・トレーニングのパフォーマンスが向上したと同時に、ストレージの集約とエクサバイト規模への拡張が簡素化されました。
- NVMe-oFを用いた統合によってシームレスな拡張が可能になり、AIストレージ・クラスタを複数ラックにまたがって構成できることが証明されました。
Seagateはこの概念実証を通じて、NVMeハードディスク・ドライブが世界で最も要求の厳しいAIワークロードをサポートできること、つまりオールフラッシュ・アーキテクチャは必要でないことを明らかにしています。
現実世界への影響：AIストレージの実例
Seagateは、スマート・ファクトリにAIモデルを導入した10年にわたる経験を活かし、現実世界のAIワークロードを使用したNVMeハードディスク・ドライブの検証を行っています。
Seagateの量子アンテナ製造施設では、AIを活用して欠陥検出を行っています。そのモデル・トレーニングと継続的改善には、高速な画像取り込みと迅速な検索が欠かせません。Seagateは、AIを搭載した自社の製造環境から得られたインサイトを適用することで、NVMeハードディスク・ドライブがこのプロセスを実現する手段となる理由を探っています。このドライブによってリアルタイム処理と長期的な保持を両立させる拡張性とコスト効率の高いストレージがもたらされます。その結果、以下が実現することがその理由と考えられます。
- 非可逆圧縮なしで高解像度の画像を保存できる大容量。
- AIトレーニングに使用するデータセットの長期にわたる効率的な保存。
- AIモデルの再トレーニングと継続的な改善に適したシームレスなアクセス。
Seagateは、NVMeハードディスク・ドライブをストレージ・アーキテクチャに統合する試みを通じて、この新技術によってAI欠陥検出のリアルタイムの応答性とAIストレージ・コストの削減を同時に実現できることを明らかにしました。効率の増加分には、AI主導分析の高速化、精度の向上、インフラストラクチャ・コストの削減などを織り込んでいます。
NVMeハードディスク・ドライブは、製造業だけでなく、自動運転車、医療画像処理、金融分析、ハイパースケール・クラウドAIプラットフォームにも応用できます。
持続可能性とコスト削減：NVMeハードディスク・ドライブのメリット
AIインフラストラクチャは大量の電力を消費するため、持続可能性への懸念が高まっています。SeagateによるNVMeハードディスク・ドライブへの取り組みは、SSDを多用するアーキテクチャに代わる、コスト効率とエネルギー効率の高い選択肢を探るものです。
SSDと比較した場合のNVMeハードディスク・ドライブのメリットには以下のようなものがあります。
- テラバイトあたりのエンボディド・カーボンが10倍効率化されるため、環境への影響が大きく軽減されます。
- 動作時のテラバイトあたりの消費電力が4倍効率化されるため、AIデータ・センターのエネルギー・コストが減少します。
- テラバイトあたりのコストが大幅に削減されるため、AIストレージのTCOが激減します。
AIのインフラストラクチャが拡大するにつれ、持続可能なストレージは、コストの削減と環境負荷の軽減の両方にとって不可欠な要素になると見込まれます。Seagateの開発ロードマップでは、持続可能性の長期目標を達成しながらAIストレージを拡張できるよう組織を支援することを目標に掲げ、NVMeハードディスク・ドライブの効率の継続的な向上に取り組む計画です。
AIストレージの未来に向けたロードマップ
Seagateは、次世代のAI対応ストレージ・インフラストラクチャを実現する革新的な技術の開発を進めています。これは、業界の動向とも合致した、ハイパースケール環境とクラウド環境のニーズに応える取り組みです。
ロードマップには以下を織り込んでいます。
- Mozaicプラットフォーム（現在36TBドライブを出荷中）を拡張し、さらに大容量のNVMeハードディスク・ドライブを開発します。
- NVMe-oFのサポートを高度化し、AIワークロードをハイブリッド環境にまたがってシームレスに拡張できるようにします。
- リファレンス・アーキテクチャを作成し、AI開発者が最適化されたストレージ・ソリューションを容易に導入できるようにします。
Seagateは、お客様やパートナーと協力し、NVMeハードディスク・ドライブを次世代のAIストレージ・ソリューションに適合させる方法を模索しています。AIストレージの需要に応える効率的な手段を手頃な価格で企業に提供することが目的です。
AIストレージの未来に向けたSeagateの取り組み
AIが業界を変革しつつあるなかで、多くの組織がデータ管理の複雑化とストレージ・コストの上昇に苦しんでいます。AIイノベーションを前進させ続けるためには、拡張性と効率性を兼ね備えたストレージが欠かせません。
NVMeハードディスク・ドライブに関するSeagateの取り組みの結果、NVMe接続によってハードディスク・ドライブのコスト面と密度面の利点を維持しながらストレージ導入の複雑さを軽減できることが明らかになってきました。
AIStoreの統合、NVMe-oFによる拡張、GPUとストレージの通信経路の最適化をPOCの中で実現することで、SeagateはAIインフラストラクチャのイノベーションにおける次の波をリードしています。
AIが産業を再構築するなかで、Seagateは、データ・ストレージに対する要求の高まりに対応することを目的に、AIストレージ・インフラストラクチャの拡張方法の再定義を進めています。
