データ・ストレージは機械学習とAIにとっての酸素である。

人工知能 (AI) と機械学習 (ML) は、タンパク質の構造予測からリアルタイムの言語翻訳まで、画期的なブレークスルーをもたらしてきました。こうしたイノベーションの中心には、質の高いデータに対する尽きることのないニーズがあります。AIモデルは膨大なデータセットに基づいて成長しますが、信頼性が高く費用対効果の高いデータ・ストレージがなければ、AIモデルやそれらが生み出すインサイトはその潜在能力を発揮できないでしょう。

酸素が人間の精神を活性化させるように、データ・ストレージはAI開発を活性化させます。データを効率的に保存し、アクセスし、処理する能力によって、AIモデルのトレーニングと改良の有効性が左右されます。一方、AIを活用したソリューションの需要が高まるにつれ、コストと複雑さを抑えながらAIデータのライフサイクル（収集から保存、処理まで）を管理するという課題も増大しています。

AI対応データへの需要の高まり。

データ・サイエンスは、スプレッドシートや単純な分析から、MLを駆使した強力なインサイトへと進化しました。米国労働省の報告によると、現在データ・サイエンスの仕事は20万件以上存在し、今後10年間で36%増加すると予測されています。各業界のドメイン・エキスパートたちは、正式なデータ・サイエンスのトレーニングを受けていなくても、モデル構築やデータ分析をかつてないほど迅速に行えるノーコード・プラットフォームを利用して、AIツールをワークフローに組み込んでいます。

しかし、未加工データはそれだけでは役に立ちません。AIモデルに入力する前に、データを構造化し、クリーニングし、ラベル付けする必要があります。このプロセスはよくデータ・ラングリングと呼ばれます。Pandasのようなオープンソースのツールは、膨大なデータセットをAIモデルが使用できる構造化された形式に変換するのに役立ちます。ただし、このプロセスでは、モデル開発の遅延をもたらすボトルネックを避けるために、高速で効率的なローカル・データ・ストレージが必要となります。

AIデータ管理の課題。

AIのトレーニング・データは膨大な量であり、ロジスティクス上の大きな課題となっています。大規模なデータセットの保存と管理には、容量だけでなく、コンプライアンスやアクセシビリティに関する課題も伴います。

AIデータ管理における最大の課題には、以下のようなものがあります。

• データ主権とセキュリティ。組織は、知的財産、プライバシー、管轄権管理に関する規制を遵守しなければなりません。
• クラウド・ストレージのコスト。AIデータセットをクラウドに保存する場合、オンプレミスのNASソリューションを使用する場合に比べて5倍から10倍の費用がかかる可能性があります。
• データ移動のボトルネック。ワイドエリア・ネットワークを介した大規模なデータセットの転送には時間とコストがかかり、チームが地理的に分散している場合に遅延が生じます。

従来の集中型ストレージによるアプローチは、データ・ソースの地理的分散という課題に直面しています。ますます多くのAI専門家が、管理性を向上させ、コストとレイテンシを削減できるローカルのエッジ・ストレージ・ソリューションに注目しています。

AIデータ・ストレージをエッジに配置する。

組織は、膨大なデータセットを集中管理されたクラウド・サーバーに転送するのではなく、AIデータを生成された場所の近くで処理し、保存することができます。しばしばエッジ・コンピューティングと呼ばれるこのアプローチを通じて、パフォーマンスを向上させながら、データ移動コストを最小限に抑えることができます。
費用対効果の高いソリューションの1つは、AIワークロードにローカルのハイパフォーマンス・ストレージを提供する小型のハイブリッドNASシステムです。従来のNASとは異なり、これらのシステムにはJupyter Notebookなどのコンテナ化されたAIツールが統合されているため、ドメイン・エキスパートとAI開発者はストレージ・システム自体で直接共同作業を行えます。こうしたNASソリューションにより定期的なデータ転送の必要性を排除することで、AI開発を高速化しながら運用コストを削減できます。
また、AIデータをエッジで処理することで、組織はデータセットをより細かく管理できます。さらに、AIトレーニング・データの主権を維持することにより、業界規制を遵守し、サードパーティのストレージに関連するリスクを軽減できます。このアプローチにより、データが収集および分析される場所の近くにデータを保持できるため、AIワークフローの効率性が向上します。

エッジ・コンピューティングは、AI開発に次のような利点をもたらします。

• コスト削減。クラウド・ストレージやデータ転送のコストを削減できます。
• AI開発の迅速化。トレーニング・データをローカルに保存して素早くアクセスできます。
• データの管理性向上。データの保存と処理を社内で行うことにより、主権とコンプライアンスを維持できます。

AIエッジ・ラボ：システム・アーキテクチャとセットアップ。

ローカル・ストレージ上でのAIワークロードの実行可能性を探るため、3ノードのNASクラスタを構築し、そのストレージ・パフォーマンスを測定しました。

システム構成：

• ハードウェア：
• Intel N5095プロセッサ（低消費電力）
• デュアル2.5GEイーサネット・ポート
• 24TB IronWolf® Proハードディスク・ドライブx4（RAID5、ノードあたり70TB使用可能）
• オプションのSSDとTensor Processing Unit (TPU)（高速化用）
• ソフトウェア：
• Jupyter Notebookコンテナ（PythonベースのAI開発用）
• NATS Jetstream（フォールト・トレラントなメッセージング、キー・バリュー・ストレージ、オブジェクト・ストレージ用）
• マルチノード・データ・レプリケーション（冗長性と回復力を確保するため）

パフォーマンス・テスト：ストレージとネットワークの評価。

まず、スループットのベースラインを確立するために、シングルノードのパフォーマンスを測定しました。このシステムは、大量のデータ転送で2.5GEリンクあたり200MB/秒を達成しました。

次に、マルチノード・レプリケーションがパフォーマンスにどのような影響を与えるかを分析しました。データ・レプリケーションによってネットワーク・トラフィックが増加したものの、読取りパフォーマンスへの影響は最小限でした。これは、複数のノードにわたってデータの一貫性が必要なワークロードにとって重要な利点となります。

ネットワーク・パフォーマンス・テストでは、2つ目の2.5GEリンクを追加しても、書込みに関してわずかな利点しかないことが判明しました。一方、10GEネットワークでは一部のケースでパフォーマンスが向上しました。

エッジでの実際のAIトレーニング。

AIワークフローをシミュレートするため、NASシステムを使って実際の機械学習タスクをテストしました。500枚のラベル付き画像からなるデータセットを用いて、特徴抽出とモデル・トレーニングをローカルで実行することで、ボート分類モデルをトレーニングしました。

画像をメタデータのラベルとともにオブジェクト・ストレージのバケットに格納した後、PyTorch Img2Vecを使って各画像から特徴を抽出し、ランダム・フォレスト分類器をトレーニングしました。結果として得られたモデルは、1分以内で78%という精度を達成しました。

このテストで得られた主な結果は以下のとおりです。

• 特徴抽出に最も時間がかかり (81%)、高速なローカル・ストレージの必要性が強調されました。
• AIモデルのトレーニングは1分以内に完了し、AIワークフローにローカルNASを使用することの効率性が証明されました。
• 正式なAIトレーニングを受けていないドメイン・エキスパートでも実験を成功させることができ、このアプローチのアクセシビリティが実証されました。

この実験では、ローカルのNASストレージをコスト効率の高いAIデータ・ハブとして機能させ、クラウド・サービスへの依存を減らすと同時に、アクセシビリティとパフォーマンスを改善できることが実証されました。

最後に：AIストレージを進化させる必要がある。

AIの未来は、効率的で費用対効果が高く、拡張性のあるデータ・ストレージにかかっています。データ量が増大し続ける中、組織はAIデータセットの保存および管理方法を見直す必要があります。

ローカルのNASソリューションは、高価なクラウド・ストレージに代わる現実的な選択肢であり、AIチームはこれを使用して以下のことを実現できます。

• データへのハイパフォーマンス・アクセスを維持しながら、コストを削減する。
• データが計算される場所の近くにデータを置くことで、AIワークフローの効率を向上させる。
• AIデータの保存場所を管理することで、コンプライアンスと主権を強化する。

酸素が生命を支えるように、データ・ストレージがAIのイノベーションを支えています。AI対応ストレージのアクセシビリティ、コスト効率、パフォーマンスを向上させることで、組織はAI主導のブレークスルーを加速することができます。