生成AIによって、ビッグ・データに期待されてきた成果がついに実現

ビッグ・テック業界の動向を長く追ってきた方は、今でも「ビッグ・データ」構想を思い起こせるはずです。その考え方は、企業が従来型オフィス文書、電子メール、業務プロセス・データ、販売実績、顧客データベース、動画、チャット・ログなど、アクセス可能なさまざまなデータ・ソースをすべて統合し、その膨大なデータを活用して有意義なインサイトを導き出し、組織全体の能力強化を図るというものでした。 

理論上、この構想は健全で、非常に大きな期待が寄せられました。さまざまなすべてのデータ・ソースが、強力な意味の融合体になると支持者たちが確信していたビッグ・データに統合されれば、隠されていた多くの有益な情報や、予期しなかった豊富なインサイトが明らかになり始めるはずでした。しかし残念ながら、実際の結果は予想とはかけ離れていました。 

ビッグ・データの初期段階における課題 

まず判明したのは、組織のデータを構造化して、さまざまな情報を有意義な形で統合したり比較したりできるようにすることが、予想以上に困難だということでした。構造化データと非構造化データの統合などの課題があっただけではなく、再フォーマット、インポート、リンク、その他のデータ処理作業においても問題が生じました。

しかし、さらに困難だったのは、アクセス可能なデータ・ストアに対して分析を試みることでした。この膨大なデータ群を活用するために必要な非常に複雑なコマンドを組み立てることができるのは、高度なデータ分析ツールの非常に専門的なトレーニングを受けた人材（SQLのプロフェッショナル）だけでした。残念ながら、こうした人材の多くは、どのタイプのクエリを使用すればビッグ・データに期待される予期せぬインサイトを生み出せるのか分かっていませんでした。一般的なビジネス担当者は、必要な質問は分かっていましたが、容易にクエリを生成できませんでした。そしてこの大規模な取り組みは、2つのグループ間での相互理解が進まぬまま、徒労に終わってしまいました。 

生成AIを利用して期待された成果を実現 

膨大なデータ基盤からパターンを発見してアイデアを生成する能力に非常に長けている生成AIの普及に伴って、状況は変わり始めています。現在の組織は、カスタム・モデルのトレーニングを行うか、既存の大規模言語モデル (LLM) をカスタマイズするかのいずれかの方法で組織のデータをAIモデルに投入することで、常にビッグ・データ・クエリの中核として意図されてきた、巨大なデータ・ストアを構築できるようになっています。さらに、これらのモデルを活用するシンプルなチャットボット形式の現在のインターフェイスは、組織内のあらゆるレベルの人が簡単に利用できるようになっています。つまり、ビッグ・データに当初期待されていた成果が、ついに実現しているのです。現場で見え始めた傾向を調査しようとする若手の営業担当者から、特定の主要指標を統合した全体像を提供するダッシュボードを必要とする経営幹部まで、組織全体の人々が、生成AIを活用してビジネスに関する膨大な範囲のインサイトを得られるようになりました。 

データ・ストレージへの影響 

この状況は、組織内のデータ・ストレージに極めて大きな影響を及ぼしています。過去には、限定的な価値しかないと判断したデータ・ソースを廃棄したり、オフラインにしたりする組織もありましたが、現在ではあらゆるデータ・ソースが、新たな予期せぬインサイトや傾向の発見に役立つ可能性があるという認識が高まっています。その結果、企業は生成しているすべてのデータを保持しているだけでなく、すべてのデータを利用可能な状態に維持しています。

この傾向を支える重要な要因の1つが、古き良き伝統的な磁気ハードディスク・ドライブです。Seagate Mozaic^TMといった技術進歩のおかげで、現在では1台のハードディスク・ドライブ内のシングル・プラッタに3TBのデータを格納することが可能になっています。このドライブを企業データ・センターやコロケーション・サイトのラック式ストレージ・システムに拡張すると、19インチ幅、高さ73インチ (42U) の単一ラック・スペースに32PBものストレージ容量を収容できます。このタイプのストレージ容量を利用することで、組織は膨大な量のデータを非常に効率的に保存することが可能となります。したがって、多数の小容量ドライブをより小型で電力効率の高いシステムに統合し、今後のさらなる成長に向けて十分なスペースを確保できるのです。

大局的に見ると、このタイプの大容量ハードディスク・ドライブは、総合的なストレージ・アーキテクチャにうまく融合します。組織は、メモリへのアクセス速度が容量要件よりも重視される最新バージョンの生成AIモデルやその他のアプリケーションの保存には、引き続き高速SSDを使用するでしょう。同様に、AIチャットボットやプロンプト・クエリ・ストレージといった、やや要求が厳しめのアプリケーションには、他のタイプのSSDを活用するでしょう。しかし、カスタマイズされたAIモデルに供給される多くのソースの汎用データの保存には、この用途に非常に適した優れた特長を提供する大容量ハードディスク・ドライブが最適です。 

社内AIインフラストラクチャ構築の復活

もう1つの重要な要素は、これらのデータ・ストレージ・デバイスの設置場所です。コストとセキュリティ上の理由から、大半の組織ではデータのほとんどをクラウドではなく自社ファイアウォールの背後に保管しています。この傾向は、特にアクセス頻度が低いデータ・ソースの一部に顕著に見られますが、新たなモデルト・レーニングおよびカスタマイズ・ツールによって、現在はこれらのデータをより簡単にAIモデルに統合できるようになっています。組織が独自のAIモデルの構築を開始したことで、AIモデルをトレーニング、カスタマイズ、ホストするための社内AIインフラストラクチャの構築が大規模に復活しています。Dell、HPE、Lenovo、Ciscoといった企業では、エンタープライズ向けのGPU搭載サーバーの需要の大幅な増加を確認しており、Nvidiaはかなりの期間にわたってEnterprise AI Factoryの売上が伸びていることを強調しています。つまり、コンピューティング、ネットワーク、ストレージ・リソースすべてを備えた企業データ・センターの構築に対する関心が再燃しています。 

これらすべてのハードウェア要素の準備が整ったこと、そして急速に生成AIモデルやツールの機能が拡張し、利用が拡大したことが相まって、当初期待されていた意味あるインサイトもたらすというビッグ・データのビジョンが、ついに実現しました。毎回必ずしも魔法のような「驚き」のインサイトが得られるわけではありませんが、明らかに生成AI活用の最も驚くべき有益な成果の1つである「データ分析の真の民主化」は実現しており、その衝撃は広く伝わり始めています。 

ビッグデータのビジョンを実現したいとお考えですか？詳しい方法については、専門家にご相談ください。