NVMe 硬碟和 AI 儲存的未來

人工智慧資料儲存面臨的挑戰日益嚴峻

人工智慧正在推動各行各業的突破，從醫療診斷、財務建模、自動駕駛車輛到大規模自動化的所有領域都將發生革命性的變化。然而隨著人工智慧系統變得越來越複雜，對資料儲存的需求也呈指數級成長在擴充性、效率和成本方面都帶來了挑戰。

機器學習資料集現在需要 PB 級的儲存空間，一些企業管理 EB 級資料集以跟上不斷發展的 AI 模型。必須有效率地儲存、擷取和處理這些龐大的資料集才能支援模型訓練和推論。AI 背後的儲存基礎結構不再只是 IT 的考量，它本身已成為 AI 創新的核心推手。

儘管 AI 運算有所進步，傳統儲存架構已經變得複雜且昂貴因為要滿足大量資料需求的 GPU 所需的規模如此之大導致各種限制導致 AI 的採用速度變慢。原因有三

首先 SSD 型架構雖然可提供高速效能，但採購成本高昂因此無法滿足 AI 訓練工作負載量的大規模儲存需求。對大多數企業而言僅在 SSD 上保留大型資料集在財務上是不可持續的。

其次雖然 SAS/SATA 硬碟機機系統持續為許多企業應用提供可靠且具成本效益的儲存裝置，但 AI 工作負載對儲存基礎結構提出了獨特的需求。SAS/SATA 介面仰賴專有的矽、主機匯流排配接卡 (HBA) 和控制器架構設計之初並非針對 AI 工作負載的高傳輸量和低延遲需求。隨著 AI 採用規模擴大這些因素可能會帶來複雜性和額外的延遲讓 AI 模型更難以快速存取大量資料集。

最後仰賴雲端型儲存裝置的 AI 工作負載通常會遇到高昂的 WAN 資料傳輸成本、延遲高峰以及無法預測的擷取時間。這些低效率限制了人工智慧模型的回應能力並增加處理硬體等待遠端資料時的營運費用。

因此隨著 AI 持續擴大規模需要一種新的方法來補充現有的儲存架構同時平衡容量、成本和速度以支援 AI 訓練和推論而不需妥協。

全新方法適用於 AI 工作負載的 NVMe 硬碟 

Seagate 率先將 NVMe 技術運用在高容量硬碟機上這是轉型解決方案的先驅。Seagate 將 NVMe 開發為硬碟機連線的未來標准通訊協定提供了一種替代方案，可將 AI 資料管線最佳化減少儲存瓶頸，同時維持硬碟機的經濟實惠和密度優勢。

與 SAS/SATA 型硬碟機不同 NVMe 硬碟機不需要 HBA、通訊協定橋接器和額外的 SAS 基礎架構，讓 AI 儲存裝置更加精簡。本系列硬碟機在統一的 NVMe 架構中整合高密度硬碟機儲存裝置和高速 SSD 快取處理功能讓 AI 工作負載得以無障礙擴充。

這種轉變將提供顯著的優勢。首先NVMe 硬碟機消除了與處理器介面的硬體轉接器簡化了 AI 儲存部署讓組織無需專用控制器即可建立大規模 AI 儲存環境。其次，透過單一 NVMe 驅動程式和作業系統堆疊，這些驅動器可確保硬碟和 SSD 高效協同工作，無需單獨的軟體層。

其中一項最重要的優點是可透過 DPU 直接存取 GPU 至儲存裝置的資料繞過 CPU 的瓶頸。傳統儲存架構會透過 CPU 驅動的管線來傳送資料因此會產生延遲問題。NVMe 硬碟機可以消除這種低效率的情況讓 AI 模型能夠接收和處理大量資料集同時大幅減少延遲。

此外 NVMe over Fabrics (NVMe-oF) 可讓 NVMe 硬碟機整合至分散式 AI 儲存架構確保高效能資料中心網路可順暢擴充。此功能特別適合需要彈性、組合式儲存解決方案適用於 AI 工作流程。

將 NVMe 硬碟機與 SSD 搭配使用組織將能夠在維持效能的同時達到最佳成本保留 SSD 用於使用中的資料集並使用硬碟機長期保留 AI 訓練資料。

證明未來希捷的 NVMe 硬碟概念驗證

為了展現 NVMe 硬碟機對現實世界的潛在影響 Seagate 進行概念驗證 (POC) 整合 NVMe 硬碟機、NVMe SSD、NVIDIA BlueField DPU 和 AIStore 軟體展現高效率的 AI 儲存生態系統。

此 POC 強調 NVMe 硬碟機在 AI 工作流程中的主要優勢證明 NVMe 硬碟機可在大規模 AI 儲存環境中產生重大影響

• 工程師證實可透過 NVMe 硬碟機和 DPU 直接進行 GPU 到儲存裝置的通訊有助於減少 AI 資料工作流程中儲存裝置的延遲。
• 消除舊式 SAS/SATA 開銷簡化系統架構並提高儲存效率。
• AIStore 以動態方式最佳化快取處理和分層處理可強化模型訓練效能同時簡化儲存匯總和擴充性達到 EB 級別。
• NVMe-oF 整合可實現順暢擴充證明多機架 AI 儲存叢集的組合性。

Seagate 透過這項 POC 展現出 NVMe 硬碟機如何不需全快閃架構就能支援全球最嚴苛的 AI 工作負載量。

實際影響AI儲存實際應用

Seagate 運用其在智慧工廠中部署 AI 模型的十年經驗來驗證實際 AI 工作負載中的 NVMe 硬碟機。

在 Seagate 的量子天線生產設施中AI 驅動的瑕疵偵測會仰賴高速影像擷取和快速擷取以進行模型訓練和持續改進。Seagate 運用自家 AI 生產環境的深度分析資訊探索 NVMe 硬碟機如何透過提供可擴充且具成本效益的儲存裝置，同時支援即時處理和長期保存來實現此流程。

• 可儲存高畫質影像的大容量無需有損資料壓縮。
• AI 訓練資料集的高效率長期儲存。
• 順暢無阻地重新訓練 AI 模型並持續進行改良。

透過探索將 NVMe 硬碟機整合到儲存架構中 Seagate 展示了這項新技術如何降低 AI 儲存成本同時確保 AI 缺陷檢測的即時回應能力。效率提升包括 AI 分析的速度更快、準確度更高、基礎架構成本更低。

除了製造業之外 NVMe 硬碟機的應用領域還包括自動駕駛車輛、醫療照護成像、財務分析和超大規模雲端 AI 平台。

永續性和節約成本：NVMe硬碟優勢

AI 基礎架構會消耗大量電力因此永續性的考量日益增加。Seagate 與 NVMe 硬碟機的合作探索了一種經濟實惠且節能的替代方案以取代大量使用 SSD 的架構。

與 SSD 相比 NVMe 硬碟機可提供

• 每 TB 隱含碳的效率高出 10 倍大幅減少對環境的影響。
• 每 TB 的作業耗電量高出 4 倍降低 AI資料中心的能源成本。
• 大幅降低每 TB 成本進而大規模降低 AI 儲存 TCO。

隨著人工智慧基礎架構的擴張永續儲存將成為降低成本和環境影響的關鍵因素。Seagate 的發展藍圖包括持續提升 NVMe 硬碟機的效率目標是協助組織擴大 AI 儲存裝置規模同時達成長期的永續性目標。

人工智慧儲存的未來路線圖

Seagate 正在開發創新技術以配合產業趨勢以及超大規模和雲端環境的需求來實現下一代 AI 就緒的儲存基礎結構。

藍圖包括

• 擴充 Mozaic 平台 (目前已出貨 36TB 硬碟機)以開發容量更高的 NVMe 硬碟機。
• 進階 NVMe-oF 支援讓 AI 工作負載能在混合式環境中無障礙擴充。
• 建立參考架構確保 AI 開發人員能夠輕鬆部署最佳化的儲存解決方案。

Seagate 正與客戶和合作夥伴合作探索如何將 NVMe 硬碟機融入次世代的 AI儲存解決方案以確保企業能夠以經濟實惠且有效率的方式滿足 AI 儲存需求。

希捷對 AI 儲存未來的承諾

AI 正在改變各行各業但許多組織都在努力應對資料管理的複雜性和不斷上升的儲存成本。可擴充的高效率儲存裝置對於 AI 創新的持續發展至關重要。

Seagate 對 NVMe 硬碟機的研究展現了 NVMe 連線功能如何降低儲存部署的複雜性，同時維持硬碟機的成本和密度優勢。

Seagate 在 POC 中提供 AIStore 整合、NVMe-oF 擴充性以及 GPU 最佳化的儲存路徑正引領下一波 AI 基礎架構創新。

隨著 AI 重塑各行各業Seagate 正在重新定義 AI儲存基礎結構的擴充方式，以因應不斷增加的資料儲存需求。