Perspective

17 5月, 2024

資料基礎架構 

硬碟機和 SSD 的三大事實

Perspective

電腦螢幕上方的硬碟機機元件近照 (綠燈亮起)。

「硬碟很快就會成為過去式。」

「全快閃陣列 (All Flash Array, 簡稱AFA) 很快就會取代資料中心裡的硬碟和混合式陣列。」

「未來的資料中心會採用全快閃 (All-Flash)。」

如往常一樣,關於硬碟即將滅絕的傳奇故事來到最新一期的連載。這場辯論至今已持續十多年,重點如上所示。有些人直言硬碟將會走向沒落,也可以說是對全面使用 Flash 的技術抱持樂觀態度,這個預測並未隨著時間過去而成真。 反而似乎越來越明目張膽。 

毫無疑問地,快閃儲存裝置相當適合使用於需要高效能和飛快速度的應用環境。Flash 與全快閃陣列的營收都在成長。但這並非因為犧牲掉硬碟的花費。硬碟即將消亡的基本前提就有問題。

現在是雲端無所不在的時代,並且因為人工智慧的各種使用案例出現,讓大型資料集的價值水漲船高。硬碟機目前儲存了全球大部分的 EB 資料,對資料中心業者而言愈加不可或缺,此種狀況更勝以往。 

即使近幾年快閃記憶體價格暫時降至歷史最低點,對於需要大量資料儲存空間的工作負載,固態硬碟機 (SSD) 也從未取代硬碟機。

業界分析師預估,隨著 EB 級超大規模資料量持續成長,硬碟會是主要受益者。下方圖表顯示出,企業和大型雲端資料中心會是成長的關鍵所在,絕大多數的全球資料集都位在此處。根據業界預測,企業儲存總量預計在 2023 年到 2028 年間將成長 8,528 EB,在 2028 年達到 14 ZB。其中硬碟機儲存預計將增加 440 EB、SSD 預計增加 166 EB、磁帶預計增加 921 EB¹。這些數字反映了所有企業使用案例絕對容量的增加。

下圖著重於複合年成長率 (CAGR) 和媒體類型的整體客戶群,而非這些原始的 EB 增量。恰當的例子:硬碟機儲存裝置預計在 2023 年到 2028 年間將成長 440 EB,這表示這五年期間的 CAGR 大約為 25%²。這 25% 的 CAGR (如圖表綠色區段所示) 代表從 2023 年的 4.1ZB 增加到 2028 年的 10.5ZB 以上。440EB 數字專指每年新增的容量,這是造成總安裝人數整體擴張的原因。

條形圖顯示依儲存媒體類型分類的企業 ZB 儲存成長率預測。
條形圖顯示各年細分的企業 ZB 儲存成長率預測以及雲端和非雲端資料。

這不是零和遊戲 (Zero-sum Game)。在資料中心裡,硬碟和 Flash 總是協同合作、共同部署,以支援各種不同的服務。雙方各有獨特的優點和價值定位。事實上,在生成式 AI 的時代裡,運算叢集會緊密結合 Flash 技術,間接帶動下游對更多硬碟大容量資料儲存的需求。因為需要找到經濟實惠的方式,儲存所產生的內容。

這種儲存載體的合作關係穩定存在,而對硬碟機已然過時的臆測則是缺乏可信度,難以成真。 

接著便來深入探討這種臆測背後的三大迷思,以及第三方以資料導向所得到的理由,瞭解為何在可預見的未來內,硬碟仍會是全球資料儲存架構的核心。

真相 #1: 價格差異

迷思:SSD 的價格很快就會與硬碟相同。
現實:SSD 和硬碟的價格在未來十年內都不會趨於一致。

從資料看就一目了然。硬碟機的每 TB 成本比 SSD 更具優勢,因此是資料中心儲存基礎結構毋庸置疑的基石。 

儘管 NAND 快閃記憶體儲存價格仍然波動很大,並因需求疲軟和供應過剩,價格在 2023 年來到低點,但分析公司 Forward Insights 曾預測 SSD 價格將從 2024 年開始回升,並持續到 2025 年,此預測已得到證實。面臨價格的大幅下滑之後,SSD 供應商努力減少漸漸過時的庫存品,並削減資本支出,以求達到供需關係平衡。因此 SSD 供應商會歡迎這種轉變。之後 NAND 型解決方案的價格也已經開始上漲。 

即使 SSD 和硬碟機的每 TB 成本至少在 2027 年之前都會持續下降但 Seagate 對 IDC、TRENDFOCUS 和 Forward Insights 的研究分析證實對於大多數企業任務而言硬碟機仍將是最具成本效益的選擇。企業 SSD 和企業硬碟機的每 TB 價格差異,預計至少在 2027 年之前都會維持在 7:1 以上。 

條形圖概述 SSD 和硬碟機之間企業每 TB 成本的差異。

這種每 TB 價格的差異,在資料中心尤其明顯。因為目前總體擁有成本 (TCO) 中,主要都是裝置購置成本。若將所有儲存系統成本納入考量 (包括裝置採購、電源、網路和運算成本),以硬碟為主的系統每 TB 可達到更好的 TCO。

圖表註明資料中心儲存裝置 SSD 和硬碟機的總體擁有成本。

為了克服這些難以撼動的 TCO 和價格差異,有些 AFA (全快閃陣列) 的 OEM 廠商已開始設計自己的客製化高密度 NAND 裝置,容量可達到數百 TB,且宣稱理論上的 TCO 優勢不光只有裝置上的經濟效益,還會延伸到系統層級。這種邏輯的問題,在於大幅增加單一裝置或系統的 NAND 密度,仍無法改變原始儲存載體的每 TB 成本差異。

另一種用來轉移每 TB 成本劣勢的策略,則是所謂的「TBe」,即「有效 TB」。這種論點的出現,是因為 SSD 透過資料縮減技 (例如資料壓縮),可提供遠超過其原始容量所示的更多儲存空間。然而在大型部署中,資料縮減的情形比堆疊更高,因此與儲存層級無關。此外由於逐漸更加重視資料保護,且加密十分普及,資料壓縮在大多數企業和雲端使用案例中通常不可行。資料加密後就無法壓縮,因為其熵太高,並沒有可簡化的模式。

總結:雖然 Flash 擅長執行特定工作和高效能的任務,但在可預見的未來,硬碟仍會是資料中心儲存大量資料的主要目的地,提供可靠穩定、符合成本效益且廣泛採用的解決之道。

真相 #2: 製造規模

迷思:NAND 的供應量會逐漸增加,取代硬碟提供的所有容量。
現實:完全以 NAND 取代硬碟的話,所需的資本支出會高到難以維持。

認為 NAND 產業會迅速增加供應量,進而取代所有硬碟的想法,其實並不樂觀。這種做法會導致破產。從硬碟轉換到 NAND,不光只是需要生產更多裝置。這在財務和物流作業上,規模都會大到恐怖,更別說價格還要與硬碟競爭。

根據業界分析公司 Yole Intelligence 提出的 2024 年第 4 季度 NAND 市場監控報告,2015 年到 2024 年整個 NAND 產業的出貨量為 3.9 ZB,資本支出的投資高達 2230 億美元,約佔總營收的 43%。

相形之下,硬碟產業採取高資本效率的方式,應對絕大多數資料中心的儲存需求 (近 87%)。為了進一步說明這點,就以 Seagate Technology 做為硬碟產業的代表。2015 年到 2024 年間,Seagate 的儲存裝置出貨量為 4ZB。Seagate 在這八年期間的資本投資總計 4.5 億美元,僅佔 Seagate 硬碟總營收的 4.9% 左右。相當於 NAND 產業在生產每 ZB 投資約 570 億美元,而硬碟生產 (以Seagate 為代表) 每 ZB 約 11 億美元。在提供資料中心 ZB 級容量方面,硬碟機產業的效率高出許多。IDC 針對硬碟所提供的 Seagate 預測分析,以及 Forward Insights 對 SSD 的預測,均顯示到 2025 年硬碟的 EB (Exabytes) 生產量幾乎會達到 SSD 的 2.5 倍。同年在企業和資料中心市場中,硬碟機的 EB 生產量將是 SSD 的四倍。

縱觀企業級儲存裝置,硬碟機在成本效益、擴充性和永續性方面仍無可匹敵。與 SSD 和 DRAM 相比,硬碟機提供最低的每 GB 成本、最大的 EB 出貨量以及最低的資本支出密度 (以收入百分比計)。其每 TB 的隱含碳足跡也最低,可大規模強化其作為最有效率與永續儲存選擇的地位。

請參閱以下 2020 年至 2024 年的平均成本、規模和效率,三個主要維度的比較結果。在提供資料中心 ZB 級容量方面,硬碟機產業的效率高出許多。

下表比較 NAND 產業與 Seagate 在資本支出投資、出貨 ZB、資本支出效率方面,Seagate 名列前茅。
下表比較使用 DRAM、SSD 與硬碟機時的平均企業儲存效率。

最近有些 AFA 廠商宣稱,快閃記憶體產業將在 2028 年完全取代整個硬碟機產業的產出容量。就來看看 NAND 產業需要如何投資,才能達成此目標。

根據 Seagate 內部估計NAND 供應商將需要投資大約 2,400 億美元的額外資本支出以取代未來的企業硬碟機需求,而硬碟機本身只需 10 億美元的投資就能滿足這種需求。數學不言而喻。硬碟機持續提供大幅提升資本效益的擴充路徑。

下圖顯示 2024 年和 2028 年的企業EB 需求,以及滿足需求所需的硬碟機和 NAND 技術之間的投資差距。

很明顯這種規模約 2,400 億美元的投資不太適用於面對不確定性的產業,尤其是在整個 2023 年都在虧損之後。

條形圖識別企業對 EB 容量的預計需求。

TrendForce 最新發布的 NAND Flash Platinum Datasheet 顯示,2024 年全球約有 28 家營運中的 NAND 製造廠。如果以 Kioxia 在 2022 年 10 月開工的 Fab7 第 1 期為例,建造一座全新的 NAND 工廠大約需要 68 億美元。因此 NAND 產業所需的 2,060 億美元累計資本支出,大約等於新增 35 間製造廠。這項投資主要用於企業資料中心應用。

雖然需要 2,400 億美元的額外資本支出以配合未來的企業硬碟容量,但需要注意的是 NAND 製造廠的用途遠超過企業 SSD 市場。根據 Yole Intelligence 的《2024 年第四季 NAND 市場監控》(Q4 2024 NAND Market Monitor),該產業預計投資超過 740 億美元讓所有市場的 NAND 總產量達到 1.1 ZB。

考慮到更廣泛的生產需求 (包括手機、平板電腦和其他裝置),NAND 總投資需求估計將大幅增加至 4140 億美元或大約 50 家新工廠。根據 IDC 的資料,這相當於 2028 年整個硬碟機產業預估營收約 220 億美元的 15 倍以上。這突顯出一個關鍵的反差,硬碟機製造幾乎完全專注於企業規模的儲存,而 NAND 工廠必須服務於許多市場,將投資分散在零散且不可互換的用途上。

這些設施需要在未來三到四年內建造、擴充、測試、驗證並投入生產,並在不到四年內將全球 NAND 製造廠的數量翻倍。

此外 IDC 的 2024 年 StorageSphere 報告4顯示,2024 年雲端和非雲端資料中心現有的硬碟與 SSD 裝設容量比例為 7 比 1。IDC 預測在可預見的未來,這種占主導地位的硬碟機 EB 比例將維持在六到七倍左右,年複合成長率 (CAGR) 為 21%,因此 2028 年安裝的硬碟容量將高達 10.5 ZB。因此除了如先前所述,需取代所有未來每年生產的新硬碟部署量之外,當資料中心硬碟達到使用年限時,NAND 產業也需要投資更換老舊的 10.5ZB 安裝量。投資額增加 4140 億美元用於汰換預估在 2028 年出貨的 2.4ZB 硬碟容量。

NAND 解決方案能高效率服務特定的資料中心工作負載,但資料中心完全仰賴 NAND 的想法卻充滿了陷阱。NAND 產業會取代硬碟的概念不但有許多風險和不合理性,對於尋求供應穩定性和最佳儲存裝置 TCO 的企業而言,不穩的價格更添不確定性。

NAND 在可預見的未來中會完全取代硬碟的想法,雖然不是全然不可能,但實際很難發生。業界必須克服巨大的財務和物流阻礙,同時將大量資金和技術投入到市場,但這個市場尚未準備好面對這種可能顛覆目前資料中心架構的變化。

真相 #3: 工作負載配置

迷思:只有 AFA 才能滿足現代企業工作負載的效能需求。
現實:企業儲存架構通常會混合使用不同儲存載體類型,像是使用硬碟或混合陣列、 Flash 和磁帶,希望用最佳方式滿足特定工作負載對成本、容量和效能的需求。

這裡的問題在於錯誤的二分法。全快閃記憶體供應商建議企業完全採用快閃記憶體,以追求高效能,進而達到「簡化」和「因應未來需求」。他們認為若非如此,企業有可能會發現無法跟上現代工作負載的效能需求。這種零和邏輯失敗的三大原因如下:

  1. 絕大多數的現代工作負載並不需要快閃記憶體的效能優勢。
  2. 2. 若企業預算有限,資料集又在快速成長,就必須在容量和成本以及效能之間取得平衡。
  3. 3. 單層儲存架構所聲稱的簡易性,是先射箭再畫靶。

接下來會一一說明。

首先,全球大部分的資料都存放在雲端和大型資料中心。這些環境中,工作負載遵循帕雷托法則 (Pareto rule):只有少部分工作負載需要高佔比的效能。超大規模的部署趨勢是大規模儲存架構的領先指標。根據 IDC⁵ 的資料,從 2019 年到 2023 年在雲端服務供應商和超大規模資料中心的出貨量中硬碟機約佔 87%。

全球大部分資料所屬的工作負載,需要的是一般用途的額定資料傳輸時間。請看下面的圖表,此圖表來自 IDC 的《Cloud Infrastructure Index 2025》研究。

圖示顯示對應至 EB 儲存容量的企業工作負載並註明容量和資料傳輸層級。

在某些情況下,高效能解決方案甚至完全不需要使用到全快閃儲存系統。有些混合式儲存系統與快閃記憶體有同等的表現甚至更快的速度裝置層級的效能差異可說是顯而易見;然而在資料中心機架規模上,採用高度平行存取的硬碟,效能水準足以應付大部分的工作負載,包括人工智慧和機器學習。同樣重要的是,快閃記憶體所大幅增加的任何效能優勢,通常都會受到其他基礎架構選擇的限制,例如網路的效能或品質。

第二,如前文所述,TCO 的考量是大多數資料中心基礎架構的決策關鍵。因此不得不在成本、容量和效能之間取得平衡。根據工作負載需求,調整最具成本效益的儲存載體 (硬碟、 Flash 或磁帶),即可達到最佳 TCO。硬碟和混合陣列 (由硬碟和 SSD 組成),非常適合大多數企業和雲端儲存,以及應用程式使用案例。

當然,有人可能會選擇將 SSD 或 AFA 用在最適合硬碟的工作負載上,例如檔案服務、物件儲存、文件管理系統或網路代管。但從成本角度來看,所需的容量愈高,這種選擇越是不合邏輯。這就像是把衣服收在車庫裡停的車內一樣。可以嗎?當然可以,如果就是想把車子當衣櫃用的話。但符合成本效益嗎?當然不符合。

雖然在重度讀取的情境下,快閃儲存裝置表現優異,但耐久度會隨著寫入活動增加而降低。為了解決這個問題,製造商會採取錯誤修正和超額配置 (Over Provisioning) 的方式,也就是用額外的隱形儲存裝置來替換磨損的單元。不過這類解決方案會產生額外成本:超額配置會大幅提高內建產品的成本,而且必須維持穩定供電才能避免資料遺失。對於邊緣資料中心等環境,或是任何無法保障持續運作,且會在高溫下加速的配置,這都會構成挑戰。  

此外,雖然透過三層式儲存 (TLC) 和四層式儲存 (QLC) 等技術,可讓 Flash 如同硬碟一樣處理資料繁重的工作負載,但對於較大型的資料集或長期保留的用途,經濟效益的合理性較弱。在這些情況下,磁錄密度持續成長的磁碟可提供更具成本效益的解決方案。在超大規模環境中並行運用數千台硬碟,所達到的效能足以與 Flash 相輔相成,展現出硬碟在現代資料中心裡協同合作的角色。

因此雖然 QLC Flash 在 TLC 市場中佔有相當大的比例,就像 TLC 取代了多層單元 (MLC) NAND 儲存一樣。但透過本篇文章內所探討的成本、供應和工作負載等因素,這並不會削弱硬碟的市場佔比。

表中指出快閃記憶體在寫入耐久性方面無法與硬碟機效能匹敵的問題。

第三點也與此相關,即是聲稱全快閃陣列優於混合陣列或硬碟儲存系統。快閃記憶體的支持者聲稱,使用一種儲存裝置會比混合使用儲存載體類型和儲存層「更加簡化」。說得太早了。 

許多混合式儲存系統採用軟體定義架構,且經過充分驗證和微調,能順暢整合和運用不同儲存載體類型的優勢,合併成單一裝置。在橫向擴充的私人或公用雲端資料中心架構中,會使用檔案系統或軟體定義儲存來管理資料儲存工作負載,範圍橫跨資料中心的各個位置和區域。不僅提供充足的彈性,還能讓企業根據不斷變化的需求調整其儲存組成。

SSD 最適合高效能、密集讀取的工作負載。但要是將這種小眾用途或是小規模部署延伸到大眾市場和超大規模市場,就不太正確。並不需要採用要價高昂的全快閃陣列,TCO 更低的硬碟已經充分足夠。

雲端、超大規模和大型企業儲存架構,都會選擇能達到最佳成本、容量和效能的儲存裝置。硬碟可處理不該由快閃記憶體負責的工作負載。快閃記憶體可處理不該由硬碟負責的工作負載。這兩種儲載體體會在資料中心共存,而在可預見的未來中,硬碟仍會在 EB 儲存量方面占主導地位。

說到 EB,常會聽到 SSD 出貨量增加而硬碟出貨量下降的情況,證明了儲存市場出現轉捩點。但這種論調只是轉移焦點,並未注意到硬碟容量節節上升,且硬碟 EB 總出貨量的成長趨勢比以往更快。舉個例子:Seagate 全新的 Mozaic™ 平台採用 HAMR 磁錄密度創新技術,會在未來四年內將裝置的最大容量翻倍,而傳統垂直磁性記錄 (PMR) 技術則需要 9 年才能達到兩倍容量。

要準確衡量成長時,重要的是 EB 出貨量,而非計算單位數量。分析師預測,硬碟機 EB 出貨量會繼續以前所未有的速度增加。雖然快閃儲存裝置也會有所成長,但部署容量不會超過硬碟機。 

IDC 提供的 Seagate 資料分析以及 TRENDFOCUS 預測,預期到 2028 年硬碟 EB 幾乎會增加一倍。再進一步推算,這個比例在未來十年內仍會維持不變。

雖然 SSD 的產量也在增加,但必須了解所生產的 SSD 類型。如下表所示,SSD 總出貨量與企業 SSD 出貨量之間的差距正在擴大。這表示越來越多的 NAND 產量是用於消費性和非企業級市場 (行動、嵌入式、邊緣),而非企業級 SSD。對仰賴企業快閃記憶體的客戶而言,這可能會轉化為持續的供應限制,即使 SSD 的總產量增加。投資合併未針對資料中心最需要的 SSD 類型進行索引。

圖表顯示 EB 容量過去與未來的預計出貨量。

結論:持續發展

十多年來,科技業界一直在討論硬碟可能即將被淘汰。但是各式各樣的預測尚未成真。我們認為最近一輪的預言也不會實現。

全快閃記憶體的絕對支持者,幾乎總是企圖以邏輯上的謬誤來證實自己的論點,通常是從一小部分的使用案例推論到大規模,因此才會得出站不住腳的結論。

這充其量只是創意行銷。

現實: 

  • • NAND 和硬碟的價格不會很快趨於一致,尤其是 Seagate Mozaic 3+ 平台大量出貨,大幅提升硬碟磁錄密度。
  • • 與某些預測相反,NAND 製造商並不會擴大製造產能,以求取代硬碟當前和未來的 EB 需求。AFA 廠商不可能同時達到足夠的供應量和比硬碟更便宜的儲存裝置,因為所需的投資太高。在 15:1 的虧損下,AFA 製造商不太可能找到數千億美元的投資,就為了製造足夠的 NAND 來取代硬碟機。 
  • • 大型雲端和企業資料中心業者相當務實,且理解橫向擴充儲存架構需要混合使用儲存裝置,而且要採取最佳化設計,以求達到工作負載對預算、容量和效能的需求。

當然還有一些其他迷思,會導致「創意行銷」預測硬碟邁向消亡。例如永續性、能源、可靠性等方面的迷思。請繼續關注本系列,後續文章會進一步解釋這些問題。不過上述三個迷思最為密切相關。

只要認真閱讀本文中的資料,就能得出硬碟會長久不衰的結論。硬碟會繼續儲存世界上絕大多數的資料,直到遙遠的未來。

相反的預測可說是純屬想像。

補充說明

  1. IDC,《Worldwide Global StorageSphere Forecast》,2024-2028,文件編號 TW52312824,2024 年 6 月
  2. IDC,《Worldwide Global StorageSphere Forecast》,2024-2028,《An Installed Base and Retired Storage Perspective》Doc #TW52312824,2024 年 6 月。
  3. IDC,《Worldwide Global StorageSphere Forecast》,2024-2028,文件編號 TW52312824,2024 年 6 月
  4. 同上。
  5. IDC,《Multi-Client Study, Cloud Infrastructure Index 2024: Compute and Storage Consumption by 100 Service Providers》,2024 年 9 月。

相關主題:

Cloud Innovation
  1. IDC,《Worldwide Global StorageSphere Forecast》,2024-2028,文件編號 TW52312824,2024 年 6 月

  2. IDC,《Worldwide Global StorageSphere Forecast》,2024-2028,《An Installed Base and Retired Storage Perspective》Doc #TW52312824,2024 年 6 月。

  3. IDC,《Worldwide Global StorageSphere Forecast》,2024-2028,文件編號 TW52312824,2024 年 6 月

  4. 同上。

  5. IDC,《Multi-Client Study, Cloud Infrastructure Index 2024: Compute and Storage Consumption by 100 Service Providers》,2024 年 9 月。