部落格

有關硬碟和 SSD 的三大事實

深入研究快閃記憶體將會在資料中心取代硬碟的說法。

目錄:

「硬碟很快就會成為過去式。」

「全快閃陣列 (All Flash Array, 簡稱AFA) 很快就會取代資料中心裡的硬碟和混合式陣列。」

「未來的資料中心會採用全快閃 (All-Flash)。」

如往常一樣,關於硬碟即將滅絕的傳奇故事來到最新一期的連載。這場辯論至今已持續十多年,重點如上所示。有些人直言硬碟將會走向沒落,也可以說是對全面使用 Flash 的技術抱持樂觀態度,這個預測並未隨著時間過去而成真。 然而,這樣的觀點似乎越來越頻繁的出現。

毫無疑問地,快閃儲存裝置相當適合使用於需要高效能和飛快速度的應用環境。Flash 與全快閃陣列的營收都在成長。但這並非因為犧牲掉硬碟的花費。硬碟即將消亡的基本前提就有問題。

現在是雲端無所不在的時代,並且因為人工智慧的各種使用案例出現,讓大型資料集的價值水漲船高。硬碟目前儲存了全球大部分的資料 (Exabytes),對資料中心業者而言愈加不可或缺,此種狀況將更勝以往

即使近幾年 Flash 價格暫時降至歷史最低點,對於需要大量資料儲存空間的工作負載,固態硬碟 (SSD)也從未取代硬碟 (Hard Drives)。

業界分析師預估,隨著 EB 級超大規模資料量持續成長,硬碟會是主要受益者。下方圖表顯示出,企業和大型雲端資料中心會是成長的關鍵所在,絕大多數的全球資料集都位在此處。相對來看,2022 到 2027 年間的硬碟儲存量預估會成長 6,996EB,而 SSD 的成長則是 1,363EB。1
這不是零和遊戲 (Zero-sum Game)。在資料中心裡,硬碟和 Flash 總是協同合作、共同部署,以支援各種不同的服務。雙方各有獨特的優點和價值定位。事實上,在生成式 AI 的時代裡,運算叢集會緊密結合 Flash 技術,間接帶動下游對更多硬碟大容量資料儲存的需求。因為需要找到經濟實惠的方式,儲存所產生的內容。

這種儲存裝置間的合作關係穩定存在,而對硬碟已然過時的臆測則是缺乏可信度,難以成真。

接著便來深入探討這種臆測背後的三大迷思,以及第三方以資料導向所得到的理由,瞭解為何在可預見的未來內,硬碟仍會是全球資料儲存架構的核心。

真相 1 – 價格差異

迷思:SSD 的價格很快就會與硬碟相同。

現實:SSD 和硬碟的價格在未來十年內都不會趨於一致。

從資料看就一目了然。硬碟的每 TB 成本比 SSD 更具優勢,因此是資料中心儲存基礎結構毋庸置疑的基石。

雖然 NAND Flash 儲存裝置價格在大幅波動,而且由於需求疲軟和供過於求,而在 2023 年降至低點。但分析公司 Forward Insights 預測,從 2024 年開始到 2025 年,SSD的價格將會回升。面臨價格的大幅下滑之後,SSD 供應商努力減少漸漸過時的庫存品,並削減資本支出,以求達到供需關係平衡。因此 SSD 供應商會歡迎這種轉變。之後 NAND 型解決方案的價格也已經開始上漲。

IDC、TRENDFOCUS 提供的 Seagate 研究分析,加上 Forward Insights 分析師的最新預測,證實了硬碟對大多數企業工作而言,仍是最具成本效益的選擇。企業級 SSD 和企業級硬碟的每 TB 價格差異,預計至少在 2027 年之前都會維持在 6:1 以上。


這種每 TB 價格的差異,在資料中心尤其明顯。因為目前總體擁有成本 (TCO) 中,主要都是裝置購置成本。若將所有儲存系統成本納入考量 (包括裝置採購、電源、網路和運算成本),以硬碟為主的系統每 TB 可達到更好的 TCO。


為了克服這些難以撼動的 TCO 和價格差異,有些 AFA (全快閃陣列) 的 OEM 廠商已開始設計自己的客製化高密度 NAND 裝置,容量可達到數百 TB,且宣稱理論上的 TCO 優勢不光只有裝置上的經濟效益,還會延伸到系統層級。這種邏輯的問題,在於大幅增加單一裝置或系統的 NAND 密度,仍無法改變原始儲存載體的每 TB 成本差異。

另一種用來轉移每 TB 成本劣勢的策略,則是所謂的「TBe」,即「有效 TB」。這種論點的出現,是因為 SSD 透過資料縮減技 (例如資料壓縮),可提供遠超過其原始容量所示的更多儲存空間。然而在大型部署中,資料縮減的情形比堆疊更高,因此與儲存層級無關。此外由於逐漸更加重視資料保護,且加密十分普及,資料壓縮在大多數企業和雲端使用案例中通常不可行。資料加密後就無法壓縮,因為其熵太高,並沒有可簡化的模式。

總結:雖然 Flash 擅長執行特定工作和高效能的任務,但在可預見的未來,硬碟仍會是資料中心儲存大量資料的主要目的地,提供可靠穩定、符合成本效益且廣泛採用的解決之道。

真相 2 – 供應規模

迷思:NAND 的供應量會逐漸增加,取代硬碟提供的所有容量。

現實:完全以 NAND 取代硬碟的話,所需的資本支出會高到難以維持。

認為 NAND 產業會迅速增加供應量,進而取代所有硬碟的想法,其實並不樂觀。這種做法會導致破產。從硬碟轉換到 NAND,不光只是需要生產更多裝置。這在財務和物流作業上,規模都會大到恐怖,更別說價格還要與硬碟競爭。

根據業界分析公司 Yole Intelligence 提出的 2023 年第 4 季度《NAND 市場監控》報告,2015 年到 2023 年整個 NAND 產業的出貨量為 3.1 ZB,資本支出的投資高達 2,080 億美元,約佔總營收的 47%。

相形之下,硬碟產業採取高資本效率的方式,應對絕大多數資料中心的儲存需求 (近 90%)。為了進一步說明這點,就以 Seagate Technology 做為硬碟產業的代表。2015 年到 2023 年間,Seagate 的儲存裝置出貨量為 3.5ZB。Seagate 在這八年期間的資本投資總計 43 億美元,僅佔 Seagate 硬碟總營收的 5% 左右。相當於 NAND 產業在生產每 ZB 投資約 670 億美元,而硬碟生產 (以Seagate 為代表) 每 ZB 約 10 億美元。在提供資料中心提供 ZB 級容量方面,硬碟產業的效率高出許多。IDC 針對硬碟所提供的 Seagate 預測分析,以及 Forward Insights 對 SSD 的預測,均顯示到 2024 年硬碟的 EB (Exabytes) 生產量幾乎會達到 SSD 的三倍。同年在企業和資料中心市場中,硬碟的 EB 生產量將是 SSD 的六倍。

最近有些 AFA 廠商宣稱, Flash 產業將在 2028 年完全取代整個硬碟產業的產出容量。就來看看 NAND 產業需要如何投資,才能達成此目標。

上文中的 Yole Intelligence 報告指出,2025 年到 2027 年 NAND 產業預估投入約 730 億美元,估計能為企業 SSD 以及平板電腦和手機等其他 NAND 產品產出 963EB 的儲存容量。如此一來,每 TB 快閃儲存裝置輸出量的投資約為 76 美元。若用相同的每位元資本成本計算,仍需要多達 2,060 億美元的額外投資,才可支持硬碟於 2027 年預計出貨的 2.723ZB 儲存容量。總投資額將近 2,790 億美元,潛在市場總額約 250 億美元。

顯然,這對一個面臨不確定回報的產業來說於,這種程度的投資不太適合,尤其是歷經 2023 全年虧損之後。

TrendForce 最新發布的NAND Flash Platinum Datasheet 顯示,2024 年全球約有 28 家營運中的 NAND 製造廠。如果以 Kioxia 在 2022 年 10 月開工的 Fab7 第 1 期為例,建造一座全新的 NAND 工廠大約需要 68 億美元。因此 NAND 產業所需的 2,060 億美元累計資本支出,大約等於新增 30 間製造廠。這些設施需要在未來 3 到 4 年內建造、擴充、測試、驗證並投入生產,並在不到四年內將全球 NAND 製造廠的數量翻倍。

此外 IDC 的 2023 年 StorageSphere 報告2顯示,2023 年雲端和非雲端資料中心現有的硬碟與 SSD 裝設容量比例為 7 比 1。IDC 預估,在可預見的未來內,以 HDD 為主的 EB 比率將維持在 6 到 7 倍左右,並達到 26% 的年複合成長率 (CAGR),進而在 2027 年使硬碟儲存容量達到 10ZB。因此除了如先前所述,需取代所有未來每年生產的新硬碟部署量之外,當資料中心硬碟達到使用年限時,NAND 產業也需要投資更換老舊的 10ZB 安裝量。2,060 億美元只是用於汰換預估在 2027 年出貨的 2,723ZB 硬碟容量,因此總計的投資額會遠高於這個數字。

NAND 解決方案能高效率服務特定的資料中心工作負載,但資料中心完全仰賴 NAND 的想法卻充滿了陷阱。NAND 產業會取代硬碟的概念不但有許多風險和不合理性,對於尋求供應穩定性和最佳儲存裝置 TCO 的企業而言,不穩的價格更添不確定性。

NAND 在可預見的未來中會完全取代硬碟的想法,雖然不是全然不可能,但實際很難發生。業界必須克服巨大的財務和物流阻礙,同時將大量資金和技術投入到市場,但這個市場尚未準備好面對這種可能顛覆目前資料中心架構的變化。

真相 3 – 工作負載

迷思:只有 AFA 才能滿足現代企業工作負載的效能需求。

現實:企業儲存架構通常會混合使用不同介質類型,像是使用硬碟或混合陣列、 Flash 和磁帶,希望用最佳方式滿足特定工作負載對成本、容量和效能的需求。

這裡的問題在於錯誤的二分法。全快閃儲存供應商建議企業完全採用 Flash ,以追求高效能,進而達到「簡化」和「因應未來需求」。他們認為若非如此,企業有可能會發現無法跟上現代工作負載的效能需求。這種零和邏輯失敗的三大原因如下:

  1. 1. 絕大多數的現代工作負載並不需要 Flash 的效能優勢。
  2. 2. 若企業預算有限,資料集又在快速成長,就必須在容量和成本以及效能之間取得平衡。
  3. 3. 單層儲存架構所聲稱的簡易性,是先射箭再畫靶。

接下來會一一說明。

首先,全球大部分的資料都存放在雲端和大型資料中心。這些環境中,工作負載遵循帕雷托法則 (Pareto rule):只有少部分工作負載需要高佔比的效能。因此 IDC3 指出,過去五年來,雲端服務供應商和超大規模資料中心所安裝的儲存裝置之中,硬碟幾乎佔了 90%。

請看下方圖表,出自 IDC 的 Global DataSphere 2023 年研究報告。全球大部分資料所屬的工作負載,需要的是一般用途的額定資料傳輸時間。

 

在某些情況下,高效能解決方案甚至完全不需要使用到全快閃儲存系統。有些混合式儲存系統與快閃記憶體有同等的表現甚至更快的速度裝置層級的效能差異可說是顯而易見;然而在資料中心機架規模上,採用高度平行存取的硬碟,效能水準足以應付大部分的工作負載,包括人工智慧和機器學習。同樣重要的是, Flash 所大幅增加的任何效能優勢,通常都會受到其他基礎架構選擇的限制,例如網路的效能或品質。

第二,如前文所述,TCO 的考量是大多數資料中心基礎架構的決策關鍵。因此不得不在成本、容量和效能之間取得平衡。根據工作負載需求,調整最具成本效益的儲存載體 (硬碟、 Flash 或磁帶),即可達到最佳 TCO。硬碟和混合陣列 (由硬碟和 SSD 組成),非常適合大多數企業和雲端儲存,以及應用程式使用案例。

當然,有人可能會選擇將 SSD 或 AFA 用在最適合硬碟的工作負載上,例如檔案服務、物件儲存、文件管理系統或網路代管。但從成本角度來看,所需的容量愈高,這種選擇越是不合邏輯。這就像是把衣服收在車庫裡停的車內一樣。可以嗎?當然可以,如果就是想把車子當衣櫃用的話。但符合成本效益嗎?當然不符合。

雖然在重度讀取的情境下,快閃儲存裝置表現優異,但耐久度會隨著寫入活動增加而降低。為了解決這個問題,製造商會採取錯誤修正和超額配置 (Over Provisioning) 的方式,也就是用額外的隱形儲存裝置來替換磨損的單元。不過這類解決方案會產生額外成本:超額配置會大幅提高內建產品的成本,而且必須維持穩定供電才能避免資料遺失。對於邊緣資料中心等環境,或是任何無法保障持續運作,且會在高溫下加速的配置,這都會構成挑戰。

此外,雖然透過三層式儲存 (TLC) 和四層式儲存 (QLC) 等技術,可讓 Flash 如同硬碟一樣處理資料繁重的工作負載,但對於較大型的資料集或長期保留的用途,經濟效益的合理性較弱。在這些情況下,磁錄密度持續成長的磁碟可提供更具成本效益的解決方案。在超大規模環境中並行運用數千台硬碟,所達到的效能足以與 Flash 相輔相成,展現出硬碟在現代資料中心裡協同合作的角色。

因此雖然 QLC Flash 在 TLC 市場中佔有相當大的比例,就像 TLC 取代了多層單元 (MLC) NAND 儲存一樣。但透過本篇文章內所探討的成本、供應和工作負載等因素,這並不會削弱硬碟的市場佔比。

第三點也與此相關,即是聲稱全快閃陣列優於混合陣列或硬碟儲存系統。全快閃陣列的支持者聲稱,使用一種儲存裝置會比混合使用儲存載體類型和儲存層「更加簡化」說得太早了。

許多混合式儲存系統採用軟體定義架構,且經過充分驗證和微調,能順暢整合和運用不同儲存載體類型的優勢,合併成單一裝置。在橫向擴充的私人或公用雲端資料中心架構中,會使用檔案系統或軟體定義儲存來管理資料儲存工作負載,範圍橫跨資料中心的各個位置和區域。不僅提供充足的彈性,還能讓企業根據不斷變化的需求調整其儲存組成。

SSD 最適合高效能、密集讀取的工作負載。但要是將這種小眾用途或是小規模部署延伸到大眾市場和超大規模市場,就不太正確。並不需要採用要價高昂的全快閃陣列,TCO 更低的硬碟已經充分足夠。
雲端、超大規模和大型企業儲存架構,都會選擇能達到最佳成本、容量和效能的儲存裝置。硬碟可處理不該由快閃記憶體負責的工作負載量。快閃記憶體可處理不該由硬碟負責的工作負載量。這兩種儲載體體會在資料中心共存,而在可預見的未來中,硬碟仍會在 EB 儲存量方面占主導地位。

說到 EB,常會聽到 SSD 出貨量增加而硬碟出貨量下降的情況,證明了儲存市場出現轉捩點。但這種論調只是轉移焦點,並未注意到硬碟容量節節上升,且硬碟 EB 總出貨量的成長趨勢比以往更快。舉個例子:Seagate 全新的 Mozaic™ 平台採用 HAMR 磁錄密度創新技術,會在未來四年內將裝置的最大容量翻倍,而傳統垂直磁性記錄 (PMR) 技術則需要 9 年才能達到兩倍容量。

要準確衡量成長時,重要的是 EB 出貨量,而非計算單位數量。分析師預測,硬碟 EB 出貨量會繼續以前所未有的速度增加。雖然快閃儲存裝置也會有所成長,但部署容量不會超過硬碟。

IDC 提供的 Seagate 資料分析以及 TRENDFOCUS 預測,預期到 2028 年硬碟 EB 將增加將近 250%。再進一步推算,這個比例在未來十年內仍會維持不變。一探究竟:

結論 – 歷久不衰

十多年來,科技業界一直在討論硬碟可能即將被淘汰。但是各式各樣的預測尚未成真。我們認為最近一輪的預言也不會實現。

全快閃記憶體的絕對支持者,幾乎總是企圖以邏輯上的謬誤來證實自己的論點,通常是從一小部分的使用案例推論到大規模,因此才會得出站不住腳的結論。

充其量只算是創意行銷。

現實:

  • • NAND 和硬碟的價格不會很快趨於一致,尤其是 Seagate Mozaic 3+ 平台大量出貨,大幅提升硬碟磁錄密度。
  • • 與某些預測相反,NAND 製造商並不會擴大製造產能,以求取代硬碟當前和未來的 EB 需求。AFA 廠商不可能同時達到足夠的供應量和比硬碟更便宜的儲存裝置,因為所需的投資太高。在 10:1 的虧損下,AFA 製造商不太可能找到數千億美元的投資,就為了製造足夠的 NAND 來取代硬碟。
  • • 大型雲端和企業資料中心業者相當務實,且理解橫向擴充儲存架構需要混合使用儲存裝置,而且要採取最佳化設計,以求達到工作負載對預算、容量和效能的需求。

當然還有一些其他迷思,會導致「創意行銷」預測硬碟邁向消亡。例如永續性、能源、可靠性等方面的迷思。請繼續關注本系列,後續文章會進一步解釋這些問題。不過上述三個迷思最為密切相關。

只要認真閱讀本文中的資料,就能得出硬碟會長久不衰的結論。硬碟會繼續儲存世界上絕大多數的資料,直到遙遠的未來。

相反的預測可說是純屬想像。

  1. IDC,《Worldwide Global StorageSphere Forecast》,2023-2027,文件編號 US50851423,2023 年 6 月

  2. 同上。

  3. IDC,《Multi-Client Study, Cloud Infrastructure Index 2023: Compute and Storage Consumption by 100 Service Providers》,2023 年 11 月。