博客

机械硬盘与固态硬盘:两类存储介质的三大对比

对闪存取代数据中心硬盘相关说法的深入剖析

目录:

“传统硬盘将很快成为历史。”

“全闪存阵列很快将取代数据中心中的磁盘和混合阵列。”

“未来的数据中心将是全闪存的。”

欢迎阅读长期存在的硬盘消亡故事的最新一期。这场争论——包括上面列举的一些观点——至今已经持续了十多年。对硬盘做出消亡预测的是一些纯闪存技术的鼓吹者,或者说乐观的拥护者,但是多年来并没有得到很好的验证。随着时间推移,他们的想法越来越激进。

毫无疑问,闪存存储非常适合需要高性能、高速度的应用程序。闪存以及全闪存阵列 (AFA) 的营收在不断增长,但这不会对传统硬盘造成影响。预测硬盘消亡所基于的前提存在很大的漏洞。

在数字化时代,云计算的无处不在和人工智能用例的出现提高了海量数据的价值。迄今为止,全球绝大部分的 EB 级数据都存储在硬盘上,对数据中心运营商来说,传统的机械硬盘比以往任何时候都不可或缺。

即使在最近几年,当闪存价格暂时降至历史最低点时,固态硬盘 (SSD) 也没有在需要海量数据存储的工作负载中取代机械硬盘。

行业分析师预计,随着 EB 级数据的持续增长,存储着绝大多数全球数据集的企业和大规模云数据中心将成为主要受益者。下表显示,企业和大规模云数据中心——绝大多数全球数据集的驻留地点——将是这一增长的关键位置。相对而言,2022年至2027年间,机械硬盘存储预计将增长6,996EB,而固态硬盘存储将增长1,363EB。
这不是一场零和游戏。在数据中心,机械硬盘和闪存一直协同工作,支持不同的服务。它们各自拥有独特的优势和价值。实际上,在AIGC时代,计算集群与闪存技术紧密结合,间接推动了下游的更多EB级存储需求,从而将生成的内容经济高效地存储。

这种存储介质的协同作用仍然有效,而关于硬盘过时的猜测则缺乏可信度,最终也不会成真。

让我们来深入了解支撑这一推测的三个主要误区,并且以第三方数据为支撑来阐释硬盘为何在可见的未来仍将是数据存储架构的核心。

真相 #1 – 定价差异

误解:SSD 的价格将很快与硬盘齐平。

现实:SSD 和硬盘的价格在未来十年内都不会趋近。

数据一目了然。相对于固态硬盘,机械硬盘在每太字节 (TB) 成本上具有明显优势,这使得它们成为数据中心存储基础设施无可争议的基石。

尽管由于需求疲软和供应过剩,NAND 闪存存储价格仍然高度波动并在 2023 年触及低点,但分析公司 Forward Insights 预测 SSD 的价格将在 2024 年到 2025 年持续回升。经历价格急剧下跌之后,SSD 供应商一直努力减少老化库存并削减资本支出以调整供需,现在终于迎来转机。随后,我们已经看到基于 NAND 的解决方案开始涨价。

Seagate 对 IDC、TRENDFOCUS 和 Forward Insights 的研究分析证实,对于大多数企业项目来说,机械硬盘仍将是最具成本效益的选择。 预计至少到 2027 年,企业级固态硬盘和企业级机械硬盘之间的每 TB 价格差异将保持 6:1 的溢价水平,甚至更高。


这种每 TB 价格差异在数据中心尤为明显,其中设备采购成本迄今仍是总拥有成本 (TCO) 的主要组成部分。考虑到所有存储系统成本(包括设备采购、电力、网络和计算成本),基于硬盘的系统按 TB 计算的 TCO 远远胜出。


为了规避这些无可争议的 TCO 和价格差异,一些 AFA OEM 已开始设计自己的定制高密度 NAND 设备,容量可达数百 TB,声称理论上的 TCO 优势已从设备经济性延伸到系统级别。这种逻辑的问题在于,向单个设备或系统添加显著更高级别的 NAND 密度仍然无法改变原始介质的每 TB 成本差异。

用于转移人们对每 TB 成本劣势的注意力的另一种策略与所谓的“TBe”或“有效 TB”有关。有人断言,由于数据缩减技术(例如数据压缩),SSD 提供的存储空间比其原始容量所暗示的更多。然而,在大型部署中,数据缩减发生在堆栈的较高位置,使其在存储级别变得无关紧要。此外,鉴于对数据保护的日益关注和加密的普及,数据压缩在大多数企业和云应用场景中通常不可行。当数据被加密时,它无法被压缩,因为熵值非常高,没有可以简化的模式。

结果:虽然闪存擅长执行特定的高性能任务,但硬盘将继续成为数据中心 EB 级存储的主要目的地,在可见的未来提供可靠、经济高效且广泛采用的解决方案。

真相 #2 – 制造规模

误解:NAND 的供应量可能会增加,以取代所有硬盘容量。

现实:NAND 完全取代固态硬盘需要难以维持的 CapEx(资本支出)投资。

NAND 行业将会或能够迅速增加供应量以取代所有硬盘容量,此想法太过乐观,这种尝试将导致财务崩溃。从硬盘过渡到 NAND 不仅仅是生产更多单元,执行起来将是财务和物流的深渊,更不用说定价难以与传统硬盘相抗衡。

根据行业分析机构 Yole Intelligence 发布的《2023 年第四季度 NAND 市场监测报告》,从 2015 年到 2023 年,NAND 行业的出货量为 3.1ZB,为实现这些出货量整个行业需要投资高达 2,080 亿美元的资本支出 (CapEx),约占其总营收的 47%。

相比之下,硬盘行业以更高效率满足了绝大多数(几乎 90%)的大型数据中心存储需求。为了帮助具体说明这一点,请看下面的图表,其中以硬盘行业的代表性企业 Seagate 为例。2015 年至 2023 年间,Seagate 出货达 3.5ZB 存储量。Seagate 在这八年期间的资本投资总计 43 亿美元,仅占 Seagate 硬盘总收益的 5% 左右。这在 NAND 行业相当于每 ZB 约 670 亿美元,而机械硬盘生产则为每 ZB 约 10 亿美元(以 Seagate 为例)。简而言之,硬盘行业在向数据中心提供 ZB 级数据方面要高效得多。希捷对 IDC 机械硬盘预测及 Forward Insights SSD 预测的分析显示,到 2024 年,EB 级机械硬盘产量几乎将达 SSD 的三倍。同年,在企业和数据中心市场,EB 级机械硬盘产量将是 SSD 的六倍。

近期,有 AFA 厂商宣称,到 2028 年,闪存行业将全面取代整个传统硬盘行业的产能输出。让我们看看 NAND 行业需要什么样的投资才能实现这一目标。

上述 Yole Intelligence 报告指出,从 2025 年到 2027 年,NAND 行业将投资约 730 亿美元,预计将为企业级 SSD 以及平板电脑和手机的其他 NAND 产品带来 963EB 的产出。这意味着每 TB 闪存存储输出的投资约为 76 美元。如果采用相同的每比特资本价格,则需要 2,060 亿美元的巨大额外投资才能满足 2027 年预计出货 2.723ZB 硬盘容量的需求。总投资额接近 2790 亿美元,潜在市场总额约为 250 亿美元。

显然,对于一个面临不确定回报的行业来说,这种投资水平不切实际,尤其是在 2023 年全年亏损之后。

根据TrendForce 最新的 NAND 闪存白金数据表显示,到 2024 年,全球约有 28 家正在运营的 NAND 制造厂(晶圆厂)。如果我们以 Kioxia 于 2022 年 10 月投产的 Fab7 一期为例,建设一座新建 NAND 晶圆厂的成本约为 68 亿美元。因此,NAND 行业所需的 2,060 亿美元增量资本支出大约相当于 30 座新晶圆厂。这些设施需要在未来三到四年内建成、规模化、测试、合格并全面投入生产,从而在不到四年的时间里将全球 NAND 晶圆厂的数量翻一番。

此外,IDC 的 2023 年 StorageSphere 报告 2 显示,2023 年,云和非云数据中心现有机械硬盘与 SSD 安装容量的比例为 7:1。IDC 预测,在可见的未来,以 HDD 为主导的 EB 级存储比率将保持在 6 至 7 倍左右,复合年增长率 (CAGR) 为 26%,这就是说 2027 年 HDD 安装容量高达 10ZB。因此,除了如前所述逐年取代未来每年产出的新硬盘安装量之外,NAND 行业还需要投入资金以便在数据中心的 10ZB 硬盘安装基数达到使用寿命时更换老化部分,这—增量投资远高于要实现 2027 年预计交付的 2.723ZB 硬盘容量所需的 2,060 亿美元。

NAND 解决方案可以有效地满足特定的数据中心工作负载,但数据中心完全依赖它们的想法充满了陷阱。除了 NAND 行业取代硬盘供应的风险和狂妄之外,波动的定价对寻求供应稳定性和最佳存储 TCO 的企业而言是另一层不确定性。

在可见的未来,NAND 完全取代硬盘的想法几乎是不可能的。该行业必须克服巨大的财务和后勤障碍,同时在一个尚未准备好应对颠覆当前数据中心架构的变化的市场中投入大量资金和技术。

真相 #3 - 工作负荷配置文件

误解:只有 AFA(全闪存阵列)才能满足现代企业工作负载的性能要求。

现实:企业存储架构通常混合介质类型,使用磁盘或混合阵列、闪存和磁带来优化特定工作负载的成本、容量和性能需求。

这里存在一个错误的二分法。全闪存供应商建议企业全面使用闪存来提高性能,从而实现“精简”和“面向未来”的目标。他们认为,不这样企业就有可能跟不上现代工作负载的性能需求。这种零和逻辑失败的原因有以下三个:

  1. 绝大多数现代工作负载不需要闪存的性能优势。
  2. 预算有限且数据集快速增长的企业必须平衡容量、成本和性能。
  3. 寻求所谓的单层存储架构的精简性是自找麻烦。

让我们一一来解释。

首先,世界上大部分数据都驻留在云和大型数据中心中。在这些环境中,工作负载遵循帕累托规则:只有一小部分工作负载需要很大比例的性能。根据 IDC3 的数据,在过去五年中,硬盘几乎占到了云服务提供商和超大规模数据中心安装基础的 90%。

请看下面的图表,该图表源自 IDC 的 Global DataSphere 2023 研究。世界上大多数数据都是工作负载的一部分,对于通用应用场景来说,需要标称数据传输时间。

在某些情况下,甚至根本不需要全闪存系统作为最高性能解决方案的一部分。有些混合存储系统的性能与全闪存一样好,甚至更快。在设备层面,性能差异非常明显;然而,在数据中心机架的规模上,硬盘性能受益于高度并行的访问,从而产生足以满足大多数工作负载(包括人工智能和机器学习)的性能水平。同样重要的是,闪存提供的任何显著增加的性能优势通常都会受到其他基础设施决策的限制,例如网络容量或质量。

其次,正如本文前面所述,TCO 考虑是大多数数据中心基础设施决策的关键。这迫使数据中心必须在成本、容量和性能之间达到平衡。通过根据工作负载要求调整最具成本效益的介质(传统硬盘、闪存或磁带)来实现最佳 TCO。硬盘和混合阵列(由传统硬盘和 SSD 构建)非常适合大多数企业和云存储及应用程序应用场景。

当然,人们可能会选择将 SSD 或 AFA 用于最适合传统硬盘的工作负载,例如文件服务、对象存储、文档管理系统或 Web 托管。但从成本角度来看,容量越高,这样的决定就越不合逻辑。就像使用停在车库里的汽车来存放衣服一样。可行吗?当然,如果您非要用汽车做这样的事情,也行。但划算吗?一点也不。

虽然闪存在读取密集型场景中表现出色,但其耐用性会随着写入活动的增加而降低。制造商通过纠错和过度配置(额外的、看不见的存储)来解决这个问题,以更换老化单元。然而,这些解决方案需要额外的成本:过度配置大大增加了嵌入式产品的成本,并且需要稳定电力来避免数据丢失。这给边缘数据中心等环境,或任何无法保证连续运行并且在高温下情况恶化的环境带来了挑战。

此外,虽然三级单元 (TLC) 和四级单元 (QLC) 等技术允许闪存处理硬盘等数据密集型工作负载,但对于更大的数据集或长期保留来说,经济性会下降。在这些情况下,传统硬盘以其不断增长的面密度提供了更具成本效益的解决方案。在超大规模环境中,并行利用数千个传统硬盘可与闪存相辅相成,证明它们在现代数据中心中可发挥协作作用。

因此,虽然 QLC 闪存占据 TLC 市场的相当大比例(就像 TLC 如何取代多层单元 (MLC) NAND 存储一样),但由于本文探讨的成本、可用性和工作负载因素,它并没有侵蚀机械硬盘的市场份额。

第三个相关宣称是 AFA 优于混合阵列或机械硬盘存储系统。闪存支持者声称,使用一种存储类型比采用混合介质类型和存储层“更简单”,实际上是在为一个不存在的问题寻找解决方案。

许多混合存储系统采用了经过充分验证和精细调整的软件定义架构,能够无缝集成并发挥不同媒介类型的优点。在横向扩展私有云或公共云数据中心架构中,文件系统或软件定义存储用于管理跨数据中心位置和区域的数据存储工作负载。它们提供了足够的灵活性,允许企业根据不断变化的需求调整其存储组合。

AFA 和 SSD 非常适合高性能、读取密集型工作负载。但从利基应用场景或小规模部署是无法推断大众市场和超大规模应用的,在这些市场中,全闪存阵列提供了一种不必要的昂贵方式,而传统硬盘已经以更低的 TCO 提供了这些功能。
云、超大规模和大型企业存储架构选择可优化成本、容量和性能的存储。机械硬盘将处理闪存不应该处理的工作负载,而闪存将处理硬盘不应该处理的工作负载。两种存储介质将在数据中心共存,在可见的未来,传统硬盘将继续在 EB 级存储方面占据主导地位。

说到 EB 级存储,人们通常会认为固态硬盘单位数量的增加,加上机械硬盘单位出货量的下降,是存储市场转折点的证据。但这种说法是在避重就轻,忽视了机械硬盘容量和硬盘 EB 级总出货量的增长,而这些增长速度比以往任何时候都快。典型的例子:凭借支持 HAMR 的面密度创新,Seagate 的全新 Mozaic™ (魔彩盒) 平台将在未来四年内将最大单位容量增加一倍,而传统的垂直磁记录 (PMR) 技术需要九年时间才能实现容量翻倍。

要准确衡量增长,重要的不是计算单位数量,而是 EB 级出货量。分析师预测硬盘 EB 级出货量将以前所未有的速度继续增长。尽管闪存也在增长,但在安装容量方面与机械硬盘不能相提并论。

希捷对 IDC 和 TRENDFOCUS 数据的分析预测,到 2028 年,机械硬盘的 EB 级存储前景将增长近 250%。进一步推断,这一比率在未来十年仍将保持不变。

共存共荣

十多年来,机械硬盘与固态硬盘之间的差异一直是科技行业讨论的话题。但是两者在价格、供应与工作负载等方面还是存在着一些差异。我们预计最新的预测也不会成功。

几乎无一例外的是,全闪存绝对论者试图用逻辑谬误来证实他们的论点,通常从一小部分应用场景中进行推断,而这正是他们站不住脚的地方。

这充其量只能算是“创意营销”。

事实上:

  • NAND 和硬盘的定价短期内不会趋同,尤其是在 Seagate Mozaic 3+ (魔彩盒 3+) 平台量产进一步推高硬盘面密度的情况下。
  • 与一些人的看法相反,NAND 生产商无法扩大制造能力来满足现有和未来的硬盘 EB 级需求。鉴于所需的投资水平,AFA 供应商无法在保证足够产量的同时,提供更经济高效的存储。AFA 制造商不太可能以 10:1 的损失投入数千亿美元,制造足够的 NAND 来取代硬盘。
  • 大型云和企业数据中心运营商非常务实,并且了解横向扩展存储架构需要经过优化的介质组合,以满足其工作负载的预算、容量和性能需求。

当然,还有其他一些误解促成了预测硬盘消亡的“创意营销”——围绕可持续性、电力、可靠性等领域的误解。我们将在接下来的帖子中讨论这些问题,请继续关注。然而,本文讨论的三个误解对我们来说是最相关的。

基于本文的探讨可以得出这样的结论:传统硬盘将长期存在,并且向前发展。在遥远的未来它们还会继续存储世界上绝大多数数据,

而其他消亡推论纯粹属于妄想。

  1. IDC,《Worldwide Global StorageSphere Forecast》,2023-2027,文档编号 US50851423,2023 年 6 月。

  2. 同上。

  3. IDC,多客户端研究,《2023 年云基础设施指数》:100 家服务提供商的计算和存储消耗,2023 年 11 月。