为何 HDD 主导超大规模云架构
10 5月, 2024
数据正在推动整个行业的数字化转型，各类规模的企业都在争夺从宝贵数据中获利的机会。由于数据的价值不断增长，以及结构化和非结构化数据的不断增加，企业要想保持竞争力，则需要采用一种全新的数字方法，帮助采集、存储和分析海量数据。
大容量存储比以往任何时候都更加重要，如今管理公有、私有、边缘和混合云基础架构的 IT 架构师需要部署能够以尽可能低的成本提供优化性能的存储解决方案。降低总体拥有成本 (TCO) 是存储解决方案成本效益分析的主要推动力，也是云架构师继续将 HDD 用作企业数据中心主力的原因之一。
大型公有云服务提供商 (CSP) 主导了移动云集中式架构的时代。作为公有云服务领域备受瞩目的 EB 级供应商，Seagate 对于超大规模存储架构和需求轨迹具有独特的见解。
HDD 目前在云 EB 市场中占据主导地位 - 基于价格、成本、容量、功耗、性能、可靠性和数据保留等因素的综合考量，能够提供尽可能低的每 TB 平均成本。SSD 拥有出色的性能和延迟指标，可为更加接近计算节点的性能敏感、高度事务型工作负荷提供适合的价值主张。HDD 是云数据中心所用的主流存储设备，因为它们能够为绝大多数云工作负荷提供出色的总体拥有成本。根据市场情报公司 IDC 的数据，云数据中心 90% 的 EB 都存储在 HDD 中，其余的 10% 存储在 SSD 中。行业分析公司 TRENDFOCUS 表示，仅在去年一年，就有超过 1ZB 的 HDD 存储容量交付使用。
这些超大规模应用使来自数十亿终端设备的数据能够存储在集中式 IT 基础架构中。当下，IT 4.0 正在创造一种全新的数据驱动型经济。新的时代催生了制造自动化和海量的物联网互联设备。这些设备可以交流、分析和使用数据，用于从控制生产到获得可行业务见解的众多领域。
作为这一全新范例的一部分，除了使用公有云之外，企业还开发了自己的私有云和边缘存储解决方案，并且参考了超大规模应用实践，以了解如何优化存储架构。
安装在私有云和边缘数据中心的大容量 HHD 使企业能够满足实施云应用的需求，以实现处理和分析大量非结构化数据。根据 Seagate 赞助、IDC 撰写的报告《Data Age 2025： 从边缘到核心的世界数字化》，到 2025 年，每年全球经济中将有超过 175 ZB 的流动数据。为了满足存储需求，需要使用 5,000 万个 20TB 硬盘来存储 1ZB 的数据。
当然，云存储并不意味着将数据存储在稀薄的空气中。按需数据存储需要高能效的网络基础架构，以及经过容量优化、可组合且由软件定义的超大规模架构。
设计出色的存储基础架构可提供端到端管理和实时访问，以帮助企业尽可能从数据中获取价值。数据中心存储架构必须针对超大容量进行优化、通过微调以最大程度地利用资源，并且针对超高效数据管理进行设计。
随着 IT 4.0 市场的发展，它将继续生成大量非结构化数据。如果能够采集、存储和分析这些数据，将为企业提供大量机会。IT 架构师和基础架构规划人员必须横跨多个公有、私有和边缘云，实现更多数据存储。Seagate《Rethink Data》报告基于 IDC 对 1,500 名全球企业领导者的调查，指出到 2025 年，在核心和边缘生成的数据中，44% 的数据将由数据分析、人工智能、深度学习以及越来越多的物联网设备驱动。这些设备将采集、生成数据，并将数据输送到边缘。
IT 4.0 革命将推动分布式存储架构和边缘数据处理能力的增长。这意味着企业将不得不管理新的数据源和高度复杂的非结构化数据类型。根据 Seagate《Rethink Data》报告，预计 2020-2022 年之间，企业数据总量将以 42.2% 的年均增长率增长。
由于对在边缘运行延迟敏感型应用的需求不断抬高，单片、集中式的存储架构正面临挑战。新出现的混合架构（结合多个公有、私有和地理分布的边缘云）使用分散模型，跨多个位置采集和存储数据。
随着数据的经济重要性不断提高，采集所有宝贵信息的需求将持续增长。但数据生成量和存储量之间的差距越拉越大，这意味着大量数据及其价值已经丢失。
根据《Rethink Data》报告，IDC 预测到 2025 年每年将产生 175ZB 的数据量，但存储量不到 10%。这意味着在产生的所有数据中，90% 最终会被浪费。在 IT 4.0 世界中，这就意味着错失良机。
数据是数字经济的货币。随着企业意识到数据对于保持竞争力和盈利能力的重要性，存储需求将会激增。IDC 在《Rethink Data》报告中预测，到 2025 年，企业将管理 12.6ZB 的装机存储容量，而此容量中的 51% 将由云服务提供商管理。
企业云架构师需要在继续扩展公有云容量的同时，投资支持私有云和混合云需求的基础架构。对于云架构师来说，开发基础架构将是重要的前瞻性步骤之一。
针对软件定义存储和混合架构的业务需求正飞速增长。根据《Rethink Data》报告，IDC 预测，到 2025 年，企业每年将存储 9ZB 数据。私有云和混合云能够提高互操作性、控制性和安全性。为了帮助数据中心提取、存储和提供这些数据，并从中获得价值，他们需要大规模部署经济高效的存储技术。
总体拥有成本是存储部署决策的关键要素之一。云中数据存储的黄金标准是 HDD，能够以尽可能低的总体成本提供较大容量与优化性能。
HDD 容量不断增加，18TB 硬盘现已广泛上市。容量的增加正在拉低每 TB 的成本。此外，全新 HAMR（热辅助磁记录）硬盘已于 2020 年推出，初始容量为 20TB，预计到 2026 年将增加至 50TB。更高容量的 HDD 改变了数据中心存储的发展。例如，MACH.2 HDD 通过使用多磁臂技术，将硬盘 IOPS 性能提高了一倍，从而使云架构师能够在扩展容量的同时保持性能。
超大规模应用迅速、持续采用较大容量的硬盘，使其与同类企业数据中心相比，具有长期的成本优势。现在，数据中心架构师可以利用高容量 HDD，减少资本支出和运营支出。
Seagate 基于大量云数据中心的数据，对存储架构的总体拥有成本进行了广泛的内部分析。
大容量硬盘能够大幅降低存储基础架构的总体拥有成本。HDD 每添加 2TB 容量，就能降低约 10% 的总体拥有成本。实现总体拥有成本降低的因素包括每 TB 成本、每 TB 功耗、插槽成本降低、致密化和 EB 级可用性。
展望未来，HDD 有望继续保持市场份额，这在一定程度上要归功于 HDD 努力在保持性能的同时不断增加容量。在价格管理和确保所需性能之间取得平衡，对于需要在扩展容量的同时，满足性能基准的云架构师来说至关重要。
尽管云应用因用例而异，但 IT 和云架构师的目标是通过提供尽可能密集的存储来降低成本。即使系统配置各有不同，数据中心的整体 IT 资本支出一般包括 JBOD 机柜、服务器、网卡、机架交换机、路由器和其他运行所需的硬件。从运营支出的角度来看，电费和人员配置是主要成本之一。部署和使用硬盘所需的总金额就是插槽成本。总体拥有成本等于插槽成本加上购买硬盘的成本。
理解总体拥有成本需要对硬盘采购和插槽成本进行评估。基于大型云服务提供商公开的数据，就能根据 IT 硬件成本来计算总体拥有成本。在计算总体拥有成本时，并不包括征地、建设费、折旧、资源和维护费用。
功耗和电力成本通常是评估运营支出对于总体拥有成本影响的关键变量之一。电力成本因电力消耗量和市场位置而异，但成本通常为每千瓦时 5 到 20 美分。用电效率 (PUE) 也会在 1.2 到 2 之间变化，主要受到数据中心电源转换和冷却效率的影响。这一指标很重要，因为它反映了数据中心的能源效率。
能源效率对于电力预算和电力成本都非常重要。超大规模应用已经能够显著降低能源成本，从而大幅降低电力在总体拥有成本中的占比。因此，IT 硬件的组件成本在总体拥有成本中占比较大的部分。
可再生能源不断发展，帮助企业在降低电力成本的同时保护环境。除了降低电力成本外，更节能的 HDD 有望在未来十年内继续降低功耗。此外，电源平衡功能使云架构师能够调整硬盘设置，实现性能和节能的平衡，以适应特定需求。
然而，总体拥有成本的较大影响来自于每瓦特 TB 成本的降低。新一代大容量硬盘在大幅提高每块硬盘数据密度的同时，保持与上一代低容量硬盘相同的功率。这意味着云架构师能够在不增加能源成本的情况下，部署更高容量的硬盘。
存储系统的总体拥有成本（以每 TB 成本为单位）是私有数据中心的关键指标。就总体拥有成本而言，从基于云的游戏和监控应用，到个人和企业级计算，HDD 都将继续提供优于 SSD 的性价比。根据企业级应用和总体拥有成本的需求，HDD 将在未来十年中继续占据主导地位。尤其是针对云和超大规模应用构建的 HDD，可为公有、私有和边缘环境提供平衡的容量与性能。
一些供应商建议将 QLC NAND 作为数据中心存储的替代技术。尽管 NAND 的价格、密度、供应和其他密集存储技术优势与 HDD 差距巨大，但本次总体拥有成本分析仍考虑了 NAND。此处的设备比较基于原始每 TB 成本，而不是基于所谓的有效每 TB 成本数据。因为后者会考虑压缩和数据去重缩减功能的影响，而 HDD 和 SSD 技术均提供等效的数据缩减功能。
为实现可比较的密度，1x4U JBOD HDD 空间将替换为 4x1U SSD JBOF。这样就可以在机架基础架构中直接进行 4U 与 4U 的比较。尽管需要额外的网络和计算成本才能利用 SSD 带来的性能提升，但此总体拥有成本分析仅针对 SSD 与 HDD，因此不包括 SSD 的这些额外成本开销，并且仅关注适用于 HDD 的网络/计算基础架构支出。
SSD 的总体拥有成本约为 HDD 的 6 倍（取决于应用和工作负荷变量，从 5 倍到 7 倍不等），而在设备层面 SSD 的成本仍然约为 HDD 的 8 倍。在接下来的十年中，HDD 容量的增加有望抵消 SSD 成本的下降。因此，到 2030 年，HDD 基础架构的总体拥有成本将继续约为同等容量 SSD 部署成本的六分之一。
持续降低的电力成本也意味对于数据中心用户而言，功耗在总体拥有成本中占比的影响较小。尽管 SSD 的功耗约为 HDD 的三分之一，但这种差异不会显著影响基于每 TB 成本的总体拥有成本计算。
为了充分实现新 HDD 技术的总体拥有成本优势并保持竞争力，IT 和云架构师还需要使用软件，优化大容量和数据密集型工作负荷。
对于大多数数据中心存储需求而言，HDD 是更加经济高效的选择。双磁臂技术使 HDD 的性能几乎提高一倍，这为数据中心提供有吸引力的价值主张，能够以尽可能低的每 TB 成本获得所需的性能。
了解总体拥有成本对 IT 和云架构师至关重要。对于任何为大型企业客户提供私有、本地数据中心或私有云托管服务的公司，总体拥有成本同样是重中之重。提供基础设施即服务、平台即服务或存储即服务的公司面临与云存储架构师相同的挑战。
数据湖正飞速蔓延，为了利用和分析所有数据，企业需要能够存储数据的位置。公有云、私有云或混合云便是选择。例如，混合方案可能包括一个本地数据中心以减少边缘应用的延迟，以及一个公有云中的后端以用于存放对时间不太敏感的数据。尽管公有云一直是增长的催化剂，但数据驱动的 IT 4.0 经济需要混合云，以同时提供公有云和私有云的优势。这些云解决方案还必须与本地和边缘数据中心无缝集成。
随着数据密集型深度学习应用和物联网互联设备数量的增加，性能敏感型计算需求不断提高，HDD 和 SSD 之间的共生关系将进一步增强。在部署越来越多 SSD 以支持更高计算需求的同时，将需要更多 HDD 来存储性能敏感型应用使用和生成的数据。
对于 HDD 部署，了解存储成本、提高容量以及平衡性能和价格将继续推动用户决策。总体拥有成本是一项指标，可确保云架构师和各类规模的企业尽可能从其数据中获取价值。
敬请观看我们的“云存储架构总体拥有成本”网络研讨会，了解更多信息！
Big data analytics enable organizations to make informed, data-driven decisions.
