Saat skala menuntut performa: Cara penyedia layanan cloud global mencapai kedua kebutuhan dengan hard disk

Karena persyaratan multi-sewa dan performa tinggi membentuk kembali infrastruktur data, salah satu perubahan yang paling penting terjadi tidak hanya di kluster pelatihan, tetapi juga dalam sistem yang merespons miliaran interaksi pengguna secara real time.

Di salah satu raksasa internet terbesar di dunia¹, arsitek infrastruktur baru-baru ini mulai menata ulang beban kerja utama yang terkait dengan keterlibatan pengguna: infrastruktur caching yang mendukung aktivitas komentar media sosial (yaitu, lapisan data sementara yang memungkinkan akses cepat ke konten yang sering diminta). Taruhannya tinggi—volume lalu lintas yang melonjak, konkurensi tinggi, dan permintaan baca/tulis yang tinggi—begitu juga kebutuhan untuk mengurangi biaya dan energi dalam skala besar. Tim mengidentifikasi solusi strategis namun tidak konvensional: tingkat cache berbasis hard disk, yang dibuat di hard disk perusahaan Seagate berkapasitas rendah.

Lapisan ini oleh sebagian orang dianggap memerlukan flash, tetapi analisis beban kerja menunjukkan bahwa hard disk memenuhi tuntutan performa sekaligus menawarkan manfaat biaya dan efisiensi yang signifikan, terutama untuk beban kerja inferensi dan penahapan data, yang biasanya lebih dibatasi oleh biaya, daya, dan skala. dibandingkan dengan latensi mentah.

Arsitektur ini menggambarkan apa yang mungkin terjadi saat keputusan infrastruktur didasarkan pada perilaku beban kerja yang sebenarnya, dan bagaimana hard disk—bila digunakan secara strategis—dapat memungkinkan operasi yang berperforma, terukur, dan hemat biaya pada skala global.

Memahami beban kerja data: Ledakan singkat, konkurensi tinggi

Sasaran beban kerja yang menjadi fokus adalah untuk memungkinkan akses yang cepat dan andal ke data komentar pengguna selama keterlibatan konten viral—tantangan yang dengan cepat menjadi kompleks dalam skala besar. Namun volume dan volatilitas permintaan membuatnya menjadi sesuatu yang tidak biasa.

Saat sebuah konten menjadi viral, interaksi langsung melonjak. Ribuan hingga jutaan pengguna dapat membanjiri satu utas dalam hitungan menit—menyukai, membalas, menyegarkan, dan memposting ulang. Sistem harus mendukung aktivitas baca dan tulis objek kecil yang cepat, memuncak dengan tajam, lalu turun dengan cepat. Dan meskipun penting, performa hanya memberikan nilai saat kemacetan sistem memungkinkan performa tersebut digunakan.

Arsitek platform diperlukan untuk mendukung:

• Volume akses bersamaan yang sangat tinggi dalam waktu singkat.
• Lalu lintas baca dan penulisan yang padat terkait dengan aktivitas pengguna.
• Caching respons cepat untuk pengalaman pengguna—tetapi tanpa flash latensi rendah yang selalu aktif.

Tiering panas/dingin tradisional tidak efektif untuk pola dinamis semacam ini. Dan meskipun flash dapat memenuhi kebutuhan performa, profil biaya, keausan, dan energinya membuatnya tidak berkelanjutan pada lapisan arsitektur ini.

Throughput vs. latensi: Memikirkan kembali caching data untuk performa cloud

Ini adalah asumsi umum bahwa lapisan caching—terutama untuk sistem yang menghadap pengguna—harus berbasis flash untuk memenuhi kebutuhan performa. Namun dalam kasus ini, analisis beban kerja mendetail mengungkapkan bahwa throughput (laju di mana data dapat dibaca atau ditulis per detik) dan konkurensi (kemampuan untuk menangani banyak permintaan simultan) adalah faktor pembatas dan bukan latensi tingkat mikrodetik. Hard disk berperforma tinggi dalam dimensi ini, dan dalam arsitektur tingkat sistem yang dirancang untuk memaksimalkan kekuatan ini—melalui paralelisme, strategi caching, dan tiering cerdas—hard disk dapat mengungguli penyiapan berbasis flash untuk beban kerja yang sama.

Dengan memanfaatkan kombinasi kekuatan ini, penyedia cloud dapat:

• Menghasilkan throughput berurutan dan bersamaan yang tinggi.
• Menangani volume data yang besar selama puncak yang intens dan berumur pendek.
• Beroperasi dengan biaya lebih rendah dan penggunaan daya per terabyte—pertimbangan yang berarti karena daya pusat data dan anggaran termal semakin dibatasi.

Di seluruh penerapan tersebut, hard disk perusahaan menawarkan biaya akuisisi per terabyte yang jauh lebih rendah—saat ini lebih dari 7× lebih murah dibandingkan SSD, menurut analisis penelitian Seagate oleh IDC, TRENDFOCUS, dan Forward Insights. Delta ini dapat sangat memengaruhi pilihan arsitektur—terutama jika efisiensi dan ketahanan cache merupakan bagian dari persamaan.

Caching hard disk: Solusi untuk akses data yang terukur dan efisien

Arsitektur terakhir menerapkan hard disk perusahaan berkapasitas rendah Seagate sebagai lapisan caching persisten, dan menempatkannya di antara lapisan aplikasi utama dan lapisan cloud berbasis hard disk berkapasitas tinggi. Konfigurasi dibuat menggunakan enklosur yang telah digunakan tim di seluruh beban kerja lainnya, sehingga memungkinkan penggunaan kembali sistem yang efisien.

Berikut adalah cara kerjanya:

• Selama aktivitas puncak, data komentar ditulis langsung ke tingkat cache berbasis hard disk.
• Lapisan data berbasis hard disk ini memberikan performa throughput tinggi dan konkurensi tinggi yang diperlukan untuk melayani akses yang cepat dan berulang pada skala global selama burst.
• Setelah permintaan berkurang, data yang di-cache akan dihapus atau dipindahkan ke tingkat penyimpanan yang lebih dalam yang dibangun pada hard disk berkapasitas lebih tinggi (misalnya, 24 TB atau 30 TB).

Hard disk di tingkat caching biasanya beroperasi dengan memprioritaskan diameter luar piringan mereka untuk ruang cache yang dapat digunakan, mengoptimalkan perilaku tulis, dan memaksimalkan performa efektif untuk kasus penggunaan.

Menyeimbangkan biaya, daya, dan performa dalam infrastruktur penyimpanan cloud

Diagram arsitektur ini menggambarkan bagaimana caching berbasis hard disk, penyimpanan dalam, dan layanan aplikasi bekerja sama untuk menangani ledakan data viral secara efisien dan hemat biaya.

Penerapan ini menghasilkan peningkatan yang berarti dalam biaya infrastruktur dan efisiensi energi secara keseluruhan—sambil mempertahankan tuntutan performa tinggi dari beban kerja melalui hard disk yang dirancang untuk throughput yang berkelanjutan, ketahanan tulis, ketersediaan data di bawah tekanan, dan penerapan skala armada.

• Penggunaan hard disk perusahaan berkapasitas lebih rendah menghadirkan performa yang dibutuhkan dengan biaya akuisisi per terabyte yang jauh lebih rendah dibandingkan dengan alternatif berbasis flash.
• Penarikan daya per unit throughput menurun, karena hard disk dioptimalkan untuk semburan penulisan berkelanjutan, bukan IOPS diam. Secara umum, perbandingan tingkat sistem juga menunjukkan bahwa hard disk dapat mengurangi penggunaan daya per terabyte hingga 70% dibandingkan dengan flash QLC.
• Tim dapat menggunakan kembali infrastruktur yang ada, meminimalkan investasi perangkat keras baru, dan mempercepat jadwal penerapan.
• Yang penting, tingkat cache berbasis hard disk terus memenuhi atau melampaui ekspektasi hit-rate, mendukung interaksi komentar yang lancar di seluruh lonjakan lalu lintas paling viral sekalipun.

Sebagian besar beban kerja inferensi dan staging data lebih dibatasi oleh biaya, daya, dan skala daripada latensi mentah, sehingga hard disk praktis sesuai dengan tingkat arsitektur yang tepat.

Penskalaan caching cloud: Dari kesuksesan percontohan hingga standar platform global

Pada saat publikasi, arsitektur platform ini sedang digunakan secara aktif oleh pelanggan di seluruh wilayah geografis utama, dengan evaluasi berkelanjutan dari peluncuran yang lebih luas. Indikator awal sangat kuat: metrik performa cache tetap stabil, pengalaman pengguna tetap responsif, dan TCO ditingkatkan.

Jika hasil uji coba terus bertahan, platform dapat memperluas model ini secara signifikan—dengan potensi volume penerapan tahunan mencapai jumlah hard disk enam digit, yang mencerminkan permintaan lebih dari 6 EB per tahun dan keyakinan pada hard disk untuk menghadirkan performa dan efisiensi pada skala armada.

Ini bukan hanya pengoptimalan satu kali—ini adalah pola yang muncul untuk membangun berbagi gambar, mikroblog, video, dan konten lain yang lebih baik di mana konkurensi dan relevansi pengguna akhir hard disk persyaratan infrastruktur dan memungkinkan peningkatan profitabilitas platform.

Pelajaran utama untuk membangun arsitektur caching cloud yang hemat biaya dan terukur

Keberhasilan desain ini tidak bergantung pada satu terobosan, tetapi pada tiga prinsip inti yang akan selaras dengan pembuat platform AI lainnya:

• Desain untuk beban kerja—bukan asumsi—karena tidak semua lapisan performa tinggi memerlukan flash.
• Dimensi utama performa—seperti throughput, konkurensi, ketersediaan penulisan, kecepatan penyerapan, dan pemanfaatan sistem—sering kali lebih relevan daripada latensi mentah.
• Tingkat penyimpanan dapat dioptimalkan—bahkan digunakan kembali—untuk memenuhi permintaan modern secara lebih efisien.

Hard disk tidak "memenangkan" flash di sini—hard disk cukup masuk akal. Seperti inilah tampilan untuk menyelaraskan performa, biaya, dan efisiensi operasional di lingkungan dunia nyata. Di seluruh perusahaan dan infrastruktur cloud, mereka terus melayani sebagian besar beban kerja data yang paling penting untuk throughput, efisiensi, dan skala.

Pemikiran akhir: Membangun infrastruktur cloud yang mencerminkan beban kerja nyata

Untuk memenuhi kebutuhan performa, beban kerja modern memerlukan komputasi dan penyimpanan yang dapat diskalakan—terutama karena keberhasilan model bergantung pada relevansi pengguna akhir yang langsung dan berkelanjutan.

Karena AI dan beban kerja modern lainnya terus membentuk desain infrastruktur di seluruh industri, pertanyaannya bukanlah apakah akan menggunakan hard disk atau flash. Ini adalah cara membangun sistem yang mencerminkan perilaku beban kerja nyata, kendala nyata, dan peluang nyata untuk dioptimalkan.

penyedia layanan cloud global terkemuka ini membuktikan bahwa hard disk tidak hanya relevan—hard disk merupakan inti dari cara arsitektur modern berkembang ke skala, memastikan akses dan ketersediaan data yang responsif bahkan di bawah permintaan puncak.

Catatan Kaki

^{Dianonimkan per NDA bersama.}