Di Seagate, tim teknik kami dan saya secara rutin duduk bersama para pembangun infrastruktur cloud dan AI terbesar di dunia.
Selain menyediakan hard drive berkapasitas tinggi hingga exabyte, kami juga bekerja sama untuk membantu membentuk arsitektur penyimpanan mereka.
Melalui kemitraan ini, saya mendapat kesempatan untuk menyaksikan langsung bagaimana keputusan terkait penyimpanan data skala besar dibuat. Benang merahnya jelas: ekonomi, orkestrasi perangkat lunak, dan kemampuan perangkat keras harus selaras untuk memaksimalkan kinerja, efisiensi, dan nilai data.
Keselarasan tersebut menjadi semakin penting seiring dengan terus meningkatnya ukuran dataset, frekuensi akses, jendela konteks, paralelisme, waktu retensi, dan tuntutan yang diberikan pada sistem penyimpanan bersama dalam beban kerja AI.
Pergeseran skala ini secara mendasar telah mengubah makna dari "penyimpanan primer".
Secara historis, penyimpanan utama mengacu pada sistem blok atau file yang terhubung erat dan ditempatkan dekat dengan komputasi. Namun, dalam lingkungan cloud dan AI, penyimpanan utama semakin didefinisikan oleh arsitektur terdistribusi global berbasis perangkat lunak yang memperlakukan penyimpanan objek sebagai sistem pencatatan permanen yang menyimpan dan menyajikan volume data yang sangat besar di berbagai beban kerja.
Untuk lebih memahami bagaimana redefinisi ini terjadi, mari kita uraikan prinsip-prinsip desain yang awalnya membentuk penyimpanan perusahaan.
Bagaimana Skala Mengubah Paradigma Penyimpanan
Selama beberapa dekade, ekosistem tersebut beroperasi di bawah standar umum: Portable Operating System Interface (POSIX). Dikembangkan pada era infrastruktur yang lebih terlokalisasi, POSIX memberi para pengembang model yang dapat diprediksi untuk berinteraksi dengan data.
Hal ini menekankan konsistensi baca-setelah-tulis yang kuat, penguncian file sinkron, dan struktur direktori hierarkis. Untuk satu mesin atau klaster lokal, metode ini sangat efektif, dan tetap penting bagi banyak lingkungan perusahaan dan aplikasi saat ini.
Namun, ketika model cloud muncul, pertimbangan-pertimbangan yang mendasarinya berubah. Sistem berskala cloud dibangun untuk skala, model distribusi, dan struktur biaya yang pada dasarnya berbeda dari sistem yang awalnya dirancang berdasarkan POSIX.
Dalam lingkungan terdistribusi, implementasi bergaya POSIX dapat memerlukan orkestrasi yang signifikan di seluruh node untuk mempertahankan semantik direktori, penguncian file, dan pembaruan di tempat.
Platform cloud membutuhkan skala yang sangat besar—akhirnya berkembang untuk mendukung puluhan hingga ratusan exabyte—dan dalam lingkungan ini, biaya koordinasi dari desain yang terhubung erat mulai menimbulkan latensi dan membatasi pertumbuhan secara praktis.
Dalam beban kerja AI modern yang membutuhkan kumpulan data yang lebih besar, pembuatan titik pemeriksaan (checkpointing), pemrosesan token, inferensi, dan alur data yang sangat paralel, tekanan tersebut semakin meningkat.
Di seluruh industri—dari Google Cloud Storage (GCS) dan Colossus hingga Microsoft Azure Blob, Amazon S3, dan Tectonic milik Meta—platform cloud mengadopsi arsitektur berbasis perangkat lunak yang dirancang khusus untuk data yang terdistribusi secara global dan beban kerja skala besar, dan menyempurnakannya dari waktu ke waktu seiring dengan evolusi skala dan persyaratan.
Dalam paradigma baru ini, perangkat lunak memikul lebih banyak tanggung jawab untuk orkestrasi, ketahanan, dan aliran data sehingga media penyimpanan yang mendasarinya dapat digunakan seefisien mungkin.
Hard Drive Menjadi Penopang Penyimpanan dalam Skala Besar
Dalam arsitektur cloud seperti yang saya sebutkan di atas, hard drive adalah fondasi untuk menyimpan data dalam skala besar.
Hal ini mencerminkan ekonomi kapasitas yang abadi dan fisika perekaman berdensitas tinggi. Hard drive berkapasitas tinggi modern menggabungkan teknologi seperti Shingled Magnetic Recording (SMR) dan Heat-Assisted Magnetic Recording (HAMR) untuk terus meningkatkan kepadatan areal dan memungkinkan penyimpanan skala exabyte.
Pada skala ini, sejumlah besar hard drive berfungsi sebagai sistem pencatatan, memberikan daya tahan, efisiensi biaya, dan kepadatan volumetrik yang tidak dapat ditandingi oleh teknologi penyimpanan alternatif.
Ada alasan mengapa 87% exabyte pusat data besar disimpan di hard drive1!
Seiring dengan terus berkembangnya infrastruktur cloud dan semakin besarnya volume data yang dikonsumsi, dihasilkan, disimpan, dan digunakan kembali oleh beban kerja AI, keunggulan-keunggulan ini menjadi semakin penting.
Namun, hal tersebut hanya dapat terwujud sepenuhnya jika arsitektur perangkat lunak dirancang agar selaras dengan keunggulan disk berkapasitas tinggi.
Pola akses POSIX tradisional—terutama dalam model sistem file terdistribusi yang terhubung erat dan menekankan pembaruan di tempat yang terfragmentasi dan acak—tidak selalu selaras dengan kekuatan tersebut pada skala ekstrem.
Platform cloud berbasis perangkat lunak modern mengatasi hal ini dengan merancang tumpukan penyimpanan mereka di sekitar hard drive, memungkinkan mereka untuk memprioritaskan aliran data sekuensial dengan throughput tinggi sambil mendukung ekonomi operasional yang dapat diskalakan.
Dalam kasus Amazon S3, sebuah layanan yang menyimpan 500 triliun objek dan melayani 200 juta permintaan per detik—sebuah pidato utama AWS re:Invent baru-baru ini2 menekankan bahwa rahasia kinerja penyimpanan cloud adalah menulis perangkat lunak yang mengoptimalkan kemampuan hard drive—yang digambarkan dalam presentasi sebagai “keajaiban teknik.”
Alih-alih memaksa hard drive untuk menyesuaikan diri dengan abstraksi perangkat lunak yang dirancang untuk era yang berbeda, arsitektur cloud modern direkayasa untuk melengkapi kekuatan hard drive berdensitas tinggi modern.
Bagaimana Arsitektur Cloud Membuka Kunci Efisiensi Hard Drive
Desain rekayasa ini mengambil beberapa bentuk, tetapi di seluruh platform cloud terkemuka, secara umum mencerminkan empat prinsip arsitektur. Bersama-sama, mereka menunjukkan bagaimana penyimpanan cloud semakin didominasi oleh perangkat lunak dalam hal pengelolaan aliran data, metadata, ketahanan, dan perilaku penyerapan data.
1. Kekekalan Objek Mendukung Aliran Data Sekuensial
Layanan seperti GCS dan Amazon S3 dirancang untuk mendukung immutabilitas objek dan pembaruan versi. Setelah data ditulis ke dalam penyimpanan objek, pembaruan biasanya ditangani dengan menulis versi objek yang baru, bukan dengan memodifikasi objek yang sudah ada.
Dengan mengurangi kebutuhan akan penulisan biner acak di tempat, arsitektur skala cloud mengalihkan lebih banyak beban kerja disk ke arah aliran data sekuensial yang besar. Hal itu lebih sesuai dengan bagaimana drive berkapasitas tinggi memberikan throughput dan efisiensi dalam skala besar. Manfaat ini menjadi semakin penting di bawah beban kerja AI, di mana pembuatan titik pemeriksaan (checkpoint), pemindahan kumpulan data, dan alur kerja paralel dapat menghasilkan tekanan berkelanjutan pada sistem penyimpanan bersama.
2. Metadata Semakin Banyak Ditangani Oleh Layanan Kontrol Terpisah Atau Terdistribusi
Dalam lingkungan POSIX tradisional, sistem penyimpanan sering kali mengelola metadata file dan muatan file secara terkait erat. Platform cloud hyperscale mengubah hal ini dengan memisahkan layanan metadata dari penyimpanan kapasitas, memindahkan sebagian besar pelacakan dan koordinasi ke lapisan kontrol yang lebih cepat dan lebih mudah diskalakan, daripada membiarkan beban itu tetap berada pada disk itu sendiri.
Colossus dari Google Cloud mengalihkan sebagian besar pekerjaan ini ke layanan yang berada di memori, sementara Tectonic dari Meta memisahkan metadata—dalam model sistem file terdistribusi—ke dalam layanan mikro tanpa status yang berjalan pada penyimpanan key-value yang dapat diskalakan secara horizontal. Hasilnya adalah berkurangnya beban struktural pada hard drive yang mendasarinya dan lebih banyak peluang bagi hard drive tersebut untuk memberikan kapasitas yang padat dan efisien dalam skala besar.
3. Pengkodean Penghapusan Memperkuat Ketahanan Terdistribusi
Prinsip ketiga adalah penggunaan pengkodean penghapusan (erasure coding) dan distribusi data yang luas untuk membuat sistem penyimpanan skala besar lebih tangguh dan efisien.
Arsitektur cloud mengurangi sensitivitas tersebut melalui pengkodean penghapusan dan distribusi data yang luas. Dengan menyebarkan objek ke banyak disk, sistem ini dapat mengisolasi titik-titik rawan lokal, terus melayani data melalui lonjakan latensi singkat, dan membangun kembali sesuai kebutuhan. Hal ini membuat lapisan penyimpanan lebih tangguh dan membantu mempertahankan throughput di bawah beban kerja campuran cloud dan AI.
4. Jalur Data Bertingkat
Prinsip keempat adalah bagaimana data dipersiapkan sebelum mencapai media penyimpanan berkapasitas tinggi.
Untuk menjembatani kesenjangan antara lalu lintas aplikasi yang tidak dapat diprediksi dan lingkungan terstruktur yang paling baik ditangani oleh hard drive berdensitas tinggi, arsitektur modern menggunakan jalur data multi-tingkat, menggabungkan flash atau memori untuk menyangga pemasukan dan mengoptimalkan penempatan data.
Lapisan flash menyerap laju kedatangan yang bervariasi dari lalu lintas API dan penulisan aplikasi. Sistem ini menyiapkan dan mengatur data yang masuk sebelum dipindahkan ke media penyimpanan, memungkinkan proses latar belakang untuk mengirimkannya ke susunan hard drive dalam tahapan yang panjang dan berurutan.
Dalam beban kerja AI, di mana proses penyerapan data, pembuatan titik pemeriksaan, dan perpindahan dataset dapat sangat fluktuatif, peran buffering ini menjadi semakin penting karena membantu menjaga penyerapan data dengan latensi rendah dan pemanfaatan hard drive yang efisien.
Gambar 1. Perbandingan antara perangkat lunak penyimpanan POSIX tradisional dan perangkat lunak penyimpanan berbasis cloud dalam memaksimalkan manfaat arsitektur penyimpanan yang berpusat pada hard drive.
Model Baru untuk Penyimpanan Utama
Secara bersama-sama, perubahan arsitektur ini telah membentuk kembali bagaimana penyimpanan utama didefinisikan. Secara historis, "penyimpanan utama" sering merujuk pada sistem blok atau file yang mahal dan memiliki ketersediaan tinggi yang terhubung erat dengan komputasi. Penyimpanan objek lebih umum diperlakukan sebagai tujuan tingkat bawah untuk arsip, cadangan, atau data sekunder.
Saat ini, banyak arsitektur cloud-native mendefinisikan penyimpanan utama secara lebih luas: komputasi tanpa status yang dipasangkan dengan penyimpanan objek global. Data lake yang dibangun di atas platform seperti S3, Azure, dan GCS semakin banyak berfungsi sebagai sistem pencatatan untuk analitik skala besar, aplikasi cloud, dan alur kerja AI.
Dalam model ini, penyimpanan utama semakin ditentukan oleh perangkat lunak, dengan layanan objek, lapisan metadata, buffering flash, dan hard drive berkapasitas tinggi yang bekerja bersama sebagai sistem yang terkoordinasi.
Instance komputasi sering diperlakukan sebagai sesuatu yang lebih elastis dan tanpa status, mengambil data dari lapisan objek, memprosesnya, dan menulis hasilnya kembali ke lingkungan bersama yang sama.
Konvergensi Penyimpanan Objek dan Semantik Berkas
Seiring penyimpanan objek menjadi semakin penting bagi arsitektur cloud selama dekade terakhir dan baru-baru ini bagi alur kerja AI, tren penting lainnya muncul: sistem file paralel berkinerja tinggi.
Sistem seperti Lustre, Weka, dan VAST dirancang untuk memaksimalkan kinerja untuk beban kerja yang saling terkait erat, sering kali mengekspos antarmuka yang sesuai dengan POSIX untuk mendukung pembuatan titik pemeriksaan (checkpointing), koordinasi, dan akses data dengan throughput tinggi.
Pada saat yang sama, platform penyimpanan objek terus berevolusi—mengoptimalkan skalabilitas global sekaligus meningkatkan kinerja untuk mendukung serangkaian beban kerja AI dan data intensif yang semakin luas.
Dalam lingkungan komputasi awan dan AI berskala besar, pendekatan-pendekatan ini semakin menyatu. Sistem file berkinerja tinggi sering kali berlapis di atas, atau bertingkat ke dalam, backend penyimpanan objek, menggabungkan kinerja untuk set kerja aktif dengan skalabilitas dan ekonomi penyimpanan objek sebagai sistem pencatatan.
Konvergensi ini mencerminkan pergeseran arsitektur yang lebih luas: alih-alih memilih antara file dan objek, sistem modern menggabungkan keduanya. Ini mempertahankan kemudahan folder, namespace, dan perilaku file yang sudah dikenal tanpa mengorbankan keunggulan skalabilitas penyimpanan objek.
Implikasi bagi Pengembang Infrastruktur Cloud dan AI
Jika dilihat secara keseluruhan, pergeseran-pergeseran ini mengarah pada kesimpulan yang lebih luas: arsitektur cloud dan AI membutuhkan kompromi perangkat lunak dan sistem yang berbeda dibandingkan dengan model yang awalnya dirancang untuk dioptimalkan berdasarkan standar POSIX.
Pertimbangan-pertimbangan tersebut meningkatkan pentingnya merancang perangkat lunak untuk mengoptimalkan penggunaan armada hard drive yang mendasari sistem yang dibangun. Dalam hal ini, beban kerja cloud dan AI tidak hanya mengubah arsitektur penyimpanan; tetapi juga mendefinisikan ulang penyimpanan utama itu sendiri.
Bagi para pengembang infrastruktur, kesimpulannya jelas: mendesain untuk sistem modern berarti melampaui asumsi bahwa penyimpanan utama harus sesuai dengan struktur file sistem operasi lokal. Artinya, memilih perangkat lunak dan model akses yang selaras dengan realitas ekonomi, fisika, dan beban kerja AI dalam skala besar.
Organisasi yang berhasil melakukan hal ini akan berada pada posisi yang lebih baik untuk menjalankan strategi AI secara efisien, dengan pemanfaatan GPU yang lebih tinggi, ekonomi inferensi yang lebih baik, dan lebih sedikit hambatan kinerja.
Pelajari lebih lanjut tentang inovasi hard drive yang mendukung penyimpanan utama bagi para pembangun infrastruktur AI dan cloud terbesar di dunia.
Sumber
1. IDC Datasphere dan IDC Storagesphere
2. AWS re:Invent 2025, Pidato utama Andy Warfield: S3 menyimpan lebih dari 500 triliun objek, melayani 200 juta permintaan/detik, dan memproses lebih dari 1 kuadriliun permintaan/tahun.
