Kebutuhan penyimpanan yang terus berkembang untuk infrastruktur AI.

Seiring dengan kemajuan AI (kecerdasan buatan), infrastruktur yang mendukungnya harus berkembang untuk menangani peningkatan permintaan penyimpanan dan pemrosesan data. Penyimpanan data berperan penting dalam siklus hidup infrastruktur AI, dan solusi harus mampu menghadapi tantangan AI saat ini dan masa mendatang.

Jumlah data yang dihasilkan setiap hari sangat mengejutkan. Mulai dari kota pintar yang menghasilkan 143 petabyte data per hari, menurut laporan Kaleido Intelligence¹, hingga kendaraan otonom yang menghasilkan terabyte (TB) data, kebutuhan akan solusi penyimpanan data yang efisien semakin mendesak dari sebelumnya. Perusahaan mobil otonom mengunggah data dalam jumlah besar ke penyedia layanan cloud, tempat data tersebut diproses dan digunakan untuk meningkatkan model AI. Aliran data yang berkelanjutan ini memerlukan solusi penyimpanan tangguh yang dapat menangani volume dan kecepatan yang diperlukan untuk aplikasi AI.

Performa vs. daya.

Meskipun berfokus pada teknologi canggih seperti GPU (unit pemrosesan grafis), hard disk tetap menjadi komponen penting dari infrastruktur AI. Keduanya menyediakan kapasitas penyimpanan yang diperlukan untuk kumpulan data besar yang digunakan dalam pelatihan dan inferensi AI. Saat GPU menangani beban pemrosesan data yang berat, hard disk menyimpan data yang memasok proses ini. Hubungan simbiosis ini memastikan sistem AI dapat beroperasi secara efisien tanpa terhambat oleh batasan penyimpanan.

Salah satu tantangan terbesar dalam infrastruktur AI adalah menyeimbangkan performa dengan pemakaian daya. Seiring pertumbuhan kluster GPU, daya yang diperlukan untuk menjalankannya meningkat secara signifikan. Misalnya, penerapan besar seperti yang dilakukan oleh para pemimpin AI melibatkan ribuan GPU, masing-masing memakai daya dalam jumlah besar. Hal ini menciptakan kebutuhan akan solusi penyimpanan yang tidak hanya menawarkan performa tinggi, tetapi juga beroperasi secara efisien dalam hal penggunaan daya. Sebagai gambaran, satu GPU dapat memakai hingga 700 watt, dan penerapan skala besar dapat melibatkan hingga 100.000 GPU, sehingga menghasilkan kebutuhan daya sebesar 70 megawatt. Komponen ini setara dengan alokasi daya total dari pusat data besar. Oleh karena itu, solusi penyimpanan harus dirancang untuk meminimalkan pemakaian daya sekaligus memaksimalkan performa jika ingin sesuai dengan solusi bersamaan dengan GPU.

Pentingnya titik pemeriksaan.

Dalam pelatihan AI, titik pemeriksaan sangat penting untuk mencegah kemajuan yang hilang jika terjadi kegagalan sistem. Titik pemeriksaan ini menyimpan status model AI secara berkala (misalnya, setiap beberapa menit), sehingga proses pelatihan dapat dilanjutkan dari status terakhir yang disimpan, bukan memulai dari awal. Ini sangat penting untuk sesi pelatihan jangka panjang yang dapat berlangsung selama berminggu-minggu atau bahkan berbulan-bulan. Penyimpanan titik pemeriksaan yang efisien memerlukan solusi penyimpanan cepat yang dapat secara cepat menyimpan dan mengambil data dalam jumlah besar.

Misalnya, beberapa platform pelatihan besar melakukan penyimpanan titik pemeriksaan setiap menit selama pelatihan, menyimpan data ke SSD (hard disk solid-state), lalu mentransfernya ke hard disk. Proses ini memastikan bahwa meskipun terjadi kegagalan, pelatihan dapat dilanjutkan dengan kehilangan data yang minimal. Ukuran titik pemeriksaan ini bisa sangat besar, dengan beberapa model memerlukan penyimpanan hingga 12 TB per titik pemeriksaan.

Hard disk sangat penting untuk penyimpanan titik pemeriksaan AI karena skalabilitas, efisiensi biaya, efisiensi daya dan keberlanjutan, serta daya tahan.

Tren dan inovasi masa mendatang.

Ke depannya, permintaan penyimpanan AI diperkirakan akan tumbuh secara eksponensial. Menurut data dari Bloomberg Intelligence, IDC, eMarketer, dan Statista², pada tahun 2032, pasar penyimpanan AI diproyeksikan mencapai 92 miliar USD. Pertumbuhan ini akan didorong oleh meningkatnya kompleksitas model AI dan perluasan penggunaan AI di berbagai industri. Untuk memenuhi permintaan ini, solusi penyimpanan harus menjadi lebih canggih, menawarkan kapasitas yang lebih tinggi, kecepatan yang lebih tinggi, dan efisiensi daya yang lebih baik.

Beberapa inovasi teknis sedang dieksplorasi untuk memenuhi kebutuhan penyimpanan infrastruktur AI:

• Pertumbuhan densitas area. Pertumbuhan hard disk yang berkelanjutan dengan berinovasi pada head dan media perangkat memungkinkan dimensi kapasitas yang lebih besar dalam ukuran yang sama. Hard disk yang didukung Seagate Mozaic adalah penyimpanan hard disk paling efisien di dunia, yang mampu menurunkan biaya akuisisi dan operasional, sekaligus meningkatkan produktivitas. Dengan hard disk Mozaic yang menghadirkan peningkatan densitas area, pelanggan dapat menyimpan lebih banyak data tanpa meningkatkan penggunaan ruang, daya, atau sumber daya alam. Mozaic 3+ membantu pelanggan meraih tujuan keberlanjutan, yakni prioritas utama untuk pusat data berskala besar, dengan menawarkan pengurangan kandungan karbon sebesar 55% per terabyte³.
• Hard disk aktuator ganda. Hard disk ini menawarkan peningkatan performa dengan menggunakan dua aktuator untuk membaca dan menulis data secara bersamaan. Hal ini dapat meningkatkan throughput data secara signifikan, sehingga lebih mudah untuk menangani sejumlah data besar yang dihasilkan oleh aplikasi AI.
• Hard disk berbasis NVMe. Teknologi NVMe (non-volatile memory express) menyediakan akses data yang lebih cepat dibandingkan dengan interface SATA (serial advanced technology attachment) atau SAS (serial-attached SCSI [small computer system interface]) biasa. Dengan mengadopsi hard disk berbasis NVMe, pusat data dapat mencapai performa yang lebih tinggi dan latensi yang lebih rendah, yang sangat penting untuk beban kerja AI.
• Interkoneksi optik. Saat kecepatan transfer data meningkat, interkoneksi tembaga biasa dapat menjadi hambatan. Interkoneksi optik menawarkan bandwidth yang lebih tinggi dan latensi yang lebih rendah, yang memungkinkan perpindahan data yang lebih cepat antara perangkat penyimpanan dan unit pemrosesan.
• Solusi penyimpanan hemat energi. Dengan meningkatnya permintaan daya infrastruktur AI, solusi penyimpanan harus lebih hemat energi. Ini termasuk mengembangkan hard disk yang memakai lebih sedikit daya sekaligus mempertahankan performa tinggi, serta mengeksplorasi teknologi pendinginan baru untuk mengelola panas yang dihasilkan oleh penerapan berskala besar.

Tuntutan penyimpanan AI yang terus berkembang.

Kebutuhan penyimpanan untuk infrastruktur AI berkembang pesat, didorong oleh pertumbuhan data yang eksponensial dan kompleksitas model AI yang semakin meningkat. Saat kami bergerak maju, akan sangat penting untuk mengembangkan solusi penyimpanan yang dapat mengimbangi tuntutan ini, sehingga sistem AI dapat terus maju dan memenuhi janji mereka untuk mengubah industri dan meningkatkan kehidupan.

1.  Seri Konektivitas IoT Seluler: Peluang & Perkiraan Kota Pintar, Kaleido Intelligence, 2023, https://kaleidointelligence.com/smart-cities-2027/
2. AI Generatif Menjadi Pasar Senilai 1,3 Triliun USD pada tahun 2032, Research Finds, Bloomberg Intelligence, 2023, https://www.bloomberg.com/company/press/generative-ai-to-become-a-1-3-trillion-market-by-2032-research-finds/
3. Perbandingan antara Hard disk Mozaic 3+ 30 TB dengan hard disk PMR konvensional 16 TB. Kandungan karbon mencakup emisi yang dihasilkan selama ekstraksi bahan mentah, manufaktur/perakitan produk, dan semua transportasi bahan dari ekstraksi ke manufaktur dan dari manufaktur ke pelanggan.