BLOG

Penyimpanan dan komputasi: kebutuhan bersama untuk alur kerja AI.

Hard disk dan SSD menggabungkan GPU, CPU, HBM, dan DRAM sebagai komponen penting dalam aplikasi AI.

Daftar Isi

storage-and-compute-tandem-needs-for-ai-thumbnail-image storage-and-compute-tandem-needs-for-ai-thumbnail-image storage-and-compute-tandem-needs-for-ai-thumbnail-image

Adopsi aplikasi AI (kecerdasan buatan) terus berkembang di seluruh dunia. Secara bersamaan, kemampuan solusi TI yang memungkinkan AI berakselerasi secara cepat. Kemudian, tercipta inovasi yang belum pernah ada sebelumnya. 

Saat ini, sisi prosesor (logika) sangat diperhatikan oleh para pemimpin perusahaan dan investor atas kontribusinya terhadap AI. Yang pasti, prosesor penting untuk AI dan komputasi berperforma tinggi. Namun, kesuksesan AI tidak hanya bergantung pada komputasi dan performa berkecepatan tinggi. Dengan posisi penting yang sama, aplikasi AI juga mengandalkan penyimpanan data, yang menyediakan repositori awal data mentah, mengaktifkan penyimpanan titik pemeriksaan yang membangun kepercayaan ke dalam alur kerja AI, serta menyimpan inferensi dan hasil analisis AI. 

Setiap implementasi AI yang berhasil memerlukan sinergi sumber daya komputasi dan penyimpanan data. 

Seiring pusat data besar meningkatkan kemampuan AI mereka, semakin jelas bahwa aplikasi AI tidak hanya bergantung pada sisi komputasi arsitektur pusat data AI. Kluster komputasi terdiri atas prosesor dengan performa tinggi, HBM (memori bandwidth tinggi), DRAM (memori akses acak dinamis), dan SSD (solid-state drive) lokal berperforma cepat, yang membangun mesin canggih untuk pelatihan AI. Komponen kluster komputasi bersifat lokal, biasanya diposisikan saling berdekatan, karena jarak tambahan apa pun dapat menimbulkan masalah latensi dan performa.

Aplikasi AI juga bergantung pada kluster penyimpanan, yang mencakup hard disk jaringan dan SSD jaringan berkapasitas tinggi (dimaksudkan untuk kapasitas yang lebih tinggi dibandingkan dengan SSD lokal yang lebih berperforma dalam kluster komputasi). Kluster penyimpanan tersambung ke jaringan (terdistribusi), karena tidak terlalu memperhatikan kecepatan performa penyimpanan dalam skala besar. Jarak komponen adalah faktor yang lebih kecil dalam persamaan latensi totalnya, dibandingkan dengan kluster komputasi, tempat latensi yang diharapkan dapat mencapai nanodetik. Data pada akhirnya mengalir ke kluster penyimpanan, yang sebagian besar terdiri atas hard disk berkapasitas besar untuk retensi jangka panjang.

Artikel ini membahas cara kerja komputasi dan penyimpanan dalam beberapa fase alur kerja AI biasa.

Performa dan skalabilitas untuk AI.

Beberapa teknologi dalam alur kerja AI lebih berperforma dan beberapa lebih terukur, tetapi masing-masing merupakan bagian integral dari proses. Memori pada perangkat berperforma tinggi, umumnya terdiri atas HBM atau DRAM yang terpasang ke prosesor, GPU (unit pemrosesan grafis), dan CPU (unit pemrosesan pusat) atau DPU (unit pemrosesan data). DPU adalah mesin fungsional offload, terpasang ke CPU, yang membantu tugas tertentu. Beberapa arsitektur menggunakannya, sementara yang lain tidak. Throughput memori yang tinggi memungkinkan pengambilan data dan aspek pelatihan model AI yang efisien.

Latensi rendah dan kapasitas SSD yang memadai memungkinkan inferensi cepat dan akses yang sering dilakukan ke konten yang disimpan. Dalam arsitektur pusat data AI, SSD lokal berperforma cepat disertakan dalam kluster komputasi, dekat dengan prosesor dan memori. SSD lokal biasanya menjalankan memori sel tiga tingkat dan juga memiliki daya tahan tinggi, tetapi SSD lokal biasanya lebih mahal daripada SSD jaringan dan tidak memiliki kapasitas tinggi yang sama. 

SSD jaringan, dengan kapasitas penyimpanan data yang lebih tinggi dibandingkan dengan SSD lokal, disertakan dalam kluster penyimpanan, dengan tanggung jawab khusus lainnya di seluruh alur kerja aplikasi AI. Kecepatan performanya tidak sesuai dengan kecepatan SSD lokal. SSD jaringan relatif kurang tahan lama dalam hal penulisan hard disk per hari, tetapi mereka mengimbanginya dengan kapasitas yang lebih besar.

Hard disk jaringan, yang juga merupakan bagian dari kluster penyimpanan arsitektur pusat data AI, adalah perangkat TI paling terukur dan efisien dalam alur kerja AI. Perangkat ini memiliki kecepatan akses yang relatif sedang, tetapi berkapasitas sangat tinggi, yang sempurna untuk instans yang tidak memerlukan akses cepat yang sering.

Loop AI tanpa batas.

Alur kerja AI beroperasi dalam loop konsumsi dan pembuatan tanpa batas, yang tidak hanya memerlukan prosesor dan memori yang mendukung komputasi, tetapi juga komponen penyimpanan. Langkah-langkah alur kerja AI yang saling berhubungan mencakup pencarian sumber data, pelatihan model, pembuatan konten, penyimpanan konten, pelestarian data, dan penggunaan kembali data. Mari kita lihat peran komputasi dan penyimpanan dalam tahap-tahap ini.

Langkah 1: pencarian sumber data.

Tahap pencarian sumber data ini melibatkan definisi, penemuan, dan persiapan data untuk analisis AI.

Komputasi: GPU memainkan peran mendasar dalam tahap pencarian sumber data dengan meningkatkan prapemrosesan dan transformasi data berkecepatan tinggi. GPU melengkapi CPU, menjalankan penghitungan berulang secara paralel sementara aplikasi utama berjalan pada CPU. CPU bertindak sebagai unit utama, yang mengelola beberapa tugas komputasi tujuan umum karena GPU melakukan serangkaian tugas yang lebih khusus dan kecil.

Penyimpanan: Pada tahap pencarian sumber data, SSD jaringan dan hard disk jaringan digunakan untuk menyimpan sejumlah besar data yang diperlukan untuk membuat data yang baru. SSD jaringan bertindak sebagai tingkatan data yang dapat diakses langsung, menawarkan performa yang lebih cepat. Hard disk jaringan menyediakan kapasitas yang luas, padat, dan terukur, serta menyediakan data mentah dengan retensi dan perlindungan data jangka panjang.

Langkah 2: pelatihan model.

Dalam langkah pelatihan model, model belajar dari data yang tersimpan. Pelatihan adalah proses percobaan tempat model bertemu dan dilindungi dengan titik pemeriksaan. Pelatihan ini memerlukan akses data berkecepatan tinggi.

Komputasi: GPU sangat penting selama tahap pelatihan model, tempat kemampuan pemrosesan paralel memungkinkannya menangani beban komputasi besar yang terlibat dalam pembelajaran mendalam. Pelatihan AI melibatkan ribuan perkalian matriks, yang ditangani GPU secara bersamaan, mempercepat proses dan memungkinkannya melatih model kompleks dengan miliaran parameter. CPU bekerja bersama GPU, mengatur alur data antara memori dan sumber daya komputasi. CPU mengelola tugas seperti persiapan batch dan manajemen antrean, sehingga data yang tepat dimasukkan ke dalam GPU pada waktu yang tepat. CPU juga menangani pengoptimalan hyperparameter model, melakukan penghitungan yang mungkin tidak memerlukan kekuatan pemrosesan paralel GPU.

Dalam pelatihan model, HBM dan DRAM penting untuk akses data cepat, yang menyimpan kumpulan data aktif di dekat prosesor. HBM, yang biasanya terintegrasi ke dalam GPU, secara signifikan meningkatkan kecepatan pemrosesan data dengan menjaga agar data yang paling sering digunakan dapat diakses oleh GPU selama pelatihan.

SSD lokal berfungsi sebagai penyimpanan akses cepat untuk kumpulan data yang digunakan dalam tahap ini. SSD lokal menyimpan hasil pelatihan menengah dan memungkinkan pengambilan cepat kumpulan data besar. Ini sangat berguna untuk model pelatihan yang memerlukan akses cepat ke data dalam jumlah besar, seperti model pengenalan gambar yang melibatkan jutaan gambar.

Penyimpanan: Hard disk secara ekonomis menyimpan sejumlah besar data yang diperlukan untuk melatih model AI. Selain menyediakan kapasitas terukur yang diperlukan, hard disk membantu mempertahankan integritas data, menyimpan dan melindungi versi replika dari konten yang dibuat. Hard disk lebih hemat biaya dibandingkan dengan opsi penyimpanan lainnya, menyediakan penyimpanan jangka panjang yang andal, serta mempertahankan dan mengelola kumpulan data besar secara efisien.

Di antara fungsi lainnya, hard disk jaringan dan SSD jaringan menyimpan titik pemeriksaan untuk melindungi dan menyempurnakan pelatihan model. Titik pemeriksaan adalah snapshot yang disimpan dari status model pada saat tertentu selama pelatihan, penyesuaian, dan adaptasi. Snapshot ini dapat digunakan nanti untuk membuktikan kekayaan intelektual atau menunjukkan cara algoritme sampai pada kesimpulannya. Saat SSD digunakan dalam penyimpanan titik pemeriksaan, titik pemeriksaan ditulis pada interval yang cepat (yaitu, setiap menit) karena akses latensinya yang rendah. Namun, data tersebut biasanya akan ditimpa setelah durasi yang singkat karena kapasitasnya yang kecil dibandingkan dengan hard disk. Sebaliknya, titik pemeriksaan hard disk tersimpan biasanya ditulis pada interval yang lebih lambat (misalnya, setiap lima menit), tetapi dapat disimpan hampir terus-menerus karena kapasitas hard disk yang terukur.

Langkah 3: pembuatan konten.

Fase pembuatan konten melibatkan proses inferensi yang menggunakan model terlatih untuk membuat output.

Komputasi: Selama pembuatan konten, GPU menjalankan tugas inferensi AI, menerapkan model terlatih ke input data baru. Paralelisme ini memungkinkan GPU melakukan beberapa inferensi secara bersamaan, menjadikannya sangat diperlukan untuk aplikasi real-time seperti pembuatan video atau sistem AI percakapan. Meskipun GPU mendominasi tugas komputasi selama pembuatan konten, CPU sangat penting untuk mengelola logika kontrol dan menjalankan operasi apa pun yang memerlukan pemrosesan seri. Ini termasuk membuat skrip, menangani input pengguna, dan menjalankan tugas latar belakang dengan prioritas lebih rendah yang tidak memerlukan throughput GPU yang tinggi.

Langkah pembuatan konten menggunakan HBM dan DRAM. Memori memainkan peran penting di sini dalam hal akses data secara real-time, yang secara cepat menyimpan hasil inferensi AI dan memasukkannya kembali ke model untuk penyempurnaan lebih lanjut. DRAM berkapasitas tinggi memungkinkan beberapa iterasi pembuatan konten tanpa memperlambat alur kerja, terutama dalam aplikasi seperti pembuatan video atau pemrosesan gambar secara real-time.

Selama pembuatan konten, SSD lokal memberikan kecepatan baca/tulis tinggi yang diperlukan untuk pemrosesan secara real-time. Baik AI menghasilkan gambar, video, maupun teks baru, SSD memungkinkan sistem untuk menangani operasi I/O berkecepatan tinggi tanpa hambatan, memastikan konten diproduksi dengan cepat.

Penyimpanan: Pengaktif penyimpanan utama dari langkah pembuatan adalah HBM, DRAM, dan SSD lokal.

Langkah 4: penyimpanan konten.

Dalam tahap penyimpanan konten, data yang baru dibuat disimpan untuk penyempurnaan berkelanjutan, jaminan kualitas, dan kepatuhan.

Komputasi:
Meskipun tidak terlibat langsung dalam penyimpanan jangka panjang, GPU dan CPU dapat membantu mengompresi atau mengenkripsi data saat sedang disiapkan untuk penyimpanan. Kemampuannya untuk memproses volume data yang besar dengan cepat berarti konten siap untuk diarsipkan tanpa penundaan. Memori digunakan sebagai cache sementara sebelum data dipindahkan ke penyimpanan jangka panjang. DRAM mempercepat operasi tulis, menyimpan konten buatan AI dengan cepat dan efisien. Ini sangat penting dalam aplikasi AI real-time, yang mana penundaan dalam menyimpan data dapat menyebabkan kemacetan.

Penyimpanan: Tahap penyimpanan konten bergantung pada SSD jaringan dan hard disk jaringan yang menyimpan data untuk penyempurnaan berkelanjutan, jaminan kualitas, dan kepatuhan. SSD jaringan menyediakan tingkat data yang sesuai dengan kecepatan dan digunakan untuk penyimpanan konten buatan AI dalam jangka pendek dan berkecepatan tinggi. Mengingat kapasitasnya yang lebih rendah dibandingkan dengan hard disk, SSD biasanya menyimpan konten yang sering diakses atau konten yang harus segera tersedia untuk diedit dan disempurnakan.

Proses iterasi menghasilkan data baru tervalidasi yang memerlukan penyimpanan. Data ini disimpan untuk penyempurnaan berkelanjutan, jaminan kualitas, dan kepatuhan. Hard disk menyimpan dan melindungi versi replika dari konten yang dibuat serta menyediakan kapasitas kritis untuk menyimpan konten yang dihasilkan selama proses AI. Hard disk sangat cocok untuk hal ini karena menawarkan kapasitas penyimpanan tinggi dengan biaya yang relatif rendah dibandingkan dengan opsi penyimpanan lain seperti SSD.

Langkah 5: pelestarian data.

Dalam tahap pelestarian data, kumpulan data replikasi dipertahankan di seluruh wilayah dan lingkungan. Sumber daya penyimpanan biasanya digunakan dalam tahap ini.

Penyimpanan: Data tersimpan adalah fondasi utama AI tepercaya, yang memungkinkan ilmuwan data memastikan model berfungsi seperti yang diharapkan. SSD jaringan digunakan sebagai gasket performa untuk menghubungkan hard disk ke lapisan SSD lokal dan membantu memindahkan data di sekitar ekosistem.

Hard disk adalah pengaktif utama data yang memerlukan penyimpanan dan perlindungan data jangka panjang. Hard disk membantu mempertahankan hasil pembuatan konten AI, menyimpan konten yang dihasilkan secara aman, sehingga dapat diakses bila diperlukan. Hard disk juga menyediakan skalabilitas yang diperlukan untuk menangani peningkatan volume data secara efisien.

Langkah 6: penggunaan kembali data.

Akhirnya, di tahap penggunaan kembali data, sumber, pelatihan, dan data inferensi diterapkan ke iterasi berikutnya pada alur kerja.

Komputasi: GPU memainkan peran penting dalam fase penggunaan kembali data dengan menjalankan kembali model pada kumpulan data yang diarsipkan untuk inferensi baru atau pelatihan tambahan, sehingga siklus data AI dapat dimulai kembali. Kemampuannya untuk melakukan komputasi paralel pada kumpulan data besar memungkinkan sistem AI terus meningkatkan akurasi model dengan investasi waktu yang minimal. CPU meminta dan mengambil data yang disimpan untuk digunakan kembali. CPU secara efisien memfilter dan memproses data historis, memasukkan kembali bagian yang relevan ke model pelatihan. Dalam sistem AI berskala besar, CPU sering melakukan tugas ini sambil mengelola interaksi antara sistem penyimpanan dan kluster komputasi.

Saat data historis diambil untuk digunakan kembali dalam iterasi lain dari analisis model AI, memori menjamin akses cepat ke kumpulan data besar. HBM memungkinkan pemuatan cepat kumpulan data ke dalam memori GPU, tempat kumpulan data dapat segera digunakan untuk pelatihan ulang atau inferensi secara real-time.

Penyimpanan: Output konten memberikan umpan balik ke model, meningkatkan akurasi, dan mengaktifkan model baru. Hard disk dan SSD jaringan mendukung pembuatan data AI yang tersebar secara geografis. Kumpulan data mentah dan hasilnya menjadi sumber untuk alur kerja baru. SSD mempercepat pengambilan data yang disimpan sebelumnya. Akses berlatensi rendahnya mendorong integrasi ulang data ini secara cepat ke dalam alur kerja AI, sehingga mengurangi waktu tunggu dan meningkatkan efisiensi sistem secara keseluruhan. Hard disk memenuhi persyaratan penyimpanan berkapasitas besar dari tahap penggunaan kembali data AI, sehingga memungkinkan iterasi model berikutnya untuk diterapkan dengan biaya terjangkau.

Penyimpanan adalah tulang punggung AI.

Seperti yang telah kita lihat, alur kerja AI membutuhkan prosesor berperforma tinggi serta solusi penyimpanan data. Memori pada perangkat dan SSD penting dalam aplikasi AI karena performanya yang berkecepatan tinggi, yang memungkinkan inferensi cepat. Namun, kami menganggap hard disk sebagai tulang punggung AI. Hard disk sangat penting mengingat skalabilitas ekonominya, yang harus dimiliki dalam banyak alur kerja AI.

Hard disk Seagate yang dilengkapi teknologi Mozaic 3+™ —implementasi unik teknologi HAMR (perekaman magnetik dengan bantuan panas) kami merupakan pilihan yang andal untuk aplikasi AI karena densitas area, efisiensi, dan manfaat pengoptimalan ruangnya. Hard disk ini memberikan densitas area lebih dari 3 TB per plater yang belum pernah ada sebelumnya, yang saat ini tersedia dalam kapasitas mulai dari 30 TB dan pengiriman dalam volume ke pelanggan hyperscale. Seagate telah menguji platform Mozaic yang mencapai lebih dari 4 TB dan 5 TB per plater.

Dibandingkan dengan hard disk PMR (perekaman magnetik tegak lurus) generasi saat ini, hard disk Mozaic 3+ memerlukan daya operasi empat kali lebih sedikit dan mengemisikan kandungan karbon sepuluh kali lebih rendah per terabyte.

Dalam beban kerja AI, komputasi dan penyimpanan saling bekerja sama. Pemrosesan dan memori yang berpusat pada komputasi, serta SSD berperforma tinggi, sangat penting dalam aplikasi AI. Begitu juga dengan solusi penyimpanan data berkapasitas besar yang terukur, dengan hard disk Seagate yang terdepan.