Menyediakan akses ke pelatihan produk, penjualan, dan sumber daya pemasaran, pendaftaran kesepakatan, serta banyak lagi untuk VAR, Integrator, Penjual, dan mitra saluran lainnya.
Pertimbangkan seberapa besar inefisiensi sistem inferensi Anda berasal dari komputasi ulang konteks yang telah diproses sebelumnya. Banyak pengembang infrastruktur AI mengetahui bahwa di lingkungan pengujian, biaya komputasi ulang konteks relatif tidak signifikan. Perintah yang diberikan singkat, sesi terbatas, dan performa dapat diprediksi.
Namun, proses produksinya berbeda. Dalam skala besar, inefisiensi dengan cepat bertambah parah menjadi tantangan biaya, latensi, dan pemanfaatan. Inilah yang ingin kami atasi dalam kolaborasi penelitian terbaru kami dengan SK hynix.
Dengan menggabungkan keahlian Seagate dalam hard disk dan kepemimpinan SK hynix dalam memori dan SSD flash NAND, penelitian ini mengeksplorasi pertimbangan tingkat sistem dalam meningkatkan beban kerja inferensi, dan menunjukkan cara arsitektur SSD dan hard disk multi-tingkat menjadi dasar kesuksesan.
Pergeseran ke agen mengubah matematika
Inferensi standar bersifat transaksional. Sebuah permintaan masuk, tanggapan dikirim, dan semuanya kembali normal. Beban kerja agen tidak bekerja seperti itu. Beban kerja agen dapat mengubah kondisi. Konteks terakumulasi sepanjang interaksi, dan setiap permintaan baru dibangun berdasarkan hal yang telah ada sebelumnya.
Dibandingkan dengan bot obrolan konvensional, AI agen menghasilkan hingga 15 kali lebih banyak token1, yang secara fundamental mengubah tindakan yang harus dilakukan sistem. Sistem ini tidak lagi hanya menghasilkan token baru. Pihak tersebut harus memutuskan seberapa banyak pekerjaan sebelumnya yang akan dipertahankan dan seberapa banyak yang akan dibangun kembali dari awal.
Titik kendala cache KV
Cache key-value (KV) menyimpan representasi sementara dari token sebelumnya, sehingga model tidak mengkomputasi ulang token tersebut pada setiap permintaan. Pada awalnya, sistem ini bekerja dengan baik. Hambatannya adalah kapasitas.
GPU NVIDIA H100 memiliki memori berkecepatan tinggi sebesar 80 GB, yang cukup untuk menyimpan sekitar 1,2 menit cache KV. Server dengan memori CPU 1TB memperpanjang waktu tersebut menjadi sekitar 16 menit. Tidak satu pun dari keduanya mampu mengatasi alur kerja agen multi-giliran yang sesi dapat berlangsung selama berjam-jam, berhari-hari, atau berminggu-minggu.
Saat memori tersebut penuh, sistem harus menghapus konteks yang lebih lama. Saat konteks tersebut menjadi relevan kembali (dan dalam beban kerja agen, biasanya memang demikian), sistem akan mengkomputasi ulang konteks tersebut. Hal ini mengakibatkan peningkatan waktu untuk mendapatkan token pertama, peningkatan pemanfaatan GPU tanpa peningkatan output yang bermanfaat, dan fluktuasi biaya bahkan saat permintaan tampak stabil.
Menambahkan lebih banyak DRAM memang memberi waktu, tetapi tidak menyelesaikan masalah mendasar. Sistem ini masih dibatasi oleh memori dan tekanan meningkat seiring dengan bertambahnya beban kerja.
Memperlakukan konteks sebagai kondisi yang tetap
Di sinilah saya melihat pendekatan mulai berubah. Alih-alih memperlakukan cache KV sebagai optimasi yang terikat memori, cache KV dapat dilihat sebagai status persisten yang dipertahankan, diambil, dan digunakan kembali di seluruh siklus inferensi.
Dalam praktiknya, itu berarti penyimpanan bertingkat. Konteks yang sering diakses tetap berada di memori, dekat dengan GPU. SSD menyediakan lapisan buffer untuk pengambilan dan penempatan data yang cepat, sementara sejumlah besar hard disk mendukung sistem penyimpanan objek yang memberikan kapasitas tahan lama yang dibutuhkan untuk menyimpan konteks selama berhari-hari atau berminggu-minggu dengan biaya yang jauh lebih rendah daripada penyimpanan berbasis flash sepenuhnya.
Pergeseran sebenarnya adalah bahwa cache KV tidak lagi terbatas pada memori. Sebaliknya, kini cache KV dapat dikelola melalui serangkaian sumber daya penyimpanan bertingkat yang dapat meningkatkan kapasitas, memungkinkan sistem inferensi untuk mempertahankan lebih banyak pekerjaan sebelumnya dan mengurangi komputasi ulang di sumbernya.
Dalam kerja sama erat kami dengan SK hynix, kami melakukan pengujian tolok ukur menggunakan NVIDIA Dynamo dengan konfigurasi SSD dan hard disk hibrida. Kami menemukan bahwa dampaknya terukur di setiap metrik yang penting bagi tim infrastruktur: waktu hingga token pertama (TTFT), keluaran, pemanfaatan GPU, dan biaya.
Meskipun lingkungan pengujian mencerminkan kondisi terkontrol, dampaknya bahkan lebih terasa dalam penerapan di dunia nyata yang sesi yang lebih panjang dan kumpulan data yang lebih besar memperkuat komputasi ulang. Hasil lengkap dari kerja sama kami—pemodelan biaya di berbagai tingkatan penyimpanan dan spesifikasi arsitektur—dirinci dalam dokumen teknis.
Penyimpanan hibrida memberikan peningkatan 95% pada TTFT dibandingkan dengan regenerasi.
Solusi ini hanya berfungsi jika penyimpanan terintegrasi langsung ke dalam tumpukan inferensi. Untuk melakukan itu, memindahkan data cache KV antara penyimpanan dan memori GPU tanpa hambatan CPU dalam skala besar atau menimbulkan latensi baru memerlukan infrastruktur yang dirancang khusus, bukan memodifikasi perangkat keras umum.
Penyimpanan objek sebagai sistem pencatatan untuk AI.
Saya percaya kerja sama kami dengan SK hynix mencerminkan pergeseran arsitektur yang lebih luas yang sudah berlangsung. Seiring dengan semakin banyaknya mesin inferensi yang memiliki status, batasan antara memori dan penyimpanan mulai kabur.
Yang sebelumnya merupakan konteks sementara, kini semakin menjadi kondisi yang persisten—dikelola di berbagai tingkatan dan dipertahankan dari waktu ke waktu. Dalam model tersebut, penyimpanan tidak hanya mendukung inferensi, tetapi juga mendefinisikan cara konteks dipertahankan dan diakses, sejalan dengan pergeseran menuju penyimpanan objek sebagai sistem pencatatan untuk infrastruktur AI modern.
Jika tim Anda sedang membuat keputusan terkait arsitektur untuk inferensi dalam skala besar, sebaiknya baca dokumen teknis ini, yang menguraikan tolok ukur, pendekatan tingkatan, dan model biaya yang diperlukan untuk mengevaluasi pertimbangan-pertimbangan ini saat menetapkan sistem Anda.
