VAR'larımız, Entegratörlerimiz, Satıcılarımız ve diğer kanal iş ortaklarımıza ürün eğitimi, satış ve pazarlama kaynakları, anlaşma kaydı ve daha fazlasına erişim sağlar.
Çıkarım sisteminizin verimsizliğinin ne kadarının, daha önce işlediği bağlamı yeniden hesaplamasından kaynaklandığını düşünün. Birçok yapay zeka altyapı geliştiricisi, test ortamlarında bağlamın yeniden hesaplanmasının maliyetinin nispeten önemsiz olduğunu bilir. Yönergeler kısa, oturumlar sınırlı ve performans tahmin edilebilir.
Ancak üretim farklıdır. Büyük ölçekte, verimsizlik hızla maliyet, gecikme ve kullanım sorunlarına dönüşür. SK hynix ile gerçekleştirdiğimiz son araştırma iş birliğimizde ele almayı hedeflediğimiz konu tam olarak buydu.
Seagate'in sabit disklerdeki uzmanlığı ve SK hynix'in bellek ve NAND flaş SSD'lerdeki liderliğini bir araya getiren bu araştırma, çıkarım iş yüklerinin ölçeklendirilmesinin sistem düzeyindeki ödünleşmelerini inceliyor ve çok katmanlı SSD ve sabit disk mimarilerinin başarı için nasıl temel oluşturduğunu gösteriyor.
Ajan odaklı yaklaşıma geçiş matematiği değiştirir.
Standart çıkarım, işlemseldir. Bir talep gelir, bir yanıt gönderilir ve konu kapanır. Aracı tabanlı iş yükleri bu şekilde çalışmaz. Devleti ileriye taşıyorlar. Etkileşimler boyunca bağlam birikir ve her yeni istek, bir öncekinin üzerine inşa edilir.
Geleneksel sohbet botlarıyla karşılaştırıldığında, ajansal yapay zeka 15 kata kadar daha fazla token üretiyor1, bu da sistemin yapması gerekenleri temelden değiştiriyor. Artık sadece yeni token üretmekle sınırlı değil. Daha önce yapılan çalışmaların ne kadarını koruyacağına ve ne kadarını sıfırdan yeniden inşa edeceğine karar vermelidir.
KV önbelleğinin kısıtlama haline geldiği yer
Anahtar-değer (KV) önbelleği, önceki belirteçlerin ara temsillerini saklar, böylece model her istekte bunları yeniden hesaplamaz. Başlangıçta iyi sonuç veriyor. Sınırlama kapasiteyle ilgilidir.
Bir NVIDIA H100 GPU, yaklaşık 1,2 dakikalık KV önbellek tutmaya yetecek kadar, 80 GB yüksek bant genişliğine sahip belleğe sahiptir. 1 TB CPU belleğine sahip bir sunucu bu süreyi yaklaşık 16 dakikaya uzatır. İkisinin de, oturumların saatlerce, günlerce veya haftalarca sürdüğü çok aşamalı, ajan tabanlı bir iş akışını ele almaya yaklaşması mümkün değil.
Bellek dolduğunda, sistem daha eski bağlamları silmek zorundadır. Bu bağlam tekrar önem kazandığında (ve ajan tabanlı iş yüklerinde genellikle kazanır), sistem onu yeniden hesaplar. Bu durum, ilk token'a ulaşma süresinin uzamasına, faydalı çıktıda herhangi bir artış olmaksızın GPU kullanımının yükselmesine ve talep sabit görünse bile maliyetlerin dalgalanmasına yol açar.
Daha fazla DRAM eklemek zaman kazandırır, ancak altta yatan sorunu çözmez. Sistem hala bellekle sınırlı ve iş yükleri arttıkça baskı da artıyor.
Bağlamı kalıcı bir durum olarak ele almak
İşte yaklaşımın değişmeye başladığı nokta burası diye düşünüyorum. KV önbelleğini belleğe bağlı bir optimizasyon olarak ele almak yerine, çıkarım döngüleri boyunca saklanan, geri alınan ve yeniden kullanılan kalıcı bir durum olarak düşünebiliriz.
Pratikte bu, kademeli depolama anlamına gelir. Sıcak bağlam, GPU'ya yakın, bellekte kalır. SSD'ler, hızlı veri alma ve yerleştirme için bir tampon katmanı sağlarken, sabit disk filoları, tamamen flash tabanlı sistemlere kıyasla çok daha düşük bir maliyetle günlerce veya haftalarca süren bağlamı saklamak için gereken dayanıklı kapasiteyi sağlayan nesne depolama sistemlerinin temelini oluşturur.
Asıl değişim, KV önbelleğinin artık bellekle sınırlı olmamasıdır. Bunun yerine, artık kapasiteyi ölçeklendirebilen kademeli bir depolama kaynakları kümesi üzerinden yönetilebiliyor; bu da çıkarım sistemlerinin daha fazla önceki çalışmayı saklamasına ve kaynakta yeniden hesaplamayı azaltmasına olanak tanıyor.
SK hynix ile yakın iş birliğimiz kapsamında, hibrit SSD ve sabit disk yapılandırmasıyla NVIDIA Dynamo kullanarak performans testleri gerçekleştirdik. Altyapı ekipleri için önemli olan her ölçütte etkinin ölçülebilir olduğunu tespit ettik: ilk token'a ulaşma süresi (TTFT), işlem hacmi, GPU kullanımı ve maliyet.
Test ortamı kontrollü koşulları yansıtırken, daha uzun oturumlar ve daha büyük veri kümelerinin yeniden hesaplamayı artırdığı gerçek dünya uygulamalarında etki daha da belirgindir. Birlikte yürüttüğümüz çalışmanın tüm sonuçları — depolama katmanları genelinde maliyet modellemesi ve mimari özellikler — teknik raporda ayrıntılı olarak yer almaktadır.
Hibrit depolama, yenilemeye kıyasla TTFT'de %95'lik bir iyileşme sağlar.
Bu çözüm yalnızca depolama doğrudan çıkarım yığınına entegre edildiğinde işe yarar. Bunu yapmak için, KV önbellek verilerini depolama ve GPU belleği arasında, büyük ölçekte CPU darboğazları yaratmadan veya yeni gecikmeler oluşturmadan taşımak, genel amaçlı donanımı sonradan uyarlamak yerine, amaca yönelik olarak tasarlanmış bir altyapı gerektirir.
Yapay zekâ için kayıt sistemi olarak nesne depolama
SK hynix ile yaptığımız çalışmanın, halihazırda devam eden daha geniş bir mimari dönüşümü yansıttığına inanıyorum. Çıkarım motorları daha fazla durum bilgisi içermeye başladıkça, bellek ve depolama arasındaki sınır bulanıklaşmaya başlıyor.
Bir zamanlar geçici olan bağlam, giderek kalıcı bir duruma dönüşüyor; farklı kademelerde yönetiliyor ve zaman içinde korunuyor. Bu modelde depolama yalnızca çıkarımı desteklemekle kalmaz, aynı zamanda bağlamın nasıl korunacağını ve erişileceğini de tanımlar; bu da modern yapay zeka altyapısı için kayıt sistemi olarak nesne tabanlı depolamaya doğru yaşanan değişime uyum sağlar.
Eğer ekibiniz büyük ölçekte çıkarım yapmaya yönelik mimari oluşturma konusunda kararlar alıyorsa, sisteminizi tanımlarken bu ödünleşmeleri değerlendirmek için gereken kıyaslama ölçütlerini, kademeleme yaklaşımını ve maliyet modelini özetleyen teknik inceleme belgesini okumanızı tavsiye ederim.
