Umożliwia naszym sprzedawcom typu VAR, integratorom, pośrednikom sprzedaży i innym partnerom dostęp do szkoleń z zakresu produktów, zasobów sprzedażowych i marketingowych, rejestrację okazji sprzedażowych i nie tylko.
Udostępnia bezpośrednim klientom samoobsługowe narzędzia B2B, takie jak narzędzia do wyceny, programy, możliwość składania zamówień, realizacji zwrotów i wystawiania rachunków.
Zastanów się, w jakim stopniu nieefektywność Twojego systemu wnioskowania wynika z ponownego obliczania kontekstu, który już został przetworzony. Wielu twórców infrastruktury AI wie, że w środowiskach testowych koszt ponownego obliczenia kontekstu jest stosunkowo nieznaczny. Monity są krótkie, sesje mają charakter ograniczony, a wydajność jest przewidywalna.
Ale produkcja jest inna. W przypadku dużej skali nieefektywność szybko przekłada się na problemy związane z kosztami, opóźnieniami i wykorzystaniem zasobów. Właśnie to chcieliśmy osiągnąć w naszej najnowszej współpracy badawczej z firmą SK hynix.
Łącząc wiedzę specjalistyczną firmy Seagate w zakresie dysków twardych z wiodącą pozycją firmy SK hynix w zakresie pamięci i dysków SSD flash NAND, badania te analizują kompromisy na poziomie systemowym związane ze skalowaniem obciążeń wnioskowania i pokazują, w jaki sposób wielowarstwowe architektury dysków SSD i dysków twardych stanowią podstawę sukcesu.
Przejście na agenturę zmienia matematykę
Standardowe wnioskowanie ma charakter transakcyjny. Przychodzi prośba, wychodzi odpowiedź i sprawa się wyjaśnia. Obciążenia agentów nie działają w ten sposób. Oni przenoszą państwo do przodu. Kontekst kumuluje się w trakcie interakcji, a każde nowe żądanie bazuje na tym, co pojawiło się poprzednio.
W porównaniu z konwencjonalnymi chatbotami, sztuczna inteligencja oparta na agentach generuje do 15 razy więcej tokenów1, co fundamentalnie zmienia zakres działania systemu. Nie ogranicza się już tylko do generowania nowych tokenów. Należy podjąć decyzję, ile wcześniejszej pracy zachować, a ile odtworzyć od podstaw.
Gdzie pamięć podręczna KV staje się ograniczeniem
Pamięć podręczna wartości kluczowych (KV) przechowuje pośrednie reprezentacje poprzednich tokenów, dzięki czemu model nie oblicza ich ponownie przy każdym żądaniu. Na początku działa dobrze. Ograniczeniem jest pojemność.
Procesor graficzny NVIDIA H100 ma 80 GB pamięci o dużej przepustowości, co wystarcza na około 1,2 minuty pamięci podręcznej KV. Serwer z pamięcią procesora 1TB wydłuża ten czas do około 16 minut. Żadne z nich nie jest w stanie obsłużyć wieloetapowego przepływu pracy agenta, w którym sesje trwają godziny, dni lub tygodnie.
Gdy pamięć się zapełni, system musi usunąć starszy kontekst. Gdy kontekst ten staje się ponownie istotny (a w przypadku obciążeń agentowych zwykle tak się dzieje), system dokonuje jego ponownego obliczenia. W efekcie skraca się czas potrzebny do uzyskania pierwszego tokena, wzrasta wykorzystanie procesora GPU bez zwiększenia użytecznej wydajności oraz rosną koszty, nawet gdy popyt wydaje się stabilny.
Dodanie większej ilości pamięci DRAM oszczędza czas, ale nie rozwiązuje podstawowego problemu. System nadal jest ograniczony pamięcią, a presja wzrasta w miarę wzrostu obciążeń.
Traktowanie kontekstu jako stanu trwałego
Tutaj widzę początek zmiany podejścia. Zamiast traktować pamięć podręczną KV jako optymalizację ograniczoną do pamięci, można ją postrzegać jako trwały stan, który jest zachowywany, pobierany i ponownie wykorzystywany w cyklach wnioskowania.
W praktyce oznacza to wielopoziomowe przechowywanie danych. Gorący kontekst pozostaje w pamięci, blisko GPU. Dyski SSD zapewniają warstwę buforową do szybkiego pobierania i rozmieszczania danych, podczas gdy floty dysków twardych stanowią podstawę systemów pamięci masowej obiektów, które zapewniają trwałą pojemność potrzebną do przechowywania kontekstu przez dni lub tygodnie za ułamek kosztów pamięci all-flash.
Prawdziwą zmianą jest to, że pamięć podręczna KV nie jest już ograniczona do pamięci operacyjnej. Zamiast tego można nim teraz zarządzać w ramach wielopoziomowego zestawu zasobów pamięci masowej, którego pojemność można skalować, umożliwiając systemom wnioskowania zachowanie większej ilości wcześniejszej pracy i ograniczenie konieczności ponownego obliczania u źródła.
W ramach ścisłej współpracy z firmą SK hynix przeprowadziliśmy testy porównawcze przy użyciu NVIDIA Dynamo w konfiguracji hybrydowej z dyskiem SSD i dyskiem twardym. Stwierdziliśmy, że wpływ można zmierzyć za pomocą wszystkich wskaźników istotnych dla zespołów infrastrukturalnych: czasu do pierwszego tokena (TTFT), przepustowości, wykorzystania procesora GPU i kosztów.
Choć środowisko testowe odzwierciedla kontrolowane warunki, wpływ ten jest jeszcze bardziej widoczny w rzeczywistych zastosowaniach, gdzie dłuższe sesje i większe zestawy danych wzmacniają potrzebę ponownych obliczeń. Pełne wyniki naszej wspólnej pracy — modelowanie kosztów w różnych poziomach pamięci masowej i specyfikacjach architektury — zostały szczegółowo opisane w dokumencie.
Pamięć hybrydowa zapewnia poprawę czasu TTFT o 95% w porównaniu z regeneracją.
To rozwiązanie działa tylko wtedy, gdy pamięć masowa jest bezpośrednio zintegrowana ze stosem wnioskowania. Aby to osiągnąć, przenoszenie danych pamięci podręcznej KV pomiędzy pamięcią masową a pamięcią GPU bez wąskich gardeł procesora na dużą skalę lub wprowadzania nowych opóźnień wymaga specjalnie zbudowanej infrastruktury, a nie modernizacji sprzętu ogólnego przeznaczenia.
Przechowywanie obiektów jako system rejestrowania danych dla sztucznej inteligencji
Wierzę, że nasza współpraca z firmą SK hynix odzwierciedla szerszą, już trwającą zmianę architektoniczną. W miarę jak silniki wnioskowania stają się bardziej zorientowane na stan, granica między pamięcią masową a pamięcią masową zaczyna się zacierać.
To, co kiedyś było przejściowym kontekstem, staje się coraz bardziej trwałym stanem — zarządzanym na różnych poziomach i zachowywanym w czasie. W tym modelu przechowywanie nie tylko wspomaga wnioskowanie, ale także definiuje sposób przechowywania i dostępu do kontekstu, co jest zgodne z tendencją do wykorzystywania przechowywania obiektów jako systemu rejestrowania dla nowoczesnej infrastruktury sztucznej inteligencji.
Jeśli Twój zespół podejmuje decyzje dotyczące architektury uwzględniającej wnioskowanie na dużą skalę, zachęcam do zapoznania się z dokumentem, w którym opisano testy porównawcze, podejście warstwowe i model kosztów potrzebne do oceny tych kompromisów podczas definiowania systemu.
