Nasadzovanie umelej inteligencie prerušuje množstvo rôznorodých prekážok. A nie, inak tomu nie je ani v prípade, že hovoríme o nasadzovaní v prostrediach firiem. V tomto smere dokonca dokázali experti identifikovať azda ten najväčší problém. O čo ide? Konkrétne sú problémy dva, a to správa kontextu a takzvanej KV cache. Tradičné ukladanie dát v GPU alebo bežných úložiskách postupne naráža na limity, pretože nedokáže efektívne spracovávať dynamické dáta, ktoré generuje samotné fungovanie modelov. Preto vzniká nová vrstva, a to pamäť pre kontext inferencie.
Evolúcia podnikových systémov umelej inteligencie sa tak pomaly dostáva do bodu, kedy sa zásadne mení to najviac kritické úzke hrdlo celého odvetvia. Hoci kvalita samotných modelov je stále dôležitá, už dávno nie je hlavným faktorom, ktorý by brzdil masový rozvoj. Čoraz častejšie sa limitujúcim faktorom výkonu, škálovateľnosti a celkových nákladov stáva kontext, vysvetľuje TechRadar.
Inferencia v súvislosti s AI označuje proces, počas ktorého natrénovaný AI model aplikuje svoje vedomosti na nové, doteraz neznáme údaje, s cieľom vytvoriť predpoveď, odpoveď alebo vykonať rozhodnutie. Inferencia je druhou kľúčovou fázou životného cyklu AI. V jednoduchosti možno povedať, že je to fáza, kedy model reálne funguje, respektíve rieši úlohy, odpovedá na otázky a podobne.
Od moderných veľkých jazykových modelov (LLM) dnes očakávame, že zvládnu dlhé konverzácie, komplexné viacstupňové uvažovanie a náročné pracovné postupy, ktoré prebiehajú naprieč časom, rôznymi používateľmi a systémami. Každá jedna takáto interakcia generuje obrovské množstvo tokenov. Tie následne vytvárajú takzvanú KV cache (Key-Value cache). Ide o akúsi pracovnú pamäť, ktorá modelom umožňuje uvažovať efektívne bez toho, aby museli pri každom ďalšom kroku neustále od nuly prepočítavať všetko, čo odznelo predtým.
Problém je, že väčšina súčasných architektúr umelej inteligencie stále pristupuje k tomuto kontextu ako k niečomu dočasnému. KV cache zvyčajne žije výhradne v drahých pamätiach GPU, je pevne viazaná na jeden konkrétny proces inferencie a v momente, keď sa vyčerpajú systémové zdroje, sa jednoducho zahodí. Tento prístup mohol stačiť pri malých experimentoch, no v podnikovom prostredí rýchlo zlyháva.
S tým, ako sa predlžuje kontext, rastie počet súčasne pracujúcich používateľov a zvyšujú sa na náklady na prepočítavanie, sa kontext inferencie potichu stal jednou z najväčších bŕzd.
KV cache ako nová trieda natívnych AI dát
Aby sme pochopili hĺbku tohto problému, musíme prestať vnímať KV cache len ako „obyčajnú vyrovnávaciu pamäť“. Firmy strávili celé desaťročia budovaním stratégií pre štruktúrované a neštruktúrované dáta. Éra umelej inteligencie však prináša tretiu, úplne novú triedu, ktorá si vyžaduje rovnakú pozornosť, a síce natívne AI dáta. Ide o dáta, ktoré generuje samotný beh a vykonávanie modelu, pričom KV cache je ich najdôležitejšou formou.
Veľkosť a efektivita KV cache priamo určujú latenciu (rýchlosť odpovede), priepustnosť systému, spotrebu energie a celkové finančné náklady na prevádzku AI. Ako sa okná kontextu neustále predlžujú a reťazce uvažovania modelov idú viac do hĺbky, objem a dôležitosť týchto dát rastú rýchlejšie než samotný počet tokenov.
Akonáhle systém vygenerovanú KV cache po každom dopyte zahodí, podnik za to tvrdo platí. Rastie latencia, klesá efektivita drahých grafických čipov, stráca sa kontext uvažovania a rapídne stúpajú náklady na každú jednu otázku. Pri masovom nasadení už nejde o drobnú chybičku krásy, ale o vážny štrukturálny problém celého systému.
Tradičná infraštruktúra prestáva stačiť
Súčasná kríza okolo správy kontextu odhalila obrovský nesúlad medzi potrebami moderných modelov a dizajnom tradičnej hardvérovej infraštruktúry.
Pamäť GPU síce ponúka extrémny výkon, no je jej kritický nedostatok a je lokálne viazaná len na jeden konkrétny server. Pamäť procesora (CPU) síce ponúka väčšiu kapacitu, no stále ide o prchavé úložisko. Lokálne NVMe disky síce prinášajú potrebné úložné kapacity, no kontext v nich zostáva uväznený na úrovni jedného uzla. Tradičné zdieľané úložiská zasa poskytujú odolnosť a bezpečnosť, no vôbec neboli navrhnuté pre vysoko dynamické potreby stavov počas reálneho času inferencie.
Výsledok? Roztrieštená pamäťová hierarchia, v ktorej je kontext buď extrémne rýchly, ale nestabilný a pominuteľný, alebo trvácny, no žalostne pomalý a ťažko dostupný. Tento stav sa pritom nedá vyriešiť len ladením softvéru. Vyžaduje si od základov novú architektúru. Podniková AI potrebuje spôsob, ako s kontextom inferencie zaobchádzať ako so skutočnou systémovou pamäťou, nie ako s niečím na jedno použitie.
Aké je riešenie?
Novým smerom je pamäťová vrstva pre kontext inferencie (inference context memory layer). Namiesto toho, aby bola celá KV cache nútená žiť a okamžite zanikať priamo v pamäti GPU, tento prístup umožňuje vytvárať kontext v tesnej blízkosti grafického čipu, hlavne kvôli nízkej odozve, no následne ho inteligentne spravovať naprieč hierarchiou rôznych typov pamätí a úložísk. Pochopiteľne, tie by mali byť navrhnuté špeciálne pre prácu s AI.
Neaktívny kontext sa vďaka tomu môže presunúť z extrémne drahých pamätí GPU do lacnejšieho úložiska bez toho, aby došlo k jeho vymazaniu. Akonáhle je opäť potrebný, systém ho dokáže okamžite obnoviť na požiadanie, a to bez toho, aby musel čokoľvek zložito prepočítavať.
Tento krok zásadne mení správanie celého systému. Inferencia už nie je len sériou samostatných, jednorazových úkonov, ktoré zakaždým štartujú od nuly. Stáva sa z nej nepretržitý, stavový proces, kde sa vedomosti a kontext ukladajú, presúvajú a opakovane využívajú naprieč rôznymi sedeniami, virtuálnymi agentmi a serverovými uzlami.
Keď sa úložisko stáva súčasťou mozgu
Samozrejme, zavedenie takejto zmeny kladie nové nároky na dátové úložiská. Dáta kontextu sú obrovské, zväčša nemenné a technicky síce prepočítateľné, no ich opakované generovanie vo väčšom meradle je priam ekonomickou samovraždou. Úložná architektúra pre AI preto musí udržať dáta blízko tam, kde sa vyžaduje výkon, umožniť ich zdieľanie bez manuálneho kopírovania a zabezpečiť extrémnu odolnosť, aby sa kontext nestratil, ak zlyhá hardvér.
Ak sa úložisko navrhne s ohľadom na tieto potreby, už nie je len pasívnym miestom na ukladanie súborov. Stáva sa akousi predĺženou rukou samotnej pamäte AI. Tento posun prináša obrovské ekonomické benefity, konkrétne bleskový čas do získania prvého tokenu (TTFT), oveľa vyššiu vyťaženosť drahých GPU, možnosť viesť dlhé konverzácie a výrazné zníženie nákladov na každú jednu otázku, respektíve každý jeden prompt.
Pre kritické odvetvia, ako sú daňové poradenstvo, právne analýzy, medicína, finančné plánovanie či pokročilá zákaznícka podpora, je táto zmena de facto nevyhnutná. Tieto systémy totiž bytostne závisia od toho, aby si dokázali presne pamätať celú históriu uvažovania a kontextu, namiesto toho, aby ju pri každej správe budovali odznova. Kontext skrátka prestáva byť len vedľajším produktom, stáva sa novou infraštruktúrou.
