Umelá inteligencia sa dlhodo rozvíjala v priestoroch obrovských dátových centier. Tréning modelov, spracovanie dát, vyhodnocovanie výsledkov, to všetko smerovalo do masívnych serverových hál ovládaných hŕstkou technologických gigantov. Tento model však začína narážať na vlastné limity. Nová éra AI, éra inferencie, tlačí inteligenciu bližšie k miestam, kde sa dochádza ku konkrétnym rozhodnutiam, teda preč od centralizovanej infraštruktúry.
Tréning vs. inferencia
Aby sme pochopili, prečo sa infraštruktúra AI mení, je potrebné rozlíšiť dve základné fázy vývoja a nasadenia umelej inteligencie.
Tréning modelu je jednorazový, výpočtovo mimoriadne náročný proces. Prebieha na obrovských klastroch grafických kariet, trvá dni alebo týždne a vyžaduje centralizovanú infraštruktúru. Tam takzvaná “hyperscale” logika veľkých dátových centier dáva zmysel.
Inferencia je niečo úplne iné. Ide o každé jedno použitie natrénovaného modelu: keď systém odhalí podvodnú transakciu, keď prediktívna údržba identifikuje chybu na výrobnej linke, keď logistická platforma v reálnom čase prepočíta optimálnu trasu. Tieto rozhodnutia sa dejú nepretržite, v milisekundách, priamo tam, kde operácie prebiehajú. Ako upozorňuje TechRadar vo svojej analýze, práve táto fáza AI teraz doslova exploduje v podnikovom prostredí a stáva sa dominantnou záťažou technologickej infraštruktúry.
Oneskorenie ako neprijateľný kompromis
Smerovanie inferenčných úloh do vzdialených dátových centier prináša latenciu (odozvu), ktorá je v mnohých prípadoch jednoducho neprijateľná. Napríklad taký systém asistencie pri chirurgickom zákroku nemôže čakať na odpoveď z dátového centra v inej krajine. Rovnako to nedokáže akceptovať ani priemyselný bezpečnostný systém, autonómny inšpekčný dron alebo agent zákazníckej podpory pracujúci v reálnom čase.
TechRadar v analýze odkazuje na projekcie spoločnosti McKinsey, podľa ktorých sa globálny dopyt po dátových centrách do roku 2030 viac ako strojnásobí. Hnacou silou tohto rastu pritom bude práve inferencia, nie tréning modelov. Infraštruktúra, ktorá má tento dopyt obsluhovať, musí byť postavená okolo skutočných požiadaviek inferencie. Výpočtový výkon teda musí byť blízko miesta, kde sa prijíma rozhodnutie.
Edge computing
Odpoveď na túto výzvu má byť takzvaný edge computing, čo je pojem, ktorý označuje menšie, modulárne výpočtové zariadení umiestnené v blízkosti zdrojov dát a ich spotrebiteľov či používateľov. Každé takéto zariadenie spracúva rozhodnutia lokálne. Sieť ako celok sa vďaka tomu stáva odolnejšou, pretože celá záťaž nepripadá len na jedno zariadenie. Aj keď napríklad jedno z nich vypadne, zvyšok siete funguje ďalej.
Túto logiku možno prirovnať k peer-to-peer sieťam z ranej éry internetu. Tak ako BitTorrent neriešil prenos súborov budovaním rýchlejších centrálnych serverov, ale distribuoval problém naprieč tisíckami uzlov, aj AI inferencia nachádza silu v distribúcii. Každý uzol blízko používateľa, každý uzol spracúvajúci lokálny dopyt lokálne. Sieť sa tak stáva nielen odolnejšou, ale aj rýchlejšou.
Neprehliadnite
Hardvérový posun
Dôležitú úlohu hrá aj vývoj hardvéru. Neurálne procesory, takzvané NPU, navrhnuté špeciálne pre inferenčné úlohy AI, sú dnes bežnou súčasťou smartfónov, notebookov aj priemyselných zariadení. Výpočtový výkon potrebný na spustenie inferenčných záťaží pritom výrazne klesol. Hardvér, ktorý ešte pred niekoľkými rokmi vyžadoval celý serverový rack, sa dnes zmestí do vreckového zariadenia.
A práve s tým, ako sa inferenčne schopný hardvér stáva lacnejším a fyzicky kompaktnejším, je čoraz ťažšie obhájiť predpoklad, že každá záťaž musí smerovať späť do centralizovaného dátového centra. Hranica medzi zariadením v ruke a serverom v oblakoch sa postupne zmenšuje.
Egress poplatky a skryté náklady centralizácie
Centralizovaná AI inferencia pritom prináša aj ekonomické zaťaženie, ktoré v štádiu plánovania zvykne podceňvať. Vždy, keď dáta opustia sieť hyperscale poskytovateľa cloudu, organizácia platí takzvané egress poplatky. Pri AI záťažiach, ktoré vyžadujú nepretržitý prenos dát medzi centrálnym zariadením a distribuovaným prevádzkovým prostredím, sa tieto poplatky kumulujú spôsobom, ktorý nie je vždy zrejmý v momente rozhodovania. Spracovanie dát lokálne na okraji siete výrazne znižuje objem dát, ktoré prechádzajú sieťou, a teda aj náklady.
Suverenita dát ako regulačný tlak
Ďalší tlak na decentralizáciu prichádza v podobe regulácií. Suverenita dát sa sprísňuje v Európskej únii, juhovýchodnej Ázii, Latinskej Amerike aj inde.
Centralizovanie AI inferencie do malého počtu zariadení vytvára právne riziká pre organizácie pôsobiace vo viacerých jurisdikciách. Edge infraštruktúra tento problém priamo rieši. Dáta sa spracúvajú lokálne, v rámci príslušnej jurisdikcie, bez nutnosti zložitých právnych a technických obchádzok.
Regulácia digitálnej suverenity v EÚ sa tak stáva jedným z kľúčových argumentov pri nasadzovaní edge AI riešení. Pre európske firmy je to čoraz menej otázka voľby a čoraz viac regulačná povinnosť.
Energetická kríza
Energetická kapacita, teda nie cena energie, ale jej fyzická dostupnosť, je ďalším limitujúcim faktorom rastu dátových centier. V Severnej Virgínii, najhustejšom cloudovom uzle sveta, poskytovatelia energií predpovedajú čakacie doby na pripojenie nových veľkých projektov až na sedem rokov. Siete sú jednoducho preťažené.
Írske dátové centrá zase spotrebúvajú viac ako 20 percent celkovej národnej elektriny. Tieto problémy sú priamym dôsledkom koncentrácie enormného výpočtového výkonu do malého počtu lokalít.
Edge nasadenia tento problém riešia distribúciou záťaže naprieč mnohými menšími lokalitami. Napríklad francúzska spoločnosť Antimatter buduje sieť tisíc modulárnych mikro-dátových centier umiestnených priamo pri zdrojoch energie, s cieľom nainštalovať 400 000 GPU v distribuovanej sieti.
Hyperscale nekončí, len sa mení
Možno očakávať, že tréningové záťaže, veľkoplošné spracovanie dát a mnohé podnikové aplikácie budú naďalej efektívne bežať v centralizovanom cloudovom prostredí.
Je dôležité pochopiť, že Edge computing nie je argumentom proti cloudu. Je argumentom za zosúladenie infraštruktúrnej architektúry s tým, čo záťaže skutočne vyžadujú. Inžinieri, ktorí budovali peer-to-peer siete, pochopili, že distribúcia inteligencie sieť posilňuje, nie oslabuje. Tento záver sa dnes ukazuje byť čoraz relevantnejším.
