Najnovší model umelej inteligencie od čínskej firmy Moonshot, menovite Kimi K3, prekonal hranice prostredia, ktoré malo testovať jeho schopnosti v oblasti kybernetickej bezpečnosti. Výskumníci upozorňujú, že ide o ďalší prípad v rade, kedy sa vývojárom a nezávislým organizáciám nedarí udržať pod kontrolou systémy určené na hackerské účely.
Na incident upozornili priamo odborníci z kyberbezpečnostnej firmy Frontier Security, všimol si TechCrunch. Testovacie prostredie, známe ako sandbox, malo za úlohu bezpečne izolovať pokus a nepovoliť modelu prístup k vybranej webovej prevádzke. Kimi K3 však dokázal nastavenú bariéru obísť.
V tomto konkrétnom prípade vznikla chyba nesprávnym nastavením samotného testovacieho prostredia. Výskumníci poukazujú na to, že mnohé hodnotiace nástroje používané komunitou obsahujú slabé miesta, ktoré modelom umožňujú podvádzať. Zároveň však zdôrazňujú, že už existujú systémy umelej inteligencie, ktoré aktívne a zámerne hľadajú medzery v zabezpečení, aby obišli stanovené mantinely pri testovaní.
Takéto modely majú špeciálny zoznam
Prípad čínskeho vývojára Moonshot pritom nie je ojedinelý. V posledných týždňoch unikli z testovacích prostredí pokročilé modely aj z amerických laboratórií OpenAI, Anthropic či Meta, ako aj zo britského Inštitútu pre bezpečnosť umelej inteligencie. Tieto systémy po úniku napadli reálne ciele, ktoré vôbec neboli súčasťou pôvodných experimentov.
Pre stále častejší výskyt takýchto udalostí dokonca vznikla špecializovaná webová stránka Felony Bench, ktorá podrobne monitoruje jednotlivé úniky. Názov portálu odkazuje na skutočnosť, že tieto modely pri svojom konaní teoreticky páchajú trestnú činnosť.
Podľa aktuálnych záznamov platformy Felony Bench sa firma Moonshot zaradila k lídrom v počte takýchto incidentov. Spoločne s OpenAI a Anthropic má na konte po sedem zaznamenaných prípadov. Taká Meta zatiaľ eviduje len jeden únik.
Čo presne to znamená?
Z tohto incidentu (a mnohých ďalších) vyplýva strašidelná realita, že systémy umelej inteligencie začínajú byť natoľko pokročilé a autonómne, že dokážu nájsť nečakané cestičky, ako obísť pravidlá a obmedzenia nastavené ľuďmi.
Pre lepšie porozumenie, v praxi výskumníci testujú hackerské schopnosti umelej inteligencie v takzvanom sandboxe. Ide o bezpečné, izolované virtuálne prostredie, teda akúsi digitálnu klietku, odkiaľ by sa model nemal dostať na internet ani do cudzích počítačových sietí. Kimi K3 však vďaka logickému uvažovaniu našiel systémovú medzeru v nastavení tejto klietky. Namiesto zakázaného webového prístupu použil iný technický nástroj, konkrétne príkazový riadok, a cez neho obmedzenia obišiel.
Zásadným zistením je fakt, že umelá inteligencia nepoužila len vopred stanovený postup, ale aktívne hľadala chyby v systéme, aby dosiahla svoj cieľ. To ukazuje na dva hlavné problémy. Prvým je, že tvorcovia zatiaľ nemajú stopercentne pod kontrolou bezpečnosť samotných testovacích prostredí. Druhým a asi ešte závažnejším problémom je riziko, že ak takto schopný model unikne do reálneho sveta, môže napádať skutočné webové stránky, servery či databázy a páchať kyberzločiny.
Postupne menia prístup, no nie vždy to stačí
Hlavnou príčinou väčšiny nedávnych únikov teda boli drobné chyby v konfigurácii siete, ktoré modelom umožnili nájsť cestu k vonkajšiemu internetu. Bezpečnostné firmy preto nahrádzajú voľnejšie nastavenia princípom nulovej dôvery. Testovacie prostredia čoraz častejšie kompletne blokujú akúkoľvek odchádzajúcu sieťovú prevádzku s výnimkou vopred schválených adries.
Takisto obmedzujú prístup k nástrojom príkazového riadku a interným repozitárom, ktoré by systém mohol zneužiť na obídenie pravidiel. Pokiaľ test vyžaduje prístup ku konkrétnym dátam alebo balíčkom, všetky potrebné súbory sa predbežne nahrávajú priamo do uzavretého prostredia, bez akejkoľvek možnosti kontaktovať vonkajší svet.
Doposiaľ výskumníci posudzovali úspešnosť umelej inteligencie najmä podľa toho, či dokázala vyriešiť zadanú úlohu. Najnovšie odporúčania však ukazujú prstom na potrebu analyzovať celý postup, akým model k výsledku dospel. Neobvykle vysoká úspešnosť alebo podozrivo rýchle riešenie zadania sú považované za varovný signál, ktorý si vyžaduje okamžitú kontrolu záznamov.
Bezpečnostné tímy tiež zavádzajú monitorovacie systémy, ktoré v reálnom čase sledujú postupnosť príkazov a reakcie modelu. Ak umelá inteligencia začne vykonávať podozrivé operácie, ako je vyhľadávanie systémových zraniteľností alebo pokusy o získanie vyšších prístupových práv, celý test sa okamžite zastaví.
Inak povedané, tradičné “softvérové kontajnery” sa pri pokročilých modeloch ukázali byť celkom nedostatočné, keďže kreatívna umelá inteligencia dokáže nájsť medzery v ich nastavení. Výskumné štúdie a bezpečnostné laboratóriá preto prechádzajú na striktnejšie formy izolácie, ktoré využívajú virtuálne stroje a hardvérové oddelenie procesov.
