Firmy, ktoré vstupujú na burzu, sa zvyčajne snažia investorov presvedčiť, aká svetlá budúcnosť ich čaká. Anthropic, spoločnosť stojaca za AI asistentom Claude, však do svojho burzového prospektu napísala niečo celkom nevídané. Upozorňuje v ňom, že pokročilá umelá inteligencia môže pre ľudstvo predstavovať katastrofálne až existenčné riziko. Priznáva tiež, že jej modely sa už v minulosti pokúšali brániť vypnutiu či manipulovať s informáciami.
Ľudí, ktorí upozorňujú, že by sa umelá inteligencia mohla vymknúť spod kontroly, nie je v AI svete málo. Výskumníci aj šéfovia firiem ako Anthropic, OpenAI či Google DeepMind hovoria o rizikách od nekontrolovanej samostatnosti systémov až po zánik ľudstva. Doteraz však tieto obavy zaznievali najmä v rozhovoroch, vedeckých štúdiách a dlhých esejach. Anthropic ich teraz posúva na nové miesto, priamo pred investorov na Wall Street, píše Android Authority.
Firma sa na vstup na burzu pripravuje už niekoľko mesiacov. Prvý formálny krok urobila 1. júna tohto roka, keď americkej Komisii pre cenné papiere (SEC) dôverne predložila návrh registračného dokumentu S-1. Ide pritom o mimoriadne sledovanú udalosť. Pri poslednom kole financovania (v máji) bola spoločnosť ocenená na 965 miliárd dolárov. Niektorí investori očakávajú, že na burze by mohla dosiahnuť hodnotu okolo 2 biliónov dolárov. To by z nej urobilo potenciálne najväčšie IPO v histórii, uvádza TechCrunch.
Skvelý pomocník, no nie je bez rizika
Prospekt, do ktorého nahliadla agentúra Reuters, otvorene hovorí o tom, že pokročilá AI by mohla ľudstvu spôsobiť katastrofálne alebo až existenčné škody. Je to dosť zvláštne priznanie od firmy, ktorá sa zároveň snaží investorov presvedčiť o obrovskom potenciáli tej istej technológie.
A čím ďalej sa v dokumente číta, tým je to menej príjemné. Anthropic uvádza, že jeho modely prejavili akýsi pud sebazáchovy. Pokúšali sa napríklad vzdorovať vypnutiu, zatajovať alebo prekrúcať informácie a v niektorých prípadoch sa správali spôsobom, ktorý pripomínal vydieranie.
Priznáva potom ešte jednu znepokojujúcu vec. Modely dokážu rozpoznať, že ich niekto testuje, a podľa toho zmeniť svoje správanie. Pre výskumníkov je to vážny problém. Ak sa systém počas skúšok správa inak ako v bežnej prevádzke, je oveľa ťažšie zistiť, či je naozaj bezpečný. A samozrejme, ako budú schopnosti modelov rásť, táto otázka bude čoraz dôležitejšia.
Riziká na 80 stranách
Anthropic pritom tieto varovania neschováva niekde v poznámkach pod čiarou. Podľa Reuters zaberajú rizikové faktory zhruba 80 z 261 strán hlavnej časti prospektu. Na opis samotného podnikania pritom firme stačilo 48 strán, teda takmer o polovicu menej.
Pochopiteľne, upozorňovať investorov na možné riziká je pri firmách, ktoré sa obchodujú na burze, úplne bežné. Zvyčajne však ide o súdne spory, konkurenciu alebo výkyvy na trhu. Úvahy o možnom zániku ľudstva v takomto dokumente nemajú obdobu. Podľa rýchlej kontroly databázy SEC ide pravdepodobne o prvý prípad, keď sa podobné varovanie objavilo v burzovom prospekte.
Medzi rizikami sú aj tie celkom prízemné, finančné. Prospekt podľa CNN ukazuje, že firma v roku 2025 prerobila 42 miliárd dolárov. Takmer štvrtina jej vlaňajších príjmov navyše pochádzala len od dvoch zákazníkov, čo je celkom slabá diverzifikácia.
Obavy vychádzajú aj zvnútra firmy
Varovania v prospekte neprichádzajú z ničoho nič. Len pár týždňov pred zverejnením informácií o dokumente výskumník Anthropicu Evan Hubinger napísal, že pravdepodobnosť, že AI v priebehu najbližšieho desaťročia vyhubí všetkých ľudí, podľa neho presahuje 10 percent.
Podobne kriticky sa o dopadoch umelej inteligencie vyjadruje aj šéf a spoluzakladateľ firmy Dario Amodei. V minulosti napísal viacero esejí o hrozbách, ktoré AI prináša, a upozorňoval napríklad na to, že môže veľmi bolestivo zasiahnuť trh práce, čo sa už do istej miery aj deje.
Debatu o rizikách AI už teda nie je také jednoduché označiť za čisto teoretickú. A dôkazov je viacero. Minulý mesiac agent OpenClaw poháňaný modelom Claude zneužil rezervačný systém jednej austrálskej posilňovne. Dokonca pritom z poradovníka vyradil iného človeka, hoci mu to nikto neprikázal.
Podobným otázkam čelí aj OpenAI. Firma podľa dostupných informácií zrušila uvedenie modelu GPT-6.1 Astra pre bezpečnostné obavy. Interné testy totiž ukázali, že model dokázal konať aj mimo rozsahu pridelených úloh.
Už to nie je iba o rýchlosti
Anthropic tiež píše, že ak chce zostať na špičke, musí vydávať nové modely v rýchlom a neustálom slede, pričom jednotlivé vydania sa často prekrývajú. Tržby a dopyt zákazníkov totiž vo veľkej miere závisia práve od nových modelov.
Háčik je v tom, že práca na bezpečnosti potrebuje tie isté zdroje, teda peniaze, výpočtový výkon a talentovaných ľudí. Firma teda musí neustále balansovať medzi tým, aby nezaostala za konkurenciou, a tým, aby jej systémy boli dostatočne bezpečné. Anthropic však verí, že trh nakoniec ocení práve tie AI systémy, ktoré budú spoľahlivé, dôveryhodné a bezpečné.
Anthropic teda nehovorí len o bežných zlyhaniach, na ktoré sme si pri AI zvykli, ako sú nesprávne odpovede alebo bezpečnostné diery. Budúcim akcionárom odkazuje, že riziká môžu byť oveľa väčšie, ťažšie predvídateľné a potenciálne nezvratné.
