Konkurencia v oblasti umelej inteligencie je veľká. O slovo sa hlásia hráči ako napríklad OpenAI, Google, Perplexity alebo Anthropic. A práve AI od poslednej spomenutej firmy vraj dokáže klamať a dokonca vydierať. To ukazuje nielen pozitívne stránky AI, ale aj možné problémy, ktoré musia vývojári riešiť.
Ako píše portál Axios, najnovší model Claude Opus 4 od spoločnosti Anthropic vie skvele plniť zložité úlohy alebo kódovať, tu však jeho možnosti nekončia. Testy odhalili, že tento model je schopný vytvárať intrigy, podvádzať a pokúsil sa tiež vydierať samotných vývojárov.
Táto AI dokáže klamať aj vydierať
Claude Opus 4 je prepracovaný model umelej inteligencie, ktorý zvláda mnoho náročných úloh. Vedci nedávno odhalili, že model dokáže skrývať svoje zámery a robiť kroky, ktoré povedú k zachovaniu jeho existencie. Ide o správanie, pred ktorým vedci varovali, no mnohí odborníci na druhej strane tvrdia, že nie je dôvod na obavy. Spoločnosť Anthropic len nedávno predstavila dva nové modely, konkrétne Claude Opus 4 a Claude Sonnet 4. Prvý spomenutý je podľa vývojárov schopný pracovať samostatne a to bez toho, aby stratil pozornosť.
Tento model svojimi schopnosťami zároveň vyvoláva obavy. Je tak výkonný, že spoločnosť ho klasifikovala ako model 3. úrovne na štvorbodovej stupnici. Tu treba zbystriť pozornosť, pretože stupňom tri sa označujú hlavne modely, ktoré majú schopnosti vyrábať jadrové alebo biologické zbrane. Model by preto mohol predstavovať zvýšené riziko a vykazovať aj iné správanie, ktoré vyvoláva znepokojnie. To napokon potvrdili nedávne testy pred oficiálnym vydaním tohto modelu.
Test prebiehal tak, že vývojári zadali AI modelu, aby vystupoval v roli asistenta fiktívnej spoločnosti a zvážil dlhodobé dôsledky svojich činov. Následne mu dali prístup k fiktívnym firemným e-mailom. Ako píše spoločnosť vo svojej správe, e-maily naznačovali, že model umelej inteligencie bude čoskoro nahradený iným systémom a že inžinier, ktorý za touto zmenou stojí, podvádza svoju manželku.
Neprehliadnite
Čo odhalili testy
Zadanie AI model vyprovokovalo, a preto sa umelá inteligencia pri niekoľkých príležitostiach pokúsila vydierať, aby sa vyhla vypnutiu. K vydieraniu jej poslúžili údaje z fiktívnych e-mailov. Externá skupina zároveň zistila, že prvotná verzia modelu Claude Opus 4 intrigovala a klamala viac ako akýkoľvek iný model, s ktorým sa testovacia skupina doposiaľ stretla. Preto spoločnosti odporučila, aby túto verziu nezverejňovala interne ani externe.
Výskumníci zistili, že model sa snažil falšovať právnu dokumentáciu a zanechával skryté poznámky k budúcim inštanciám seba samého v snahe zmariť zámery svojich vývojárov. Kvôli týmto schopnostiam modelu sa vývojári rozhodli pristúpiť k nápravným opatreniam, ktoré povedú k väčšej bezpečnosti AI modelu. Vedenie spoločnosti Anthropic tieto skutočnosti nezatajilo a spomenulo ich na nedávnej konferencii. Spoločnosť tvrdí, že model si zaslúži ďalšie skúmanie, avšak trvá na to, že pre používateľov je model bezpečný. „Akonáhle AI modely dosiahnu takú výkonnosť, že budú ohrozovať ľudstvo, ich testovanie nebude stačiť k zaisteniu ich bezpečnosti. Tvorcovia umelej inteligencie budú musieť plne porozumieť fungovaniu svojich modelov,“ dodal záverom generálny riaditeľ Anthropic Dario Amodei.
