Zatiaľ čo niektoré príbehy opisujú, ako umelá inteligencia zázračne pomohla s diagnózou tam, kde zlyhali lekári, nová prípadová štúdia ukazuje odvrátenú a oveľa nebezpečnejšiu tvár samodiagnostiky pomocou AI. Podľa správy publikovanej v prestížnom lekárskom časopise Annals of Internal Medicine viedla zavádzajúca rada od ChatGPT k tomu, že 60-ročný muž skončil v nemocnici so psychózou a halucináciami. Téme sa venuje server Digital Trends.
Začalo sa to “nevinne”
Celý príbeh sa začal, keď muž nadobudol paranoidné presvedčenie, že sa ho sused snaží otráviť. Následne si prečítal články o negatívnych dopadoch bežnej kuchynskej soli (chloridu sodného) a po konzultácii s ChatGPT sa rozhodol nahradiť ju bromidom sodným.
Toto rozhodnutie viedlo k chronickej otrave bromidom, známej ako bromizmus. Jeho stav sa postupne zhoršoval, trpel extrémnym smädom a paranojou z ponúkanej vody, a tak si ju destiloval sám. Po prijatí do nemocnice sa jeho stav ešte zhoršil – prejavovali sa u neho silnejúce sluchové a vizuálne halucinácie a po pokuse o útek bol umiestnený na psychiatrické oddelenie.
Takmer zabudnutá choroba
Bromizmus je v súčasnosti extrémne zriedkavé a takmer zabudnuté ochorenie. Problémom bol najmä v 19. a na začiatku 20. storočia, kedy sa soli brómu bežne používali ako liek na epilepsiu alebo ako sedatívum.
Postupne sa však zistilo, že ich konzumácia vedie k problémom s nervovým systémom a v ťažkých prípadoch až k psychóze, triaške či kóme. V USA bolo ich použitie v liekoch bez predpisu obmedzené už v roku 1975.
AI je šikovná, no nie bezchybná
Hoci lekársky tím nemal prístup k pôvodným konverzáciám pacienta s AI, rozhodli sa urobiť vlastný test. Keď sa spýtali ChatGPT 3.5, čím sa dá nahradiť chlorid, umelá inteligencia im vo svojej odpovedi tiež navrhla bromid. Podľa správy síce odpoveď obsahovala všeobecnú poznámku, že „záleží na kontexte“, ale neposkytla žiadne konkrétne zdravotné varovanie, ani sa nepýtala na dôvod otázky, ako by to urobil ľudský lekár.
Spoločnosť OpenAI, ktorá za ChatGPT stojí, v reakcii uviedla, že používatelia by sa nemali spoliehať na výstupy z jej služieb ako na náhradu za profesionálne poradenstvo a že sa snaží svoje modely trénovať tak, aby navádzali ľudí k vyhľadaniu odbornej pomoci.
Tento prípad tak slúži ako vážne varovanie. Hoci AI môže byť v niektorých prípadoch nápomocná, nedokáže posúdiť klinický stav pacienta a jej rady môžu byť nepresné alebo, ako v tomto prípade, vyslovene nebezpečné. Experti sa zhodujú, že AI by mala byť v medicíne používaná výhradne ako nástroj v rukách certifikovaných zdravotníckych profesionálov.
Slepá dôvera v AI sa nemusí vyplatiť
Aj keď sú moderné modely umelej inteligencie ako ChatGPT fascinujúcimi nástrojmi, ktoré dokážu spracovať obrovské množstvo informácií, nie je rozumné im plne dôverovať, a to absolútne nikdy, pokiaľ ide o rady týkajúce sa zdravia.
Dôvodom nie je to, že by AI bola „zlá“, ale jej samotná technologická podstata, ktorá má niekoľko zásadných obmedzení, ktoré sú v medicíne extrémne nebezpečné.
V prvom rade si treba uvedomiť, že umelá inteligencia v skutočnosti ničomu nerozumie a nemá žiadne vedomie ani overenú znalostnú databázu. Funguje ako extrémne pokročilý štatistický papagáj. Bola trénovaná na miliardách textov a obrázkov z internetu a jej jedinou úlohou je predpovedať, aké slovo má logicky nasledovať po predchádzajúcom, aby veta znela čo najpravdepodobnejšie a najpresvedčivejšie.
To vedie k javu, ktorý sa nazýva „halucinácie“ – AI si dokáže s úplnou istotou vymyslieť fakty, štúdie, citácie alebo, ako v opísanom prípade, nebezpečné rady, pretože štatisticky v danom kontexte „znejú správne“. Zatiaľ čo vymyslený historický dátum je neškodný, vymyslené dávkovanie lieku môže byť smrteľné.
Ďalším kľúčovým obmedzením je absencia akéhokoľvek osobného a klinického kontextu. Keď sa pýtate lekára na radu, ten berie do úvahy vašu kompletnú zdravotnú históriu, alergie, aktuálne lieky, ktoré užívate, rodinnú anamnézu a desiatky ďalších faktorov, ktoré mu umožňujú posúdiť situáciu komplexne. Umelá inteligencia nič z toho nevie. Poskytne vám len všeobecnú, odosobnenú odpoveď na základe vami zadaných slov, ktorá môže byť vo vašom konkrétnom prípade úplne nevhodná alebo dokonca nebezpečná.
Príklad s nahradením soli bromidom je toho dokonalou ukážkou – AI nepoložila kľúčovú otázku: „Prečo to chcete vedieť a aký je váš zdravotný stav?“
V neposlednom rade AI chýba akákoľvek zodpovednosť, etický rámec a empatia. Lekár je viazaný Hippokratovou prísahou a nesie plnú právnu a morálnu zodpovednosť za svoje rady. Ak urobí chybu, môže byť braný na zodpovednosť.
Umelá inteligencia žiadnu zodpovednosť nenesie. Nedokáže posúdiť etickú rovinu situácie, prejaviť súcit ani prispôsobiť komunikáciu psychickému stavu pacienta. Jej cieľom je len vygenerovať text.
