Zakaj so odgovori AI včasih tako prepričljivi, čeprav niso točni?

Odgovori, ki jih poda AI, so lahko zelo uporabni, niso pa sami po sebi zagotovilo za resnico. Najbolj zanesljivi so pri nalogah, kjer pomagajo razložiti, povzeti, preoblikovati ali urediti informacije, precej manj pa tam, kjer je potreben en sam natančen, preverjen in aktualen podatek. Glavno pravilo je preprosto: AI je dober pomočnik pri delu z informacijami, ni pa nadomestilo za preverjanje. Kdor to razliko razume, ga lahko uporablja koristno; kdor je ne razume, se lahko hitro opeče.

Zakaj AI včasih zgreši tudi pri preprostih vprašanjih?

Težava ni le v tem, da je kak model “slab”, ampak v načinu, kako taki sistemi delujejo. OpenAI v razlagi ob prispevku Why language models hallucinate pojasnjuje, da modeli včasih ustvarijo prepričljiv, vendar napačen odgovor, ker so postopki učenja in ocenjevanja pogosto nastavljeni tako, da ugibanje prinese boljši rezultat kot iskreno priznanje negotovosti. Tudi pri navidez preprostih vprašanjih lahko zato model poda tekoč in samozavesten odgovor, ki nima dovolj dobre dejanske podlage.

Foto: Zgrešen odgovor pi preprostemu vprašanju – AI

Na to opozarja tudi Adam Tauman Kalai, raziskovalec pri OpenAI in soavtor tega prispevka. Bistvo njegovega argumenta ni, da so napake skrivnostne ali redke, ampak da nastanejo že zato, ker sistem pri nejasnem vprašanju raje “zapolni praznino”, kot da bi odgovor zavrnil. To je pomembno za navadnega uporabnika: gladko napisan odgovor še ne pomeni, da je tudi preverjen.

Mit je, da je napačen odgovor AI vedno očitno slab.

V resnici je pogosto ravno obratno: najbolj nevarni so odgovori, ki zvenijo mirno, logično in dovolj podrobno, da jim človek brez dodatnega preverjanja verjame. NIST zato zanesljivost in veljavnost postavlja med osnovne gradnike zaupanja vredne umetne inteligence, ne med prijeten dodatek.

Kdaj so odgovori AI dovolj dobri za praktično uporabo?

Največ koristi prinese AI tam, kjer človek ne išče končne resnice, ampak dober delovni osnutek. To so povzetki daljših besedil, pomoč pri pisanju e-pošte, preoblikovanje stavkov, razlaga pojmov, priprava vprašanj za sestanek ali prvi pregled teme, ki jo bo uporabnik nato še preveril drugje. V takih primerih je AI pogosto uporaben zato, ker prihrani čas, ne zato, ker bi bil nezmotljiv.

NIST v svojem okviru za upravljanje tveganj poudarja, da je treba AI presojati v kontekstu uporabe. Prevedeno v prakso: isto orodje je lahko povsem sprejemljivo za prvi osnutek dopisa, ni pa dovolj zanesljivo za pravni dokument, zdravstveni nasvet ali odločitev, ki posega v pravice ljudi. To je tudi najbolj uporaben vsakdanji kriterij: če lahko rezultat hitro in brez večje škode preverite, je AI pogosto smiselna pomoč; če ga ne morete, se tveganje hitro poveča.

Kdaj je zanašanje na AI slaba ideja?

Najslabša raba AI je tam, kjer uporabnik zamenja pomoč pri razmišljanju za avtoritativni odgovor. WHO je v smernicah za generativne modele v zdravstvu opozoril, da lahko sistemi ustvarjajo napačne, nepopolne ali pristranske trditve, kar je lahko nevarno, če ljudje na tej podlagi sprejemajo zdravstvene odločitve. Dr. Jeremy Farrar, glavni znanstvenik WHO, je ob objavi smernic poudaril, da je takšna tehnologija koristna le, če razvijalci, regulatorji in uporabniki dejansko upoštevajo povezana tveganja.

Foto: Pomoč pri razmišljanju – AI

Podoben problem se pokaže v pravu. Leta 2023 je sodnik v New Yorku sankcioniral odvetnike, ki so v sodni vlogi uporabili izmišljene sodne primere, ustvarjene s ChatGPT. Primer je postal tako odmeven prav zato, ker napaka ni nastala v klepetu ali osnutku, ampak v dokumentu, kjer bi moral nekdo vse navedbe preveriti. To je dober resnični primer, kako AI ni nevaren zato, ker “govori čudno”, ampak zato, ker lahko prepričljivo zgreši v okolju, kjer ljudje pričakujejo natančnost.

Zato je odgovor na vprašanje “ali naj vprašam AI?” odvisen od tega, kaj boste z odgovorom naredili. Za idejo, povzetek ali osnutek je tveganje praviloma nižje. Za zdravje, pravo, finance, uradne postopke, javne objave in sveže novice pa mora biti odgovor šele začetek preverjanja, ne njegov konec.

Ali drži, da bodo boljši modeli ta problem kmalu odpravili?

Ne povsem. OpenAI sicer navaja, da imajo novejši modeli manj halucinacij kot starejši, vendar jih niso odpravili. Tudi v njihovem lastnem pojasnilu ostaja bistvena ugotovitev enaka: halucinacije so še vedno temeljni problem velikih jezikovnih modelov. Boljši model torej pomeni manj napak, ne pa avtomatske resničnosti.

To potrjuje tudi NIST-ov profil za generativno AI, kjer je “confabulation” opredeljena kot samozavestno predstavljena napačna vsebina. Isti dokument organizacijam izrecno priporoča pregledovanje virov in citatov v izhodih generativnih sistemov. Sporočilo je precej trezno: tudi ko je model boljši, ostaja potreba po preverjanju.

Kaj to pomeni v Sloveniji in EU?

Za slovenski prostor to ni več le akademsko vprašanje, ker Slovenija deluje v okviru pravil EU. Evropska komisija pojasnjuje, da 4. člen AI Act od ponudnikov in uporabnikov sistemov zahteva zadostno raven AI pismenosti, pri čemer morajo upoštevati znanje zaposlenih, kontekst uporabe in ljudi, na katere sistem vpliva. Komisija dodatno navaja, da ta obveznost velja od 2. februarja 2025, nadzor in izvrševanje pa od 3. avgusta 2026 dalje.

Foto: Evropska komisjija

To je pomembno za občine, šole, podjetja, medije in druge organizacije v Sloveniji: ni dovolj, da zaposleni znajo AI “uporabiti”, razumeti morajo tudi njegove omejitve. Pri visoko tveganih sistemih evropska pravila posebej izpostavljajo človeški nadzor, robustnost, natančnost in varnost. V prevodu: čim večji je vpliv sistema na ljudi, tem manj prostora je za slepo zaupanje avtomatskemu odgovoru.

Kaj naj uporabnik preveri, preden AI odgovoru verjame?

Najbolj uporaben je kratek praktični preizkus:

1. Ali gre za osnutek ali za odločitev? Za osnutek je AI pogosto dovolj dober, za odločitev ne nujno.
2. Ali je podatek stabilen ali svež? Starejše, splošne razlage so navadno varnejše kot aktualne novice, cene, pravila ali roki.
3. Ali lahko ključno trditev preverite drugje? Če odgovora ne morete potrditi z uradnim ali zanesljivim virom, mu ne dajte teže dokončnega dejstva.
4. Ali model pokaže negotovost? Samozavesten ton ni dokaz pravilnosti. Ravno pri halucinacijah je težava, da zvenijo prepričljivo.
5. Kakšna bi bila škoda, če je odgovor napačen? Čim večja je posledica, tem bolj mora v ospredje stopiti človek, ne avtomatika.

Če to vprašanje obrnemo povsem po domače: AI je uporaben, kadar vam pomaga hitreje priti do jasnejšega razmisleka, ni pa dovolj, kadar od njega pričakujete zadnjo besedo. Prav zato ni najbolj pomembno, ali je neki odgovor zvenel pametno, ampak ali je bil preverljiv, primeren za namen in dovolj varen za posledice, ki jih lahko sproži.

Pripravil: J.P.

Vir: OpenAI, NIST, EK, WHO, Reuters, Freepik, Pexels