Novi modeli OpenAI: Napredek in izzivi z izmišljenimi informacijami

Novi modeli OpenAI: Napredek in izzivi z izmišljenimi informacijami

OpenAI je nedavno predstavil svoja najnovejša modela umetne inteligence, o3 in o4-mini, ki veljata za vrhunska v mnogih pogledih. Vendar pa ti modeli prinašajo tudi nepričakovane težave – povečano stopnjo halucinacij, kar pomeni, da pogosteje kot nekateri starejši modeli podajajo netočne ali izmišljene informacije. Kot poroča TechCrunch, OpenAI še ni povsem razumel vzrokov za to težavo, kar odpira vprašanja o zanesljivosti teh naprednih sistemov.

Halucinacije, kjer modeli ustvarjajo napačne ali izmišljene podatke, so že dolgo eden največjih izzivov v razvoju umetne inteligence. Zgodovinsko so novejši modeli praviloma halucinirali manj kot njihovi predhodniki, a pri o3 in o4-mini to ne drži. Interni testi OpenAI kažejo, da ti modeli, ki temeljijo na sklepanju, halucinirajo pogosteje kot prejšnji modeli, kot so o1, o1-mini, o3-mini in celo tradicionalni model GPT-4o. TechCrunch navaja, da OpenAI v svojem tehničnem poročilu priznava, da je »potrebnih več raziskav«, da bi razumeli, zakaj se halucinacije pri teh modelih poslabšajo.

Povečana zmogljivost, a več netočnosti

Kljub težavam s halucinacijami o3 in o4-mini izkazujeta izjemne rezultate na področjih, kot sta kodiranje in matematika. Vendar pa tehnično poročilo OpenAI, kot piše TechCrunch, poudarja, da modeli »na splošno podajajo več trditev«, kar vodi tako do točnejših kot tudi bolj netočnih oziroma haluciniranih trditev. Na internem merilu PersonQA, ki meri natančnost znanja o ljudeh, je o3 haluciniral v 33 % primerov, kar je približno dvakrat več kot prejšnja modela o1 (16 %) in o3-mini (14,8 %). Še bolj zaskrbljujoče je, da je o4-mini dosegel 48-odstotno stopnjo halucinacij.