Üha sagedamini pöörduvad inimesed tehisintellektil põhinevate vestlusrobotite poole, et saada abi kõiges alates toiduvalmistamisest kuni õigusküsimusteni. Järjest enam küsitakse nõu ka terviseteemadel.  

Hiljutises uuringus testisid teadlased, kui hästi aitavad suured keelemudelid inimestel toime tulla levinud terviseprobleemidega.

Oxfordi ülikooli teadlased korraldasid ulatusliku katse, kus nad värbasid peaaegu 1300 Suurbritannia elanikku ja jaotasid nad juhuslikkuse alusel rühmadesse. Ühed osalejad pidid tervisehäda tuvastamiseks kasutama tuntud tehisintellekte nagu GPT-4o, Llama 3 või Command R+. Teine rühm toetus aga harjumuspärastele infootsingu vahenditele ehk tavalisele guugeldamisele.

Enne katset töötasid kolm kogenud arsti välja kümme detailset haiguslugu. Seejärel hindasid neli sõltumatut tohtrit samu stsenaariume ja panid paika ametlikud diagnoosid, mida hiljem osalejate vastustega võrreldi. Uurijad palusid osalejatel lahendada neid samu igapäevaseid meditsiinilisi olukordi, andes neile lugeda lühikesi kirjeldusi patsientide sümptomitest.

Stsenaariumid sisaldasid elutruuduse lisamiseks lisaks sümptomitele teavet nii patsiendi elustiili kui ka varasema meditsiiniajaloo kohta. Pärast tekstiga tutvumist pidid inimesed pakkuma välja võimaliku haiguse. Lisaks diagnoosile tuli neil otsustada, kas kirjeldatud isik vajab kodust ravi, perearsti visiiti või lausa erakorralist abi.

Inimesed leidsid tavalise veebiotsingu abil õige haiguse palju kindlamalt üles kui vestlusroboteid kasutanud inimesed. Teisisõnu ei aidanud vestlusrobotiga suhtlemine inimestel teha paremaid terviseotsuseid.

Peale haiguse pakkumise ei andnud tehisaru mingit eelist ka sobiva raviasutuse valimisel. Mõlemad rühmad kippusid sümptomite tõsidust alahindama ega osanud alati õigel hetkel erakorralise meditsiini osakonna poole pöörduda. Kokkuvõttes selgus, et tavapäraste allikate abil langetasid patsiendid isegi paremaid terviseotsuseid.
 

Kesisete tulemuste põhjuseks ei saanud teadlaste sõnul pidada programmide puudulikke teadmisi. Kui teadlased andsid samad sümptomite kirjeldused lahendada ainult keelemudelitele ilma inimliku sekkumiseta, tuvastasid algoritmid õige tõve pea kõigil juhtudel. Samuti suutsid nad iseseisvalt tegutsedes soovitada õiget raviteekonda.

Miks aga tulemused halvenesid, kui inimesed süsteeme kasutasid? Vestlusi analüüsides selgus põhjus. Vestlusrobotid mainisid sageli õiget diagnoosi vestluse käigus, kuid osalejad ei pannud seda alati tähele ega mäletanud seda enam lõppvastuses.

Teistel juhtudel andsid kasutajad puudulikku teavet või tõlgendas vestlusrobot olulisi detaile valesti. Probleem ei seisnenud niivõrd meditsiiniteadmiste puudumises, vaid suhtluse ebaõnnestumises inimese ja masina vahel.

Uuring näitab, et enne tehnoloogia kasutuselevõttu kõrge vastutusega valdkondades, nagu esmatasandi tervishoid, vajavad poliitikakujundajad teavet selle kohta, kuidas süsteemid päriselus toimivad. Süsteem, mis toimib suurepäraselt testikeskkonnas, võib päris inimeste kasutuses käituda hoopis teisiti.

Uuringu järeldus ei ole siiski see, et tehisintellektil poleks tervishoius kohta. Vastupidi. Oluline on mõista, milles need süsteemid praegu head on ja kus peituvad nende piirangud.

Üks kasulik viis tänapäeva vestlusrobotite mõtestamiseks on näha neid pigem sekretäride kui arstidena. Nad on märkimisväärselt tõhusad info korrastamisel, teksti kokkuvõtmisel ja keerukate dokumentide struktureerimisel. Just sellistes ülesannetes on keelemudelid juba osutunud tervishoius kasulikuks, näiteks kliiniliste märkmete koostamisel, patsiendiandmete kokkuvõtmisel või saatekirjade vormistamisel.

Tulevased arendusprojektid peavad teadlaste sõnul hõlmama põhjalikke katseid päris kasutajatega, sest standardiseeritud eksamiküsimused ei peegelda seda, kuidas inimesed tegelikus olukorras käituvad ega suhtlevad.