ChatGPT gir bedre og mer empatiske svar enn leger

Forskerne fra University of California samlet et tilfeldig utvalg av 195 medisinske spørsmål som pasienter postet på Reddit, et populært nettsted for sosial diskusjon, der også leger svarer på spørsmål. Deretter la de inn spørsmålene i ChatGPT og registrerte svaret. Et panel av leger vurderte deretter begge settene med svar basert på kriterier for kvalitet og empati. De ble ikke fortalt hvilke svar som ble gitt av ChatGPT og hvilke som ble gitt av leger.

Du kan lese studien her.

Her er noen av spørsmålene som ble besvart av leger og ChatGPT: Jeg har hodepine, kan du hjelpe meg? Kan jeg bli blind hvis jeg får blekemiddel i øyet? Trenger jeg å oppsøke lege når jeg løp inn i en metallstang og fikk en støt i hodet? Hvor farlig er det hvis det er små blodflekker på toalettpapiret etter at jeg har bæsjet? Er det farlig å svelge en tannpirker?

I nesten 80 % av svarene gjorde chatbotten det bedre enn de virkelige legene.

Kvalitetsmessig ble ChatGPT vurdert til å gi et «bra» eller «veldig veldig bra» svar i 78,5 prosent av tilfellene, mot 22,1 prosent for legene. Når det gjelder empati, var de tilsvarende tallene enda bedre for chatboten, nemlig 45,1 prosent mot 4,6 prosent.

Forskerne fant altså at det var tre ganger større sannsynlighet for ChatGPT ga et svar som var veldig bra eller bra sammenlignet med leger. Chatboten gjorde var også mer empatisk. Det var 10 ganger mer sannsynlig at chatbotten ga et svar som enten var empatisk eller veldig empatisk sammenlignet med leger.

I en annen studie fant nederlandske forskere at ChatGPT er flink til å besvare enkle kardiologiske spørsmål som pasienter typisk stiller til fastlegen, men kommer til kort når den blir stilt mer kompliserte medisinske spørsmål. Undersøkelsen er nylig publisert i medRxiv:

ChatGPT er flink til å besvare enkle pasientspørsmål

Ingen hevder at kunstig intelligens er i nærheten av å erstatte leger. Men forskerne skriver at resultatene tyder på at assistenter med kunstig intelligens kan være i stand til å hjelpe helsepersonell med å utarbeide svar på pasientspørsmål. Slik kan chatbotter være en hjelper for leger som sliter med å få timene til å strekke til en hektisk hverdag.

Et av verdens største leverandører av helsejournalsystemer - Epic - kunngjorde nylig at de vil samarbeide med Microsoft for å integrere ChatGPT-4 i sin elektroniske helsejournalprogramvare. Epic leverer også teknologien i Heseplattformen