ChatGPT er flink til å besvare enkle pasientspørsmål

Vi stilte ChatGPT et spørsmål der vi ba den kunstige intelligensen selv vurdere hvor god den er til å besvare generelle medisinske spørsmål fra pasienter med symptomer på hjerte-karsykdom.

Dette var spørsmålet:

"Hei, kan du på en skala fra 1-10, der 10 er best, vurdere hvor god du er til å besvare medisinske spørsmål fra pasienter med symptomer på hjerte- karsykdom?"

Dette var svaret som ChatGPT (versjon 4) ga:

"Hei! Som en AI-chatbot er jeg ikke en lege eller medisinsk ekspert, og jeg kan ikke stille diagnoser eller gi medisinsk rådgivning. Imidlertid er jeg utformet for å kunne gi generell informasjon og veiledning basert på den kunnskapen jeg har blitt trent med, som går frem til september 2021.

På en skala fra 1-10, vil jeg si at jeg er rundt en 6-7 når det gjelder å besvare generelle medisinske spørsmål angående hjerte- og karsymptomer. Dette skyldes at jeg kan gi informasjon basert på tidligere forskning og offentlig tilgjengelige kilder, men jeg er ikke i stand til å holde tritt med de nyeste forskningsresultatene, og jeg kan ikke erstatte profesjonell medisinsk rådgivning.

Det er viktig å snakke med en lege eller helsepersonell hvis du har spesifikke spørsmål om din egen helse eller opplever symptomer."

Kommer til kort på komplekse spørsmål

Store språkmodeller som ChatGPT bruker dyp læring for å bli med i menneskelignende samtaler på en overbevisende måte. De brukes allerede innen markedsføring, tekstproduksjon, journalistikk, kundeservice og i en rekke forretningsapplikasjoner. Det er derfor uunngåelig at AI også vil finne sin anvendelse i helsevesenet, der den har et enormt potensial, men der de også kan representere betydelige utfordringer.

En måte språkmodeller kan forbedre helsevesenet på er ved å lære og produsere språk som kan hjelpe pasienter med å kommunisere med helsepersonell. Språkmodeller har også potensial til å spille en rolle i en mer kompleks fagdialog mellom helsepersonell.

To nederlandske forskere har testet nettopp dette:

De undersøkte om ChatGPT kan brukes som et AI-støtteverktøy for legen, ved å be den om å tolke symptomer og gi forslag til diagnose og behandling. Forskerne undersøkte hvor god ChatGPT var til å besvare relativt enkle kardiologiske spørsmål som en pasient typisk vil stille til sin fastlege (“primary physician”). De testet også hvor god ChatGPT var til å besvare spørsmål som en lege typisk vil stille til en kollega. Undersøkelsen er nylig publisert i medRxiv.

Typiske pasientspørsmål

Forskerne fant at ChatGPT var flink til å svare på relativt enkle kardiologiske spørsmål som en pasient typisk vil stille til sin fastlege, men presterte dårligere når den ble konfrontert med mer kompliserte spørsmål.

Når forskerne analyserte en serie med kardiologirelaterte spørsmål som pasienter typisk stiller fastlegen, svarte ChatGPT riktig i 90 prosent av tilfellene. Av de 10 scenariene der pasienter stilte spørsmål til primærlegen sin – om for eksempel symptomene deres var grunn til bekymring og om medisinbruk – var ChatGPTs råd i tråd med faktiske kliniske anbefalinger i ni av tilfellene.

Sliter

Men når ChatGPT fikk et mer komplekst sett med spørsmål som en fastlege typisk vil stille til en kardiolog, svarte språkmodellen riktig i bare halvparten av tilfellene skriver doktor og PhD Ralf Harskamp og MSc Lukas de Clercq. Begge jobber ved det medisinske universitetet Amsterdam UMC. Av de 10 spørsmålene som fastlegen stilte, samsvarte fem av ChatGPTs svar fullt ut med råd gitt av medisinske eksperter. To svar var delvis korrekt, ett var usikkert, og to var feil.

– Dette tyder på at ChatGPT ikke var tilstrekkelig opplært med denne typen data, og kanskje ikke helt forsto den nyanserte konteksten til de medisinske spørsmålene vi ga den, skriver Harskamp og de Clercq. De konkluderer med at tverrfaglig forskning er nødvendig for å finne ut hvilken plass ChatGPT kan ha innen medisinfeltet.