Chat GPT gav fel svar och hittade på referenser
Uppmärksammade Chat GPT, chattboten från Open AI som baseras på artificiell intelligens, har rapporterats lovande för patienter i behov av råd. Åtminstone i en studie publicerad i maj, som Life Science Sweden tidigare rapporterat om. AI-boten visade sig då ha större precision i sina medicinska svar än läkare – och uppfattades dessutom som betydligt mer empatisk.
Men enligt en ny studie, av forskare vid Long Island University, som presenterades under den årliga konferensen för American Society of Health-System Pharmacists, kan Chat GPT tvärtom rent av kan vara farlig att använda för att få svar på medicinska frågor.
Om den har rätt information kommer den att svara det, om den inte vet kommer den att killgissa
Av 39 läkemedelsrelaterade frågor som forskarna ställde till gratisversionen besvarades endast 10 korrekt, det vill säga tre fjärdedelar. Det rörde sig bland annat om felaktiga instruktioner om dosering, samt att Chat GPT uppgav att det gick bra att kombinera olika läkemedel som läkare i själva verket avråder ifrån.
Max Gordon, docent vid Karolinska institutet och överläkare vid Danderyds sjukhus som prisats för sitt engagemang inom AI, menar dock att detta inte är konstigt alls. Till skillnad mot vad många kanske tror så är Chat GPT inget orakel säger han, den kommer att svara det som den tror passar bäst utifrån vad den har lärt sig.
– Om den har rätt information kommer den att svara det, om den inte vet kommer den att killgissa, säger han till Life Science Sweden.
Borde den inte säga "jag vet inte"?
– Det har ju även människor svårt att säga. Istället gissar vi ungefär vad vi tror passar, och den här har mycket av våra beteenden insprängt i sig. Den behöver också många träningsexempel och när det gäller vilka läkemedel som kan kombineras är det inte så många människor heller som vet det. Det blir en del barnsjukdomar, säger Max Gordon och fortsätter:
– Man måste alltid dubbelkolla med en kontrollerad källa. Men det är bra med studier som visar var begränsningarna finns. Ju mer vi vet om det, desto mer kan vi göra för att komma runt det.
I studien skapade Chat GPT även falska vetenskapliga referenser till stöd för den felaktiga informationen. Vid första anblick såg de legitima ut – korrekt utformade, med webbadresser och listade under legitima vetenskapliga tidskrifter. Men när teamet försökte hitta de refererade artiklarna insåg de att de var påhittade.
Även tidigare forskning har visat på falska vetenskapliga referenser, ibland har Chat GPT till och med listat namn på verkliga forskare med tidigare publikationer i vetenskapliga tidskrifter.
Enligt Sara Grossman, docent vid Long Island Universitet och en av studieförfattarna, kan de falska medicinska svaren få en “djupgående inverkan på patientvården”. Inte minst då människor kan komma att använda Chat GPT på samma sätt som de tidigare googlat symptom och mediciner.
– Svaren formuleras på ett mycket professionellt och sofistikerat sätt, och det verkar bidra till en känsla av förtroende för verktygets noggrannhet, säger hon till CNN.