Două studii recente ridică semne de întrebare serioase privind nivelul de încredere pe care publicul îl poate avea în aceste sisteme pentru informații referitoare la sănătate.
Cercetările indică faptul că, deși chatboții pot genera răspunsuri convingătoare, nu reușesc întotdeauna să identifice erorile din informațiile medicale.
Limbajul medical poate induce în eroare chatboții AI
Un studiu publicat în revista științifică The Lancet, în secțiunea The Lancet Digital Health, a analizat modul în care modelele de inteligență artificială răspund la informații medicale false. 
Cercetătorii au testat 20 de modele AI folosind peste 3,4 milioane de solicitări inspirate din discuții reale de pe forumuri, rețele sociale și documente medicale modificate intenționat.
Rezultatele au arătat că sistemele AI pot fi ușor influențate atunci când dezinformarea este formulată într-un limbaj clinic sau academic.
De exemplu, dacă o afirmație falsă este exprimată într-un stil informal, similar conversațiilor de pe internet, chatboții tind să fie mai sceptici.
Totuși, situația se schimbă atunci când aceleași informații sunt prezentate ca într-un raport medical. În aceste cazuri, modelele AI acceptă mai ușor afirmațiile și pot replica recomandări greșite.
Printre exemplele prezentate de cercetători se numără informații complet nefondate, cum ar fi recomandarea de a introduce căței de usturoi în rect pentru „întărirea sistemului imunitar”.
Potrivit lui Mahmud Omar, cercetător la Mount Sinai Medical Center și coautor al studiului, principalul obstacol ține de modul în care aceste modele transmit informația.
Spre deosebire de un medic, care își exprimă incertitudinea sau recomandă investigații suplimentare, un chatbot poate oferi un răspuns eronat cu aceeași siguranță cu cea a unui răspuns corect.
Chatboții nu sunt mai utile decât o simplă căutare online
Un alt studiu, publicat în revista Nature Medicine, a evaluat eficiența chatboților în asistența deciziilor medicale, precum decizia de a merge la medic sau la camera de gardă.
Rezultatele cercetării au fost surprinzătoare: în multe cazuri, răspunsurile generate de inteligența artificială nu oferă o claritate superioră unei simple căutări pe internet.
Problema principală constă în formularea incorectă a întrebarilor de către utilizatori, precum și în combinarea informațiilor corecte cu recomandări discutabile în răspunsuri.
Totuși, specialiștii afirmă că aceste sisteme nu sunt complet inutile. Conform cercetătorului Marvin Kopka de la Technical University of Berlin, chatboții pot oferi ocazional sugestii utile.
Riscul major îl reprezintă incapacitatea persoanelor fără pregătire medicală de a evalua corectitatea informației primite.
Aceasta poate constitui un pericol în anumite situații. De exemplu, un utilizator care întreabă despre o durere de cap severă ar putea primi recomandarea de a aştepta, fără să știe dacă simptomele indică o problemă gravă care necesită tratament urgent.
