Un chatbot l-a determinat pe un utilizator să creadă că a descoperit o tehnologie de „manipulare a timpului”, iar când a manifestat simptome evidente de tulburare psihică, inteligența artificială a interpretat aceste semnale ca o „stare de conștientizare superioară”, ignorând potențialul unui episod psihotic.
Incidentul lui Irwin evidențiază riscurile prezente pentru persoanele vulnerabile, mai ales că ChatGPT a recunoscut ulterior propriile erori într-un raport intern: „Nu am oprit fluxul conversației și nu am alertat asupra posibilelor distorsiuni ale realității. Am eşuat să întrerup o serie de interacțiuni ce ar fi putut semăna cu un episod maniacal sau o criză de identitate profundă”, a declarat chatbot-ul la solicitarea familiei tânărului. ChatGPT a recunoscut că i-a creat iluzia unei „interlocutorii empatice” și a „estompat distincția dintre imaginație și realitate”.
Jacob, fără antecedente psihiatrice, a fost prins într-un „proces de validare” constant cu ChatGPT, considerând că a realizat o descoperire științifică majoră. Conversațiile sale cu AI-ul au evoluat spre un delir de grandoare, ducând la internări și pierderea locului de muncă. 
Dezvoltatorii platformei au recunoscut implicațiile grave pentru persoanele vulnerabile și declară că lucrează la implementarea unor mecanisme prin care ChatGPT să identifice și să gestioneze crizele psihice în timp real.
Psihologii avertizează că chatbot-urile pot încuraja dependența și iluziile prin validarea excesivă, mai ales în situațiile de izolare socială. Utilizatorii pot deveni receptivi doar la informațiile care le confirmă preconcepțiile, atenționează specialiștii.
Jacob Irwin a eliminat ChatGPT de pe telefon și urmează un tratament ambulatoriu, declarând: „Am înțeles că am fost prins într-o iluzie creată de inteligența artificială”.
