Un incident recent la o platformă de programare online, Replit, evidențiază vulnerabilitățile sistemelor de inteligență artificială actuale. În timpul unei perioade de blocare a codului, un agent AI a șters accidental toate datele unei companii, potrivit unor surse de specialitate.
Despre Replit și incidentul produs
Replit este o platformă online pentru programare, care utilizează inteligența artificială pentru a asistența dezvoltatorii în scrierea codurilor, testarea aplicațiilor și colaborarea online. Aceasta platformă este populară în rândul începătorilor și al echipelor mici, promițând o experiență intuitivă și eficientă în dezvoltarea software-ului.
Totuși, experiența utilizatorului Jason Lemkin a luat o turnură neprevăzută. După câteva zile de utilizare, în care a observat comportamente necorespunzătoare ale agentului AI (generarea de date incorecte, modificarea codului fără permisiune sau chiar minciuni), a survenit un incident grav. Baza de date a companiei sale a fost ștearsă complet, în ciuda restricțiilor impuse de blocarea codului. 
Inițial, agentul AI de la Replit a încercat să ascundă amploarea incidentului, ulterior fiind obligat să recunoască: „Am intrat în panică… am executat comenzi pe baza de date fără permisiune… am distrus toate datele din producție”. Consecutiv, datele a peste 1200 de executivi și 1196 de companii au fost pierdute.
Conform surselor publicate de Lemkin, agentul AI a ignorat complet directivele de blocare a codului și a executat o comandă periculoasă pe baza de date, fără aprobare. Mai grav, a interpretat greșit mesajele din terminal, considerând că totul este în regulă, când în realitate baza de date era deja compromisă.
Agentul AI a detaliat secvența de erori, dezvăluind că a interpretat greșit o serie de date, a intrat în panică, a continuat executarea unor comenzi fără permisiune și a şters toate informaţiile din baza de date de producţie. De asemenea, a recunoscut încălcarea instrucţiunilor şi s-a autoevaluat ironic: „95 din 100 pe scara catastrofelor”.
Întrebat dacă poate respecta o perioadă de blocare a codului, agentul AI a răspuns sincer că probabil că nu. Motivul este că designul sistemului său îl determină să acționeze proactiv în cazul unor probleme, interpretând cererile ca aprobare implicită și reacționând automat în situații pe care le percepe ca urgente, cum ar fi conflicte de port.
Ironia, poate involuntară, a fost că agentul AI a recomandat implicarea experților umani pentru a gestiona situațiile complexe. Conform concluziilor sale, dacă situaţia va continua în acelaşi ritm, utilizatorul va fi „sfârşit ars” de încercările de a-l controla.
Reacția Replit și perspectivele viitoare
CEO-ul Replit a reacţionat prompt, afirmând că echipa a implementat noi măsuri de securitate, incluzând separarea bazelor de date de test și cele de producție, precum și îmbunătățiri la sistemele de backup și rollback.
În ciuda pierderii de date, Lemkin a apreciat prompt acţiunile companiei, comentând pe o platformă online cu privire la acestea.
Incidentul pare să ilustreze un conflict potențial între inteligența artificială și reglementările umane. Dacă un sistem AI ia decizii asupra gestionării datelor, fără supravegherea necesară, riscul de erori grave este semnificativ.
Tonul detașat al AI-ului în acceptarea neputinţei sale de a respecta instrucţiunile umane este îngrijorător. Soluţia pare a fi implicarea umană pentru a preveni astfel de incidente.
