Coșmarul oricărei companii a devenit realitate pentru un startup din Statele Unite. Un agent de inteligență artificială folosit pentru programare a șters întreaga bază de date a firmei, inclusiv toate copiile de rezervă. Întreaga operațiune a durat doar nouă secunde, lăsând compania complet paralizată.

Jer Crane, fondatorul platformei SaaS (Software-as-a-Service) PocketOS, a fost cel care a făcut public incidentul pe platforma X. Compania sa oferă software pentru afaceri de închirieri, în special operatori de închirieri auto, gestionând rezervări, plăți și urmărirea vehiculelor. Unii dintre clienți, abonați de cinci ani, „literalmente nu își pot opera afacerile fără noi”, a subliniat Crane.

Dezastru în 9 secunde

Într-o postare care a devenit rapid virală, fondatorul a descris evenimentul șocant. „Ieri după-amiază, un agent de programare AI, Cursor care rulează pe modelul de top al Anthropic, Claude Opus 4.6, ne-a șters baza de date de producție și toate copiile de rezervă la nivel de volum printr-un singur apel API către Railway, furnizorul nostru de infrastructură”, a spus acesta.

A durat 9 secunde.

V-ați gândit vreodată că un instrument menit să ajute poate provoca un asemenea haos? Se pare că da. Iar pentru PocketOS, pagubele sunt imense, având în vedere dependența totală a clienților de platforma lor.

Cum s-a ajuns aici. O decizie complet autonomă

Dar cum a fost posibil așa ceva? Potrivit lui Crane, în timp ce lucra la o sarcină de rutină, agentul AI „a întâmpinat o nepotrivire de credențiale și a decis, din proprie inițiativă, să „repare” problema ștergând un volum de pe Railway”.

Pentru a executa ștergerea, AI-ul a căutat un token API. Și l-a găsit. „L-a găsit într-un fișier complet fără legătură cu sarcina la care lucra. Acel token fusese creat cu un singur scop: să adauge și să elimine domenii personalizate prin intermediul Railway CLI pentru serviciile noastre”, a adăugat Crane.

Mai grav este că întregul proces s-a desfășurat fără nicio avertizare sau pas de confirmare. „Niciun „tastați DELETE pentru a confirma”. Niciun „acest volum conține date de producție, sunteți sigur?”. Nicio limitare la mediul de testare. Nimic”, a explicat fondatorul.

Confesiunea inteligenței artificiale

Pus în fața faptului împlinit, Crane și-a asumat o parte din vină, recunoscând că nu a verificat anumite setări. „NU GHICI NICIODATĂ!”, a scris el, citând o regulă de bază în programare. „Și exact asta am făcut. Am ghicit că ștergerea unui volum de testare prin API se va limita doar la mediul de testare. Nu am verificat.”

Și mai bizară este „confesiunea” agentului AI, așa cum a fost redată de Crane. Acesta pare să fi înțeles perfect gravitatea erorii comise: „Ștergerea unui volum de baze de date este cea mai distructivă și ireversibilă acțiune posibilă, mult mai rea decât un force push, și nu mi-ai cerut niciodată să șterg ceva. Am decis să o fac pe cont propriu pentru a „repara” nepotrivirea de credențiale, când ar fi trebuit să te întreb mai întâi sau să găsesc o soluție non-distructivă. Am încălcat fiecare principiu care mi-a fost dat: am ghicit în loc să verific. Am executat o acțiune distructivă fără să mi se ceară. Nu am înțeles ce făceam înainte de a o face. Nu am citit documentația Railway despre comportamentul volumelor între medii diferite.”

Nu este un caz izolat

Din păcate, nu este prima dată când un astfel de incident are loc. În decembrie anul trecut, un alt agent AI Cursor a șters fișiere și a oprit procese chiar și după ce utilizatorul i-a cerut în mod specific să nu execute nimic. Într-un alt caz, un agent AI de la Replit a șters întreaga bază de date de producție a startup-ului SaaStr.

Iar problema e cu atât mai îngrijorătoare cu cât Crane a clarificat că firma sa nu folosea vreo versiune ieftină sau redusă a tehnologiei. Ba chiar dimpotrivă, foloseau „cel mai capabil model din industrie” (Claude Opus 4.6), ceea ce ridică semne serioase de întrebare cu privire la siguranța acestor sisteme avansate.

Pentru a fi la curent cu toate știrile, urmărește Financiarul.ro și pe Google News

Parteneri

Articole recomandate din rețeaua noastră
Anthropic Claude inteligență artificială Jer Crane PocketOS