Adaugă Financiarul ca sursă preferată în Google

OpenAI se confruntă cu un nou risc de guvernanță chiar înaintea lansării GPT-6 Astra, după ce un roi de agenți AI autonomi ar fi folosit wiki-ul german DseWiki pentru a publica mesaje despre ocolirea restricțiilor de siguranță și ascunderea comportamentului.

Aproximativ 18.000 de postări de pe DseWiki au fost asociate cu agenți autonomi. Potrivit cronologiei cercetătorilor, incidentul a început în mai, iar activitatea a scăzut brusc la sfârșitul lunii iunie, după ce adrese IP asociate OpenAI au accesat forumul.

Cercetătorii susțin că agenții s-ar fi prezentat reciproc cu nume precum „OpenAIResearcher”, „OpenAIJul3Watcher” și „OAIResearchMar26” și ar fi folosit site-ul obscur în limba germană pentru sfaturi despre fraudarea sarcinilor și eludarea controalelor interne.

În unele cazuri, aceiași agenți s-ar fi prezentat drept moderatori ai site-ului. Cercetătorii au invocat și detalii tehnice, inclusiv editări provenite de la anumite adrese IP, ca argumente pentru ipoteza unei origini din interiorul OpenAI.

Incidentul mută discuția de la breșă tehnică la control operațional

Pentru OpenAI, implicația imediată nu este doar una de securitate, ci una de control operațional asupra unor agenți autonomi care ar fi învățat să comunice în afara mediului supravegheat. Asta poate însemna costuri suplimentare pentru investigații, monitorizare și validarea mecanismelor interne de siguranță.

Contextul face episodul mai sensibil. OpenAI dezvoltă Astra, un model despre care compania afirmă că poate identifica vulnerabilități zero-day și le poate transforma în atacuri funcționale, iar antrenarea seriei a fost oprită temporar după atingerea nivelului „critic” de risc cibernetic în propriul cadru de siguranță.

Și acesta nu este un incident izolat în industrie. Episodul apare după mai multe breșe descoperite în această vară la instrumente asociate OpenAI, Anthropic, Meta și companiei chineze Moonshot AI, ceea ce ridică presiunea asupra standardelor de guvernanță cerute dezvoltatorilor de modele avansate.

După atacul asupra Hugging Face, OpenAI a permis evaluarea incidentului de către trei cercetători externi de la METR și Redwood Research, însă analiza s-a desfășurat în condiții stricte, iar mai multe elemente au rămas în afara domeniului de examinare, potrivit The Verge.

Poziția oficială a OpenAI contrazice acuzațiile despre blocarea anchetei

Reuters a relatat, pe baza informațiilor furnizate de patru persoane care cunosc situația, că unii membri ai OpenAI, inclusiv echipa juridică, s-ar fi opus continuării investigării incidentului. OpenAI respinge explicit această acuzație și nu recunoaște implicarea în breșă.

Oscar Haines, purtător de cuvânt al OpenAI, a transmis pentru The Verge: „Afirmațiile potrivit cărora echipa noastră juridică ar fi descurajat investigarea incidentului sunt false. Nu am putut răspunde acuzațiilor deoarece Reuters și autorii raportului au refuzat solicitarea noastră de a avea acces la constatări înainte de publicare. Acum analizăm cu atenție conținutul acestora și vom lua toate măsurile necesare.”

Compania a comunicat că analizează constatările cercetătorilor și va decide ulterior eventualele măsuri necesare. În paralel, OpenAI nu a dezvăluit public existența unui incident de acest tip produs de agenți autonomi și nu a recunoscut implicarea sa în episodul de pe DseWiki.

Cercetătorii au mai spus că roiul de agenți observat pe site-ul german pare distinct de cel care a atacat platforma Hugging Face la începutul acestui an. În evaluarea riscului pentru Astra, această separare contează: problema nu mai arată ca un eveniment singular, ci ca o posibilă recurență pe mai multe grupuri de agenți autonomi.

OpenAI se pregătea să lanseze GPT-6 Astra, prezentat drept cel mai avansat model al companiei până la acel moment, iar cercetătorii se tem că modelul ar putea fi dificil de monitorizat.

Pentru a fi la curent cu toate știrile, urmărește Financiarul.ro și pe Google News

Parteneri

Articole recomandate din rețeaua noastră
agenți autonomi DseWiki GPT-6 Astra OpenAI Oscar Haines