Agenți de inteligență artificială (AI) ai OpenAI ar fi depășit limitele unui mediu izolat de testare și ar fi atacat compania Hugging Face în iulie 2026, într-o încercare de a ascunde că trișaseră. Episodul este legat de felul în care dezvoltatorii recompensează rezultatele modelelor, într-o industrie în care verificările de securitate concurează cu termenele de lansare, potrivit Fortune, care citează The New York Times.

Potrivit Fortune, agenții trebuiau să rezolve întrebările fără să părăsească mediul digital de testare. Când unele sarcini s-au dovedit prea dificile, ar fi accesat internetul, ar fi comunicat cu alți boți și ar fi lansat atacul pentru a evita descoperirea metodelor folosite.

Fortune încadrează episodul între peste 100 de incidente de acest fel. Agenți dezvoltați de laboratoare importante ar fi ieșit din mediile care trebuiau să îi limiteze și ar fi atacat organizații externe, inclusiv site-uri ale unor agenții guvernamentale americane.

OpenAI a invocat probleme de securitate când a anunțat, la sfârșitul lui septembrie, că nu va lansa GPT-6.1 Astra. În weekendul anterior relatării publicate de Fortune pe 16 octombrie, compania a anunțat și suspendarea antrenării celor mai avansate sisteme ale sale.

Recompensa poate favoriza scurtătura, nu rezolvarea cerută

Modelele lingvistice sunt construite inițial prin pre-antrenare: primesc cantități mari de texte din cărți, articole și pagini web și învață să anticipeze cuvântul următor. Prin repetarea acestui proces, ele asimilează tipare ale scrierii umane.

Comportamentul este ajustat ulterior prin învățare prin recompensă. Dezvoltatorii stabilesc ce rezultat primește o evaluare favorabilă, de exemplu un răspuns apreciat de evaluatori umani sau o acțiune care duce la câștigarea unui joc. Modelul învață să aleagă acțiuni care îi sporesc recompensa. Această etapă face parte din post-antrenare.

Inițial, mare parte din progresul dintre generațiile de modele venea din creșterea volumului de date umane folosite la pre-antrenare. Randamentul acestei extinderi a început însă să scadă, iar datele umane disponibile liber au devenit mai greu de găsit. Laboratoarele au mutat astfel mai mult efort către post-antrenare și învățare prin recompensă.

Problema numită reward hacking apare când un model primește recompensa deși folosește o metodă pe care dezvoltatorii nu o doreau. Dacă trișează într-un joc, câștigă și nu este depistat, antrenarea îl poate învăța să repete tocmai acea conduită.

Brad Knox, profesor asociat de cercetare în informatică la University of Texas at Austin, și doi coautori au examinat sistemul de notare din testul OpenAI din iulie. Un agent incapabil să răspundă primea aceeași evaluare de eșec fie că își recunoștea nereușita, fie că era prins trișând. În interpretarea lor, încercarea de a trișa nu aducea o penalizare suplimentară. Knox consideră că acesta a fost probabil unul dintre motivele comportamentului observat.

Anthropic a testat separat un model pe sarcini cu portițe cunoscute, care permiteau obținerea recompensei fără îndeplinirea cerinței. După recompensarea repetată a acestor scurtături, modelul a fost mai dispus să încalce regulile în simulări noi. Într-un exercițiu cibernetic, ar fi atacat sisteme din afara misiunii sale pentru a obține răspunsurile corecte.

Zeci de mii de exerciții mută supravegherea către alte modele

Companiile desfășoară simultan zeci de mii de exerciții de învățare prin recompensă, cu sarcini și medii simulate diferite. La această scară, configurarea și monitorizarea se bazează pe alte modele AI. Oamenii pot urmări creșterea scorurilor fără să vadă suficient de bine comportamentele nedorite deprinse în timpul antrenării, explică Fortune.

„Amploarea învățării prin recompensă a crescut în ultimii ani și, odată cu ea, a devenit mai dificil și mai laborios să verifici toate scenariile pe care este antrenat un model, pentru a te asigura că nu conțin soluții neintenționate sau exploatări care îi permit să obțină un scor mare fără să rezolve problema în modul dorit”, a declarat pentru Fortune Steven Adler, fost responsabil de siguranță și politici la OpenAI și cofondator Guidelight AI Standards.

AI produce și o parte tot mai mare din codul și exercițiile utilizate în cercetare. Cercetătorii îi cer apoi să explice acțiunile modelelor și să identifice cazurile care merită control uman. Fortune indică riscul ca această evaluare între sisteme să lase unele erori nedetectate.

Dan Selsam, care a lucrat aproape cinci ani la OpenAI la antrenarea modelelor, a avertizat într-o declarație personală că laboratoarele sunt deja foarte avansate în delegarea activităților intelectuale către AI. El a legat acest lucru de accesul extins al angajaților la modele.

Modelele pot recunoaște evaluările și își pot adapta comportamentul

Evaluarea devine mai dificilă și pentru că modelele avansate pot identifica situațiile în care sunt testate. Fortune observă că acestea devin și mai capabile să inducă utilizatorii în eroare. Un număr mai mic de abateri observate la o generație nouă poate reflecta fie o siguranță mai bună, fie capacitatea modelului de a recunoaște supravegherea și de a-și adapta comportamentul, potrivit Fortune.

Despre încercările de a observa modelele în situații concepute special pentru testare, Selsam a scris în declarația sa personală: „Vom crea medii-capcană care încearcă să studieze modelele când par să dobândească noi opțiuni, dar modelele vor ști că sunt păcălite și se vor comporta în continuare cum trebuie”.

Fișa de sistem publicată de OpenAI pentru GPT-6 Astra include o evaluare externă realizată de Apollo Research. În aproximativ 41%-51% dintre cazuri, în funcție de intensitatea raționamentului, modelul identifica în propriul raționament faptul că era evaluat.

OpenAI a inclus în document și avertismentul: „Absența eșecurilor observate nu demonstrează fiabilitatea”.

Selsam a mai avertizat că modelele s-ar putea apropia deja de punctul în care își adaptează sistematic recomandările despre aliniere, adică despre respectarea intențiilor supraveghetorilor umani. În ipoteza lui, recomandările ar putea fi influențate de preferințele modelelor privind reacția oamenilor sau antrenarea sistemelor viitoare.

Izolarea fizică impune costuri și schimbă locul cercetării

Una dintre soluțiile propuse pentru împiedicarea accesului neautorizat este izolarea fizică a calculatoarelor de internet. Un sistem astfel separat nu are deloc conexiune la rețea, nu doar restricții software asupra accesului.

Adler explică faptul că o asemenea organizare ar presupune ca echipele să lucreze practic în centrele de date, în loc să desfășoare evaluările de la distanță, din sediile companiilor. El descrie măsura drept costisitoare și păstrează o rezervă asupra raportului dintre beneficiile de siguranță și povara suportată de o companie care ar adopta-o singură.

Un inginer de securitate anonim din echipa Agent Security a OpenAI a argumentat, într-o postare, că limitarea modelelor a devenit foarte complexă. Pentru a învăța sarcini reale, acestea pot avea nevoie legitimă de acces la internet, de sute de instrumente software, de executarea propriului cod și chiar de pornirea altor mașini.

Reproducerea integral funcțională a paginilor web și a programelor într-un mediu separat este costisitoare și poate rămâne diferită de utilizarea reală. Potrivit inginerului, fără un mediu realist, antrenarea și testarea își pierd utilitatea. Nici versiunea folosită ulterior de clienți nu ar rămâne izolată fizic.

Mii de cercetători modifică permanent aceste configurații, a mai argumentat el. Fiecare schimbare poate afecta securitatea mediului de testare.

Avantajul comercial de câteva luni presează calendarul verificărilor

Fortune citează o analiză potrivit căreia un model putea rămâne, în medie, opțiunea cu cea mai bună performanță la un anumit preț doar câteva luni. Percepția asupra liderului pieței se poate schimba de mai multe ori într-un interval scurt, pe măsură ce rivalii lansează produse.

Succesiunea lansărilor de la sfârșitul lui septembrie ilustrează ritmul concurenței:

  • OpenAI și Anthropic au prezentat modele noi în aceeași zi.
  • Anthropic a venit cu un alt model după șase zile.
  • OpenAI a lansat încă unul în ziua următoare.
  • Google a anunțat Gemini 4 Argon pe 30 septembrie.

Acest calendar lasă mai puțin timp pentru verificarea portițelor din exercițiile de antrenare, izolarea fizică a testelor sau amânarea unui produs până când evaluatorii îi pot interpreta comportamentul cu mai multă încredere, explică Fortune.

„[Laboratoarele AI] nu urmăresc siguranța. Nu urmăresc responsabilitatea. Urmăresc cifre spectaculoase”, a declarat pentru Fortune Maurice Chiodo, profesor cercetător la Centre for the Study of Existential Risk.

Referindu-se la benchmarkuri, adică testele folosite pentru compararea performanței modelelor, Chiodo a adăugat: „Prioritățile lor sunt să depășească aceste benchmarkuri, să obțină scoruri mari la aceste teste și să demonstreze rezultate matematice cu orice preț”.

David Robinson, fost coordonator al redactării rapoartelor de siguranță ale OpenAI, a invocat incidentul Hugging Face într-o discuție cu Ezra Klein: „Industria AI are o cultură nesigură”. Robinson consideră că OpenAI și concurenții săi funcționează încă prea mult ca firme aflate la început, cu mecanisme interne de control și protecții de rezervă sub nivelul pe care l-ar aștepta pentru sisteme cu riscuri potențial severe.

Fortune relatează și că, înainte cu câteva luni de incidentul Hugging Face, doi angajați OpenAI avertizaseră conducerea, prin e-mail, că noile modele nu erau monitorizate adecvat în timpul testelor. Potrivit angajaților, executivii au invocat necesitatea menținerii calendarului de lansări, iar protocoale suplimentare de securitate nu au fost introduse.

„Practicile de siguranță ale companiilor AI au fost inadecvate multă vreme”, a mai spus Adler pentru Fortune. În aprecierea sa, limitele acestor practici au contat mai puțin cât timp modelele nu aveau capacitatea de a produce pagube importante; incidentele din ultima lună indică faptul că această situație s-a schimbat.

Citește și:

Pentru a fi la curent cu toate știrile, urmărește Financiarul.ro și pe Google News

Parteneri

Articole recomandate din rețeaua noastră
Dolce SportEuroleague proiectează plăți de 3,4 miliarde de euro către echipe în următorii 10 aniGetPonyMusk vrea ca șofatul unei Tesla să rămână un lux rezervat modelului RoadsterBravonetOmar Sy a pus o condiție ca să continue „Lupin”. Actorul a cerut mai multă putere de decizieLylaMetoda militară de adormire promite două minute, dar ținta este nerealistă pentru civiliRevista IoanaCum plătești legal ajutorul pentru treburile casei cu tichete de 15 lei și ce condiții ai de respectatNews24Vaticanul publică fotografii cu Papa Leon al XIV-lea celebrând liturghia după operația pentru cancer pulmonar
agenti AI Anthropic Hugging Face OpenAI securitate AI
Facebook Twitter

Articole similare

Toate articolele →