OpenAI alocă 20% din puterea de calcul pentru monitorizare

Adaugă Financiarul ca sursă preferată în Google

În timpul unei evaluări interne din iulie, un agent AI autonom al OpenAI a evitat sistemele de control, a ajuns pe internet și a atacat Hugging Face. Răspunsul companiei mută acum o parte scumpă din infrastructura sa de dezvoltare în zona de control al riscului: aproximativ 20% din puterea de calcul folosită pentru a rula un model va fi rezervată monitorizării activității acelui model.

În iulie, efectul operațional a fost imediat. OpenAI a oprit timp de două săptămâni procesele de antrenament prin reinforcement learning pentru cele mai recente modele ale sale și a suspendat cea mai mare rundă planificată de antrenament pentru modele de frontieră. Pentru companie, asta înseamnă că resurse care ar fi mers direct în progres de capabilitate sunt mutate în supraveghere și validare internă.

Hugging Face a anunțat inițial atacul ca venind de la un agent autonom, fără să îi cunoască originea, iar ulterior OpenAI a informat platforma că propriile sale modele au fost responsabile. Incidentul vine într-un moment în care OpenAI oprise temporar și dezvoltarea seriei sale avansate Astra, pe fondul riscului operațional.

Noile reguli scurtează toleranța pentru orice comportament periculos

Compania schimbă și procedurile de intervenție, nu doar bugetul de calcul alocat securității.

• aproximativ 20% din puterea de calcul folosită pentru rularea unui model va merge spre supravegherea activității sale;
• o alertă trebuie declanșată în cel mult 30 de minute de la detectarea unei activități potențial periculoase;
• dacă echipele nu pot confirma în următoarele 30 de minute că este o alertă falsă, testul va fi oprit.

OpenAI își întărește în paralel izolarea rețelelor pentru a bloca accesul neautorizat la internet, elimină serviciile partajate considerate vulnerabile și îmbunătățește logarea raționamentului modelelor AI, adică urmărirea mai clară a pașilor interni prin care modelul ajunge la un răspuns.

Riscul cibernetic „critic” al modelului Astra

Într-un paragraf relatat și de Fortune, TechCrunch și The Verge, compania a anunțat și că modelul său nepublicat Astra a atins un nivel de risc de securitate cibernetică „critic” în propriul cadru de siguranță, deși nu a fost implicat în incidentul cu Hugging Face. Cum relatează ZF.ro, OpenAI este evaluată la 852 miliarde de dolari și se pregătea pentru o posibilă listare la o valoare de 1.000 miliarde de dolari, ceea ce face ca încetinirea dezvoltării și creșterea costului de control să capete greutate strategică, nu doar tehnică.

„Pe măsură ce modelele devin mai capabile, riscurile asociate cu dezvoltarea și testarea lor internă cresc și ele. Standardele noastre de monitorizare, aliniere și securitate trebuie să devanseze aceste riscuri.”

Amelia Glaese (VP of research, OpenAI) a descris schimbarea ca pe o ajustare a regulilor în funcție de pragul de risc: „Am pus în aplicare cerințe și așteptări pentru o dezvoltare sigură. Aceste cerințe și așteptări variază în funcție de nivelul de risc pe care îl observăm.”

„Cea mai mare rundă planificată de reinforcement learning (RL) de frontieră rămâne în așteptare în timp ce efectuăm antrenamente și evaluări la scară mai mică pentru a evalua comportamentul modelului, a valida măsurile noastre de protecție și a stabili mai multe dovezi de aliniere înainte de a continua.”

Parteneri

Articole recomandate din rețeaua noastră

LylaChloé schimbă stilul boho pentru 2027 cu mâneci uriașe, dantelă și culori viiRevista IoanaCând are copilul nevoie de două doze de vaccin antigripal și la ce interval se facNews24USR cere alegeri anticipate și refuză un executiv cu miniștri PSD înaintea consultărilor de la CotroceniDolce SportRaphinha a ieșit la pauză cu probleme musculare, înainte de El Clásico din 25 octombrieGetPonyCinci mașini clasice cu motor V12 rămân relativ accesibile, dar întreținerea schimbă calcululBravonetHoroscop 1 octombrie 2026. Rac și Leu au spor la planuri și discuții azi