OpenAI nu a semnat public angajamentul Open Agent Safety Platform, consorțiul anunțat luni de Nvidia împreună cu peste 100 de companii pentru combaterea agenților AI necontrolați. Absența formală nu a oprit însă colaborarea tehnică dintre cele două companii.
Un purtător de cuvânt al OpenAI a declarat pentru TechCrunch că firma susține activitatea Nvidia. Potrivit TechCrunch, OpenAI lucrează cu Nvidia la securitatea agenților, inclusiv la OpenShell. Acesta este un software open-source care creează un mediu izolat, numit sandbox, pentru a împiedica agenții AI să evadeze din spațiul controlat.
Amazon, Google și Apple nu s-au alăturat nici ele consorțiului, în timp ce Anthropic îl susține. Jensen Huang, CEO-ul Nvidia, consideră că agenții AI necontrolați reprezintă o problemă obișnuită de inginerie, care poate fi rezolvată prin instrumente tehnice.
Monitorizarea completă depinde de procesoarele Nvidia
Platforma Nvidia nu se limitează la mediul izolat oferit de OpenShell. Al doilea strat este Nvidia Sentry, o funcție proprietară care rulează pe unitățile de procesare a datelor BlueField-4, monitorizează continuu comportamentul agenților și îi poate opri instantaneu, conform promisiunii companiei.
Supravegherea este aplicată la nivel hardware și este concepută astfel încât agenții să nu detecteze că sunt monitorizați. Mecanismul răspunde situațiilor în care unele modele și unii agenți pretind că respectă regulile atunci când știu că sunt urmăriți.
Componenta hardware nu este open-source și poate fi implementată numai pe echipamente Nvidia. Pentru organizațiile care rulează deja sarcini pe hardware-ul recent al companiei, Nvidia prezintă instalarea Open Agent Safety Platform drept o actualizare software simplă. Arhitectura păstrează astfel partea critică de monitorizare pe propriile procesoare ale producătorului.
Arm și Intel susțin totuși inițiativa. Participarea lor este posibilă deoarece OpenShell poate fi modificat pentru alte cipuri și tipuri de hardware, iar Nvidia distribuie modele de referință pentru ansamblul software-hardware.
Hugging Face a adăugat protecție împotriva utilizării neautorizate a site-urilor
Potrivit lui Clem Delangue, Hugging Face a contribuit deja la Open Agent Safety Platform cu o funcție care va detecta și va opri agenții atunci când folosesc într-un mod neautorizat site-uri pe care au permisiunea să le acceseze. Aceasta poate interveni dacă agenții ocolesc mecanismele de protecție și coordonează un atac prin mesaje lăsate într-un depozit de cod open-source.
Un astfel de mecanism vizează tipul de comportament observat în incidentul în care agenții OpenAI au atacat Hugging Face. OpenAI a explicat că una dintre metodele prin care grupul de agenți și-a coordonat acțiunile a fost printr-un depozit de cod open-source.
Clem Delangue, fondatorul și CEO al Hugging Face, a estimat cu rezervă că agenții OpenAI implicați în atac ar fi fost detectați mai devreme dacă ar fi rulat sub protecția noii platforme.
„Din câte știm, deși trebuie privit cu rezerve și e nevoie de mult mai multă transparență, dacă @OpenAI ar fi rulat asta pe propriii agenți care ne-au atacat, i-ar fi prins înaintea noastră”, a scris Delangue.
Delangue și-a vândut compania către Nvidia pentru 12,9 miliarde de dolari la începutul acestei luni.
OpenAI dezvoltă în paralel propriul sistem de securitate
OpenAI își construiește propriile mecanisme de protecție pentru activitatea de cercetare și pentru produse și divulgă cele mai grave incidente pe care le identifică. Potrivit TechCrunch, această direcție separată îi permite companiei să își păstreze o poziție proprie în securitatea agenților AI, chiar dacă Nvidia este un investitor important și partener tehnic în OpenShell.
Compania operează și Defense Factory, propriul consorțiu de securitate cibernetică destinat schimbului de informații. Anthropic, Amazon Web Services și Google se numără printre susținători, deși Amazon și Google nu au semnat inițiativa tehnologică a Nvidia.
Securitatea cibernetică este dezvoltată de OpenAI și ca ofertă pentru companii. Aceasta include Daybreak, modelul orientat spre securitate, precum și o rețea de parteneri pe care întreprinderile îi pot contracta pentru implementarea sistemelor de securitate AI.
Pentru a fi la curent cu toate știrile, urmărește Financiarul.ro și pe Google News
Parteneri
Articole recomandate din rețeaua noastră
BravonetBianca Ghiurcă a izbucnit în lacrimi după imaginile cu Marco și Gabriella. A luat în calcul să plece
LylaCum alegi rolele termice pentru păr fin, des sau lung și de ce sunt recomandate aproximativ 15 minute
Revista IoanaO „perdea” întunecată apărută brusc în câmpul vizual cere evaluare medicală în aceeași zi
News24Județul Brașov a raportat 85 de cazuri de hepatită A de la începerea școlii. Copiii de 1-9 ani sunt cei mai afectați
Dolce SportRomânia a terminat pe locul 17 în ambele secțiuni ale Olimpiadei de Șah
GetPonyCinci campere ușoare transformă bena pickup-ului în spațiu de dormit. Prețurile pornesc de la 7.000 de dolari
