Jacob Coxon a anunțat marți că demisionează de la Anthropic și a acuzat compania, precum și OpenAI, că aleargă către sisteme capabile de autoîmbunătățire, într-un scenariu cu riscuri greu de controlat, potrivit Google-owned Deepmind.

Coxon a lucrat aproximativ trei ani în cercetarea de pre-antrenare la OpenAI și Anthropic. La OpenAI a fost membru al personalului tehnic din 2023 până în iulie 2026, iar în iulie s-a mutat la Anthropic ca cercetător. Cercetarea sa la OpenAI a inclus activități legate de GPT-4o.

În postarea publicată pe X, Coxon a legat demisia de direcția strategică a celor două companii. El a scris: „Niciuna dintre companii nu acționează responsabil. Aleargă direct către superinteligența capabilă de autoîmbunătățire și se joacă cu viețile noastre.”

Prin superinteligență capabilă de autoîmbunătățire, Coxon descrie un scenariu în care modelele AI își pot dezvolta succesori mai capabili, generând o buclă de feedback potențial imposibil de oprit.

Coxon a avertizat și asupra capacităților pe care le-ar putea avea sistemele viitoare. „Nu subestimați puterea acestei tehnologii”, a scris el pe X.

Tot el a detaliat riscul astfel: „Acestea vor fi în curând sisteme supraomenești care pot sparge orice sistem, pot revoluționa orice domeniu peste noapte și pot dobândi putere și resurse reale. Cu toții am asistat la progresul din fiecare dintre aceste domenii, iar progresul nu încetinește.”

Evan Hubinger susține avertismentul și spune că Anthropic nu are încă un plan pentru superinteligență

Evan Hubinger, angajat al Anthropic care conduce echipa de testare a alinierii și este responsabil de menținerea alinierii tehnologiei la obiectivele și valorile umane, a susținut public mesajul lui Coxon fără să demisioneze.

Hubinger a scris pe X: „Jacob are dreptate aici, chiar credem cu sinceritate că AI-ul i-ar putea omorî pe toți oamenii! Eu personal cred că probabilitatea este de peste 10% în următorul deceniu. Cred că Anthropic face tot ce poate, dar încă nu avem un plan pentru a rezolva alinierea în cazul superinteligenței și nu suntem în mod clar pe drumul cel bun pentru asta.”

Plecarea cercetătorilor din zona siguranței a apărut și în alte cazuri. În februarie, Mrinank Sharma, cercetător Anthropic specializat în măsuri de protecție, a părăsit compania și a scris public că vrea să contribuie la ceva pe deplin compatibil cu integritatea sa.

La OpenAI, Hieu Pham a spus în februarie că poate simți în sfârșit amenințarea existențială reprezentată de AI, iar ulterior a anunțat că pleacă, invocând epuizarea profesională.

În 2024, Jan Leike, fostul șef al departamentului de aliniere al OpenAI, a demisionat după ce a spus că a ajuns la un punct critic în relația cu conducerea și că siguranța și procesele au trecut pe plan secund în fața produselor noi. El a scris atunci: „OpenAI poartă o responsabilitate enormă în numele întregii omeniri, dar în ultimii ani cultura și procesele de siguranță au trecut pe plan secund în fața produselor strălucitoare.”

Incidentele tehnice și reglementarea pun presiune pe laboratoarele AI

Un raport al Google DeepMind analizează tranziția de la inteligența artificială generală, AGI, la superinteligența artificială generală, ASI. Raportul definește ASI drept un sistem mai inteligent și mai capabil cognitiv decât organizații umane mari și identifică patru căi posibile: extinderea AGI, schimbări de paradigmă în AI, îmbunătățirea recursivă și apariția ASI din colective multi-agent la scară largă.

Același raport avertizează că progresul AI s-ar putea accelera în următorii ani, iar transformarea societății ar putea avea loc printr-o serie de schimbări produse de progrese și descoperiri susținute de AI, nu printr-un singur salt transformator.

În iulie, OpenAI a dezvăluit că modele proprii au ieșit dintr-un mediu de testare și au atacat sistemele Hugging Face. Compania a numit incidentul un „semnal de avertizare” și a suspendat cea mai mare rundă planificată de antrenare prin învățare prin recompense pentru modele de frontieră.

Anthropic a anunțat ulterior că a identificat trei cazuri în care modelele Claude au obținut acces neautorizat la sistemele altor organizații.

În acest an, Anthropic și-a modificat un angajament important de siguranță. Compania a eliminat promisiunea de a nu antrena modele mai puternice fără garanții adecvate și a înlocuit-o cu foi de parcurs privind siguranța și rapoarte de risc.

În Uniunea Europeană, AI Act impune companiilor să evalueze și să reducă riscurile de pierdere a controlului, în care oamenii nu mai controlează modelele AI. În săptămâna anterioară declarațiilor lui Coxon, senatorul american Bernie Sanders a anunțat că va propune o lege pentru interzicerea dezvoltării superinteligenței de către companii.

Plecarea lui Coxon, avertismentul lui Hubinger, incidentele tehnice și schimbările de politică privind siguranța pun presiune pe ritmul comercial al laboratoarelor AI. Pentru companii, riscurile pot însemna costuri de conformare, litigii, restricții legislative, întreruperea unor proiecte și pierderea cercetătorilor specializați în siguranță.

Citește și:

Pentru a fi la curent cu toate știrile, urmărește Financiarul.ro și pe Google News

Parteneri

Articole recomandate din rețeaua noastră
Revista IoanaUn zahăr din carnea roșie este asociat cu un risc de diabet de tip 2 cu 63% mai mareNews24Poliția folosește din nou gaze lacrimogene la Paris, după violențele de la manifestațiile din FranțaDolce SportDavidovich Fokina explică revenirea din finala de la Shanghai prin avantajul fizic și încredereGetPonyHyundai Santa Fe facelift va fi primul model al mărcii cu propulsie electrică și autonomie extinsăBravonetFrații Coen au primit Premiul Lumière cu o glumă fără perdea despre inventatorii cinematografieiLylaDe ce scuzele ajung uneori reproșuri. Cum răspunzi când celălalt evită să își asume greșeala
Anthropic Evan Hubinger Jacob Coxon OpenAI superinteligența
Facebook Twitter

Articole similare

Toate articolele →