Inteligenţă artificială

Contractori care evaluau modelele OpenAI au fost eliminați din proiecte după ce ar fi folosit IA

Contractori care evaluau modelele OpenAI au fost eliminați din proiecte după ce ar fi folosit IA
Folosind inteligența artificială - Foto: Anna Shvets / Pexels

Mai mulți contractori implicați în îmbunătățirea modelelor OpenAI au fost concediați sau eliminați din proiecte după ce ar fi folosit instrumente de inteligență artificială pentru sarcinile lor, potrivit 404 Media. Deciziile vizează exact personalul angajat pentru a adăuga judecată umană procesului de evaluare a răspunsurilor generate de ChatGPT.

OpenAI folosește mii de contractori externi pentru a citi solicitări reale ale utilizatorilor ChatGPT și alte date, pentru a compara răspunsuri și pentru a semnala probleme de calitate. Un document intern arată că proiectele analizate pot implica peste 10.000 de persoane.

404 Media a obținut documente interne și a discutat cu trei contractori care lucrează pentru OpenAI în proiecte diferite. Publicația le-a protejat identitatea deoarece aceștia nu aveau permisiunea de a vorbi cu presa.

Unul dintre contractori a relatat că folosirea IA apare frecvent în aceste echipe și că reprezintă una dintre încălcările care duc rapid la eliminarea unui lucrător. Într-un grup format din mii de persoane, foarte mulți contractori ar fi fost prinși, potrivit aceleiași declarații.

Folosirea IA anulează tocmai componenta umană cerută contractorilor

Activitatea acestor lucrători are rolul de a furniza evaluări realizate de oameni, nu alte texte sintetice. Contractorii verifică răspunsurile chatbotului, le acordă calificative și formulează observații care pot fi folosite pentru îmbunătățirea modelelor.

Folosirea IA în acest proces poate introduce înapoi în sistem conținut produs de alte modele. Problema este asociată cu „colapsul modelului”, procesul prin care un sistem antrenat suplimentar pe texte generate de IA poate deveni treptat mai slab. Unele modele prezintă deja semne ale acestei degradări.

Documentele stabilesc o separare strictă între instrumentele evaluate și munca persoanelor care le verifică. Interdicțiile acoperă atât generarea feedbackului, cât și instrumentele folosite pentru control:

  • contractorii nu pot folosi IA pentru redactarea comentariilor, a evaluărilor sau a feedbackului;
  • GPTZero și alte instrumente de detectare automată a textelor generate de IA sunt interzise, fiind considerate nesigure;
  • Grammarly nu poate fi utilizat în activitatea de evaluare;
  • serviciile de traducere automată bazate pe IA sunt, de asemenea, excluse.

Regula se aplică inclusiv contractorilor care controlează munca altor evaluatori. Aceștia trebuie să identifice posibila utilizare a IA fără a apela ei înșiși la asemenea sisteme.

Un document intern le cere evaluatorilor să analizeze tiparul general al unei lucrări, nu un singur indiciu. De asemenea, aceștia sunt instruiți să nu explice persoanei verificate ce elemente au trezit suspiciuni, deoarece dezvăluirea criteriilor ar face mai ușoară mascarea folosirii IA în sarcinile următoare.

Evaluatorii urmăresc repetițiile, punctuația și viteza de lucru

Semnalele urmărite includ cuvintele repetate, punctuația asociată frecvent textelor generate automat și folosirea excesivă a liniei de pauză. Finalizarea unei sarcini într-un timp neobișnuit de scurt poate determina, la rândul ei, o verificare suplimentară.

Contractorii publică exemple în canale Slack dedicate colaborării și cer opinii despre posibilitatea ca un text să fi fost produs cu IA. Unul dintre lucrătorii intervievați a spus că răspunsul colegilor este, de obicei, afirmativ.

Toți cei trei contractori care au discutat despre regulile proiectelor au confirmat că evaluatorilor li se interzice folosirea IA. Doi dintre ei au spus că lucrători au fost concediați sau scoși din proiecte după asemenea încălcări.

Un contractor care a recunoscut că a folosit IA a prezentat o scrisoare de concediere în care angajatorul invoca probleme privind „autenticitatea” muncii. Acesta a explicat că apelase la instrument pentru un ajutor suplimentar, decizie care a dus ulterior la concediere. El a mai spus că activitatea nu îi oferea satisfacție și că nu simțea că ar contribui la societate.

Mercor aplică interdicția prin eliminarea imediată din proiect

Doi dintre cei trei contractori lucrau pentru Mercor, companie de instruire în domeniul inteligenței artificiale care recrutează personal pentru evaluarea materialelor asociate ChatGPT. Compania plasează expertiza și judecata umană în centrul rolului pentru care sunt angajați acești lucrători.

Mercor a declarat că acordurile sale interzic strict folosirea modelelor lingvistice de mari dimensiuni, adică sisteme capabile să genereze și să analizeze texte. Experții trebuie să respecte atât regulile fiecărui proiect, cât și condițiile contractuale.

Compania a mai transmis că investește masiv în instrumente și sisteme destinate identificării folosirii abuzive. Atunci când confirmă că un expert a utilizat IA pentru îndeplinirea unei sarcini, persoana este eliminată imediat din proiect.

Project Lily pune contractorii în contact cu discuții reale ale utilizatorilor

Evaluarea umană nu se limitează la compararea unor texte abstracte. În Project Lily, descris într-o relatare anterioară, sute de contractori citesc solicitări și conversații reale ale utilizatorilor ChatGPT. Unele dintre aceste schimburi pot conține informații personale.

Contractorii evaluează și critică apoi răspunsurile produse de chatbot. Printre criterii se află verificarea unui ton excesiv de servil și a formulărilor prin care sistemul se prezintă ca și cum ar avea însușiri umane, comportament descris drept antropomorfizare.

Acest flux de lucru explică de ce autenticitatea contribuției umane este tratată ca o condiție contractuală. Persoanele angajate trebuie să ofere o evaluare independentă de tehnologia ale cărei rezultate le analizează, inclusiv atunci când verifică activitatea altor contractori.

Un contractor a descris o tentativă deliberată de sabotare a antrenării

Un al patrulea contractor, care lucrase la antrenarea unor modele pentru mai multe companii de IA, a descris un comportament diferit de folosirea instrumentelor automate pentru accelerarea muncii. Acesta a spus că selecta uneori aleatoriu răspunsurile sau alegea intenționat rezultatul cel mai slab.

Contractorul a relatat că inițial se simțea vinovat pentru participarea la acest tip de activitate. Ulterior, fie nu mai acorda atenție rezultatelor, fie indica deliberat varianta pe care o considera cea mai slabă, cu intenția de a sabota procesul de antrenare.

El a arătat că sute de alte persoane evaluau, la rândul lor, rezultatele produse pentru solicitări și a descris senzația că era plătit pentru a face IA mai slabă. Declarația sa indică o vulnerabilitate distinctă a procesului: calitatea datelor depinde nu doar de respectarea interdicției privind instrumentele automate, ci și de judecata efectivă a persoanelor care acordă calificative.

OpenAI a refuzat să comenteze informațiile despre contractorii concediați pentru folosirea IA. Mercor menține regula eliminării imediate din proiect după confirmarea unei asemenea încălcări.

Pentru a fi la curent cu toate știrile, urmărește Financiarul.ro și pe Google News

Parteneri

Articole recomandate din rețeaua noastră
404 Media ChatGPT Mercor OpenAI Project Lily