A început cursa pentru a aduce tehnologia din spatele ChatGPT pe smartphone. Și, dacă judecăm după viteza surprinzătoare cu care avansează tehnologia, cele mai recente mișcări în materie de inteligență artificială ar putea transforma comunicațiile și informatica mobilă mult mai repede decât părea probabil cu doar câteva luni în urmă.
Pe măsură ce companiile de tehnologie se grăbesc să integreze AI generativă în software-ul și serviciile lor, acestea se confruntă cu costuri de calcul semnificativ mai mari. Preocuparea a cântărit în special asupra Google, analiștii de pe Wall Street avertizând că marjele de profit ale companiei ar putea fi presate dacă utilizatorii de căutare pe internet ajung să se aștepte la conținut generat de AI în rezultatele standard de căutare.
Rularea AI generativă pe telefoanele mobile, mai degrabă decât prin intermediul cloud-ului pe serverele operate de grupurile Big Tech, ar putea răspunde la una dintre cele mai mari întrebări economice ridicate de cea mai recentă modă tehnologică.
Google a declarat săptămâna trecută că a reușit să ruleze o versiune a PaLM 2, cel mai recent model de limbaj mare al său, pe un telefon Samsung Galaxy. Deși nu a făcut o demonstrație publică a modelului la scară redusă, numit Gecko, mișcarea este cel mai recent semn că o formă de inteligență artificială care a necesitat resurse de calcul găsite doar într-un centru de date începe rapid să își facă loc în mult mai multe locuri.
Schimbarea ar putea face ca servicii precum chatbots să fie mult mai ieftine pentru companii și să deschidă calea pentru aplicații mai transformative care utilizează AI generativă.
„Trebuie să faceți IA hibridă – (care să funcționeze atât în centrul de date, cât și la nivel local – altfel va costa prea mulți bani”, a declarat Cristiano Amon, directorul executiv al companiei de cipuri mobile Qualcomm pentru Financial Times. Exploatarea puterii de procesare neutilizate de pe telefoanele mobile este cea mai bună modalitate de a repartiza costurile, a spus el.
Atunci când lansarea ChatGPT la sfârșitul anului trecut a atras atenția pe scară largă asupra inteligenței artificiale generative, perspectiva de a o aduce pe telefoane mobile părea îndepărtată. În afară de antrenarea așa-numitelor modele de limbaj mare din spatele unor astfel de servicii, activitatea de inferență – sau rularea modelelor pentru a produce rezultate – este, de asemenea, solicitantă din punct de vedere computațional. Telefoanele mobile nu dispun de memoria necesară pentru a stoca modele mari precum cel din spatele ChatGPT, precum și de puterea de procesare necesară pentru a le rula.
Generarea unui răspuns la o interogare pe un dispozitiv, mai degrabă decât așteptarea unui centru de date la distanță pentru a produce un rezultat, ar putea, de asemenea, să reducă latența, sau întârzierea, de la utilizarea unei aplicații. În cazul în care datele personale ale unui utilizator sunt utilizate pentru a rafina răspunsurile generatoare, păstrarea întregii procesări pe un telefon mobil ar putea, de asemenea, spori confidențialitatea.
Mai mult decât orice, AI generativă ar putea facilita desfășurarea activităților obișnuite pe un smartphone, de exemplu atunci când este vorba de lucruri care implică producerea de text. „Ați putea încorpora (AI) în fiecare aplicație de birou: Primești un e-mail, îți sugerează un răspuns”, a spus Amon. „Veți avea nevoie de capacitatea de a rula aceste lucruri atât la nivel local, cât și în centrul de date.”
Progresele rapide în unele dintre modelele de bază au schimbat ecuația. Cele mai mari și mai avansate, cum ar fi PaLM 2 al Google și GPT-4 al OpenAI, au acaparat titlurile. Dar o explozie de modele mai mici a făcut ca unele dintre aceleași capacități să fie disponibile în moduri mai puțin solicitante din punct de vedere tehnic. Acestea au beneficiat, în parte, de noi tehnici de reglare a modelelor lingvistice bazate pe o mai atentă curatorie a seturilor de date pe care sunt antrenate, reducând astfel cantitatea de informații pe care trebuie să le dețină.
Potrivit lui Arvind Krishna, director executiv al IBM, majoritatea companiilor care caută să utilizeze AI generativă în propriile servicii vor obține o mare parte din ceea ce au nevoie prin combinarea mai multor modele mai mici de acest tip. Vorbind săptămâna trecută, când IBM a anunțat o platformă tehnologică pentru a-și ajuta clienții să exploateze inteligența artificială generativă, el a spus că mulți vor opta să folosească modele open-source, unde codul este mai transparent și poate fi adaptat, în parte pentru că va fi mai ușor să ajusteze tehnologia folosind propriile date.
Unele dintre modelele mai mici au demonstrat deja capacități surprinzătoare. Printre acestea se numără LLaMa, un model lingvistic cu sursă deschisă lansat de Meta, despre care se afirmă că a egalat multe dintre caracteristicile celor mai mari sisteme.
LLaMa vine în diferite dimensiuni, dintre care cea mai mică are doar 7 miliarde de parametri, mult mai puțini decât cei 175 de miliarde din GPT-3, modelul de limbaj revoluționar lansat de OpenAI în 2020 – numărul de parametri din GPT-4, lansat anul acesta, nu a fost dezvăluit. Un model de cercetare bazat pe LLaMa și dezvoltat la Universitatea Stanford a fost deja prezentat rulând pe unul dintre telefoanele Pixel 6 de la Google.
Pe lângă dimensiunea lor mult mai mică, natura open-source a modelelor de acest tip a facilitat, de asemenea, adaptarea acestora pentru cercetători și dezvoltatori la diferite medii de calcul. Qualcomm a prezentat la începutul acestui an ceea ce a susținut că a fost primul telefon Android care rulează modelul de generare a imaginilor Stable Diffusion, care are aproximativ 1 miliard de parametri. Producătorul de cipuri a „cuantificat”, adică a redus dimensiunea modelului pentru a-l rula mai ușor pe un telefon mobil fără a pierde din acuratețea acestuia, a declarat Ziad Asghar, vicepreședinte senior la Qualcomm.
Având în vedere că cea mai mare parte a activității de adaptare a modelelor la telefoane mobile se află încă în stadiu experimental, este prea devreme pentru a evalua dacă eforturile vor duce la aplicații mobile cu adevărat utile, a declarat Ben Bajarin, analist la Creative Strategies. El a prezis aplicații relativ rudimentare, cum ar fi funcții de editare a fotografiilor cu comandă vocală și răspunsuri simple la întrebări, de la primul val de modele mobile cu un număr de parametri cuprins între 1 și 10 miliarde.
Zoubin Ghahramani, vicepreședinte la Google DeepMind, divizia de cercetare în domeniul inteligenței artificiale a companiei de internet, a declarat că modelul său mobil Gecko ar putea procesa 16 token-uri pe secundă – o măsură bazată pe numărul de unități de text scurt cu care lucrează modelele lingvistice mari. Majoritatea modelelor mari folosesc 1-2 token-uri pentru fiecare cuvânt generat, ceea ce sugerează că Gecko ar putea produce aproximativ 10-15 cuvinte pe secundă pe un telefon mobil, ceea ce îl face potențial potrivit pentru a sugera mesaje text sau răspunsuri scurte la e-mailuri.
Cerințele specifice ale telefoanelor mobile au însemnat că este probabil ca atenția să se îndrepte rapid către așa-numitele modele multimodale care pot funcționa cu o gamă de imagini, texte și alte intrări, a declarat Asghar de la Qualcomm. Acesta a adăugat că este probabil ca aplicațiile mobile să se bazeze în mare măsură pe vorbire și pe imagini, mai degrabă decât pe aplicațiile cu mult text, mai frecvente pe un computer personal.
Între timp, viteza surprinzătoare cu care AI generativă începe să se mute pe smartphone-uri, va spori atenția asupra Apple, care până acum a stat deoparte de frenezia speculativă în jurul acestei tehnologii.
Defectele binecunoscute ale IA generativă, cum ar fi tendința modelelor mari de a „halucina” – sau atunci când chatbotul răspunde cu informații fabricate – au însemnat că Apple nu avea șanse să integreze tehnologia în sistemul de operare al iPhone pentru o perioadă de timp, a declarat Bajarin. În schimb, el a prezis că firma va căuta modalități de a facilita dezvoltatorilor de aplicații să înceapă să experimenteze cu tehnologia în propriile servicii.
„Aceasta este postura pe care o veți vedea și din partea Microsoft și Google: toți vor dori să ofere dezvoltatorilor instrumentele necesare pentru a merge și a concura (cu aplicații de inteligență artificială generativă)”, a spus Bajarin.
Cu Worldwide Developers Conference a Apple, care va începe pe 5 iunie, precedată de propriul eveniment al Microsoft pentru dezvoltatori numit Build, lupta pentru atenția dezvoltatorilor este pe cale să devină intensă. Poate că inteligența artificială generativă se află încă la început, dar graba de a ajunge în mâinile – și buzunarele – mult mai multor utilizatori este deja în plină desfășurare.
Sursa – www.ft.com