Nvidia a anunţat că sistemele Groq 3 LPX au intrat în producţie de serie şi vor deveni operaţionale până la sfârşitul acestui an, marcând prima comercializare importantă a tehnologiei preluate prin cea mai mare achiziţie din istoria companiei, transmite CNBC.
Producătorul american de cipuri a cumpărat în decembrie active ale startupului Groq pentru 20 de miliarde de dolari. Acum, Nvidia încearcă să introducă rapid tehnologia în centrele de date, pe fondul creşterii cererii pentru sisteme capabile să ofere răspunsuri AI aproape instantaneu.
Primele sisteme vor fi instalate în acest an
Rack-urile Groq 3 LPX vor fi instalate la furnizorul de infrastructură cloud Nebius, alături de procesoarele Vera şi GPU-urile Rubin ale Nvidia, a declarat Dion Harris, director senior al companiei.
Groq este specializat în cipuri destinate procesului de ”inference”, adică etapa în care un model AI deja antrenat generează efectiv răspunsurile solicitate de utilizator.
Reducerea latenţei devine tot mai importantă odată cu dezvoltarea agenţilor AI şi a instrumentelor pentru programare, unde utilizatorii se aşteaptă ca sistemele să reacţioneze foarte rapid. Potrivit Nvidia, operatorii cloud ar putea chiar să ofere servicii premium, mai scumpe, clienţilor care solicită timpi foarte mici de răspuns.
Un rack poate genera 3.400 de tokeni pe secundă
Fiecare rack LPX include 256 de cipuri Groq 3. Nvidia afirmă că sistemul poate furniza aproximativ 3.400 de tokeni pe secundă, citând un benchmark realizat de Artificial Analysis.
Arhitectura Groq include 500 MB de memorie SRAM integrată direct pe cip, o soluţie menită să reducă blocajele asociate accesului la memorie. Cipurile Groq sunt fabricate de Samsung, în timp ce GPU-urile Nvidia sunt produse de TSMC.
Compania precizează însă că aceste procesoare nu sunt concepute pentru a înlocui GPU-urile. GPU-urile pot fi utilizate atât pentru antrenarea modelelor AI, cât şi pentru inference, în timp ce cipurile cu latenţă redusă precum Groq sunt concentrate în special pe etapa de „decode”, când modelul generează răspunsul.
”Nu este vorba despre înlocuirea GPU-urilor”, a declarat Harris. Obiectivul este folosirea procesorului potrivit pentru fiecare parte a sarcinii de calcul.
Concurenţă tot mai mare pentru AI rapidă
Nvidia se confruntă şi cu rivali care dezvoltă soluţii pentru inference cu latenţă redusă. AMD a anunţat în acest an că va integra sistemele sale la nivel de rack cu cipuri produse de Cerebras.
În acelaşi timp, Nvidia accelerează livrările sistemelor Vera Rubin, care au intrat în producţie la începutul acestui an. CEO-ul Jensen Huang a estimat în martie că generaţia Blackwell şi noile sisteme Vera Rubin ar putea genera împreună vânzări cumulate de 1.000 de miliarde de dolari până în 2027.
Huang a mai spus că aproximativ un sfert din spaţiul centrelor de date destinat aplicaţiilor de programare ar putea fi alocat cipurilor Groq, restul urmând să utilizeze în principal sistemele Vera Rubin.
Anunţul privind Groq vine înaintea unui alt moment important pentru Nvidia: compania urmează să îşi publice miercuri rezultatele financiare.
