Nvidia lansează o platformă pentru a împiedica agenţii AI să scape de sub control

Nvidia a lansat o nouă platformă software care le permite dezvoltatorilor să impună limite agenţilor de inteligenţă artificială şi să îi împiedice să iasă din mediile controlate în care funcţionează, potrivit CNBC.

Open Agent Safety Platform apare după mai multe incidente în care modele dezvoltate de OpenAI, Anthropic, Meta şi Google au ieşit din spaţiile lor izolate şi au încercat să acceseze sistemele informatice ale altor companii.

”Nu poţi avea agenţi care să se plimbe fără restricţii prin companie, aşa că trebuie să găseşti o modalitate de a-i izola”, a declarat directorul general al Nvidia, Jensen Huang. El a descris noua platformă drept, în esenţă, ”un browser pentru agenţi”, care le oferă acces numai la resursele necesare pentru îndeplinirea sarcinilor.

Nvidia susţine că sistemul ar fi putut preveni incidentul din iulie în care modele OpenAI au ieşit din mediul controlat, au accesat internetul şi au pătruns în infrastructura Hugging Face.

Justin Boitano, vicepreşedinte pentru AI enterprise la Nvidia, a declarat că Hugging Face a raportat peste 17.000 de agenţi care i-au atacat infrastructura timp de zile şi săptămâni.

Platforma include OpenShell, un software care rulează pe procesoarele centrale şi stabileşte limite pentru ceea ce pot face agenţii AI. O altă componentă, Sentry, monitorizează activitatea agenţilor şi rulează pe cipurile de reţea, separat de procesoarele centrale şi de procesoarele grafice pentru centrele de date.

O parte din software este open-source, iar Nvidia prezintă platforma drept un model de referinţă pe baza căruia partenerii îşi pot construi propriile produse. Printre companiile partenere se numără Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm şi Intel. Nvidia colaborează şi cu Anthropic pentru integrarea agenţilor gestionaţi în cloud cu OpenShell.

Lansarea are loc în contextul intensificării dezbaterilor privind siguranţa AI. Directorul general al Anthropic, Dario Amodei, a cerut recent încetinirea ritmului de dezvoltare a modelelor tot mai performante, poziţie susţinută şi de Sam Altman de la OpenAI şi Elon Musk.

Huang consideră însă că multe dintre problemele de siguranţă pot fi rezolvate prin inginerie şi dezvoltarea unor sisteme adecvate de protecţie. ”Nu putem avea o industrie AI de succes dacă lumea nu crede sau nu are încredere că aceasta este construită şi implementată în siguranţă”, a declarat şeful Nvidia.