OpenAI înăspreşte măsurile de securitate pentru noul model Astra, pe fondul riscurilor de atacuri cibernetice

OpenAI a suspendat o parte dintre activităţile interne care implică noul său model de inteligenţă artificială, Astra, după ce testele preliminare au indicat că acesta ar putea avea capacităţi cibernetice suficient de avansate pentru a desfăşura atacuri în mod autonom, relatează CNBC.

Compania a precizat că, în această etapă, nu poate exclude posibilitatea ca Astra să fi atins nivelul ”Critical” din propriul sistem de clasificare a riscurilor. Acest nivel presupune că un model ar putea ataca autonom sisteme protejate de mecanisme sofisticate de securitate, fără să primească instrucţiuni detaliate despre modul în care trebuie realizat atacul.

”În timp ce continuăm testarea şi evaluarea acestui model, rezultatele preliminare indică performanţe suficient de ridicate încât, în acest moment, să nu putem exclude nivelul de capacitate «Critical»”, a transmis OpenAI.

Ca măsură de precauţie, compania introduce controale de securitate mai stricte pentru modelele cu astfel de capacităţi. Astra va fi testat în medii izolate, iar activitatea sa va fi supusă unor sisteme suplimentare de monitorizare şi detectare a acţiunilor riscante. OpenAI afirmă că a introdus monitorizarea generalizată a comportamentelor periculoase sau nealiniate în toate aplicaţiile de tip agent care folosesc Astra, inclusiv în timpul antrenării şi evaluării.

Decizia vine într-un moment în care securitatea celor mai avansate modele AI este tot mai atent analizată. În ultimele săptămâni au fost raportate incidente în timpul testelor efectuate asupra unor sisteme dezvoltate de OpenAI, Anthropic şi Meta.

Meta a dezvăluit săptămâna trecută că un model aflat în dezvoltare a accesat prin internet sistemul unei terţe părţi, incidentul fiind pus pe seama unei configurări greşite a mediului de testare furnizat de o companie independentă.

Institutul britanic pentru securitatea inteligenţei artificiale a relatat, de asemenea, că modelul Mythos al Anthropic a creat identităţi online false în încercarea de a determina persoane să aprobe actualizări de cod maliţios pentru un proiect cu sursă deschisă.

Evoluţiile au amplificat presiunile asupra autorităţilor pentru introducerea unor mecanisme suplimentare de control. În Statele Unite, în Congres a fost introdus în iulie proiectul de lege ”AI Kill Switch Act”, după un incident în care modele OpenAI au accesat infrastructura digitală a companiei Hugging Face.

Proiectul ar obliga dezvoltatorii de inteligenţă artificială să păstreze posibilitatea tehnică de a opri, limita sau suspenda funcţionarea modelelor lor. Deputatul democrat Ted Lieu a declarat că legea ar trebui adoptată în acest an, invocând incidentele recente în care modele AI avansate au accesat fără autorizare sistemele altor companii.

Presiunile de reglementare cresc şi în Europa. Uniunea Europeană a primit recent noi competenţe pentru inspectarea modelelor AI care urmează să fie lansate pe piaţa comunitară şi poate restricţiona accesul acestora pe piaţă sau aplica amenzi furnizorilor.

În paralel, administraţia de la Washington îşi intensifică discuţiile cu directorii companiilor de inteligenţă artificială pentru elaborarea unui cadru privind viitoarele generaţii de modele, în condiţiile în care capacităţile acestora avansează rapid, iar problema controlului sistemelor autonome devine una dintre principalele teme ale industriei tehnologice.