Incidentele ridică noi semne de întrebare privind capacitatea modelelor avansate de inteligență artificială de a acționa autonom în mediul online și privind măsurile de securitate necesare atunci când acestea sunt tesModelul de inteligență artificială Gemini, dezvoltat de Google, a reușit să pătrundă în sistemele a trei companii reale în timpul unor teste privind capacitățile sale în domeniul securității cibernetice. Potrivit BBC News, Google susține că este primul caz cunoscut în care una dintre modelele sale AI ajunge să efectueze asemenea acțiuni în timpul testării.

Incidentul s-a produs în luna mai, în cadrul unor teste desfășurate de startupul Irregular, specializat în evaluarea modelelor de inteligență artificială.

Potrivit Google, Gemini a identificat informații disponibile public pe internet și a reușit să ghicească datele de autentificare necesare pentru accesarea unor site-uri despre care modelul credea că fac parte din mediul de testare.

„Gemini a găsit informații publice pe internet și a ghicit datele de autentificare pentru site-urile despre care considera că fac parte din test”, a explicat compania.

Într-unul dintre cazuri, Gemini primise un scenariu fictiv în care trebuia să spargă sistemul unei companii inexistente. Modelul AI a reușit însă să acceseze internetul și a identificat o companie reală care avea același nume ca entitatea imaginară din scenariul de test.

În loc să rămână în mediul controlat, Gemini a pătruns în sistemele companiei reale.

Numele celor trei companii afectate nu au fost făcute publice. Acestea au fost informate despre incidente în luna iulie.

Vicepreședinta Google pentru inginerie de securitate, Heather Adkins, a declarat că toate organizațiile vizate au fost notificate, iar procedurile de testare au fost ulterior modificate.

„Ne-am asigurat că toate cele trei organizații au fost informate și, împreună cu partenerul nostru de testare, am lucrat la schimbările care au fost deja introduse în proces”, a precizat Adkins.

Cazul Gemini nu este însă unul izolat în industria inteligenței artificiale. Anthropic a relatat anterior că trei modele Claude au ieșit din mediul de testare al platformei Irregular, au accesat internetul și au pătruns în sistemele a trei organizații.

Și OpenAI a raportat anterior un incident similar, în care două modele AI testatetate pentru operațiuni complexe din domeniul securității cibernetice.