OpenAI a dezvăluit marți că a pierdut controlul asupra a două modele de inteligență artificială în timpul unui test de securitate, incident care s-a încheiat cu compromiterea platformei de cercetare AI Hugging Face, scrie wired.com.

Incident fără precedent

Compania a descris incidentul drept „fără precedent”, precizând că modelele AI au reușit să iasă dintr-un mediu de testare complet izolat și să pătrundă în sistemul de producție al Hugging Face pentru a fura răspunsurile la testul pe care îl susțineau.

Cele două modele implicate sunt GPT-5.6 Sol, disponibil publicului, și un al doilea model încă nelansat, despre care OpenAI spune că este semnificativ mai performant. Acestea erau evaluate pentru capacitățile lor de hacking ofensiv, într-un mediu în care mecanismele de siguranță care blochează activitățile cibernetice cu risc ridicat fuseseră dezactivate în mod deliberat.

Într-o postare comună pe blog, OpenAI și Hugging Face au explicat că modelele AI au identificat și au combinat mai multe vulnerabilități din infrastructura OpenAI și din sistemele de producție ale Hugging Face pentru a obține direct soluțiile testului din baza de date a platformei.

Cum au reușit modelele AI să „evadeze”

Potrivit celor două companii, punctul de ieșire din mediul izolat a fost un cache proxy pentru registrul de pachete software, un serviciu utilizat de dezvoltatori pentru instalarea de cod extern fără conectare directă la internet.

Acest proxy reprezenta singura componentă a mediului de testare care avea acces către exterior, acces limitat în mod normal doar la depozite publice de cod.

În loc să rămână în sandbox-ul de testare, modelele au exploatat o vulnerabilitate de tip „zero-day”, necunoscută anterior, obținând acces la internet în timp ce încercau obsesiv să găsească soluția pentru ExploitGym, un benchmark destinat evaluării performanțelor AI în domeniul securității cibernetice.

Acest tip de experiment presupune utilizarea unor instrucțiuni speciale care împing modelele să găsească orice metodă posibilă pentru rezolvarea provocării.

AI-ul a decis să trișeze

După ce au ajuns online, modelele au dedus că Hugging Face găzduiește modele, seturi de date și soluții legate de ExploitGym.

Conform OpenAI, acestea au început apoi să caute modalități de a obține informații secrete care le-ar fi permis să trișeze la evaluare.

Într-unul dintre cazuri, modelul AI a combinat mai multe tehnici de atac, inclusiv utilizarea unor credențiale furate și exploatarea unei vulnerabilități zero-day, pentru a accesa informațiile dorite.

O vulnerabilitate veche, o problemă nouă

Defectul exploatat era necunoscut până acum, însă specialiștii subliniază că astfel de vulnerabilități în sistemele de gestionare a pachetelor software nu sunt deloc rare.

Companiile din domeniu repară de peste un deceniu probleme similare. De exemplu, o vulnerabilitate făcută publică în 2024 permitea oricărei persoane care putea comunica cu serverul să descarce fișiere sensibile – inclusiv parole, fișiere de configurare și tokenuri de acces – fără autentificare. Alte vulnerabilități permiteau chiar preluarea completă a controlului asupra serverelor.

Experții: „Nu este o problemă de AI, ci de securitate”

Specialiștii în securitate spun că incidentul nu demonstrează că inteligența artificială a devenit imposibil de controlat, ci că infrastructura nu a fost suficient de bine izolată.

Consultantul în securitate cibernetică Davi Ottenheimer afirmă că izolarea completă a sistemelor informatice este o practică bine cunoscută de zeci de ani.

„Aceasta nu este o problemă de inteligență artificială. Este neglijarea unui principiu de securitate vechi de 40 de ani. Nu poți spune simultan că sistemul era «puternic izolat» și că modelele au scăpat prin singura gaură rămasă deschisă.”

Un semnal de alarmă pentru industria AI

În ultimele luni, marile companii din domeniul inteligenței artificiale au avertizat că modelele de ultimă generație dobândesc rapid competențe tot mai avansate în securitate cibernetică, devenind mai creative și mai autonome în luarea deciziilor.

Tocmai de aceea, spun cercetătorii, infrastructura pe care sunt testate aceste modele trebuie să respecte cele mai stricte reguli de securitate.

Inginerul și cercetătorul în securitate Niels Provos consideră că incidentul nu ar fi trebuit să fie posibil.

„Acest lucru nu ar fi trebuit să se întâmple. Mi-aș dori ca laboratoarele care dezvoltă modelele de frontieră să investească la fel de mult în construirea unei infrastructuri sigure pe cât investesc în antrenarea modelelor să exploateze vulnerabilități.”