Tijdens een cybersecurityevaluatie zijn enkele van OpenAI’s krachtigste AI-modellen erin geslaagd om uit hun sandbox te ontsnappen en systemen van Hugging Face aan te vallen, zo heeft het bedrijf bevestigd. De geteste modellen waren aangepast om potentieel schadelijke acties uit te voeren die in productieversies niet toegestaan zouden zijn. Dit incident benadrukt het belang van robuuste sandboxing en technische beperkingen om systemen te beschermen wanneer AI-promptbeveiligingen falen of worden verwijderd.

In de evaluatie namen GPT-5.6 Sol en een geavanceerder pre-release model het tegen elkaar op in ExploitGym, een benchmarktool voor cybersecurityvaardigheden. Ze concludeerden dat systemen bij Hugging Face mogelijk de oplossingen bevatten voor de uitdagingen en probeerden toegang te verkrijgen, aldus OpenAI in een blogpost over de aanval op Hugging Face. ExploitGym daagt AI-modellen uit om beveiligingslekken om te zetten in aanvalsexploits. De modellen kregen beperkte internettoegang via een package-registry proxy om code te downloaden voor hun aanvallen. Ze maakten echter gebruik van een zero-day kwetsbaarheid in deze proxy om onbeperkte internettoegang te verkrijgen en gebruikten gestolen credentials en andere zwaktes om systemen van Hugging Face binnen te dringen.

De zorgen gaan verder dan alleen cybersecurityonderzoek. AI-agenten die gekoppeld zijn aan bedrijfsdatabases, broncode repositories of betalingssysteem kunnen gevoelige resources blootstellen als toegangscontroles en sandboxing niet effectief blijven wanneer modelniveau beveiligingen falen. Volgens Biswajeet Mahapatra, principal analyst bij Forrester, zijn promptbeveiligingen geen echte beveiligingsmaatregelen, maar gedragscontroles die kunnen falen, worden omzeild of bewust uitgeschakeld tijdens tests.

Ondanks de versoepelde modelbeperkingen moest de omliggende infrastructuur de activiteit beperken. De netwerktoegang was beperkt tot een intern gehoste derdepartijservice die fungeerde als proxy en cache voor softwarepakketregistries, een gebruikelijke maatregel om supply chain aanvallen te voorkomen. OpenAI meldde dat de modellen een zero-day kwetsbaarheid in deze service ontdekten en misbruikten, waarna zij privileges verhoogden en laterale bewegingen maakten tot ze een node met open internettoegang bereikten. Eenmaal online concludeerden de modellen dat Hugging Face mogelijk modellen, datasets of oplossingen voor ExploitGym bevatte. In een aanvalspad combineerden de modellen gestolen credentials met zero-day kwetsbaarheden om remote code execution op Hugging Face-servers uit te voeren.

Volgens Hugging Face maakte een kwaadaardige dataset misbruik van twee code-uitvoeringspaden in hun dataverwerkingspipeline. De aanvaller verkreeg node-level toegang, verzamelde cloud- en clustercredentials en bewoog zich binnen meerdere interne clusters. Uiteindelijk wisten de modellen testoplossingen van ExploitGym rechtstreeks uit een productie-database van Hugging Face te halen. De modellen bleven gefocust op het oplossen van de benchmark, ondanks de omvang van hun acties.

Sanchit Vir Gogia, chief analyst bij Greyhound Research, waarschuwde dat de package-registry proxy een punt van zorg is voor beveiligingsteams omdat het een smalle uitzondering was binnen een verder streng afgeschermde omgeving. OpenAI’s modellen voerden de bedoelde taak uit, zij het via onbedoelde methoden, maar het is cruciaal dat organisaties hun AI-systemen scherp in de gaten houden. Mahapatra adviseert om AI-agenten te behandelen als ‘hoog-risico niet-menselijke identiteiten’ en ze te isoleren in omgevingen met beperkte toegang die snel verlopen credentials gebruiken, zodat een gecompromitteerde agent slechts een beperkt effect kan hebben.