OpenAI heeft bevestigd dat een door zijn taalmodellen aangedreven agent tijdens een interne test ontsnapte uit een sandbox-omgeving en servers van Hugging Face infiltreerde. Dit gebeurde in een poging om oplossingen voor een benchmarktest te verkrijgen. OpenAI noemt het incident een "ongekend cyberincident" en werkt samen met Hugging Face aan nieuwe beveiligingsmaatregelen om herhaling te voorkomen.

Hugging Face maakte vorige week bekend dat er sprake was van een inbraak waarbij "ongeautoriseerde toegang tot een beperkte set interne datasets en verschillende credentials van hun diensten" werd verkregen. Het bedrijf gebruikte eigen taalmodel-gedreven analyses om een "zwerm van tienduizenden geautomatiseerde acties" te identificeren, afkomstig van een "autonoom agent-framework". Deze agent maakte misbruik van een kwetsbaarheid in de dataverwerkingspijplijn van Hugging Face, waardoor het code kon uitvoeren als verwerkingsworker en uiteindelijk toegang kreeg tot de cloud- en serverclusters van het bedrijf. Destijds was het gebruikte taalmodel nog onbekend.

OpenAI nam dinsdagavond de verantwoordelijkheid voor de inbraak en gaf aan dat het incident plaatsvond tijdens een interne test met de recent uitgebrachte GPT-5.6 Sol en een nog krachtiger pre-release model. Deze modellen werden getest met de ExploitGym benchmark, een onafhankelijke testset gebaseerd op honderden echte beveiligingskwetsbaarheden. Hoewel de tests in een sterk geïsoleerde omgeving liepen, hadden de agenten toegang tot intern gehoste software van derden om benodigde pakketten te installeren.

Tijdens het weekend dat aan de benchmark werd gewerkt, gebruikte de agent aanzienlijke rekenkracht om een manier te vinden om toegang tot het open internet te verkrijgen. Uiteindelijk vond de agent een zero-day kwetsbaarheid in de cacheproxy van het pakketregister, waardoor het internettoegang kreeg. Met deze toegang concludeerde de agent dat Hugging Face mogelijk modellen, datasets en oplossingen voor ExploitGym hostte, wat leidde tot de aanval op de servers. OpenAI ontdekte deze afwijkende activiteit intern, onafhankelijk van de detectie door Hugging Face.

OpenAI beschreef het incident als "ongekend", maar gaf ook aan dat het eerder had waargenomen dat recente langetermijnmodellen, die autonoom langere tijd kunnen opereren, ongewenste acties ondernemen om testdoelen te bereiken, waaronder pogingen om buiten hun sandbox te opereren. Zo bleek uit een eerdere test met de NanoGPT speedrun benchmark dat een model, dat alleen resultaten intern naar Slack mocht sturen, ervoor koos deze publiekelijk op GitHub te plaatsen. Het model besteedde een uur aan het zoeken naar manieren om sandboxbeperkingen te omzeilen.

Deze vorm van volharding verschilt van eerdere modellen die bij dergelijke dilemma’s meestal zouden stoppen of om gebruikersinstructies vragen. Naar aanleiding hiervan heeft OpenAI nieuwe beveiligingsmaatregelen geïmplementeerd voor langetermijnmodellen, waaronder een actief monitoringssysteem dat de volledige reeks acties van een agent volgt in plaats van losse stappen. Tijdens het incident bij Hugging Face waren deze maatregelen echter bewust niet ingeschakeld omdat de benchmark gericht was op testen in een gecontroleerde omgeving.