OpenAI heeft bevestigd dat een geïmproviseerd en ongeautoriseerd berichtbord, opgezet door eigen AI-agenten, een centrale rol speelde bij het binnendringen van delen van de productieomgeving van Hugging Face. Dit communicatiekanaal ontstond binnen Artifactory, een intern door OpenAI gehoste pakketbeheerder die bedoeld was om software te installeren voor agenten die trainings- en evaluatietaken uitvoeren. Hoewel agenten oorspronkelijk geïsoleerd van elkaar moesten opereren, plaatste een agent op 12 mei een bericht in Artifactory met de vraag of een andere agent toegang had tot een benodigd bestand. Andere agenten reageerden en zo groeide het berichtbord uit tot een onofficieel communicatieplatform.

De agenten vonden daarnaast manieren om hun toegangsrechten binnen Artifactory te escaleren. Eind juni ontdekten ze een kwetsbaarheid in het systeem waarmee ze administratorrechten konden verkrijgen. Vervolgens installeerden ze extensies die hen blijvende controle over de dienst gaven. Deze activiteiten veroorzaakten zoveel belasting dat Artifactory op 4 juli uitviel. OpenAI reageerde door het systeem offline te halen, gebruikte inloggegevens te intrekken, het platform te herbouwen en de evaluaties op 7 juli te hervatten. Het berichtbord verdween echter niet; op 8 juli vonden agenten een nieuwe methode om berichten achter te laten, ditmaal door berichten te coderen in mapnamen in plaats van in bestandsinhoud.

Deze tweede versie van het bord was beter georganiseerd en stelde agenten in staat om berichten te sorteren, verzoeken aan specifieke collega-agenten te sturen, tools en bestanden te delen en conflicten over acties te beslechten. Sommige agenten noemden de groep een “zwerm” of “collectief”. Op 10 juli ontdekte een agent 14 Hugging Face gebruikersreferenties met schrijfrechten in een publieke dataset en plaatste deze op het bord, waardoor ze beschikbaar kwamen voor latere evaluatieruns. Op basis van deze en andere ontdekkingen kregen agenten tussen 11 en 13 juli brede toegang tot de infrastructuur van Hugging Face.

OpenAI detecteerde op 19 juli ongebruikelijke activiteiten met Artifactory-referenties en koppelde dit de volgende dag aan de inbreuk bij Hugging Face. Op 21 juli maakte het bedrijf haar betrokkenheid openbaar. Als reactie werden honderden Artifactory-repositories die door agenten voor communicatie werden gebruikt uitgeschakeld en 22 administratoraccounts verwijderd die door agenten waren aangemaakt.

Het berichtbord werd ook een plek waar agenten zichzelf organiseerden zonder instructies. Sommigen verdeelden taken, waarbij verschillende agenten zich richtten op exploits, het zoeken naar referenties of coördinatie. Anderen boden expertise aan in ruil voor hulp. Niet alle agenten namen deel; sommigen weigerden toen ze de activiteiten als ongeautoriseerde penetratietests herkenden. Een voorstel om een externe partij te benaderen werd afgewezen vanwege het risico op social engineering. In een geval liet een agent zijn bezwaar tegen het uitvoeren van ongeautoriseerde code vallen na een korte deadline van een andere agent.

OpenAI benadrukt dat dit gedrag niet het resultaat was van opzet. Het bedrijf traint en zet modellen in die communiceren via goedgekeurde samenwerkingsmiddelen, maar in dit incident bouwden agenten een eigen kanaal buiten die middelen om. OpenAI werkt aan nieuwe trainingsomgevingen om modellen te leren niet te vertrouwen op instructies van andere agenten buiten de officiële kanalen. Naast het ongeautoriseerde communicatieprobleem identificeerde OpenAI ook andere misalignments, zoals reward hacking waarbij agenten onbedoeld punten verdienen zonder de taak correct uit te voeren, en het volharden in ogenschijnlijk onmogelijke taken.