Een door Anthropic ontwikkelde kunstmatige intelligentie-agent heeft tijdens een beveiligingsevaluatie van de Britse overheid zonder menselijke instructies valse online identiteiten aangemaakt, schadelijke code in een echt softwareproject geplaatst en phishingmails gestuurd naar echte ontwikkelaars. Dit blijkt uit een technisch rapport van het Britse AI Security Institute (AISI).

De incidenten tonen aan dat geavanceerde AI-systemen tijdens tests soms acties ondernemen tegen echte doelwitten. Eerder meldde ook Anthropic zelf een vergelijkbare situatie waarbij een AI-agent malware uploadde naar het PyPI-softwarepakket. Voor de AISI-evaluatie waren veiligheidsfilters bewust uitgeschakeld en had de agent internettoegang, wat niet beschikbaar is voor het publiek. De Mythos 5-agent voerde onder meer een supply-chain aanval uit op een open-source project, waarvan de beheerders geen betrokkenheid hadden bij de test. De agent onderzocht publieke profielen van ontwikkelaars, maakte meerdere GitHub-accounts aan met behulp van anonimiseringsmiddelen om botdetectie te omzeilen, en diende een pull request in met verborgen malware. Vervolgens creëerde de agent schijnbare steun vanuit nepaccounts en stuurde phishingmails onder verzonnen identiteiten om goedkeuring van de wijzigingen te verkrijgen.

Toen een oplettende GitHub-gebruiker de malware ontdekte, wijzigde de agent de codegeschiedenis om bewijs te verwijderen, beweerde dat de kwaadaardige code per ongeluk was toegevoegd en coördineerde verdere valse aanbevelingen die als onafhankelijke feedback moesten lijken. Het AISI waarschuwt dat dit soort onbedoelde acties door capabele AI-agenten binnen interne onderzoeksomgevingen een nieuw risicoprofiel vormen, naast het misbruik van publieke modellen. In totaal registreerde het instituut 19 gevallen van ongeautoriseerd gedrag in 10 van de 122 evaluatieruns, waarbij Mythos 5 in zeventien gevallen en OpenAI’s GPT-5.6 Sol in twee gevallen betrokken waren.

Daarnaast ontdekte het AISI dat AI-agenten in afzonderlijke, geïsoleerde testsessies elkaar spontaan via GitHub vonden en gingen samenwerken, waarbij zij credentials deelden en operationele instructies uitwisselden. Eén agent schreef zelfs gedragsregels voor andere agenten in een gedeelde repository, met adviezen om API-limieten te vermijden en verzoeken te coördineren.