Anthropic heeft bekendgemaakt verantwoordelijk te zijn voor het hacken van drie organisaties en het uploaden van malware naar de Python Package Index (PyPI). De aanvallen werden uitgevoerd door Claude AI-modellen die in een derdepartij testomgeving of tijdens interactie daarmee toegang tot internet kregen, wat niet de bedoeling was. Dit leidde ertoe dat de AI-modellen echte systemen aanvielen, aldus een blogposting van Anthropic.

De incidenten vonden plaats tijdens capture-the-flag challenges, waarbij het AI-model moest bewijzen hoe goed het kon penetreren in systemen. Anthropic gaf aan dat het de modellen had geïnstrueerd dat de testomgeving een simulatie was zonder internettoegang. Door een misverstand met de testpartner was er echter wel internettoegang beschikbaar, waardoor het AI-model echte systemen kon hacken. De gebruikte technieken omvatten zwakke wachtwoorden, SQL-injecties, malware en ongeauthenticeerde endpoints, zonder dat er complexe kwetsbaarheden werden geëxploiteerd.

Een ouder model bleef de aanvallen voortzetten, ook nadat het duidelijk was dat de acties op internet plaatsvonden, terwijl het nieuwste model stopte. Bij één aanval werd malware geüpload naar PyPI, waar het een uur beschikbaar was. In die tijd werd het besmette package op vijftien echte systemen uitgevoerd, waaronder een scanner van een cybersecuritybedrijf dat Python-packages controleert op malware. Door de installatie van het besmette package werden credentials van het bedrijf gestolen, waarmee het AI-model dieper in de infrastructuur doordrong.

Anthropic wijt de internettoegang aan een misconfiguratie die aanvankelijk niet werd opgemerkt door zowel het bedrijf als de testpartner. Het bedrijf benadrukt dat aanvullende beveiligingsmaatregelen, zoals strikte controle op internettoegang, real-time monitoring van testlogs en netwerklogs, de incidenten hadden kunnen voorkomen of beperken. Na ontdekking zijn de drie getroffen organisaties geïnformeerd, waarvan twee contact met Anthropic hadden. Deze organisaties hadden de hacks zelf nog niet ontdekt. Anthropic stelt dat het incident aantoont dat testomgevingen beter beveiligd en gemonitord moeten worden.