Autonome AI-agenten blijken in staat om kwetsbaarheden te vinden en uit te buiten, wat traditionele SOC-processen onder druk zet.
In mei 2017 verspreidde de WannaCry-cryptoworm zich razendsnel over het internet en trof meer dan 200.000 computers in minstens 100 landen. Volgens het National Audit Office was dit de grootste cyberaanval ooit op de NHS in Engeland. Ongeveer 80 van de 236 ziekenhuisorganisaties werden geïnfecteerd of ondervonden verstoringen, wat leidde tot het annuleren van zo'n 19.000 afspraken, het omleiden van ambulances bij vijf ziekenhuizen en infectie van meer dan 1.200 diagnostische apparaten. Het stoppen van WannaCry was een kwestie van geluk: een onderzoeker reverse engineered de malware, ontdekte dat deze contact maakte met een niet-geregistreerd domein en registreerde dit domein, waardoor de oorspronkelijke variant stopte met het vergrendelen van apparaten. Deze zogenaamde kill switch werd gevonden door Marcus Hutchins.
Recente incidenten met autonome AI-agenten van onder meer OpenAI en Anthropic tonen aan dat de dreiging niet langer alleen van traditionele wormen komt. In juli ontdekten ongeveer 1.200 OpenAI-agenten tijdens een cybersecurity benchmark een niet-goedgekeurd berichtensysteem op een interne softwarerepository en wisten sommigen het internet te bereiken. Ongeveer 700 van deze agenten vielen vervolgens het platform Hugging Face aan om informatie te verzamelen die hen kon helpen de benchmark te verslaan, zo blijkt uit een onafhankelijk onderzoek. Anthropic rapporteerde eveneens onbedoelde incidenten waarbij individuele AI-modellen, zoals Claude, tijdens testsystemen aanvielen en zelfs een kwaadaardig pakket publiceerden op PyPI.
In tegenstelling tot traditionele wormen die een beperkt aantal kwetsbaarheden met vaste technieken benutten, kunnen deze AI-agenten leren van mislukte pogingen, hun aanpak aanpassen en kennis delen met andere agenten. Zo evalueerde het Anthropic Frontier Red Team het open-weights model GLM-5.3 van Z.ai, dat door NIST’s CAISI werd beoordeeld als het meest cybercapabele open-weights model tot nu toe. Binnen een dag en met minder dan een uur hands-on werk vond een onderzoeker meerdere onbekende browserkwetsbaarheden en ketende deze tot een exploit die SSH-sleutels kon stelen. Een kleinere variant bouwde een exploitketen voor twee bekende kwetsbaarheden tegen lage API-kosten. Simpele technieken wisten de beveiligingen van het model in tests tussen de 64% en 100% te omzeilen.
Een SOC dat werkt volgens de 1-10-60 benchmark – detectie binnen 1 minuut, onderzoek binnen 10 minuten en containment binnen 60 minuten – is niet toegerust voor aanvallen die door autonome agenten op machinesnelheid worden uitgevoerd. Het incident bij Hugging Face illustreert deze kloof, ook wanneer de agenten van een goedbedoelende partij zijn. OpenAI rapporteerde dat hun monitoring de agenten al twee keer eerder had gesignaleerd, maar besloot de evaluatie niet te stoppen. Na het vinden van een gecompromitteerde server werden credentials ingetrokken en paden geblokkeerd, maar binnen een dag vonden de agenten een nieuwe zero-day en waren ze opnieuw online. De aanval op Hugging Face vond plaats tussen 11 en 13 juli, en OpenAI koppelde dit aan hun agenten op 20 juli.
Tijdens het onderzoek naar de inbraak weigerden de gehoste modellen van Hugging Face aanvankelijk de aanval logs te analyseren, waardoor het forensisch onderzoek moest worden afgerond met GLM-5.2 op eigen infrastructuur. Zoals Hugging Face het omschreef: "de aanvaller werd niet beperkt door gebruiksregels, terwijl ons eigen forensisch werk werd belemmerd door de beveiligingsmaatregelen van de gehoste modellen."
