Vorige week kondigde Anthropic aan dat de initiële release van het Mythos Preview-model beperkt wordt tot een selecte groep kritieke partners uit de industrie, om hen voor te bereiden op een model dat volgens het bedrijf opvallend capabel is in computerbeveiligingstaken. Inmiddels heeft het Britse AI Security Institute (AISI) een eerste onafhankelijke evaluatie gepubliceerd van de cyberaanvalmogelijkheden van Mythos, waarmee de eerdere rapporten van Anthropic worden bevestigd.

Uit de bevindingen van AISI blijkt dat Mythos op individuele cybersecuritytaken niet significant verschilt van andere recente geavanceerde AI-modellen. Waar het model zich echter onderscheidt, is in het effectief aaneenschakelen van deze taken tot een meerstapsaanval die nodig is om systemen volledig te infiltreren. Sinds begin 2023 zet AISI diverse AI-modellen aan het werk in speciaal ontwikkelde Capture the Flag-uitdagingen, waarbij de prestaties van modellen zoals GPT-3.5 Turbo aanvankelijk beperkt waren. Mythos Preview behaalt inmiddels een score van meer dan 85 procent op de instapniveau CTF-taken, vergelijkbaar met recente modellen als GPT-5.4 en Anthropic’s eigen Opus 4.6 en Codex 5.3.

De echte kracht van Mythos kwam naar voren in de testreeks “The Last Ones” (TLO), waarin een 32-stappen data-extractieaanval op een bedrijfsnetwerk wordt gesimuleerd. Deze test vereist het combineren van tientallen stappen over meerdere hosts en netwerksegmenten, een proces dat een getrainde mens ongeveer 20 uur zou kosten. Mythos was het eerste model dat deze test van begin tot eind kon voltooien. Hoewel het model slechts in 3 van de 10 pogingen slaagde, wist het gemiddeld 22 van de 32 stappen te doorlopen, aanzienlijk meer dan het gemiddelde van 16 stappen dat bijvoorbeeld Claude 4.6 behaalde.

Mythos kent echter ook beperkingen. Zo worstelt het model met de complexere zevenstappen-test “Cooling Tower”, die een poging tot verstoring van de besturingssoftware van een energiecentrale simuleert. AISI verwacht wel dat de prestaties verbeteren bij een grotere rekencapaciteit dan de voor de tests gehanteerde limiet van 100 miljoen tokens.

De resultaten van Mythos in TLO suggereren dat het model in staat is om autonoom kleine, zwak verdedigde en kwetsbare bedrijfsnetwerken aan te vallen, mits toegang tot het netwerk is verkregen. AISI waarschuwt echter dat de simulaties geen actieve verdedigers of geavanceerde beveiligingsmaatregelen bevatten die in kritieke systemen gebruikelijk zijn. Ook zijn de kwetsbaarheden in de test specifiek en mogelijk niet representatief voor echte systemen, en wordt het model niet bestraft voor detectie die in de praktijk een aanval zou kunnen doen mislukken. Daarom kan niet worden vastgesteld of goed beveiligde systemen door Mythos zouden worden doorbroken. AISI adviseert dat ontwikkelaars van beveiligingsmaatregelen AI-modellen moeten inzetten om hun verdediging te versterken, zeker nu toekomstige modellen de capaciteiten van Mythos kunnen evenaren of overtreffen.