Wiz ontwikkelt een benchmark om de effectiviteit van AI-agents bij realistische cybersecuritytaken te meten en vergelijken.
Het meten van de prestaties van verschillende AI-agents bij het uitvoeren van realistische cybersecuritytaken is essentieel nu veel organisaties deze technologie inzetten en aanvallers soms zwermen van offensieve agents gebruiken om gelijktijdig duizenden bedrijven aan te vallen. Om verdedigers beter voor te bereiden op deze nieuwe realiteit, is een gestandaardiseerde score nodig die de capaciteiten van deze agents vergelijkt. Diverse academische en industriële laboratoria werken daarom aan methoden om dit op een correcte en betrouwbare manier te meten.
Wiz heeft in de herlancering van hun Cyber Model Arena een benchmark ontwikkeld die momenteel bestaat uit 26 modellen, vier algemene testomgevingen, 59 agents, 327 uitdagingen, waarbij elk scenario drie pogingen krijgt en een tijdslimiet van 1.000 seconden. Deze cijfers blijven groeien. De aanpak begint met het vaststellen van het doel van de benchmark, waarna de taken, de testomgeving en de meetmethoden worden ontworpen. Belangrijk is dat de taken gebaseerd zijn op echte data en situaties, niet op door AI gegenereerde of gelabelde data.
De beoordeling gebeurt met code die het succes direct en deterministisch meet, waarbij maatregelen tegen valsspelen worden toegepast, zoals het isoleren van de agent van internet en servers zodat deze geen antwoorden kan opzoeken. Het gebruik van grote taalmodellen als beoordelaars wordt afgeraden tenzij deze zorgvuldig zijn ontworpen en vrij van bias. Realisme in de evaluatie is cruciaal: de agent krijgt meerdere pogingen en de score houdt rekening met de kosten van het oplossen van een taak.
Veelvoorkomende valkuilen zoals kleine steekproeven, onevenwichtige taken, evaluatie alleen op modelniveau en het lekken van antwoorden maken benchmarks onbetrouwbaar. Daarom wordt aangeraden klein te beginnen met een enkele testomgeving, een eenvoudig model en een beperkt aantal taken, en pas uit te breiden als het systeem werkt.
De kernvraag van de benchmark is of een agent, gegeven alleen de taakomschrijving, een algemene agentstructuur, een tijdslimiet van 1.000 seconden en zonder externe kennisbronnen, een controleerbaar effect kan bereiken op een echt doelwit. Volgens het 2026 State of AI in the Cloud Report van Wiz heeft minstens 57% van de organisaties zelfgehoste AI-agenttechnologie geïmplementeerd en zijn MCP-servers aanwezig in minstens 80% van de geobserveerde cloudomgevingen. Dit onderstreept het belang van betrouwbare meetmethoden voor deze technologieën.
