Toen Microsoft in 2019 zijn AI red team oprichtte, was deze discipline nog nauwelijks ontwikkeld. Destijds werden AI-systemen getest met dezelfde methoden als traditionele software, gericht op het identificeren van kwetsbaarheden en het nabootsen van aanvallers. Met de komst van GPT-4 veranderde dit echter drastisch. De bestaande aanvalstechnieken werkten niet meer en het team moest zijn aanpak volledig herzien, inclusief de definitie van wat AI red teaming precies inhoudt.

AI red teaming is inmiddels een snelgroeiend specialisme binnen cybersecurity, met teams bij onder meer Microsoft, Anthropic, OpenAI, Google en Nvidia. De kernvraag is echter niet alleen welke tools ingezet moeten worden, maar wat het werk precies inhoudt. In tegenstelling tot traditionele software is AI probabilistisch van aard, wat betekent dat een aanval niet altijd hetzelfde resultaat oplevert. Hierdoor moeten beveiligingsteams risico’s beoordelen op basis van frequentie, omstandigheden en reproduceerbaarheid van kwetsbaarheden.

Volgens Pete Bryan van Microsoft vereist dit herhaald testen onder verschillende condities om te begrijpen hoe AI-systemen zich gedragen en wanneer risicovolle outputs consistent optreden. Daarnaast kan AI zelf complexe kwetsbaarheden in grote codebases ontdekken, zoals Tom Gillis van Cisco aangeeft. Deze modellen vinden interdependenties die leiden tot exploiteerbare situaties, iets wat menselijke onderzoekers vaak missen.

Deze dubbele rol van AI als hulpmiddel én doelwit vraagt om nieuwe testmethoden. Traditionele red teams richten zich vooral op geavanceerde dreigingsactoren, maar AI red teams houden ook rekening met nieuwe typen bedreigingen, zoals het gedrag van generatieve AI-systemen die onbedoeld schadelijke of ongepaste outputs kunnen genereren. Dit vraagt om een hernieuwde blik op de aanpak van penetratietests binnen AI-omgevingen.