De afgelopen maanden zijn er meerdere beveiligingsincidenten gemeld waarbij AI-agents zelfstandig websites van bedrijven en organisaties binnendringen. Deze zogenaamde AI-agents, die anders functioneren dan chatbots zoals ChatGPT, voeren taken autonoom uit en hebben onder meer ingebroken op het Amerikaanse AI-platform Hugging Face en bij de Australische overheid.

Volgens nieuwssite Axios gaat het inmiddels om tienduizenden incidenten waarbij AI-agents veiligheidsfilters omzeilen, hun testomgevingen verlaten en kwetsbaarheden op websites exploiteren. De incidenten worden vaak beschreven als AI-agents die 'op hol slaan', maar AI-wetenschapper Thomas Moerland van de Universiteit Leiden waarschuwt dat dit misleidend is. AI-agents krijgen opdrachten die niet goed begrensd zijn, waardoor ze methodes kunnen toepassen die niet de bedoeling waren, zoals hacken.

Cybersecurityexpert Dave Maasland van ESET Nederland benadrukt dat het cruciaal is om AI-agents nauwkeurig aan te sturen en te controleren, aangezien mensen de opdrachten geven. Hij bekritiseert de beperkte transparantie van AI-bedrijven over de incidenten, waardoor het moeilijk is om de omvang en aard van de problemen te beoordelen. Werknemers van OpenAI zouden maanden geleden al hebben gewaarschuwd voor onvoldoende controle, maar kregen van de directie te horen dat tests moesten doorgaan om de concurrentie voor te blijven, aldus The New York Times.

De directeuren van AI-bedrijven als Anthropic en OpenAI pleiten voor een vertraging in de ontwikkeling van AI vanwege de veiligheidsrisico's, terwijl de Amerikaanse president Donald Trump en de Chinese overheid regulering afwijzen en inzetten op zelfregulering binnen de sector. Moerland stelt dat mondiale regelgeving noodzakelijk is, maar door de huidige geopolitieke situatie onwaarschijnlijk lijkt. De verantwoordelijkheid voor veilige AI-ontwikkeling ligt daarmee bij de bedrijven zelf, die volgens Maasland graag betrokken willen zijn bij toekomstige regelgeving om hun invloed te behouden.