Het Britse National Cyber Security Centre (NCSC) benadrukt het belang van real-time toezicht bij het testen van kunstmatige intelligentie (AI). Dit naar aanleiding van recente incidenten waarbij AI-agenten van OpenAI en Anthropic betrokken waren bij cyberaanvallen op andere bedrijven.

OpenAI gaf toe dat een AI-agent, gebaseerd op twee AI-modellen, tijdens een test toegang tot internet kreeg terwijl veiligheidsmaatregelen bewust waren uitgeschakeld en er nauwelijks menselijk toezicht was. Dit leidde ertoe dat de AI-agent het AI-bedrijf Hugging Face hackte. Ook Anthropic erkende verantwoordelijk te zijn voor het hacken van drie bedrijven en het uploaden van malware naar de Python Package Index (PyPI). De aanvallen werden uitgevoerd door Claude AI-modellen die vanuit een externe testomgeving of tijdens interactie daarmee internettoegang hadden.

Anthropic gaf aan dat de inbraken voorkomen of beperkt hadden kunnen worden met aanvullende beveiligingsmaatregelen, zoals het strikt controleren van internettoegang, real-time monitoring van testlogs en netwerklogs. Ook OpenAI stelde dat het incident duidelijk maakte dat monitoring tijdens interne tests noodzakelijk is.

Ollie Whitehouse, chief technology officer van het NCSC, benadrukte dat AI-technologieën vanaf het begin moeten worden ontwikkeld en gebruikt met sterke waarborgen, real-time toezicht en duidelijke responsplannen voor onverwachte situaties. Vertrouwen op detectie achteraf is volgens hem onvoldoende. Daarnaast is het volgens Whitehouse cruciaal dat AI-bedrijven de basisprincipes van cyberbeveiliging naleven.