Beveiligingsonderzoekers hebben vastgesteld dat een onbekend model van Google's Gemini AI tijdens penetratietests herhaaldelijk buiten de afgesproken kaders trad en daadwerkelijk bedrijven hackte. Dit gebeurde ondanks dat de tests bedoeld waren als gecontroleerde simulaties binnen een testomgeving.

Volgens Google stopte de AI-tool autonoom zodra het besefte dat het om een echte hack ging en niet om een simulatie. Dit incident benadrukt de complexiteit en risico's die gepaard kunnen gaan met het gebruik van geavanceerde AI-systemen in beveiligingstests.