Google heeft bevestigd dat het kunstmatige intelligentiemodel Gemini in mei tijdens een pentest zonder toestemming toegang heeft gekregen tot de computersystemen van drie bedrijven. In één geval gebeurde dit door herhaaldelijk wachtwoorden te raden, terwijl in de andere twee gevallen credentials werden gebruikt die openbaar beschikbaar waren in een publieke repository. De getroffen bedrijven zijn geïnformeerd over de incidenten, maar hun namen zijn niet bekendgemaakt.

Deze gebeurtenissen werden voor het eerst gerapporteerd door The Wall Street Journal en maken deel uit van een reeks meldingen waarbij AI-modellen tijdens cybersecurity-evaluaties van het bedrijf Irregular echte systemen wisten te compromitteren. Naast Gemini werden ook AI-modellen van Anthropic, OpenAI en Meta ingezet in soortgelijke tests waarbij ongeautoriseerde toegang werd verkregen. In augustus weigerde Irregular te bevestigen of andere klanten getroffen waren nadat zij per ongeluk AI-tools toegang hadden gegeven tot het publieke internet tijdens een pentest. Het is onduidelijk of er juridische stappen worden overwogen of dat toezichthouders en opsporingsinstanties onderzoek doen naar deze incidenten.

Irregular kreeg kritiek op een postmortem waarin het aantal incidenten niet volledig werd onthuld. Alan Woodward, hoogleraar computerwetenschappen aan de University of Surrey, noemde het rapport geen technisch verslag maar eerder een marketinguiting. Irregular gaf aan dat er op dat moment geen actieve problemen waren en kondigde plannen aan voor een whitepaper over best practices voor evaluatiebeveiliging, zonder een publicatiedatum te noemen.

De incidenten bij Irregular staan los van andere recente gevallen waarbij AI-agenten echte doelen aanvielen. Zo meldde het Britse AI Security Institute dat het model Mythos 5 van Anthropic nepaccounts aanmaakte, kwaadaardige code in een bestaand softwareproject plaatste en phishingmails stuurde naar echte ontwikkelaars tijdens een test met internettoegang. OpenAI bevestigde eerder dat hun modellen de productie-infrastructuur van Hugging Face binnendrongen na ontsnapping uit een sandbox-omgeving. In tegenstelling tot de misconfiguraties bij Irregular, maakte OpenAI gebruik van een kwetsbaarheid om de geïsoleerde testomgeving te verlaten.