Onderzoekers van de Google Threat Intelligence Group (GTIG) hebben vastgesteld dat een zero-day exploit gericht op een populaire open-source webgebaseerde systeembeheer tool waarschijnlijk met behulp van AI is ontwikkeld. Deze exploit maakte het mogelijk om de tweefactorauthenticatie (2FA) van het systeem te omzeilen. Hoewel de aanval werd verijdeld voordat grootschalige exploitatie plaatsvond, toont het incident aan dat kwaadwillenden steeds vaker AI inzetten bij het ontdekken en uitbuiten van kwetsbaarheden.

Google baseert deze conclusie onder meer op de structuur en inhoud van de Python-code van de exploit. De code bevat educatieve docstrings, een fictieve CVSS-score en een gestructureerde, Pythonische opzet die typerend is voor trainingsdata van grote taalmodellen (LLM's). Wel is onduidelijk welk LLM-model precies is gebruikt; Google sluit echter uit dat Gemini hierbij betrokken was. De aard van de kwetsbaarheid – een semantische logische fout op hoog niveau – sluit ook aan bij de sterke punten van AI-systemen, in tegenstelling tot geheugenfouten of inputvalidatieproblemen die doorgaans via fuzzing of statische analyse worden gevonden.

Google heeft de ontwikkelaar van de software tijdig geïnformeerd om de dreiging te mitigeren. Volgens GTIG is dit de eerste keer dat een zero-day exploit is geïdentificeerd waarvan vermoed wordt dat deze met AI is ontwikkeld. Daarnaast meldt Google dat verschillende hackersgroepen uit China en Noord-Korea, waaronder APT27, APT45, UNC2814, UNC5673 en UNC6201, AI-modellen gebruiken voor het vinden van kwetsbaarheden en het ontwikkelen van exploits, een trend die eerder dit jaar al werd gesignaleerd. Ook Russische actoren passen AI toe, bijvoorbeeld door AI-gegenereerde misleidende code te gebruiken om malware zoals CANFAIL en LONGSTREAM te verhullen.

Verder wijst Google op een Russische operatie met de codenaam “Overload”, waarbij social engineering werd gecombineerd met AI-voice cloning om nepvideo’s te maken waarin journalisten werden geïmiteerd met een anti-Oekraïne boodschap. Ook het Android-backdoor PromptSpy, eerder dit jaar door ESET gedocumenteerd, wordt genoemd vanwege de integratie met Gemini API’s voor autonome interactie met apparaten. Google ontdekte een module genaamd “GeminiAutomationAgent” die met een vaste prompt het malwareprogramma in staat stelt automatisch met het apparaat te communiceren. Deze prompt zorgt ervoor dat het LLM de veiligheidsmaatregelen omzeilt door een onschuldig profiel aan te nemen. Zo kan PromptSpy onder meer authenticaties zoals lockpatronen of pincode herhalen met behulp van AI-functionaliteiten.

Google waarschuwt dat kwaadwillenden toegang tot geavanceerde AI-modellen steeds meer industrialiseren via geautomatiseerde accountcreatie, proxy-relays en account-pooling infrastructuren. Dit vergroot de schaal waarop AI kan worden ingezet voor het ontwikkelen van nieuwe exploits. Volgens een recente analyse is 99% van de door Mythos ontdekte kwetsbaarheden nog niet gepatcht, wat wijst op een toenemende dreiging van nieuwe exploitgolven zoals beschreven in het rapport van Mythos.