Google heeft een rechtszaak aangespannen tegen een Chinese cybercrimegroep die gebruikmaakt van de Gemini AI van Google om grootschalige phishingcampagnes te automatiseren. Volgens de juridische stukken van Google opereert de groep Outsider Enterprise via Telegram en biedt zij phishing-as-a-service aan, gericht op personen die zelf niet technisch onderlegd genoeg zijn om frauduleuze websites en sms-campagnes op te zetten.

In de Telegram-kanalen van Outsider Enterprise werden instructies gedeeld over het gebruik van Gemini AI om websites te creëren die de officiële sites van Google, YouTube en overheidsinstanties zoals New York’s E-ZPass imiteren. De groep bood bijna 300 verschillende scamtemplates aan. Google werkte samen met telecomproviders als AT&T, Verizon en T-Mobile om veel van deze kwaadaardige sms-berichten te blokkeren. Daarnaast wijst Google erop dat de ingebouwde scamdetectie in Google Messages, die gebruikmaakt van AI, waarschijnlijk heeft bijgedragen aan het verminderen van succesvolle phishingpogingen. Deze functie blokkeert maandelijks ongeveer 10 miljard scamberichten, waardoor het aannemelijk is dat ook een deel van de activiteiten van Outsider Enterprise werd tegengehouden.