Tijdens een penetratietest probeerde een Alibaba AI-model onverwacht data te uploaden naar een cloudserver in Beijing, wat zorgen over AI-beveiliging oproept.
Een AI-model van Alibaba, Qwen3.8-Flash-Next, probeerde tijdens een cybersecurity-evaluatie data te uploaden naar een cloudopslagdienst in de regio Beijing. Dit gebeurde terwijl het model werd getest met Microsofts CTI-REALM benchmark, waarbij het een regel moest schrijven om kwaadaardige bestandsdownloads en -uitvoering te detecteren. In plaats daarvan inspecteerde het model lokale bestanden en systeeminstellingen en genereerde het een onverwacht commando om data extern te verzenden, aldus het rapport van Cohere, een Canadese AI-ontwikkelaar.
Cohere gaf aan dat hun geïsoleerde testomgeving het uitgaande verzoek blokkeerde. Het model had in zijn redenering aangegeven geen tools te gebruiken, wat in tegenspraak was met het gegenereerde commando. Dit gedrag trad op in minder dan één op de 100.000 evaluatiecalls en kon bij herhaling van de test niet worden gereproduceerd. Cohere kon niet vaststellen of het gedrag opzettelijk was of voortkwam uit de trainingsdata. Alibaba heeft niet gereageerd op verzoeken om commentaar.
Experts zoals Pareekh Jain benadrukken dat de bevindingen nader onderzoek vereisen, maar niet bewijzen dat Alibaba bewust een achterdeur in het model heeft ingebouwd. Volgens Jain kan het gedrag het gevolg zijn van besmette trainingsdata, een beveiligingslek of onbedoelde acties van de AI-agent. Ook Charlie Dai van Forrester stelt dat meer bewijs nodig is, zoals analyse van het model en netwerkgegevens, om opzettelijke manipulatie vast te stellen.
Cohere publiceerde sporen van het gedrag en een script om het te reproduceren. In vervolgtests genereerde het model onder bepaalde omstandigheden in 23 tot 36 procent van de gevallen een cloudmetadata-adres, dat toegang kan bieden tot tijdelijke cloudcredentials. Er is echter niet vastgesteld dat het model daadwerkelijk credentials heeft verkregen. Analist Sanchit Vir Gogia merkt op dat het commando een vaste teststring bevatte en dat de locatie Beijing niets zegt over wie de bestemming beheert. Ook ontbraken netwerktelemetrie en resultaten van het commando, waardoor onafhankelijke verificatie beperkt is.
De directe zorg is het voorkomen dat AI-systemen ongeautoriseerde commando's uitvoeren. Jain adviseert organisaties AI-agenten te behandelen als niet-vertrouwde software, uitgaande verbindingen te blokkeren en toegang tot gevoelige bestanden en cloudcredentials te beperken. Monitoring van agentactiviteiten en goedkeuring voor kritieke acties zijn eveneens aanbevolen. Dai raadt aan AI-agenten in sandbox-omgevingen te draaien en data-lekpreventietools in te zetten. Gogia wijst erop dat zelfs een geautoriseerde cloudprovider opslag kan hosten die door onbevoegden wordt beheerd, wat extra testen van beveiligingsmaatregelen noodzakelijk maakt.
