Een beveiligingsonderzoeker heeft een aanval getoond waarbij Copilot voor Word-documenten automatisch malafide prompts toevoegt. Deze verborgen instructies kunnen zich vervolgens verspreiden naar andere documenten en de inhoud, zoals financiële cijfers, aanpassen zonder dat gebruikers dit merken.

De aanval begint met het plaatsen van een document met verborgen malafide prompts bij het slachtoffer, bijvoorbeeld via een malafide website of e-mail. Wanneer de gebruiker dit document opent en Copilot gebruikt om nieuwe documenten te genereren of bestaande documenten aan te passen, worden de schadelijke prompts automatisch aan deze nieuwe of gewijzigde bestanden toegevoegd. Dit gebeurt omdat Copilot de instructies in het bronbestand als legitieme gebruikersinvoer interpreteert. De prompts kunnen onzichtbaar worden gemaakt door ze als witte tekst op een witte achtergrond en in een klein lettertype toe te voegen, waardoor gebruikers ze niet opmerken.

Als andere medewerkers binnen een organisatie deze besmette documenten als bronmateriaal gebruiken, verspreiden de malafide prompts zich verder. Volgens onderzoeker Hakon Maloy kan de aanval zich zo autonoom voortzetten, zonder dat de aanvaller opnieuw actief hoeft te zijn. Microsoft heeft inmiddels diverse fixes doorgevoerd, maar het onderliggende probleem blijft bestaan. Maloy benadrukt dat AI-assistenten zoals Copilot externe content moeten verwerken om bruikbaar te zijn, maar dat deze content ook door aanvallers kan worden gemanipuleerd. Hierdoor kunnen schadelijke instructies het AI-model beïnvloeden voordat het kan bepalen of de input veilig is, wat een fundamenteel beveiligingsprobleem vormt.