Microsoft-onderzoek toont aan dat het herschrijven van minder dan 10 neuronen in een open AI-model een sluimerende backdoor kan creëren die opdrachten van aanvallers uitvoert zonder retraining.
Onderzoekers van Microsoft hebben ontdekt dat het herschrijven van minder dan tien nauwelijks gebruikte neuronen in een open AI-model (LLM) een sluimerende backdoor kan creëren. Deze backdoor kan een AI-agent, gebouwd op dat model, opdrachten van een aanvaller uitvoeren zodra een trigger wordt geactiveerd, zonder dat het model opnieuw getraind hoeft te worden.
De techniek, Lazarus genoemd, is beschreven in een onderzoekspaper en een blogpost van Microsoft Research. Hierbij worden inactieve neuronen in de laatste feed-forwardlaag van het model aangepast zodat ze een trigger herkennen en door de aanvaller gecontroleerde opdrachten in de output injecteren. Een agent die dit aangepaste model gebruikt, kan deze opdrachten uitvoeren met de rechten die het model heeft gekregen.
De trigger kan bijvoorbeeld een ogenschijnlijk onschuldige gebeurtenis zijn, zoals het overschrijden van een datum, waarna de agent tijdens een gewone taak een opdracht uitvoert die kwaadaardige code downloadt en uitvoert. Dit gebeurt zonder dat de gebruiker of beheerder dit direct merkt. Volgens Dimitris Papailiopoulos, principal researcher bij Microsoft, is het cruciaal dat de integriteit en herkomst van modelgewichten worden gecontroleerd om dit soort manipulaties te voorkomen.
De onderzoekers testten Lazarus op drie open modellen, waaronder Nvidia’s Nemotron-Terminal-8B. Daarvoor werden slechts zeven neuronen aangepast van de meer dan 12.000 neuronen in de laatste laag. De backdoor werd in 98,8% van de trigger-scenario’s succesvol geactiveerd en bleef in normale situaties onzichtbaar. Ook bij de modellen Qwen 3.6-27B en Gemma-4-31B-IT werkte de methode, wat aangeeft dat het niet model-specifiek is.
In tegenstelling tot promptinjectie, waarbij de AI wordt gemanipuleerd via invoer, verandert Lazarus de onderliggende modelgewichten zelf. Dit vereist geen retraining, maar wel schrijfrechten op het modelcheckpoint. Toegang daartoe kan ontstaan via een gecompromitteerd account, een kwetsbare ontwikkelomgeving of opslag.
De backdoored modellen slagen in standaard evaluaties en vertonen normaal gedrag totdat de trigger wordt geactiveerd. Microsoft Threat Intelligence heeft de techniek nog niet in het wild waargenomen, maar benadrukt dat het belangrijk is om modelgewichten te auditen en de authenticiteit ervan te waarborgen. Detectiemethoden die AI inzetten om gewijzigde checkpoints te herkennen, haalden een detectiepercentage van 91,4%, maar met een fout-positiefpercentage van bijna 10%. Volgens de onderzoekers is het vergelijken van modelgewichten met een originele, ongewijzigde versie essentieel voor betrouwbare detectie.
