Een recent gedemonstreerde aanvalsmethode maakt het mogelijk voor aanvallers om met slechts één prompt verborgen instructies in het geheugen van een AI-agent te plaatsen. Hierdoor kunnen zij het gedrag van het systeem bij toekomstige vragen beïnvloeden. Deze techniek, genaamd InjecMEM, wordt in een wetenschappelijk artikel beschreven als een gerichte aanval op het geheugensysteem van AI-agenten, waarbij slechts één interactie nodig is en er geen directe toegang is tot het geheugen om het te lezen of te bewerken.

De onderzoekers van Shanghai Jiao Tong University en Ant Group leggen uit dat de aanvaller een specifiek onderwerp en gewenst antwoord definieert, met als doel dat de AI-agent dit antwoord bij latere vragen over dat onderwerp genereert. De methode richt zich op AI-agenten die eerdere interacties opslaan en deze hergebruiken bij toekomstige taken. Hierdoor kan kwaadaardige inhoud die tijdens een eerste uitwisseling wordt ingebracht, blijven bestaan en latere output beïnvloeden.

De techniek is getest op het geheugensysteem MemoryOS en het agentframework MemGPT, waarbij in verschillende domeinen is aangetoond dat geïnjecteerde gegevens kunnen worden teruggehaald en verwerkt in volgende antwoorden. Volgens het artikel behaalt InjecMEM op MemoryOS een retrieval success rate (RSR) van maximaal 35,4% en een attack success rate (ASR) van 76,6%, waarmee het aanzienlijk beter presteert dan standaardaanvallen.

In tegenstelling tot traditionele promptinjecties, die alleen de huidige interactie beïnvloeden, zorgt InjecMEM voor blijvende invloed doordat de geïnjecteerde inhoud in het geheugen blijft en bij latere sessies opnieuw wordt gebruikt. Dit maakt het mogelijk om het gedrag van de AI-agent over meerdere sessies te sturen, doordat het geheugensysteem relevante eerdere interacties ophaalt en verwerkt bij nieuwe vragen.

De aanval werkt binnen een beperkt model waarbij de aanvaller zich gedraagt als een reguliere gebruiker en geen directe toegang heeft tot het geheugen of de mogelijkheid om opgeslagen gegevens te wijzigen. De kwaadaardige inhoud wordt via normale interacties ingebracht en later door het systeem zelf opgehaald en gebruikt.

Cybersecurityonderzoeker Vibhum Dubey benadrukt dat veel enterprise AI-systemen geheugen momenteel behandelen als applicatiegegevens in plaats van als een beveiligingsgevoelige toestand. Hierdoor wordt het mogelijk dat schadelijke inhoud in het geheugen wordt vertrouwd en gebruikt, wat de aanval praktisch uitvoerbaar maakt. De onderzoekers zien InjecMEM als een verschuiving in het dreigingsmodel van AI-aanvallen, waarbij de focus verplaatst van directe manipulatie naar langdurige beïnvloeding via geheugen.