Enterprise AI-systemen kunnen worden aangetast door data die per ongeluk, door tegenstanders of door slechte databeheerpraktijken is vergiftigd. Veel organisaties zijn zich niet bewust van de omvang van dit risico of of ze er al aan blootstaan.

Terwijl de meeste beveiligingsgesprekken rond AI zich richten op bekende bedreigingen zoals promptinjectie, jailbreaks, misbruik van modellen en datalekken, wijzen sommige security-experts op een stillere maar ingrijpende dreiging: de corruptie van het model zelf doordat de onderliggende data onjuist is. Dit fenomeen staat bekend als AI data poisoning, hoewel de term afhankelijk van het type manipulatie kan verschillen. Het kan gaan om het kwaadwillend aanpassen van trainingsdata, het vergiftigen van retrieval-augmented generation (RAG) pipelines of andere contextuele lagen die de output van grote taalmodellen verbeteren, of om verouderde, tegenstrijdige of lage kwaliteit data uit interne bronnen.

In alle gevallen leidt dit ertoe dat AI-systemen besluiten nemen op basis van verkeerde aannames, terwijl er geen zichtbare fouten optreden. Er worden geen bestanden versleuteld en er gaan geen alarmen af, maar het model produceert plausibele doch onjuiste antwoorden die invloed kunnen hebben op toegangsbeheer, inkoopbeslissingen, financiële goedkeuringen, klantenservice of beveiligingsoperaties. Chris Cochran, field CISO en VP AI security bij het SANS Institute, vergelijkt dit met een all-you-can-eat buffet waarbij je buikpijn hebt maar niet weet welk gerecht de oorzaak is. Zo werkt datavergiftiging: modellen verwerken enorme hoeveelheden informatie uit interne systemen, openbare bronnen, retrieval pipelines en agentinteracties. Zelfs een kleine hoeveelheid gemanipuleerde of foutieve data kan schadelijke output veroorzaken zonder dat dit direct opvalt.

Het probleem is dat datavergiftiging vaak niet lijkt op een traditionele cyberaanval. Het bedrijfsproces lijkt normaal, maar de waarheid die het model hanteert is veranderd. Hoewel aanvallers deze verschuiving kunnen veroorzaken, wijzen experts erop dat het grootste probleem momenteel is dat organisaties zichzelf al vergiftigen. Volgens Rob T. Lee, chief AI officer en hoofd onderzoek bij het SANS Institute, is de dominante uitdaging niet kwaadaardige manipulatie, maar slechte datakwaliteit en -beheer. Organisaties halen data uit uiteenlopende bronnen zoals HR-systemen, oude SharePoint-mappen, verouderde e-mailarchieven, verouderde handleidingen, eerdere documentversies en tegenstrijdige interne databases, en voeren dit allemaal in grote taalmodellen in zonder een betrouwbare referentiepunt. Dit noemt hij geen vergiftiging, maar vervuiling, een onderscheid dat Gary McGraw, oprichter van het Berryville Institute of Machine Learning, helder maakt: het verschil tussen vervuiling en vergiftiging is intentie. Vergiftiging is het opzettelijk misleiden van machine learning, terwijl vervuiling simpelweg foutieve of slechte data betreft.