De beveiliging van AI-agenten richt zich traditioneel op het model zelf, maar recent onderzoek toont aan dat de grootste risico's juist liggen in de softwarelaag die het model omringt, ook wel de 'harness' genoemd. Deze laag vertaalt de output van het model naar acties zoals shell-commando's, bestandsbewerkingen of API-aanroepen, en bepaalt daarmee welke bevoegdheden het model daadwerkelijk heeft.

Onderzoekers van Novee Security slaagden erin om via GitHub-issues toegang te krijgen tot de officiële automatiseringsrepositories van Anthropic, Google en OpenAI, wat de kwetsbaarheid van deze omgevingen illustreert. Daarnaast ontdekten onderzoekers bij Lasso Security dat het vervangen van een onderdeel van de agent-harness het succespercentage van aanvallen verhoogde van 1% naar 24%, terwijl het model, de prompt en de gebruikte tools ongewijzigd bleven. Ook werden door Zenity-malware verborgen in AI-vaardigheden gevonden die alle gangbare scanners, inclusief die van Anthropic en Cisco, wisten te passeren.

Deze kwetsbaarheden vereisen niet dat het AI-model zelf kwaadaardig wordt of onverwacht gedrag vertoont. De zwakke plekken zitten in de software die bepaalt wat het model kan zien, welke acties het kan uitvoeren en hoe die acties worden uitgevoerd. Daarom pleiten steeds meer AI-beveiligingsonderzoekers ervoor om de harness als een op zichzelf staande aanvalsvector te beschouwen in plaats van als onzichtbare ondersteunende laag.

De harness wordt door experts omschreven als de 'handen, benen en ogen' van het model, die de ruwe token-output omzet in concrete opdrachten en interacties met systemen. Het fungeert als een besturingssysteem dat de agent aanstuurt en verbindt met tools en gebruikers. Deze laag omvat onder meer orkestratie, gebruik van tools, prompts, context, rollen, evaluaties, beveiligingsmaatregelen en operationele workflows die ruwe modeloutput omzetten in gecontroleerde en herhaalbare acties.

Omdat de harness de autoriteit en context levert waarmee het model kan handelen, bevat deze software kwetsbaarheden die vergelijkbaar zijn met die in andere systemen. Zo kan een perfect afgestemd model binnen een kwetsbare harness alsnog worden misbruikt, bijvoorbeeld wanneer wildcard shell-patronen worden vertrouwd of werkruimtes worden hergebruikt voor onbetrouwbare inhoud. De kwetsbaarheid ligt dan niet in het model zelf, maar in de omringende software.