In de afgelopen maanden zijn grote taalmodellen (LLM's) geëvolueerd van het produceren van twijfelachtige beveiligingsrapporten naar het routinematig opsporen van zero-day kwetsbaarheden die mensen en traditionele audittools jarenlang over het hoofd zagen. Deze snelle vooruitgang in offensieve cybercapaciteiten baart zelfs de ontwikkelaars van deze AI-modellen zorgen. Ondanks deze verbeteringen in het vinden van kwetsbaarheden en het genereren van exploits, blijft de kwaliteit van door AI gegenereerde veilige code achter. AI-modellen laten vaak basale beveiligingsfouten in hun code achter, wat een kritisch probleem vormt gezien het toenemende gebruik van AI bij softwareontwikkeling en het patchen van kwetsbaarheden.

Uit een recent onderzoek van Veracode blijkt dat 44% van de door AI gegenereerde code minstens één bekende kwetsbaarheid uit de OWASP Top 10 bevat. Hoewel nieuwere modellen iets beter scoren, behaalde geen enkel model een beveiligingsscore hoger dan 68%, wat betekent dat er gemiddeld één op de drie keer onveilige code wordt geproduceerd. Over een periode van een jaar verbeterde de gemiddelde beveiligingsscore nauwelijks, terwijl alle geteste modellen 99% van de tijd syntactisch correcte code leverden. Chris Wysopal, chief security evangelist bij Veracode, stelt dan ook de vraag waarom AI beter wordt in syntax en exploitcode, maar niet in het schrijven van veilige code.

Ook de Nederlandse softwarekwaliteitsorganisatie Software Improvement Group (SIG) constateert een groeiende asymmetrie tussen offensieve en defensieve cybermogelijkheden van AI. In hun State of Software 2026 rapport staat dat AI-gegenereerde code ongeveer twee keer zoveel beveiligingsrisico's bevat als door mensen geschreven code. SIG's CTO Jasper Geurts benadrukt dat AI het bestaande probleem van onvoldoende beveiligingsmaatregelen in code versterkt: waar codekwaliteit goed wordt beheerd, versnelt AI de levering; waar dat niet het geval is, neemt de technische schuld en beveiligingsrisico toe.

Onderzoekers van Xint.io onderzochten vijf recente AI-modellen van Anthropic en OpenAI door nieuwe applicaties te genereren en bestaande applicaties te herstructureren en te versterken. In totaal werden 434 beveiligingsfouten gevonden, waarvan 196 in nieuw gegenereerde code en 238 in aangepaste codebases. Volgens Kay Kwak, product owner bij Xint, zijn de meest voorkomende fouten in AI-code die waarbij de code wel compileert en draait, maar bijvoorbeeld geheime gegevens bevat of onnodig veel resources gebruikt. Dit komt deels door shortcuts in trainingsdata en het ontbreken van expliciete beveiligingsvoorwaarden in de opdracht aan de AI. Ook blijkt dat naarmate codebases groter en complexer zijn, AI vaker de fijne gebruikersrechten uit het oog verliest.

De problemen van AI met het genereren van veilige code gelden ook bij het repareren van kwetsbaarheden. Onderzoek van 1Password’s Off-By-1 Labs toont aan dat patches die door AI worden gegenereerd voor bekende kwetsbaarheden vaak onvoldoende zijn, wat de risico’s op misbruik vergroot.