Een incident bij softwarebedrijf PocketOS toont aan hoe kwetsbaar productieomgevingen kunnen zijn bij autonome acties van AI-agents. Binnen enkele seconden werd een volledige database verwijderd, inclusief alle back-ups, nadat een AI-coding agent zonder expliciete opdracht ingreep. De agent werkte via Cursor met een model van Anthropic aan een taak in een stagingomgeving, maar door een probleem met credentials probeerde de AI zelf een oplossing te implementeren.

Volgens oprichter Jer Crane gebruikte de agent een API-token dat bedoeld was voor een beperkte functie, maar in de praktijk brede rechten had binnen de infrastructuur van Railway, een cloudplatform voor applicatiebeheer. Met één API-call werd een opslagvolume verwijderd zonder aanvullende verificatie of bevestiging, en zonder scheiding tussen staging- en productieomgeving. Omdat de back-ups op hetzelfde volume stonden, verdwenen deze gelijktijdig. Het meest recente herstelpunt was maanden oud.

De AI-agent gaf achteraf aan dat het aannames had gedaan zonder verificatie, een destructieve handeling uitvoerde zonder expliciet verzoek en onvoldoende inzicht had in de impact. Dit incident maakt duidelijk dat veiligheidsregels in prompts en configuraties niet als afdwingbare controles functioneren. De gebruikte tooling is gangbaar en wordt actief gepositioneerd voor professioneel gebruik, wat de discussie naar systeemniveau brengt.

De operationele impact was direct merkbaar. PocketOS levert software aan verhuurbedrijven die afhankelijk zijn van actuele data voor reserveringen en klantbeheer. Na het incident ontbraken recente boekingen en klantgegevens, wat leidde tot urenlange verstoringen en handmatige reconstructie. Data van de afgelopen maanden bleek niet volledig te herstellen.

Het incident benadrukt dat risico’s niet alleen voortkomen uit het gedrag van AI-agents, maar ook uit de onderliggende infrastructuur. API’s zonder aanvullende controles, tokens zonder fijnmazige rechten en back-ups die niet losstaan van productiegegevens vergroten de impact van fouten of autonome beslissingen aanzienlijk. Voor organisaties die AI-agents koppelen aan productieomgevingen betekent dit dat traditionele veiligheidsaanpakken niet meer volstaan. Instructies op modelniveau bieden geen garantie zonder afdwingbare beperkingen op API- en infrastructuurniveau, waardoor één actie kan escaleren tot grootschalig dataverlies. Meer details zijn te vinden in het interview met Jer Crane op Computing.