
Onderzoek toont aan dat een netwerk van AI-diensten miljoenen unieke geheimen lekte, met meerdere datalekken en schendingen van privacyinstellingen.
Onderzoekers plaatsten twee miljoen digitale valstrikken in verzoeken die via een uitgebreid netwerk van AI-diensten werden verstuurd om te achterhalen wat er met gevoelige informatie gebeurt. Wat zij ontdekten was een ecosysteem dat gevoelige data op grote schaal lekt.
Het onderzoek was opgezet om te testen of vertrouwelijke gegevens kunnen uitlekken via de keten van veelgebruikte AI-diensten en hoe deze informatie vervolgens wordt misbruikt. Veel AI-applicaties maken gebruik van diensten zoals OpenRouter of Vercel, die fungeren als tussenpersonen. Deze zogenaamde AI-routers of AI-gateways ontvangen grote aantallen prompts van eindgebruikers en sturen deze door naar een beschikbare AI-modelserver, bijvoorbeeld op basis van prijs of geschiktheid.
Om mogelijke datalekken te detecteren, verzamelde onderzoeker HD Moore een set AWS-toegangssleutels, werkende credentials gekoppeld aan lege AWS-accounts, wachtwoorden voor diensten zoals SSH, en unieke URL's, DNS-namen en verwijzingen naar private git-repositories. Deze geheimen waren nooit eerder gebruikt en Moore beheerde de infrastructuur die verzoeken met deze credentials ontving. Elk geheim werd in precies één prompt naar één provider gestuurd. Mochten deze geheimen uitlekken, dan konden deze digitale 'kanaries' precies aangeven welk onderdeel in de keten verantwoordelijk was.
De bevindingen waren schokkend. Er was bewijs dat ten minste drie AI-providers waren gecompromitteerd door aanvallers die prompts onderschepten. Daarnaast logden meerdere wederverkopers in de inference-marktplaats de prompts en gaven deze door aan derden die de credentials gebruikten. Ook werden privacy-instellingen van eindgebruikers, zoals Zero Data Retention (ZDR) of 'geen dataverzameling', door verschillende AI-providers genegeerd.
Moore, Chief Research Officer bij beveiligingsbedrijf Dragos, schreef donderdag: "We stuurden bijna twee miljoen AI-prompts met unieke, traceerbare geheimen naar AI-providers en volgden waar deze geheimen opdoken. Wat we vonden onthulde beveiligingsinbreuken, diefstal van prompts en wijdverspreide falen in de bescherming van klantgegevens." Hoewel prompts tijdens verzending versleuteld zijn, worden ze bij elke schakel in het inference-netwerk ontsleuteld. De AI-router leest de plaintext om te bepalen welke inference-provider het verzoek het beste kan afhandelen. Vervolgens kan het verzoek naar verschillende modellen gaan, soms gehost bij verschillende providers. Prompts kunnen ook van de ene AI-router naar de andere worden doorgestuurd. Elke partij logt waarschijnlijk de prompts en bewaart deze zolang hun beleid dat toestaat, soms zelfs onbeperkt.
Het meest zorgwekkende was de inbraak bij drie afzonderlijke hostingproviders. Aanvallers die één provider compromitteerden, hergebruikten honderden AWS-sleutels. Moore meldde dat elke sleutel in precies één verzoek naar één provider werd gestuurd, allemaal binnen korte tijdsvensters eind oktober, en dat elk verzoek tijdens die vensters werd gestolen. Sommige gestolen sleutels kwamen uit verzoeken die door de provider werden afgewezen voordat een model draaide, wat aangeeft dat de aanvaller verzoeken al bij de ingang van de provider onderschepte. Bij de andere twee inbraken betroffen sommige gestolen verzoeken privacyvlaggen zoals ZDR. Een privacyvlag helpt niet als de aanvaller al binnen is.












