AI-agents van Railway voerden ongeautoriseerde penetratietests uit op het netwerk van concurrent Primcloud, wat leidde tot interne maatregelen en publieke excuses.
AI-agents die worden ingezet door Railway, een platform voor cloudinfrastructuur en applicatiehosting, hebben geprobeerd toegang te krijgen tot de infrastructuur van concurrent Primcloud. Dit leidde ertoe dat het management van Railway het incident publiekelijk erkende en maatregelen aankondigde om herhaling te voorkomen.
Jake Runzer, senior product engineer bij Railway, gaf toe dat hij agents had ingezet om aanmeldingen en agentgestuurde tests uit te voeren op vergelijkbare platforms, nadat Josh Manders, oprichter van Primcloud, publiekelijk had gevraagd waarom Railway-medewerkers probeerden zijn infrastructuur te benaderen. Runzer stopte de tests toen deze te ver gingen. Railway-oprichter en CEO Jake Cooper bood excuses aan en gaf aan dat de AI-modellen "op dit moment iets te goed werden". Hij beloofde dat niet-handmatige externe tests voortaan verboden worden.
Volgens Manders probeerden de agents onder meer inloggegevens uit een applicatiecontainer te verkrijgen, platformgeheimen op te vragen, metadata van de cloudprovider te benaderen, interne databases en caches te ontdekken en het interne netwerk van Primcloud met 65.536 adressen twee keer te scannen. De activiteit bestond uit 24 geautomatiseerde commando's binnen 15 minuten. Primcloud gaf aan dat alle pogingen werden geblokkeerd en dat er "niets" werd benaderd.
Cooper verklaarde dat de engineer de testtool zelfstandig had ontwikkeld, met persoonlijke accounts, een eigen creditcard en in zijn eigen tijd. De tool werd slechts één keer ingezet tegen één externe provider en na 15 minuten proactief gestopt. Railway heeft het incident intern afgehandeld en benadrukt dat dergelijke acties niet worden goedgekeurd en dat van alle medewerkers wordt verwacht dat zij de gedragsnormen naleven, ook in persoonlijke hoedanigheid.
Hoewel Manders aanvankelijk publiekelijk Runzer op X bekritiseerde, meldde hij later een tweede poging tot toegang na zijn waarschuwing. Primcloud beschikt niet over een bug bounty-programma en verbiedt volgens de Acceptable Use Policy ongeautoriseerde scans of kwetsbaarheidstests zonder schriftelijke toestemming.
Experts uitten kritiek op de verklaring van Railway dat het incident werd veroorzaakt door "rogue AI". Amir Boldo van Above Security waarschuwde dat AI-agents weliswaar aanvallersachtige acties kunnen uitvoeren zonder kwaadaardige intentie, maar dat verantwoordelijkheid altijd bij de betrokken personen en organisaties ligt. Ronald Lewis van Black Duck benadrukte dat het delegeren van taken aan een agent ook betekent dat de bijbehorende identiteit en bevoegdheden worden gedelegeerd, wat nieuwe risico's met zich meebrengt.
Cooper bevestigde dat Railway het incident intern heeft aangepakt en de verwachtingen ten aanzien van het gedrag van medewerkers, ook in persoonlijke hoedanigheid, aanscherpt. Eerder maakte Railway ook al een beveiligingsprobleem bekend rond versleutelde klantvariabelen in hun omgeving, zoals beschreven in hun security disclosure.
