AI-systemen vinden nieuwe kwetsbaarheden in het Duitse rechtssysteem, wat kan leiden tot exploitatie van juridische regels.
In zowel een essay uit 2021 als het boek A Hacker’s Mind uit 2022 wordt besproken hoe AI kwetsbaarheden en exploits kan vinden binnen het juridische systeem. Dit fenomeen, vergelijkbaar met hacking in computersystemen, is recentelijk aangetoond in Duitsland.
Juridische systemen zijn gebaseerd op natuurlijke taal en bevatten daardoor, net als software, potentiële kwetsbaarheden die kunnen worden uitgebuit. Hoewel rechtbanken doorgaans dergelijke exploits via interpretatie opvangen en deze kwetsbaarheden zelden aan het licht komen, kan de inzet van geavanceerde AI-systemen dit veranderen. Door het gebruik van grote taalmodellen (LLM's) zijn onderzoekers erin geslaagd een aanzienlijk aantal nieuwe kwetsbaarheden in het Duitse rechtssysteem te identificeren, waarvan er geen eerder bekend waren. Een selectie van deze kwetsbaarheden en mogelijke exploitatiemethoden is gepubliceerd, waarbij alleen die exploits worden gedeeld waarvan wordt aangenomen dat ze geen ernstige schade veroorzaken.
De onderzoekers waarschuwen dat de opkomst van goedkope en geautomatiseerde juridische redenering door AI de werking van huidige juridische systemen kan ondermijnen. Dit zou ertoe kunnen leiden dat wetgevers het wetgevingsproces aanzienlijk moeten versterken, bijvoorbeeld door zelf geavanceerde AI in te zetten. Hoewel dit nog in een vroeg stadium verkeert, is het een ontwikkeling die onvermijdelijk lijkt.
