Nieuw onderzoek richt zich op het vertrouwen dat mensen stellen in AI-agenten, specifiek Large Language Models (LLM's), tijdens strategische spellen. De studie analyseert hoe mensen zich gedragen wanneer ze het opnemen tegen LLM's in een multi-player p-beauty contest, een spel waarbij spelers getallen kiezen met het doel zo dicht mogelijk bij een bepaalde fractie van het gemiddelde te zitten.

De onderzoekers voerden het eerste gecontroleerde laboratoriumexperiment uit waarbij deelnemers financieel werden gestimuleerd om hun keuzes te maken. Door een binnen-subject ontwerp konden ze het gedrag van dezelfde personen vergelijken wanneer ze tegen andere mensen speelden en wanneer ze tegen LLM's speelden. Uit de resultaten blijkt dat deelnemers significant lagere getallen kiezen tegen LLM's dan tegen menselijke tegenstanders. Dit wordt vooral veroorzaakt door een toename in het kiezen van het 'nul' Nash-evenwicht, een strategische keuze die rationeel is in dit soort spellen.

Deze gedragsverandering werd vooral waargenomen bij deelnemers met een hoge strategische redeneervermogen. Zij motiveren hun keuze voor het nul Nash-evenwicht door te vertrouwen op de veronderstelde redeneercapaciteit van de LLM's en, verrassend genoeg, hun neiging tot samenwerking. Dit wijst op een fundamenteel verschil in hoe mensen AI-agenten inschatten ten opzichte van menselijke spelers.

De bevindingen bieden belangrijke inzichten in de interactie tussen mensen en LLM's in situaties waarin gelijktijdige keuzes gemaakt worden. Ze onthullen verschillen in gedrag en overtuigingen over de strategieën van LLM's, wat implicaties kan hebben voor het ontwerp van mechanismen in systemen waarin mensen en AI-agenten samenwerken of concurreren. Meer details zijn te vinden in het onderzoek Humans expect rationality and cooperation from LLM opponents in strategic games.