Elastic Security Labs heeft een nieuw evaluatiekader ontwikkeld om grote taalmodellen (LLM's) te beoordelen op hun inzetbaarheid binnen security operations centers (SOC). Dit kader gaat verder dan traditionele benchmarks door niet alleen de output van de modellen te beoordelen, maar ook de onderliggende acties zoals toolaanroepen en uitvoeringstraceringen te analyseren. Zo wordt vastgesteld of een model de juiste vaardigheden inzet, de juiste tools in de juiste volgorde aanroept en betrouwbare conclusies trekt zonder resultaten te verzinnen.

Traditionele publieke leaderboards meten vooral kennis en tekstkwaliteit, maar zijn onvoldoende voor security workflows waar het draait om het maken van correcte beslissingen en het betrouwbaar uitvoeren van taken. Een model kan bijvoorbeeld een verkeerde conclusie trekken door een externe bron te citeren zonder deze daadwerkelijk te raadplegen, wat in een SOC kan leiden tot gemiste inbraken. Het nieuwe kader van Elastic simuleert daarom een realistische inbraak in een live Elastic-omgeving en laat verschillende modellen dezelfde securitytaken uitvoeren. Hierbij worden alle acties en parameters vastgelegd en anoniem beoordeeld.

De evaluatie richt zich op zeven categorieën die essentieel zijn voor securityanalisten, waaronder alertanalyse, entiteitsanalyse, threat hunting, detectieregels, workflowcreatie, workflowtriggering en het correct uitvoeren van meervoudige stappen. Deze categorieën omvatten zowel ingebouwde vaardigheden van Elastic's Agent Builder als platformfunctionaliteiten voor workflowautomatisering. Door deze aanpak kan nauwkeurig worden vastgesteld hoe effectief een LLM is in het ondersteunen van securityprocessen.