Het selecteren van een geschikt AI-model voor een Security Operations Center (SOC) en digitale forensische en incidentrespons (DFIR) taken vereist een zorgvuldige afweging van meerdere factoren. Cisco Talos voerde een onderzoek uit waarbij 66 combinaties van modellen en redeneermethoden van Anthropic en OpenAI werden getest op een loganalyse-opdracht. Het doel was om te bepalen welk model het beste presteert, maar het resultaat toonde vooral aan dat er geen eenduidige winnaar is.

De effectiviteit van een model hangt af van een complexe balans tussen rekenkracht en redeneertijd, kosten, snelheid, consistentie van resultaten en tolerantie voor fouten. Meer redeneertijd leidt niet altijd tot betere uitkomsten; soms verslechterden de scores zelfs. Consistentie bleek een cruciale factor, omdat een model met een hoge mediane score toch incidenteel zwakke resultaten kan geven. De vraag welk model het hoogste scoort, is daarom minder relevant dan welk model en welke instellingen voldoende kwaliteit bieden binnen de grenzen van kosten, snelheid en betrouwbaarheid die een SOC- of DFIR-werkstroom kan accepteren.

In de test moesten reviewers met behulp van standaard Unix-commando’s beoordelen of datasets echt of synthetisch waren. Elk model werd beoordeeld door vier verschillende persona’s, waaronder een Threat Hunter en een Network Forensics Analyst. De scores werden gebaseerd op de mate van zekerheid over de synthetische aard van de data. Naast de kwaliteit van de analyse werden ook kosten en benodigde tijd per model gemeten, waarbij gebruik werd gemaakt van een vaste prijslijst voor API-kosten om vergelijkbaarheid te waarborgen.

Deze aanpak biedt organisaties een herhaalbare methode om AI-modellen te evalueren op basis van hun eigen prioriteiten en beperkingen. De resultaten benadrukken dat het kiezen van een AI-model voor SOC en DFIR niet alleen draait om maximale prestaties, maar om een afgewogen keuze die past bij de operationele context en beschikbare middelen. Meer informatie over de gebruikte methodologie en tools is beschikbaar via EvidenceForge. Ook kan het concept van de Pareto frontier helpen bij het inzichtelijk maken van de optimale balans tussen verschillende prestatiecriteria.