Security Operation Centres (SOC's) vormen een cruciale verdedigingslinie binnen organisaties, waar getrainde analisten met behulp van diverse tools aanvallen proberen te detecteren in grote hoeveelheden logdata. Omdat SOC's doorgaans hoge kosten met zich meebrengen, zoals personeelskosten, licenties en opslag, is het begrijpelijk dat organisaties de prestaties van hun SOC willen meten en beoordelen, ongeacht of deze intern of uitbesteed is.

Veel SOC's gebruiken ticketingsystemen om de afhandeling van detecties en incidenten te volgen. Hierdoor wordt vaak gekozen voor dezelfde key performance indicators (KPI's) en service level agreements (SLA's) als bij andere IT-afdelingen die met tickets werken, zoals IT-servicedesks of klantenservice. Dit leidt tot het meten van zaken als het aantal verwerkte tickets en de tijd die nodig is om een ticket te sluiten. Daarnaast worden ook SOC-specifieke metrics gehanteerd, vaak gericht op eenvoudig kwantificeerbare en begrijpelijke cijfers, zoals het aantal geschreven detectieregels of het volume verzamelde logs.

Volgens het Britse National Cyber Security Centre (NCSC) bieden veel van deze gangbare metrics echter geen inzicht in de daadwerkelijke effectiviteit van een SOC. Sterker nog, het gebruik van ongeschikte metrics kan de focus van analisten verstoren en in het ergste geval de capaciteit van het SOC om aanvallen te detecteren en erop te reageren, ondermijnen. Het NCSC heeft voorbeelden gezien van SOC's met veel potentie die door verkeerde keuze en toepassing van metrics volledig ineffectief werden.

Een belangrijk aandachtspunt is dat wanneer metrics worden gebruikt om prestaties te kwantificeren, medewerkers worden gestimuleerd om deze cijfers te optimaliseren. Dit kan leiden tot ongewenste effecten. Zo leidt het meten van het aantal verwerkte tickets ertoe dat analisten geneigd zijn tickets snel als false positives af te sluiten, om zo het aantal verwerkte tickets te verhogen. Dit terwijl in veel SOC's het merendeel van de tickets daadwerkelijk false positives betreft. Ook het meten van de tijd die nodig is om een ticket te sluiten kan dezelfde ongewenste prikkel geven om alerts snel af te handelen zonder grondig onderzoek.

Een andere veelgebruikte metric is het aantal detectieregels. Hoewel het logisch lijkt dat meer regels leiden tot betere detectiemogelijkheden, leidt dit vaak tot 'alert inflation'. Analisten schrijven zoveel mogelijk regels om het metric te verbeteren, wat resulteert in een toename van false positives en ineffectieve regels. Soms worden zelfs individuele regels gemaakt voor specifieke Indicators of Compromise (IOCs), zoals een enkel IP-adres, wat de effectiviteit niet ten goede komt.

Tot slot wordt ook vaak het volume van verzamelde logs gemeten. Hoewel goede logs essentieel zijn voor effectieve detectie en onderzoek, helpt een grote hoeveelheid logs zonder relevante inhoud of zonder dat ze daadwerkelijk worden gebruikt voor detectie niet bij het verbeteren van de SOC-prestaties. Het NCSC benadrukt dat het belangrijk is om niet alleen te focussen op kwantiteit, maar ook op de kwaliteit en bruikbaarheid van de logs voor detectie en threat hunting.