Zo af en toe voel ik de behoefte om u lastig te vallen met ‘moeilijke’ materie. Vandaag ga ik dat weer eens doen. Kent u de term ROC? Nee, ROC is geen Regionaal Opleidings Centrum. Dat dacht u waarschijnlijk. Binnen deze context staat ROC staat voor Receiver Operating Characteristic en is de nachtmerrie van alle leveranciers van detectie- en opsporingsapparatuur. Als ze al weten wat het betekent.
Toch is dat vreemd, want ROC is al bijna 80 jaar oud. Het is tijdens de Tweede Wereldoorlog ontwikkeld na de aanval op Pearl Harbor om de beslissing te verbeteren of een ‘blip’ op een radarscherm een Japans of Amerikaans toestel was. ROC wordt veel gebruikt in de medische diagnostiek, epidemiologie en kunstmatige intelligentie. Maar nog nauwelijks in de security.
Laat de term ROC maar eens een keer vallen en kijk naar de reacties
Wat is ROC dan? Kort door de bocht: het geeft de verhouding aan tussen het aantal correcte alarmen (true positives) en het aantal valse alarmen (false positives) onder realistische omstandigheden. Een perfecte detector geeft alleen correcte alarmen en geen enkel vals alarm. In de praktijk wordt dat gepresenteerd in een grafiek die we een ROC curve noemen.
Maar iedereen die met detectie- en opsporingsapparatuur heeft gewerkt weet dat deze apparaten onder realistische omstandigheden te veel valse alarmen geven. En dat is een groot probleem, want bij te veel valse alarmen spreken we van het cry wolf effect: mensen reageren dan niet meer op een alarm, ook niet als het correct is. Of ze zetten het systeem uit. Wanneer was de laatste keer dat u voor een auto-alarmsysteem de deur uit rende?
Er zijn dus veel slechte detectiesystemen. Maar wat is dan een slecht detectiesysteem? Anders dan u denkt, is dat niet een systeem die in 0%, maar in 50% van alle gevallen een correct alarm geeft en – dus – voor de resterende 50% een vals alarm. Dat heet een willekeurig signaal. Zit je daarboven (bijvoorbeeld 90%), dan gaat het al stukken beter. Zit je daaronder (bijvoorbeeld 10%) dan is dat weliswaar een heel slecht systeem, maar wanneer je zijn werking omkeert verandert het ineens in een heel goed systeem. Vergelijk het met een man die altijd liegt: hij zegt ‘linksaf’ terwijl het ‘rechtsaf’ is. Wanneer u zijn uitspraken omkeert (rechts betekent links) heeft u altijd de waarheid te pakken.
De oplossing van alle problemen begint bij het benoemen ervan
Nu moet u niet meteen iedere leverancier van apparatuur om een ROC curve gaan vragen, want die zijn er niet. ROC in de security is nog ver weg, maar de oplossing van alle problemen begint bij het benoemen ervan. En het kan geen kwaad eens te kijken hoe ze bijvoorbeeld met ROC omgaan in de medische diagnostiek. Want zeg nu zelf: wanneer u een foutieve diagnose ‘kanker’ krijgt opgeplakt dan heeft dat verstrekkende gevolgen voor uw verdere leven. En eigenlijk willen we dat niet, nietwaar? Kijk, dat bedoel ik nou. Waarom dan ook niet in de security?
Uiteraard verwacht ik niet van u dat u weet wat een ROC curve is na deze korte column. Het belangrijkste is dat u weet dat deze bestaat en iets zegt over de betrouwbaarheid van systemen. Laat de term maar eens een keer vallen en kijk naar de reacties.
> Lees meer blogs van Civis Sollicitus