Security en statistiek. Ze kunnen niet zonder elkaar. Maar het is ook een ongemakkelijke relatie als tussen twee echtgenoten waarin de een vreemd gaat en de ander opzettelijk de andere kant uit kijkt. Je weet het van elkaar, maar je zegt niets. Wanneer ik de criminaliteitsstatistieken lees, of welke andere securitystatistiek dan ook, bekruipt mij altijd een ongemakkelijk gevoel. Waar word ik belazerd?
Statistiek is altijd in het voordeel van de opsteller. Altijd. Hij kent alle data en kan daar naar hartenlust uit putten en interpreteren zoals het hem uit komt. Over hoe je dat doet zijn leuke boekjes geschreven. Niet te versmaden is het boekje ‘How to lie with statistics’ van Darell Huff uit (jawel!) 1954. Een meer recente publicatie is ‘So lügt man mit statistik’ (vertrouw alleen de statistiek die je zelf vervalst hebt) van Walter Krämer. Iedereen bezondigt zich daaraan, politiek, wetenschap, en security ook.
U moet leren de standaardtrucs te doorzien
De remedie is simpel: u moet leren de standaardtrucs te doorzien en kritische vragen te stellen wanneer er weer wat statistische security hocus pocus voorbij komt (of nog leuker: doe het eens op een securitycongres). Hier zijn de belangrijkste vragen:
- In ècht goed statistisch onderzoek kunt u 3 groepen onderscheiden: de eerste groep (de onderzoeksgroep) krijgt met een echte maatregel te maken. De tweede groep (de placebogroep) krijgt een nepmaatregel die echt lijkt maar niets doet. Niemand weet of ze de echte of de nepmaatregel krijgen (‘dubbelblind’ is het toverwoord). De derde groep (de controlegroep) krijgt niets, geen maatregel en geen placebo. Meestal zult u alleen maar de eerste groep aantreffen die ook nog eens weet van de maatregel – wat de waarde van het onderzoek tot vrijwel nul reduceert.
- Een veel gemaakte fout bij (veiligheids)enquêtes is de suggestieve vraagstelling. Met andere woorden: in een vraag als ‘voelt u zich wel eens onveilig?’ ligt het antwoord bijna besloten. En vaak zijn deelnemers niet willekeurig geselecteerd, omdat het de specifieke doelgroep betreft.
- Op hoeveel incidenten is statistiek X gebaseerd? En heel belangrijk: hoe is een ‘incident’ eigenlijk gedefinieerd en strookt dat nog met de uiteindelijke conclusies? Vaak is dat niet zo. Trouwens, hoeveel incidenten moeten er eigenlijk zijn geweest voordat je betrouwbare conclusies kunt trekken? Niemand die het weet.
- Hoe vaak ging het goed? Statistiek is meestal een verhoudingsgetal. Een deling met een teller en een noemer. Veel ‘statistiek’ wordt alleen als teller (X incidenten) gepresenteerd, maar de vraag is: wat stond er in de noemer?
- En met stip op nummer 1: Wordt een statistisch verband als een oorzakelijk verband gepresenteerd? Wanneer de criminaliteit daalt na het nemen van maatregel X betekent dat nog niet dat de daling veroorzaakt is door de maatregel X. Als dat al beweerd wordt, hoort daar een goed doortimmerde verklaring bij. Of een correlatie van tenminste 99.9999%. De meeste studies houden het op een flinterdunne argumentatie. Of zelfs dat niet eens.
Klik hier voor meer blogs van Civis Sollicitus