Een tijd geleden leefde ik een poosje onder de nerds. Dat was in een laboratorium waar software voor gezichtsherkenning werd ontwikkeld. Nerds – zo leerde ik toen – hadden twee belangrijke eigenschappen: (1) zij wilden met alle geweld aantonen dat computers beter zijn dan mensen (dat willen ze overigens nog steeds), en (2) in hun synthetische computerwereld bestaan alleen data, geen mensen.
In die tijd had ik eens een discussie met een nerd over gezichtsherkenning met behulp van camera’s en algoritmes. Om een lang verhaal kort te maken: gezichtsherkenning gaat over het werken met contrastverschillen in afbeeldingen. Die worden omgezet in een verzameling wiskundige beschrijvingen die we voor het gemak even eigenfaces noemen.
Met mathematische bewerkingen zoals lineaire transformaties en covariantie matrices kan er vervolgens een kans worden berekend dat een bepaald gezicht hoort bij de eigenface die in een database zit, en iemand dus herkend wordt. Maar daarbij komen problemen om de hoek kijken. “Hoe ga je die vergelijkingen oplossen wanneer er op een donkere huid weinig contrastwerking is?”, vroeg ik eens een nerd. Wat volgde was stilte. Daar sprak je niet over. Was trouwens ook geen oplossing voor…
Voor de niet technisch ingewijden simpel gezegd: een donkere huid reflecteert gewoon minder licht. Daardoor is er minder contrastwerking, waardoor de herkenningsalgoritmes minder goed werken. Iets vergelijkbaars is ook in de geneeskunde (dermatologie) bekend: het herkennen van bepaalde huidziektes op een donkere huid is soms bijna onmogelijk.
Dat noemen we een discriminerend systeem
Dat betekent dat discriminatie op huidskleur feitelijk al in elk camerasysteem met gezichtsherkenningssysteem zit ingebakken. Gewoon op basis van de fysica, niet eens op basis van vooroordelen. Zo’n camerasysteem pakt dus, afhankelijk van de toepassing, nadeliger uit voor mensen met een lichte of donkere huid zonder dat ze dat weten. Dat noemen we een discriminerend systeem.
Discriminerende systemen werken vaak zo zonder dat we dat in de gaten hebben. Zoals in het volgende voorbeeld. Op Long Island (New York) werden midden vorige eeuw viaducten gebouwd die zo laag waren dat de bewoners er met hun auto’s wel onderdoor konden rijden maar bussen niet. In die bussen zat de zwarte bevolking. Het viaduct filterde de bussen van de auto’s en daarmee de zwarten van de witten. Gewoon omdat hij zo gebouwd was.
De moraal van het verhaal was overigens dat de rijke bewoners van Long Island daarna alsnog in de problemen kwamen. Want toen zij campers en hoge trailers met boten kochten kwamen zij zelf ook niet onder de viaducten door.
Ook camerasystemen discrimineren. Maar om andere redenen dan mensen. Daar moeten we ons bewust van zijn.
> Lees meer blogs van Civis Sollicitus