Hoe test de overheid of algoritmes onbedoeld discrimineren? Het CPB bouwde er een tool voor

Overheden die willen weten of hun algoritmes (indirect) discrimineren, kunnen daarvoor binnenkort een nieuw hulpmiddel gebruiken dat het Centraal Planbureau (CPB) heeft ontwikkeld. Als het aan het planbureau ligt, zorgt de Rijksoverheid ervoor dat de zogeheten Selectiviteitsscan voor alle overheidsorganisaties beschikbaar wordt.

Steeds vaker gebruiken overheden en publieke instanties computeralgoritmes om beslissingen te nemen, schrijft het CPB in de aankondiging. Daarbij bestaat het risico dat die algoritmes zo zijn ontworpen, dat ze voor discriminatie zorgen.

Indirect onderscheid

Een bekend voorbeeld is het algoritme dat een fraudeteam van de Dienst Uitvoering Onderwijs (DUO) gebruikte om potentiële fraudeurs op te sporen. Dat programma discrimineerde onopzettelijk: het keek naar onder meer de leeftijd, het type onderwijs (mbo, hbo, universiteit) en de woonsituatie van studenten. Van 376 studenten die tegenover DUO in de rechtszaal belandden, bleek evenwel 97 procent een migratieachtergrond te hebben.

Het is een typisch geval van „indirect onderscheid”. „Een algoritme lijkt in zo’n geval neutraal, maar benadeelt een specifieke groep”, zegt Mark Kattenberg, programmaleider Data Science bij het CPB.

Het maken van onderscheid tussen mensen is volgens Kattenberg niet per definitie discriminatie – onderscheid maken is immers waar algoritmes juist voor bedoeld zijn. „Indirect onderscheid mag. Maar je moet het kunnen rechtvaardigen. Kun je dat niet, dan is er sprake van discriminatie.” Dat laatste bleek ook bij DUO het geval: de in totaal tienduizend studenten die door het algoritme werden aangemerkt als fraudeur, kregen daarvoor eind vorig jaar compensatie.

Algoritme registreren

Om het gebruik van discriminerende algoritmes tegen te gaan, wil de regering dat overheidsorganisaties de algoritmes die ze gebruiken, verplicht melden in het algoritmeregister. Nu gebeurt dat nog vrijwillig. De Europese AI-wet, die volgend jaar augustus van kracht gaat, schrijft bovendien voor dat algoritmes moeten worden gecontroleerd op discriminatie en willekeur.

Maar bij indirecte selectie is zo’n controle lastig. Dat komt door de privacywet, die eist dat organisaties zo min mogelijk data over burgers verzamelen en bewaren. Als je niet weet of mensen in je algoritme een migratieachtergrond hebben, kun je immers ook niet beoordelen of het algoritme erop discrimineert.

Voor dat dilemma moet de tool van het CPB een oplossing bieden. Het programma werkt met zogeheten microdata van het Centraal Bureau voor de Statistiek (CBS): geanonimiseerde gegevens op persoonsniveau over bijvoorbeeld het inkomen, vermogen, schulden, leeftijd en geslacht.

Nadat het algoritme heeft bepaald welke mensen in de groep bijvoorbeeld een hogere kans hebben om fraudeur te zijn, deelt de ontwikkelaar deze selectie met het CBS, legt Kattenberg uit. „Vervolgens krijg je terug: dit is jouw selectie, daarvan heeft zoveel procent een migratieachtergrond, dat is zoveel procent hoger of lager dan het gemiddelde in de hele groep. Je ziet dus alleen de percentages, niet de gegevens van de personen.”

Nieuwe inzichten

Het CPB heeft de tool uitgeprobeerd op een algoritme van het UWV. Daaruit blijkt dat de methode werkt, schrijft het CPB in zijn verslag: „De Selectiviteitsscan laat zien dat het mogelijk is om algoritmes veilig te toetsen met gegevens die de ontwikkelaar van het algoritme zelf niet kan gebruiken.” Volgens het planbureau levert de toets „nieuwe inzichten op” én beperkt deze „het risico op misbruik van persoonsgegevens”.

Het CPB raadt de regering dan ook nadrukkelijk aan om een hulpmiddel „zoals de Selectiviteitsscan” beschikbaar te stellen aan overheidsorganisaties die met algoritmes werken. Volgens Kattenberg zou het CBS als eigenaar van de microdata de dienst zelf kunnen gaan aanbieden, maar zijn daarover nog geen afspraken gemaakt.

Zelf gaat het CPB de tool waarschijnlijk niet aanbieden, doorontwikkelen en onderhouden, zegt Kattenberg: „Dat valt buiten onze core business als planbureau”. Waarom het CPB het programma dan toch heeft gebouwd? „Omdat het een heel economisch onderwerp is. Algoritmes worden gebruikt om selectieprocessen efficiënter te maken, maar er zitten nadelen aan. Efficiëntie botst hier met rechtvaardigheid. Dat is een echt klassiek economisch thema, het zou goed zijn als economen daar meer aandacht aan geven. Dat is ook de reden dat wij dat hebben gedaan.”

Lees ook

AI zou een politieke topprioriteit moeten zijn

Geef cadeau

Deel

Mail de redactie

NIEUW: Geef dit artikel cadeau
Als NRC-abonnee kun je elke maand 10 artikelen cadeau geven aan iemand zonder NRC-abonnement. De ontvanger kan het artikel direct lezen, zonder betaalmuur.

De journalistieke principes van NRC