In 2014 nam de overheid het Systeem Risico Indicatie (SyRI) in bedrijf om misbruik van sociale voorzieningen te voorkomen. Dit systeem is gebaseerd op zogenaamde algoritmen, een bepaalde vorm van kunstmatige intelligentie. SyRI kan het gedrag van burgers voorspellen en beslissingen over hen nemen. In onze visie moeten dit soort systemen en overheden die ze gebruiken aan hoge morele eisen voldoen.

SyRI is een complex algoritme dat risicomeldingen genereert. Een risicomelding betekent dat de kans dat een bepaalde burger fraude zal plegen hoger is. Op het eerste gezicht is zo’n toepassing prachtig. Iedereen wil toch het misbruik van sociale voorzieningen terugdringen? Toch gebeurde er iets bijzonders. In 2018 spande een groep burgers een rechtszaak aan tegen de staat. In februari 2020 oordeelde de rechter dat SyRI in strijd was met het Europees Verdrag voor de Rechten van de Mens. Het zou de privacy van burgers schenden en onvoldoende inzichtelijk en controleerbaar zijn.

Vertekend beeld

Wat was het probleem met SyRI? In principe is een algoritme niets meer dan een serie opdrachten die stapsgewijs worden uitgevoerd om een probleem op te lossen. Bij een eenvoudig algoritme kan een buitenstaander precies zien welke data er gebruikt worden en op welke manier een conclusie wordt getrokken of een besluit genomen. Maar bij complexe algoritmen is dat niet meer het geval, omdat het systeem gebruik maakt van verschillende bronnen en het in de loop van de tijd ‘leert’ hoe die verschillende soorten gegevens met elkaar verbonden zijn. Hoe ingewikkelder het algoritme, des te lastiger het is om te begrijpen op basis van welke gegevens het algoritme tot bepaalde uitkomsten komt. Met als gevolg dat het algoritme gemakkelijk een vertekend beeld van de werkelijkheid creëert, waardoor bestaande ongelijkheden vergroot worden.

SyRI creëerde ook een vertekend beeld van de werkelijkheid. Met als gevolg dat er met name risicomeldingen gegenereerd werden van burgers met een lagere sociaaleconomische status en een immigratieachtergrond (”poverty framing”). Met andere woorden, het systeem discrimineerde burgers met een slecht gevulde portemonnee. Uit de rechtszaak over SyRI bleek dat ook de rechtsstaat zelf in het geding was. Tijdens de rechtsprocedure weigerde het ministerie van Sociale Zaken en Werkgelegenheid om de details van het complexe algoritme vrij te geven, waardoor de rechter vrijwel geen inzicht kreeg in de werking van het systeem, met als gevolg dat de rechtsspraak bemoeilijkt werd.

Fraude

Hoe moeten overheden met dit soort nieuwe technologieën omgaan? Hoe moeten politici bestuurders controleren? Hoe moeten burgers hun mening vormen? In onze visie geven de ethische motieven vooruitgang, voorzichtigheid en verzet – zoals ontwikkeld door Jochemsen en Verkerk in hun boek ”Morgen wordt alles beter” – een goed handvat.

Het motief van de vooruitgang opent de ogen voor de mogelijkheden van nieuwe technologie. Als algoritmen kunnen bijdragen aan het voorkomen en opsporen van fraude, dan verdient zo’n technologie alle steun. Sociale voorzieningen zijn immers alleen bestemd voor burgers die deze voorzieningen nodig hebben.

Het motief van de voorzichtigheid richt de aandacht op de relatie tussen systemen en mensen. SyRI laat zien hoe kwetsbaar deze relatie kan zijn: het systeem bleek te discrimineren. Sommige groepen burgers werden ten onrechte geïdentificeerd en behandeld als mensen met een ”hoog frauderisico”. Andere groepen kregen ten onrechte ”laag frauderisico” toebedeeld. Dit type discriminatie verdraagt zich niet met de Grondwet en ondermijnt het rechtsgevoel van de burger: de overheid moet alle burgers gelijk behandelen.

Toeslagenaffaire

Ten slotte legt het motief van het verzet de vinger bij de ontwikkeling van een cultuur waarin het systeem beslissingen neemt en ambtenaren en politici zich achter het systeem verschuilen. In dat soort culturen ontwikkelen de bestuurder en ambtenaar zich tot het verlengde van het systeem, met alle gevolgen daarvan voor de burger. De toeslagenaffaire heeft dat op pijnlijke wijze duidelijk gemaakt.

Algoritmen kunnen bijdragen aan het welzijn van individuele burgers en de bloei van de samenleving als geheel. Maar dat is niet vanzelfsprekend. Dat kan alleen als de hoogste morele eisen gesteld worden aan zowel de algoritmen zelf als de organisatie die algoritmen gebruikt en evalueert. Het gaat om overheden die transparant en rechtvaardig zijn in de algoritmen die ze ontwikkelen, dicht bij hun burgers staan en oog hebben voor hun kwetsbare positie.

Maarten Verkerk is emeritus hoogleraar christelijke filosofie en senator voor de ChristenUnie. Maaike Harmsen is theoloog en werkt aan een promotiestudie in de bedrijfsethiek. Dit is een verkorte versie van een artikel dat deze week verschijnt in tijdschrift Groen van het Wetenschappelijk Instituut van de ChristenUnie.