Gebruik van algoritmes door de overheid

Frodo, een hobbit, heeft de meest beslissende ring in zijn bezit. En: alleen hobbits kunnen die ring dragen zonder zelf in de macht van het kwaad te komen. Daarom moet Frodo de ring naar de Doemberg brengen, daar kan de ring vernietigd worden. Als dat gebeurt, is ook de macht van Sauron gebroken.  

Gedurende zijn tocht bezoekt Frodo de machtige elfenkoningin Galadriël. Tijdens dat bezoek nodigt de koningin Frodo uit om in haar spiegel te kijken. Die spiegel kan dingen openbaren die geweest zijn, die nu zijn en soms ook dingen die nog kunnen gebeuren. Frodo kijkt in de spiegel en ziet dat hem en zijn makkers verschrikkelijke dingen overkomen. Hij is er kapot van. Galadriël legt uit dat die dingen gebeuren als Frodo zou falen in zijn taak de ring te laten vernietigen. Frodo voelt zich niet in staat tot die taak en biedt de magische ring aan Galadriël aan.  

De elfenkoningin voelt de verleiding om met behulp van die ring nog meer macht te verwerven. Misschien wel zoveel macht dat zij de heerser Sauron zou kunnen overwinnen. Ze staat op een existentiële tweesprong. Pakt ze de ring om de macht van het kwaad met diezelfde macht te bestrijden? Of beseft ze dat die ring haar uiteindelijk zelf onder de macht van Sauron zou brengen en alles zou vernietigen?  

Tolkien snijdt in deze scene twee belangrijke vragen aan. Als eerste, welke middelen zijn geoorloofd in de strijd tegen het kwaad? Als tweede, wat doet de macht om het kwaad te bestrijden met degene die het kwaad bestrijdt?  

Het debat gaat vandaag over algoritmische besluitvorming bij de overheid. Uiteindelijk gaat het om de vraag of het gebruik van dit soort technologieën door overheden leidt tot meer welzijn voor individuele burgers en tot bloei van de samenleving als geheel? Leiden deze technologieën ook tot een versterking van de rechtsstaat?  

Bij het voorbereiden van dit debat werd ik geconfronteerd met de complexiteit van dit onderwerp. Ik vraag me af - in WPG-termen - dit de eerste tranche van het debat zou moeten zijn. Ik dacht daarbij ook aan de opmerking van Arjan Widlak van de Kafka brigade die stelde dat het lastig is om een beknopt beeld te geven van de digitale overheid als geheel. In het geheel van de bijdrage van mijn fractie en die van de SGP vormen de eerdergenoemde vragen van Tolkien een rode draad.  

Wat voor modellen? 
Ik begin met enkele fundamentele vragen m.b.t. de modellen die ten grondslag liggen aan algoritmes. Eerste fundamentele vraag: Wat voor soort model ligt ten grondslag aan een algoritme? Er zijn meerdere soorten modellen: bijvoorbeeld beschrijvende modellen, verklarende modellen en kansenmodellen. Bij fraudebestrijding - ik denk bijvoorbeeld aan SyRI (Systeem Risico Indicatie) en vergelijkbare programma’s - wordt gebruikt gemaakt van een kansenmodel. Dit soort modellen hebben een fundamenteel probleem: ze kunnen geen uitspraak doen over individuele burgers maar alleen over een groot cohort burgers.  

Tweede fundamentele vraag: Welke databronnen worden er gebruikt? Leiden deze bronnen misschien tot ongewenste profiling?  

Derde fundamentele vraag is: Hoe gaan we om met het gegeven dat ontwikkelaars modellen ontwikkelen die hun eigen vooroordelen, ethiek en wereldbeeld weerspiegelen?  

Vierde fundamentele vraag: Hoe worden de wetsteksten vertaald naar concrete beslisregels? Meestal zullen data-analisten en computerprogrammeurs dat doen. Maar hoe gaan zij om met open normen, brede kaders, ambiguïteiten en tegenstrijdigheden?  

Ten slotte, overvragen we AI niet? Begrijpt AI wat een rechtsstaat is? Begrijpt AI de pijn van slachtoffers? Liggen hier geen geweldige  beperkingen?  

Kan de staatssecretaris op elk van deze fundamentele vragen apart reageren? Vanuit het perspectief van de bloei van de samenleving en versterking van de rechtsstaat! 

Rechtstatelijke overwegingen 
De bovengenoemde vragen leiden tot allerlei rechtstatelijke overwegingen m.b.t. de trias politica, het legaliteitsbeginsel en het handelingsvermogen van de overheid.  

Ik begin met de trias politica. Het behoeft geen betoog dat door AI de uitvoerende kracht van het bestuur fors versterkt wordt. Een ongewenst neveneffect is dat de controlerende macht en de rechtsspraak niet gemakkelijk kunnen meekomen. De reden daarvoor is dat AI-systemen minder doorzichtig zijn: het is niet gemakkelijk om te doorgronden hoe ze werken. Zeker als de systemen data uit meerdere overheidsorganisaties bijeenbrengt. Hoe kan in zo’n situatie de controlerende macht haar functie adequaat uitoefenen? Hoe kan de rechtsspraak de burger beschermen tegen een machtige overheid?  

Het tweede punt is het legaliteitsbeginsel. Het doel van dit beginsel is om onderdrukking en willekeurige machtsuitoefening van de overheid tegen te gaan. Een fundamentele vraag is: Wie vertaalt de formele wetgeving naar concrete beslisregels? In de praktijk zijn dat de data-analisten en computerprogrammeurs. Weten zij om te gaan om open normen, brede kaders, ambiguïteiten en tegenstrijdigheden? Hoe garanderen we dat de wet naar letter en geest goed vertaald is in het algoritme? Hoe is dat democratisch te controleren? Deze vragen worden nog prangender bij deep learning. Wie kan garanderen dat de aanpassing van beslisregels gedurende het leerproces nog steeds in overeenstemming is met de letter en geest van de wet? Wie kan dat controleren?  

De overheid wordt bij de ontwikkeling van AI-systemen steeds meer afhankelijk van de grote en machtige big tech bedrijven. Daarmee krijgen deze bedrijven invloed op de manier waarop wetten worden geïnterpreteerd en in praktijk worden uitgevoerd. Dit leidt tot ondergraving van het primaat van de wetgever.  

Ten slotte, enkele opmerkingen over het handelingsvermogen van de overheid. Vanuit rechtstatelijk perspectief gezien is een sterke overheid cruciaal. Het behoeft geen betoog dat AI het handelingsvermogen van de overheid versterkt en in de toekomst verder kan versterken. Tegelijkertijd moeten we erkennen dat AI een bedreiging is voor dat handelingsvermogen. Met name gezien de macht van de big tech bedrijven, het falen van zelfregulatie, en alle problemen rond de handhaving van allerlei wetten m.b.t. deze bedrijven.  

Graag een reactie van de staatssecretaris op deze drie punten. Met name vanuit het perspectief van de versterking van de rechtsstaat.  

De praktijk
De Afdeling bestuursrechtspraak van de Raad van State heeft in 2017 bepaald dat ter voorkoming van een gepercipieerde ‘black box’ bij geautomatiseerde besluitvorming, het bestuursorgaan de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar moet maken op een passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. Met andere woorden: het systeem van geautomatiseerde besluitvorming moet worden uitgelegd. Inmiddels is deze jurisprudentielijn ook overgenomen door de Hoge Raad in belastingzaken waarbij volledig geautomatiseerde besluitvorming aan de orde is. 

Een eerlijke vraag is: Bieden deze uitspraken voldoende bescherming? Of is hier sprake van een second best oplossing bij gebrek aan specifieke wetgeving? Is het niet aan de wetgever om concrete en mogelijk zwaardere eisen te formuleren, bijvoorbeeld op het gebied van de uitgangspunten van de modellen en algoritmen, de uitlegbaarheid van besluiten en het uitsluiten van bepaalde toepassingen? Wat is de visie van de staatssecretaris? Wil zij met wetgeving komen? Onze fractie en de SGP overwegen een motie op dit gebied. 

Ten slotte, zouden de genoemde modellen en algoritmen - onder redelijke condities - niet beschikbaar moeten zijn voor kritisch wetenschappelijk onderzoek? Graag een reactie van de staatssecretaris.  

Deepfake technologie
Op één specifieke technologie wil ik nog nader ingaan: deepfake. Bart van der Sloot en anderen van de universiteit Tilburg hebben een studie gedaan over de regulering van deepfakes. Zij laten zien dat de technologie die hieraan ten grondslag ligt grote schade oplevert voor de samenleving en dat wetgeving en regulering noodzakelijk is. Meer dan 95 % van de deepfakes zijn pornografisch van aard. Met vrouwen als slachtoffer. Denk daarbij aan ‘Welmoed en de seksfakes’. Van der Sloot pleit er dan ook voor een verbod voor toegang tot deepfaketechnologie voor burgers. Zou zo een verbod rechtstatelijk, invoerbaar en handhaafbaar zijn? Graag een reactie van de staatssecretaris. Onze fractie en de SGP overwegen een motie op dit punt.  

Wat doet macht met de overheid zelf? 
De tweede vraag van Tolkien - Wat doet de macht om het kwaad te bestrijden met degene die het kwaad bestrijdt? - zou ik expliciet aan de orde willen stellen. Lodewijk Asscher zei bij zijn afscheid als partijleider - hij trad af vanwege de toeslagenaffaire - : ‘Ik vind dat we de democratie meer dienen door zelfreflectie dan door brute verontwaardiging’. Ik vind dit een intrigerende uitspraak.  

Ik beperk me tot de SyRI-affaire. Hoe was het mogelijk dat dit systeem werd ontwikkeld? Was er voldoende aandacht voor de fundamentele vragen, de grondrechten en mogelijke ondergraving van de rechtsstaat? Waarom hebben de verantwoordelijke leidinggevenden uiteindelijk dit project doorgezet? Waarom hebben zij - die de wet dienen te kennen - de wet overtreden? Waarom zijn zij tegen hun burgers gaan procederen? Waarom hebben zij geweigerd om de rechter precies uit te leggen hoe dit systeem werkt? Als Rutger Bregman gelijk heeft - namelijk dat de meeste mensen deugen - waarom is het met Syri dan zo verkeerd gegaan? Waarom is uiteindelijk dit kwaad geïnstitutionaliseerd?  

Ik zie uit naar de reflecties van de staatssecretaris.  

Afronding
Ik kom tot een afronding. In alle stukken ben ik al veel technologische oplossingen tegengekomen. Ik denk bijvoorbeeld aan begrippen als MIA (Mensenrechten Impactment Analyse), Wetsanalyse, CSAE en Flint. Allemaal belangrijk. Maar laten we niet in de valkuil val dat we kiezen voor technologische oplossingen zonder een overzicht over het veld te hebben en een visie op het geheel. Inclusief ethiek.  

De mogelijkheden van AI zijn groot. Opvallend is dat in Sciencefictionliteratuur en -films zelden sprake is van utopische beelden. Meestal overheersen dystopische beelden. Denkt u maar aan Ex machina. Dat moet ons te denken geven. De fracties van de ChristenUnie en de SGP pleiten ervoor om in het debat over algoritmische besluitvorming twee overwegingen centraal te zetten: versterking van de rechtsstaat en de bloei van de samenleving. Dáár moet in de visie van genoemde fracties het Openbaar bestuur op inzetten.  

Deze bijdrage is mede namens de SGP.