Steek een zebrapad over terwijl het verkeerslicht op rood staat, en je gezicht verschijnt in de Chinese stad Xiangyang prompt op een groot billboard. De hightechvariant van de publieke schandpaal is werkelijkheid. Hand in hand met een gretige technologiesector werkt de Chinese overheid in sneltreinvaart aan allerlei toepassingen om haar burgers onder controle te houden.

Westerse media hebben China wel aangeduid als een totalitaire surveillancestaat, waar miljoenen camera’s elke beweging registreren en slimme algoritmen er een ”sociale score” aan verbinden. Als het aan de Communistische Partij ligt, gaat het die kant ook daadwerkelijk op. Vooralsnog is het één groot experiment, met heel China als laboratorium.

Ondanks dat experimentele karakter grijpt nieuwe technologie in combinatie met een autoritaire overheid nu al diep in in de levens van gewone Chinezen. Het land telt meer dan 200 miljoen bewakingscamera’s en het streven is om er volgend jaar nog eens 100 miljoen bij te hangen. Dan is geen Chinees meer onzichtbaar.

Voeg daarbij de ambitie van China om wereldleider te worden op het gebied van kunstmatige intelligentie en er doemen allerlei privacygevoelige scenario’s op. Scenario’s die in China pijlsnel werkelijkheid worden. Met gezichtsherkenning bijvoorbeeld kan slimme software al die beelden van de bewakingscamera’s koppelen aan identiteiten. De politie zegt op die manier al tientallen criminelen te hebben opgespoord. En iemand die voor z’n beurt de straat oversteekt, belandt zo met foto en al op een billboard.

Sociaal krediet

Parallel aan deze ontwikkelingen werkt de overheid aan een ”sociaal kredietsysteem”, een puntensysteem voor goed gedrag. China kampt met een nationaal gevoel van wantrouwen en kent een lange historie van corruptie. Met het puntensysteem wil de overheid het vertrouwen in de samenleving terugbrengen.

Nu nog is het een lappendeken van tientallen verschillende experimenten, maar China streeft ernaar om in 2020 één landelijk systeem uit te rollen. Dat werkt in essentie als volgt: elke Chinees krijgt 1000 punten. Bij onwenselijk gedrag, bijvoorbeeld een verkeersboete, gaan er punten af. Iemand die iets goeds voor de gemeenschap doet, krijgt er punten bij. Een hoge totaalscore levert voordelen op, zoals voorrang bij het afsluiten van leningen of korting op de energierekening. Wie echter onder de 1000 punten zakt, raakt privileges kwijt. Reizen met de hogesnelheidstrein of het vliegtuig is er dan niet meer bij.

Het puntensysteem werkt op onderdelen nog heel ouderwets. In de stad Rongcheng gaan controleurs met een papieren notitieboekje de straat op om goed gedrag te registreren. Inwoners die goed scoren, vinden hun naam en nobele daad omschreven op grote affiches bij overheidsgebouwen.

Tegelijkertijd wordt ook online geëxperimenteerd met scoresystemen. Chinezen gebruiken op grote schaal chatapps om betalingen mee te verrichten. Wie op basis van zijn betaalgedrag een positieve totaalscore heeft, hoeft bijvoorbeeld geen aanbetaling te doen bij het huren van een auto.

Het onderliggende programma, Sesame Credit, kijkt niet alleen naar betaalgedrag; het houdt ook nauwkeurig bij wie je online vrienden zijn en wat hun score is. Het registreert welke aankopen je doet, maar ook hoe je je op sociale media gedraagt. Daarmee is het veel meer dan een normaal kredietsysteem.

Nu al ondervinden sommige Chinese burgers grote beperkingen vanwege hun sociale score. Onderzoeksjournalist Liu Hu vertelde twee jaar geleden reeds aan technologiemagazine Wired hoe hij door zijn score gedegradeerd werd tot tweederangsburger. Liu, die verschillende corruptiezaken aan het licht bracht, kreeg een boete wegens smaad opgelegd. Ondanks dat hij die netjes betaalde, kwam hij op de zwarte lijst van het Chinese hooggerechtshof terecht.

Liu is daarmee veroordeeld tot de langzaamste vormen van openbaar vervoer. Luxegoederen kan hij niet meer aanschaffen, en slapen in dito hotels is ook verboden. Omdat de zwarte lijst publiek is, weet iedereen dat hij erop staat.

Ondanks die schaduwzijde is van een landelijk dekkend systeem is nog lang geen sprake. Laat staan dat de verschillende initiatieven gekoppeld zijn aan allerlei centrale databases. Nogal wat experimenten lopen stroef vanwege bureaucratie en wantrouwen tussen overheidsinstanties onderling.

Toch groeit hier wel een ingrijpend systeem, waarin straks elke burger een score krijgt die veel meer behelst dan zijn financiële kredietwaardigheid en waarvan de gevolgen veel verstrekkender kunnen zijn. Tel daarbij op het woud aan camera’s, gezichtsherkenning en de onmiskenbare censuur, en de totalitaire surveillancestaat is in China toch ineens heel dichtbij.

Datasporen

Bij dit alles is het de vraag in hoeverre we in Europa niet hard op weg zijn naar een vergelijkbare surveillancestaat. Nee, onze overheid dwingt ons niet om te participeren in sociale kredietsystemen. We krijgen geen punten voor goed gedrag en we komen niet op een zwarte lijst omdat we in de krant schrijven over corruptie.

Wat we wél massaal doen, is ons uitleveren aan grote Amerikaanse technologiebedrijven. Door het gebruik van diensten als Facebook en Google laten we online grote datasporen achter. Aangejaagd door commerciële motieven combineren slimme algoritmen al die gegevens en beschikken steeds meer partijen over unieke profielen van individuele internetgebruikers. De handel in die profielen levert goudgeld op.

De stelling valt te verdedigen dat Silicon Valley zo meer van de gemiddelde internetter weet dan de Chinese overheid van zijn onderdanen. Waar China zijn burgers vooral lijkt te willen aansporen tot volgzaam en goed gedrag, eisen de grote techbedrijven zoveel mogelijk van onze aandacht op om er zélf beter van te worden. En terwijl China tamelijk open is over zijn scoresystemen, bouwen westerse datadealers als Experian en Acxiom uitgebreide scoreprofielen op zonder dat we daar enig zicht op hebben. Wat is nu de echte surveillancestaat?

Die vraag dringt zich te meer op nu technologiebedrijven hun aandacht ook naar de offlinewereld verplaatsen. Niet alleen zijn steeds meer apparaten aangesloten op het internet, we zien het ook in het fenomeen ”smart cities”. Met hulp van de techsector hangt een groeiend aantal westerse steden zijn straten vol met camera’s en sensoren. Daarmee oogsten ze gegevens over verkeers- en afvalstromen, uitstoot en gedragingen van mensenmassa’s, en weten ze precies welke prullenbak vol zit of welke lantaarnpaal kapot is.

De beloftes zijn groot en de mogelijkheden bijna eindeloos. In de drang naar het predikaat ”slimme stad” loopt echter de privacy van inwoners het grootste risico geslachtofferd te worden. Zeker als de op straat verzamelde data gecombineerd gaan worden met onlinegedrag.

Surveillancekapitalisme

Iemand die haar waarschuwende vinger opheft over deze ontwikkelingen, is de Amerikaanse Shoshana Zuboff. De emeritushoogleraar van de Harvard Business School publiceerde recent een lijvig boekwerk over wat zij ”surveillancekapitalisme” noemt. Dat is kortweg een systeem waarin mensen –veelal onbewust– gegevens over hun onlinegedrag prijsgeven aan bedrijven als Google en Facebook, die daarmee dat gedrag weer beïnvloeden.

Daarmee creëren dergelijke bedrijven doelbewust een verdienmodel waaraan een onbegrensde datahonger ten grondslag ligt. Terwijl de techsector die data omzet in megalomane winsten, levert de argeloze internetter steeds meer van zijn privacy, waardigheid en onafhankelijkheid in. Door elke onlinebeweging nauwlettend te volgen, duwen deze bedrijven hun gebruikers meer en meer in een bepaalde richting: de aankoop van een product dat ons online is opgedrongen of het lezen van een artikel dat het algoritme ons voorschotelt.

Voor Zuboff is deze exploitatie van het menselijk gedrag de meest recente verschijningsvorm van het kapitalisme. Zo verliest de mens die aan het surveillancekapitalisme is onderworpen meer en meer zijn autonomie. Hij is overgeleverd aan een systeem dat zijn gedrag vastlegt, manipuleert en te gelde maakt, zonder dat hij er zelf één cent voor terug krijgt. Ernstiger nog: hij heeft er totaal geen invloed op.

Dat het surveillancekapitalisme van bedrijven als Google, Facebook en Amazon een minstens zo grote bedreiging is voor de democratie als de autoritaire toepassingen van de Chinezen, behoeft na alle privacyschandalen, Russische verkiezingsmanipulatie en grootschalige datalekken geen betoog. De technocraten zeggen hetzelfde te willen als de Chinese partijbonzen: met behulp van technologie en big data een harmonieuze samenleving creëren. Dat dit in beide gevallen ten koste gaat van fundamentele menselijke vrijheden, nemen ze allebei –op hun manier– op de koop toe.

„Kritisch zijn op effecten”

Rejo Zenger, onderzoeker bij digitale burgerrechtenbeweging Bits of Freedom, wil zich niet laten verleiden tot een uitspraak over welk surveillancesysteem het gevaarlijkst is: het Chinese of het kapitalistische. „Technologie wordt vaak ingezet met de belofte dat het iets oplost, maar we overzien de negatieve langetermijneffecten niet.”

„Het gaat veelal over het verzamelen van data om daarmee voorspellingen te doen. Dat gebeurt door commerciële partijen, maar ook door de overheid. Het probleem is dat voorspellingen nooit nauwkeurig genoeg zijn. De gedachte is dat méér data dan een oplossing zijn, maar dat is niet zo. En intussen ben je als burger voortdurend in beeld.

Als de overheid met ”predictive policing” probeert criminaliteit te voorspellen, klinkt dat heel aantrekkelijk. In Roermond zet de politie technologie in om potentiële zakkenrollers op te sporen. Dan gaat het om mensen die mógelijk zakkenroller zouden kunnen zijn. Als dat ertoe leidt dat straks niemand meer ongezien door de stad kan lopen, kun je je afvragen of we dat moeten willen. Er zitten allerlei consequenties aan, die op langere termijn dramatisch kunnen zijn. Kritische vragen daarover worden echter zelden gesteld.

Het is toch apart om te zien dat de overheid groots inzet op bijvoorbeeld fraudebestrijding met big data, maar diezelfde techniek niet inzet om burgers te helpen? Waarom kost het mij zoveel moeite om een verandering in mijn situatie door te geven aan de Belastingdienst? De overheid zet technologie veelal op een negatieve manier in.

Ook de macht van commerciële partijen is inmiddels zo groot dat het invloed heeft op allerlei aspecten van onze maatschappij: op onze democratie, op hoe verkiezingen zijn ingericht, of een bedrijf nog wel een eerlijke kans maakt, op werknemersrechten.

Het gaat daarbij niet meer om individuele vrijheden, maar over de vrijheid van de maatschappij. Grote platformen als Facebook en Google bepalen in sterke mate ons wereldbeeld. We krijgen Amerikaanse normen en waarden opgelegd, en kunnen niet langer onze eigen keuzes maken. Als we leren de problematiek zó breed te zien, dan kunnen we ook kritisch naar ons eigen technologiegebruik gaan kijken.

Daarnaast heeft de overheid de taak om de macht van die bedrijven in te perken. We hebben als consument veel meer aan een divers ecosysteem voor digitale communicatie dan aan één Facebook. Zonder keuze is er een enorme verschraling.

In Nederland moeten we ten slotte met een radicaal ander idee komen over wat we van de overheid willen. Veel van wat de overheid nu doet, is ingegeven door angst. Er is een afrekencultuur. Alles moet veilig zijn. Maar honderd procent veiligheid bestaat niet. We moeten de vraag stellen of we fundamentele grondrechten willen opofferen om een stukje veiliger te zijn.”