Donald Trump toonde zich op Twitter helemaal tevreden over de peiling van de University of Southern California (USC). Die gunde vanaf de zomer Trump steevast hogere kansen dan Clinton. Selfies van The Donald met deze cijfers waren populair.

Toen Trump inderdaad tot president werd gekozen, ging er veel aandacht naar deze universiteit in Los Angeles. Prof. Arie Kapteyn, een Nederlands sprekende hoogleraar, mocht overal uitleggen hoe hij dit had gefikst.

Allemaal „onverdiende lof”, zegt Kapteyn nu. „Wij hadden namelijk voorspeld dat Trump het grootste aantal stemmen zou krijgen. Maar dat is nu juist niet gebeurd.”

Kopie

In de tijd van vaste telefoonlijnen was het houden van een opiniepeiling nog makkelijk. Vandaag ervaren peilers dat onderzoek via de mobiele telefoon minder betrouwbaar is, zegt onderzoeker Vuk Vukovic uit Kroatië. „Je bereikt mensen dan niet op een plaats of op een moment dat ze op hun politieke keuze willen ingaan.”

Het houden van de „klassieke representatieve steekproef” wordt daarom steeds moeilijker, zegt ook dr. Henk van der Kolk van de Universiteit Twente. „Als bepaalde groepen niet meedoen, neemt de betrouwbaarheid af.”

Een alternatieve methode is dat mensen zich bij een onderzoeker aanmelden om in de loop van een aantal maanden via internet te worden ondervraagd over hun keus. Van der Kolk: „In Nederland doet vooral Maurice de Hond dat. Die groepen zijn minder representatief, maar de weegmethoden worden wel steeds beter. Er blijft altijd argwaan tegen deze methode, omdat mensen die zich aanmelden vanzelfsprekend al meer geïnteresseerd zijn in politiek.”

Kapteyn is ervan overtuigd dat de kwaliteit van peilingen de laatste jaren afneemt. „Een goede peiling wordt steeds duurder. De respons bij onderzoek neemt immers af. Het is verleidelijk om goedkoop onderzoek via internet te doen. Daar kun je wel snel veel waarnemingen krijgen, maar de kwaliteit daarvan is veel lager.”

Van der Kolk ziet dat anders. „Als de verschillen klein zijn, is een peiling niet precies genoeg meer. Dat was het geval bij de Amerikaanse verkiezingen en bij het Britse EU-referendum. Die uitslag was misschien verkeerd ingeschat, maar in de uitslag bleken de verschillen te klein om te kunnen meten.”

Kiesmannen

Vukovic is een van de oprichters van Oraclum Intelligence Systems in het Engelse Cambridge. Dit kleine team verbaasde de hele wereld door vooraf de Amerikaanse verkiezingen heel precies in te schatten. Oraclum voorzag dat Clinton de meeste stemmen zou halen, maar dat Trump de kiesmannen zou krijgen.

Moeilijk was dat niet, legt Vukovic uit. „We zagen dat Trump zou winnen in essentiële staten als Pennsylvania en Florida. Zodoende had Clinton weinig aan haar klinkende overwinningen in Californië en New York.” Het instituut in Cambridge schatte ook de keus voor een brexit vooraf goed in.

De methode van Oraclum lijkt een beetje op die van de Engelse wedkantoren. Niet de voorgenomen keus van mensen is leidend, maar hun ‘gok’ op de uitslag. „Dat heet de ”wisdom of the crowd” (het inzicht van de massa, EvV). Onze belangrijkste vraag is: Wat wordt volgens u de uitslag? En hoe hebt u de vorige keer gestemd?”

Belangrijk is wel om een goede netwerkanalyse te doen, zegt Vukovic. „Wij werken uitsluitend via Twitter en Facebook. Zodoende kunnen wij zien waar mensen wonen en wat hun netwerk is. Op basis daarvan doen we een weging en kennen we een betrouwbaarheidsfactor toe. Mensen die zelf voor Clinton zijn maar dachten dat Trump zou winnen, golden voor ons als zeer betrouwbaar.”

De mensen worden meermaals ondervraagd. De onderzoekers vergelijken de eerste antwoorden direct met de trend in de ‘gewone’ peilingen. Aan de hand daarvan krijgen de ondervraagden een realiteitsfactor. „Mensen die heel ver van de peilingen af zitten, schalen wij als minder realistisch in. Hiervoor hebben wij de gewone peilingen nodig. Dat zijn dus niet onze vijanden.”

Het aantal mensen dat meewerkt aan het onderzoek van Oraclum is ook bijzonder klein in vergelijking met andere onderzoeken. Vukovic: „Voor het Britse referendum ondervroegen wij 350 mensen. Bij de Amerikaanse verkiezingen 450. Het aantal is niet belangrijk. Het gaat erom dat je de goede mensen hebt.”

Van ‘zijn’ Amerikaanse kiezers weet Vukovic dat ze beslist niet representatief waren. „Blanke arbeiders zaten er niet veel bij. Ook bevroegen we veel jonge mensen, omdat wij via Twitter en Facebook werken. Dat geeft allemaal niet, als je de wegingen maar goed hebt.”

Kleuren

Van der Kolk durft „na twee of drie gelukstreffers” niet te zeggen of de methode van Oraclum goed is. „De betrouwbaarheid hiervan zal op langere termijn moeten blijken.” De vraag die hij bij deze methode heeft betreft de mogelijkheid om het publiek te beïnvloeden. „Dat kan hun inschatting kleuren. Ik denk dat er meer onderzoek naar deze methode moet worden gedaan.”

Kapteyn kent de ”wisdom of the crowd” uit de vakliteratuur. Of die betrouwbaar is, weet hij niet. „Volgens mij ging de meerder heid van de mensen er nu van uit dat Clinton zou winnen. Ook voor mij was de uitslag toch een verrassing.”

Het onderzoek van Kapteyns USC bevatte min of meer dezelfde vragen als van Oraclum, maar ging er anders mee om. „Wij vragen mensen hoeveel procent kans er is dat ze Trump of Clinton stemmen. Dat is de basis. Wij vragen ook naar de kans dat ze daadwerkelijk gaan stemmen. De meeste peilingen doen niets met mensen die niet gaan stemmen, maar wij meten de stemmings bereidheid. We vragen ook wie er volgens hen gaat winnen, maar in de analyse doen we daar niet veel mee.”

Kapteyn denkt dat hij zijn succes heeft te danken aan het peilen op het platteland. „Wij werken met een steekproef onder ruim 3000 mensen. Die gebruiken we voor allerlei onderzoek. Het verkiezingsonderzoek is slechts een hobby, om een beetje met de methode te experimenteren.”

De mensen voor deze peiling worden „klassiek representatief” op postadres geselecteerd en per brief benaderd. „De ondervraging gebeurt via internet. Elke week vullen ze een lijst in. Als mensen geen computer hebben, zorgen wij voor een tablet met verbinding. Voor een commercieel bureau is dat natuurlijk veel te duur. Ik denk dat ons onderzoek op het platteland verklaart waarom wij Trump redelijk sterk hebben ingeschat.”

Snapshot

Zowel Vukovic als Van der Kolk benadrukt dat peilingen nooit de pretentie kunnen hebben de uitslag van een stemming te voorspellen. Vukovic: „Het zijn snapshots: korte opnamen van één moment. Je kunt er op zijn best een trend mee in kaart brengen. Maar je kunt niet voorspellen wat er over enkele maanden gebeurt.”

Toch blijven peilingen nuttig, denkt Van der Kolk: „Aan de hand hiervan kunnen mensen een strategische stem uitbrengen. Ze zien kansen of bedreigingen in bepaalde coalities. Al die keuzen beïnvloeden natuurlijk de uitslag.”

De politicoloog uit Twente denkt dat het „verstandig” is van de NOS, de Volkskrant en NRC Handelsblad om alleen nog over samengestelde peilingen te berichten. „Vertrouw nooit op een enkele peiling, maar let op de trends. Bovendien moeten media niet doen alsof een verkiezingscampagne een simpele paardenrace is van partijen die wisselend voorliggen en achterblijven. Het moet gaan om de inhoud van beleid.”

Peilers en pers werken steeds zorgvuldiger

Peilers in Nederland doen het de laatste jaren niet slecht. Bovendien zijn zij continu bezig hun systematiek te verbeteren. Ook de pers doet zijn stinkende best om eerdere fouten in het omgaan met peilingen te vermijden.

Het is een al decennialang durende strijd. Journalisten klagen dat de peilingen niet deugen. Peilers verwijten de media dat die onzorgvuldig met hun resultaten omgaan. Toch is er de laatste jaren sprake van een gestage verbetering in werkwijze, zowel bij de onderzoeksbureaus als bij de pers.

En trouwens, zo slecht doen peilbureaus, zoals Ipsos, TNS NIPO of Maurice de Hond, het helemaal niet. Bij de Kamerverkiezingen van 2010 en 2012 verschilde de uiteindelijke verkiezingsuitslag bij de meeste partijen weinig van het gemiddelde van de diverse peilbureaus. Zeker niet als je in ogenschouw neemt dat de peilers zelf onderstrepen dat hun peilingen slechts momentopnamen zijn, dat volledig representatieve steekproeven onhaalbaar zijn en dat er in een onderzoeksresultaat altijd een onzekerheidsmarge van enkele zetels schuilt.

Concreter gezegd: als in een bepaalde peiling de PVV op 28 zetels staat en de VVD op 26, mag daar beslist niet uit geconcludeerd worden „dat de PVV bij de kiezer het populairst is”; zelfs niet op dat moment. Die paar zetels verschil vallen namelijk in de foutenmarge. In werkelijkheid zou de VVD net zo goed op 28 uit kunnen komen en de PVV op 26.

Toch kunnen er altijd zaken beter. En gáán er ook al dingen beter dan vroeger. Zo zijn peilers continu bezig om hun onderzoekssystematiek te verfijnen. Verkeken zij zich een jaar of tien geleden nogal eens op de zogeheten gordijnbonus (kiezers durven tegen opiniepeilers niet te zeggen dat ze PVV gaan stemmen, maar doen dat in het stemhokje wel degelijk), tegenwoordig hebben zij deze valkuil, zeggen zij, aardig onder controle.

Een zwak punt bij de peilbureaus blijft nog wel de stem van de allochtone kiezer. Die is in peilingen niet zelden ondervertegenwoordigd; wat bij een aantal van ruwweg 1 miljoen stemgerechtigde allochtonen al snel enige vertekening kan geven.

Ook de media werken hard aan een beter omgaan met de peilingen. Zo gaf de NOS onlangs aan in de komende verkiezingscampagne terughoudender om te zullen gaan met de peilingen, de tv-kijker steeds te zullen inlichten over de onzekerheidsmarge, en in principe geen nieuws meer te zullen maken van losse peilingen, maar alleen op de trends te zullen focussen. En ook NRC Handelsblad beloofde zijn lezers vorig jaar „voorzichtig te zullen zijn met het koppelen van de uitkomst van een peiling aan recente actuele gebeurtenissen” –omdat zulke koppelingen altijd een hoog speculatief karakter hebben– en altijd te zullen vermelden „wat de marge van een peiling is.”

Dergelijke gedragscodes zijn pure winst. Media die zulke regels hanteren en respecteren, voorkomen wat –om maar een voorbeeldje te noemen– de Volkskrant in 1993 nog deed. Die berichtte tijdens de verkiezingscampagne op zekere dag dat het CDA op 27 zetels stond. Enkele dagen later meldde het dagblad dat de partij van lijsttrekker Brinkman –maar dan wel bij een ander peilbureau!– op 30 zetels uitkwam, om daarna zonder blikken of blozen te concluderen dat er bij het CDA van 10 procent winst sprake was. Ten slotte gaf men ook Brinkman nog de ruimte om te reageren. Die zei simpelweg: „Nou!? Wie doet ons dat na? Zo’n vooruitgang in zo’n korte tijd?”

Mening van kiezer wordt steeds duurder betaald

Meningen peilen is rekenen achter de komma. Maar het is beslist geen exacte wetenschap. Bij het voorspellen van een verkiezingsuitslag worden soms grote fouten gemaakt. Toch blijft er een grote drang om vooraf te weten wat er uit de stembus komt. Nu ook de verkiezingscampagne in Nederland van start gaat, zal de kiezer de komende weken nog vaak teruglezen wat hij nu weer wil.

Fout gepeilde verkiezingen

Enkele verkiezingen waarbij peilers een verkeerde inschatting maakten.

n Maart 2015: parlementsverkiezingen Israël. Onderzoekers verwachtten dat veel kiezers afscheid zouden nemen van premier Netanyahu en dat de Zionistische Unie het stokje van Likud zou overnemen. Uiteindelijk won Likud twaalf zetels.

n Mei 2015: parlementsverkiezingen Groot-Brittannië. Peilers voorspelden dat, net als in 2010, géén van de partijen een meerderheid zou halen en er dus opnieuw een coalitie moest worden gevormd. Dat laatste zou zeer uitzonderlijk zijn geweest. Maar zodra de stemmen waren geteld, bleken premier Cameron en zijn Conservatieve Partij duidelijke winst te hebben geboekt.

n April 2016: referendum over het EU-verdrag met Oekraïne in Nederland. Maurice de Hond verwachtte een opkomst van 25 procent, te weinig dus voor een geldige uitslag. André Krouwel van Kieskompas voorspelde op de verkiezingsdag zelf nog het dubbele: 50 procent, waarvan een meerderheid waarschijnlijk nee zou stemmen. Alleen TNS NIPO voorspelde een opkomst van rond de 30 procent, waarvan een ruime meerderheid tegen zou zijn. Die laatste peiling bleek zeer precies te zijn.

n Juni 2016: referendum Britse EU-lidmaatschap. Tot op de laatste dag voorspelden peilers een meerderheid ten gunste van de Europese Unie. Uiteindelijk bleek dat 52 procent van de kiezers voor het Britse vertrek uit de EU stemde.

n Oktober 2016: parlementsverkiezingen IJsland. Onderzoekers voorspelden een grote afgang voor de regerende Onafhankelijkheidspartij. De vrijwel nieuwe Piratenpartij daarentegen zou zelfs de grootste kunnen worden. Van beide voorspellingen kwam echter niets uit.

n November 2016: Amerikaanse presidentsverkiezingen. De meeste peilingen hadden maandenlang Clinton aan kop staan en zagen nauwelijks kansen voor Trump. De laatste weken kwamen de kandidaten in de peilingen wel dichter bij elkaar. Uiteindelijk won Trump.