„We hebben te hoge verwachtingen van cijfers”

Stappentellers, de groei van het bruto binnenlands product en ranglijstjes beïnvloeden ons leven soms vergaand. „We zijn met z’n allen een beetje meetgek geworden”, concludeert Blauw (32). Ze schreef ”Het bestverkochte boek ooit (met deze titel)” om cijfers weer op hun plek te zetten.

„Hier word ik wanhopig van. Als je wetenschapper bent, is het je taak de werkelijkheid te bestuderen. Maar dit”, Sanne Blauw tikt op het artikel in haar zwarte map, „gaat alleen om aandacht, in de pers komen.” Ze schudt haar hoofd. Voor haar ligt een krantenbericht over onderzoek naar longkanker. Pennenstrepen en talloze aantekeningen tonen iets van de aandacht waarmee ze het gelezen heeft. „De resultaten zijn nog niet eens gepubliceerd en toch stuurt de universiteit er al een persbericht uit, waarin –veel te voorbarig– conclusies worden getrokken. Dat kan zomaar paniek zaaien onder longkankerpatiënten.”

Blauw, die werkt voor online journalistiek platform De Correspondent, ontdekte hoe vaak er fouten worden gemaakt met cijfers – door artsen die beslissingen nemen over onze gezondheid, door journalisten die er de wereld mee duiden, door volksvertegenwoordigers die beleidskeuzes maken. „In het begin schreef ik over elke misser een nieuw artikel, maar het gebeurt zo veel. Daarom maakte ik dit boek. Om mensen zelf aan het denken te zetten bij zulke berichtgeving.”

Fans

Het boek kwam pas deze week uit, maar heeft z’n eerste fans al. De Amsterdamse burgemeester Femke Halsema, microbioloog Rosanne Hertzberger en filosoof Bas Haring bevelen ”Het bestverkochte boek ooit” met lovende woorden aan. Ionica Smeets, hoogleraar wetenschapscommunicatie, schreef: „Onmisbaar voor wie weleens cijfers tegenkomt – voor iedereen dus.” Blauw bloost er bijna van. „Ionica is toch een beetje mijn idool.”

U bent gepromoveerd in de econometrie, werkt als ”correspondent ontcijferen” en schreef dit boek. Daarin staat ook dat 30 procent van de 15-jarigen wiskundeangst heeft. Hoe komt het dat cijfers ú zo fascineren?

„Het zat er al vroeg in. Als kind maakte ik sommetjes met de getallen op mijn radiowekker. Rekenen en wiskunde vond ik heel cool. Puzzeltjes oplossen, logisch nadenken. Toen ik econometrie ging doen aan de universiteit, dacht ik: Is dit nu studeren? Het is zo leuk! Maar het werd natuurlijk steeds moeilijker en was ook weleens worstelen. Ik snap dus wel iets van die wiskundeangst.

Ik zou willen pleiten voor aantrekkelijke wiskundelessen; sommen zijn belangrijk, maar laat leerlingen daarnaast eens een cijfer uit de krant halen om uit te zoeken waar dat vandaan komt.

Ook op een andere manier heb ik wat met cijfers. Schoolcijfers bijvoorbeeld gaven me veel houvast. De weegschaal is ook zoiets. Soms kijk je in de spiegel en ben je van mening: nou, ik zie er goed uit. Dan weeg je jezelf en denk je: o, toch niet. Het is gek, en dat is me ook op grotere schaal gaan opvallen, dat je dat cijfer wel vertrouwt en je eigen oordeel niet.

Likes, calorieën, stappentellers; mensen gebruiken vaak cijfers om greep te houden op het leven. Ik besef dat ik er misschien extra gevoelig voor ben; no way dat ik een stappenteller neem. Als je erg met cijfers bezig bent, vergeet je soms waar het echt om gaat en ontneem je jezelf plezier.” Ze wijst naar mijn jus d’orange. „Ik hoef niet te weten hoeveel calorieën daarin zitten, of in een toetje of een glas wijn. De dingen die we kunnen meten zijn niet altijd de dingen die het meeste tellen.”

Met dit boek wilt u „cijfers weer op hun plek zetten. Niet op een voetstuk. Niet bij het vuilnis. Maar waar ze horen: naast de woorden.” Waarom is dat belangrijk?

„Om cijfers hangt een objectiviteitsaura, terwijl er vaak politieke of commerciële belangen achter zitten. Denkfouten spelen mee, onderbuikgevoelens... Een term als bruto binnenlands product (bbp) bijvoorbeeld klinkt erg technisch, maar er zitten allerlei waardeoordelen in verstopt. Zo tellen mantelzorg en opvoeding er niet in mee, maar als we allemaal een extra slot op de deur zetten omdat het land onveiliger wordt, vertelt het bbp ons dat het beter gaat. Je kunt daar goede argumenten voor aandragen, maar het blijven waardeoordelen.

We worden kortom vaak door getallen op het verkeerde been gezet. Daarom is de ondertitel van mijn boek: ”Hoe cijfers ons leiden, verleiden en misleiden”. Als we dat niet beseffen, geven we de macht uit handen aan mensen die beslissingen nemen die ons allemaal aangaan.”

Maar u wilt cijfers ook niet bij het vuilnis zetten.

„Cijfers zijn op zichzelf onschuldig; het is aan ons hoe we ze inzetten. Stoppen met meten is absoluut geen goed alternatief. Metingen helpen ons bijvoorbeeld te zien of medicijnen werken. We moeten alleen van de gedachte af dat elk cijfer klopt en waardevrij is. Dat is gewoon niet zo. Schoolcijfers zijn best handig. Maar niet als we er te veel macht aan toekennen. Zo studeerde ik vaak last minute heel hard, haalde een hoog cijfer, en was de stof een week later weer vergeten. Dat deed er niet echt toe. In mijn boek noem ik interessante experimenten van twee leraren die geen cijfers meer geven. Zij zeggen: „Niet alles wat we kunnen meten hoeven we te meten.” Dat zet aan het denken: welke rol geven we cijfers? Nu we dankzij technologie steeds beter en meer kunnen meten, wordt die vraag nog belangrijker. Wat we soms vergeten, is dat het ook effect heeft als je ergens de ‘thermometer’ in stopt. Kinderen die op de peuterschool al cijfers krijgen, worden op een andere manier benaderd en gaan zich anders gedragen. Meten heeft dus gevolgen voor hoe de wereld eruitziet.”

U kwam er steeds meer achter dat er in het nieuws fouten worden gemaakt met cijfers. Zou het helpen als er meer ‘bètamensen’ in de journalistiek zouden werken?

„Gedeeltelijk is het inderdaad een kwestie van kennis. Een ander deel is de tijdsdruk waaronder veel journalisten moeten werken. Ironisch genoeg heeft dat ook weer met cijferwoede te maken: deadlines moeten worden gehaald, kranten verkocht, clicks verkregen. Het kost tijd om cijfers goed te checken.

Het is apart dat journalisten aan de ene kant leren kritisch te zijn op woorden („één bron is geen bron”), maar dat aan de andere kant een bericht met „vier op de tien Nederlanders vinden…” kritiekloos overgenomen wordt.

Ik heb gelukkig wel het idee dat het de goede kant op gaat. Op journalistieke opleidingen is al meer aandacht voor data. Een mooi voorbeeld van wijs omgaan met cijfers is dat de NOS tegenwoordig gebruikmaakt van de Peilingwijzer, die het resultaat van peilingen samenvoegt. Het is daar dus niet meer zo dat één peiling al nieuws is. Ook de opkomst van factcheck-rubrieken is positief.

Berichtjes naar aanleiding van één onderzoek doen het goed: „Chocola eten is goed voor je.” Terwijl zo’n experiment slechts het begin is van een wetenschappelijke zoektocht. Dertig jaar later weten we misschien hoe het echt zit, maar dan is het geen nieuws meer. Je kunt best over zo’n experiment schrijven, maar altijd in de context – niet alsof het een eindpunt is. We moeten onzekerheid beter leren omarmen. Tussen verafgoding van cijfers aan de ene en ”alternatieve feiten” aan de andere kant pleit ik voor nuance, voor kanttekeningen.”

Maakt u mensen weleens boos met die nuance, omdat ze denken: Daar gaat mijn stellige boodschap?

„Ja, ja, ja. Als je erop let, zie je dat er regelmatig peilingen worden gedaan om onderwerpen op de kaart te zetten. Denk aan een enquête van een vakbond onder leraren waaruit blijkt dat de werkdruk hoog is, terwijl die is gedaan op een conferentie waarbij over dat onderwerp werd gesproken. Ik weet niet eens of mensen dat met opzet doen, maar er komt wel iets uit wat erg goed past in hun straatje.

In mijn TED-talk geef ik het voorbeeld van een artikel uit The New York Times over seksueel geweld: een groot percentage vrouwen op Amerikaanse universiteiten zou te maken hebben gehad met aanranding. Maar als je in het rapport duikt, zie je de wetenschappers zelf daar allerlei kanttekeningen bij zetten, omdat maar een klein gedeelte van de verstuurde vragenlijsten is ingevuld. Naar aanleiding van dat voorbeeld kreeg ik boze mailtjes: „Je neemt het niet serieus! Vind je het dan niet belangrijk?!” Ik vind het juist een heel belangrijk onderwerp; daarom moeten we het goed onderzoeken! Anders is het risico dat je aan de ene kant niet goed begrijpt hoe het probleem in elkaar steekt, en dat je aan de andere kant tegenstanders munitie geeft om te zeggen: die studie is slecht uitgevoerd, dus we hoeven ons geen zorgen te maken. Ik snap dat je als belangenvertegenwoordiger niet zit te wachten op iemand die nuance aanbrengt, maar toch zie ik dat als mijn rol. Ik heb ook politieke overtuigingen, maar ik trap in mijn eigen val als ik zeg: het is belangrijk, dus prima als je een flutonderzoek doet.

We houden zo van cijfers omdat het lekker zwart-wit lijkt: 3 op de 5..., bam! In die zin is het boek maatschappijkritisch: laat ruimte voor twijfel – blijf nieuwsgierig. We moeten elkaar gewoon een beetje scherp houden.”

Vragen die je moet stellen als je cijfers ziet

1. Wie brengt het cijfer? Als de verkondiger van de boodschap er belang bij heeft, kijk dan extra goed en zoek aanvullende bronnen.

2. Wat voel ik? Wees je bewust van je onderbuikgevoelens en zoek naar bronnen die het onderwerp anders benaderen.

3. Hoe is het gemeten? Let extra goed op bij een cijfer over een bedacht concept zoals economische groei en bedenk welke (morele) keuzes er zijn gemaakt bij het meten. Zoek cijfers die het concept op andere manieren meten.

4. Hoe zijn de data verzameld? Bekijk of de vragen deelnemers in een richting duwen, of de onderzoeksomstandigheden eerlijk antwoorden bevorderden. En of de steekproef willekeurig tot stand kwam, anders gelden de cijfers alleen voor de groep die is onderzocht.

5. Hoe zijn de data geanalyseerd? Als het gaat om een oorzakelijk verband, stel dan de volgende drie vragen: Is het toeval? Zijn er andere factoren die meespelen? Zou het causale verband ook andersom kunnen zijn? Neem nooit één onderzoek voor de waarheid aan, maar zoek metastudies die laten zien wat het gehele onderzoeksveld zegt.

6. Hoe zijn de data gepresenteerd?

Veelgemaakte fouten

Een gemiddelde: zijn er uitschieters die het gemiddelde veel omhoog of omlaag kunnen trekken, dan zegt het cijfer niet veel over een doorsneesituatie.

Een precies getal: laat je niet in de luren leggen door schijnnauwkeurigheid.

Een ranglijst: opeenvolgende plekken op een ranglijst verschillen geregeld niet écht van elkaar, omdat er onzekerheidsmarges zijn.

Een risico: het zegt weinig dat je x procent meer kans hebt op een bepaalde ziekte, als je niet weet waarvan die x procent is. Is de kans in de eerste plaats klein, dan is een toename van x procent ook klein.

Een grafiek: een gekke verticale as kan de resultaten vertekenen. Let op dat ze niet uitgerekt is of juist in elkaar gedrukt is.

Boekgegevens

Het bestverkochte boek ooit (met deze titel). Hoe cijfers ons leiden, verleiden en misleiden, Sanne Blauw; uitg. De Correspondent, Amsterdam, 2018; ISBN 978 90 8282 164 2; 208 blz.; € 18,-.

„We hebben te hoge verwachtingen van cijfers”

Cultuur & boeken

RD.nl in uw mailbox?