Neem ranglijst universiteit met korreltje zout

Recent berichtte deze krant dat de Vrije Universiteit Amsterdam met haar theologische faculteit tot de top tien van de wereld behoort volgens de QS World University Rankings. Een aantal instituten publiceert regelmatig lijsten waarin de rang van een universiteit of verwante instelling wordt aangegeven. Bekende ranglijsten zijn die van het Britse tijdschrift Times Higher Education, van de Sjanghai Jiao Tong University, van het Amerikaanse US News en van de National Taiwan University. Recent verscheen de QS World University Ranking, met daarin voor het eerst de stand van zaken voor ”Theology, Divinity and Religious Studies”.

QS staat in dit verband voor het Britse bedrijf Quacquarelli Simonis. Het bedrijf werkt nauw samen met uitgeverij Elsevier, die onder meer de database Scopus bijhoudt. In Scopus wordt de ‘impact’ van vele wetenschappelijke tijdschriften, boeken en congres-proceedings gemeten. Er is evenwel serieuze kritiek mogelijk op zowel Scopus als de nieuwste QS-ranking voor theologie en religiestudies.

Impact

Allereerst wat betreft Scopus. Stel: iemand schrijft een zwak en zelfs aanvechtbaar artikel over de seksuele component in Augustinus’ bekering. Zo’n artikel krijgt brede (ook negatieve) aandacht en dit alles wordt keurig door de computer gemeten. Anders gezegd: het artikel krijgt veel ”citations” en eindigt daarmee hoog in de ranking.

Een andere wetenschapper schrijft een grensverleggend stuk waarin hij of zij bewijst dat bepaalde Latijnse handschriften varianten in de tekst van het bekeringsverhaal bevatten die duiden op late bewerkingen. Het artikel verschijnt bovendien in het Italiaans. Grote kans dat dit artikel de eerste jaren door (vrijwel) niemand wordt opgemerkt en zeker niet door de zoekmachines van Scopus. Aantal citaties: nul.

Scopus hanteert ook de H-index, in 2005 opgesteld door de Amerikaanse natuurkundige Jorge Hirsch. Wat wellicht werkt om de ‘impact’ van een artikel in de fysica aan te geven, werkt in feite niet of nauwelijks voor een theologisch artikel. Hier probeert men theologie te modelleren naar het voorbeeld dat op de ‘Beta-berg’ (Exodus 25) getoond wordt.

Subjectief

De QS World University Ranking is voor een belangrijk deel (20 procent) op Scopus gebaseerd. Daarnaast hanteert QS een peiling onder medeacademici (40 procent gewicht) en peilingen naar de verhouding tussen het aantal stafleden en studenten (20 procent), de reputatie bij werkgevers (10 procent) en de hoeveelheid buitenlandse stafleden en studenten (10 procent). Het zijn vooral deze peilingen die al dikwijls als subjectief zijn ervaren, zelfs in die mate dat gezaghebbende rankingdeskundigen QS niet meer willen hanteren. De kwaliteit van het onderzoek (dat aan een universiteit ook uitstekend onderwijs behoort op te leveren en hoogstaande dissertaties) verdient volgens hen het meeste gewicht.

Wellicht dat de VU haar hoge plaats in de QS-ranking dankt aan de zojuist genoemde nogal subjectieve peilingen. Een positieve student-stafratio kan verkregen zijn door het grote cohort bijzonder hoogleraren (velen hooguit een dag beschikbaar) dat de VU de achterliggende jaren heeft benoemd. Buitenlandse staf en studenten worden door QS ook naar aantal berekend, niet naar kwaliteit.

De eerste QS-ranking voor theologie, godgeleerdheid en religiestudies heeft al met al een merkwaardig resultaat opgeleverd. Een topfaculteit in dit vakgebied als Humboldt (Berlijn) staat pas op plaats 37, 30 plaatsen na de VU. Gerenommeerde faculteiten zoals die van Groningen (in Nederland mijns inziens al jarenlang de beste), Helsinki en Zürich staan ergens tussen de 51-100.

Münster, met het befaamde Institut für neutestamentliche Textforschung, wordt zelfs op nummer 99 als een-na-laatste geclassificeerd. Franstalige top-faculteiten als die van Genève, Lausanne en Parijs (de prestigieuze Sorbonne, Collège de France) worden helemaal niet genoemd.

Dit laatste zal ermee samenhangen dat publicaties in het Frans grotendeels buiten de door Amerikanen en Britten gedomineerde databases vallen. Voor impact wereldwijd is dat begrijpelijk, maar men krijgt sterk de indruk dat ook binnen de Engelstalige tijdschriften kwantitieve impact in veel gevallen voor kwaliteit is gegaan.

Speeltjes

Scopus zet het VU-tijdschrift Journal of Reformed Theology op plaats 25 en dat verdient op zich een gelukwens voor oprichters en redacteuren. Zeker ook als men ziet dat de VU-faculteit steeds meer inzet op multiculturele vorming, waarin een opleiding als die van de hersteld hervormde predikanten een gelijkwaardige plaats heeft naast de opleiding tot imam of pandit (hindoepriester), dit alles nu onder leiding van een Eerste Kamerlid van GroenLinks. Maar er klopt theologisch-wetenschappelijk iets niet wanneer vervolgens Harvard Theological Studies pas op plaats 38 verschijnt, het gerenommeerde Journal of Theological Studies als nummer 52 en het eveneens gezaghebbende New Testament Studies als 113.

Ranglijsten zijn prachtige speeltjes voor universitaire managers en voorlichters. Elke universiteit of faculteit wint ergens wel ten opzichte van andere, net als in de politiek bijna altijd alle partijen op een of andere manier steeds weer winnen. Maar het lijkt verstandig die ranglijsten met een flinke korrel zout te nemen. En dan liefst niet als bericht in een krant, maar hooguit voor intern gebruik.

De auteur is extraordinarius aan de Universiteit van Pretoria en emeritus hoogleraar van de Universiteit Utrecht en de Radboud Universiteit Nijmegen.

Neem ranglijst universiteit met korreltje zout

Opinie

RD.nl in uw mailbox?