Hebben politieke voorkeuren van migratieonderzoekers invloed op hun werk? Een artikel om dat te bewijzen rammelt flink.
Migranten op de Canarische Eilanden, eerder deze maand.
Spelen politieke overtuigingen nu wel of geen rol bij wetenschappers die migratie onderzoeken? Ja, beweerden een Amerikaanse en Duitse onderzoeker begin dit jaar in een geruchtmakend artikel in Science Advances. Nou misschien, aldus twee wetenschappers die de gebruikte data opnieuw analyseerden, maar hun artikel bewijst het niet. Er zit een fout in de dataverwerking, die de angel uit het stuk haalt.
Dat is een gevoelige klap voor een artikel dat sinds de publicatie ervan in januari ophef veroorzaakte. De Amerikaanse econoom George Borjas en de Duitse socioloog Nathan Breznau analyseerden in hun artikel een experiment waarin 71 teams (in totaal 148 onderzoekers, vooral sociaal wetenschappers) dezelfde dataset gebruikten om het effect van migratie op sociale zekerheid te bepalen. Onderzoekers met pro-migratieopvattingen bleken tot andere bevindingen te komen dan collega’s met anti-migratiemeningen. Dat wees op ideologische vooringenomenheid (bias) in de omgang met data, vooral in de selectie van bepaalde criteria.
Het artikel trok direct vuur van onderzoekers die de conclusie over bias aanvochten. De omstreden reputatie van Borjas speelde daarin ook een rol: hij staat al jaren bekend als criticus van migratie. Op eerder onderzoek van hem kwam de methodologische kritiek dat hij modellen gebruikt die negatieve uitkomsten in de hand werken.
Sociologen Katrin Auspurg en Josef Brüderl van de Ludwig Maximilian Universiteit te München leggen in een openaccessartikel nu ook een fout bloot in de Science Advances-publicatie. Ze kregen van Borjas en Brezanau de beschikking over de gebruikte datasets en troffen daarin een coding error aan, een menselijke fout in de dataverwerking. Zodra die is verwijderd, verdwijnt de waargenomen bias.
Ook hanteerden Borjas en Breznau voor de weging van de data andere criteria dan in een eerdere analyse van de uitkomsten. Uiteindelijk is het effect van politieke opvattingen volgens Auspurg en Brüderl „niet te onderscheiden van nul”. Ook volgens andere critici toonde het artikel van Borjas en Breznau zelfs mét de nu ontdekte codeerfout niet aan wat het beweerde.
Dat zegt ook Casper Albers, hoogleraar toegepaste statistiek en datavisualisatie aan de Rijksuniversiteit Groningen. „Wat me destijds aan het artikel van Borjas en Breznau opviel was dat ze de lat voor statistische significantie anders leggen dan gebruikelijk. Dat heeft tot gevolg dat hun uitkomsten nét statistisch significant worden, terwijl ze dat onder de standaardlat niet zouden zijn.” Dat betekent overigens niet, zegt hij, dat er geen ideologische bias is, maar wel dat die niet bewezen is. „En zij beweerden van wel.”
Borjas en Breznau hebben nog niet gereageerd op de kritiek.
Iedere week bespreekt de redactie wetenschap hier ophef in de wetenschap.
Op de hoogte van kleine ontdekkingen, wilde theorieën, onverwachte inzichten en alles daar tussenin