Waar ligt de werkelijke cognitieve bias?

Reinout Wiers schreef in de rubriek Forum van maart 2017 een artikel waarin hij betoogt dat cognitieve biasmodificatie (CBM) wel degelijk werkt (Wiers, 2017). Dit hoewel een serie recente meta-analyses slechts minimale effecten liet zien (Cristea, Kok, & Cuijpers, 2015, 2016; Cristea, Mogoașe, David, & Cuijpers, 2015), waarbij het heel goed mogelijk is dat er helemaal geen klinisch relevante effecten van CBM zijn. Ondergetekenden zijn coauteur van deze meta-analyses over CBM en we willen in deze bijdrage enkele argumenten van Wiers weerleggen. De conclusie dat CBM niet of nauwelijks werkt, is nu eenmaal wat onze onafhankelijke literatuurstudie laat zien. Het voert te ver om alle tegenargumenten van Wiers te bespreken, dus gaan we alleen in op de twee meest in het oog springende.

Post-hoc-redenen om CBM te redden

Het eerste punt dat we willen aansnijden is dat Wiers met post-hoc-redeneringen probeert aan te tonen dat CBM wel degelijk werkt. Een van de belangrijkste post-hoc-argumenten is dat CBM alleen werkt als er ook effecten op de bias gevonden worden. De redenering is dat als de bias niet beïnvloed wordt, je ook geen effecten op psychopathologie mag verwachten. Het probleem is echter dat dit niet de manier is waarop we (gedrags)interventies in de biomedische wetenschappen beoordelen. Het zou hetzelfde zijn om in een meta-analyse alleen studies naar cognitieve gedragstherapie mee te nemen als die ook een effect op disfunctionele gedachten laten zien. Dit zou leiden tot een sterke selectiebias. Bovendien zijn dit soort procesvariabelen in het algemeen onduidelijk, omdat ze vaak sterk correleren met de uitkomstmaten, op verschillende wijze gemeten worden en er onvoldoende power is om ze te meten in trials. Daarnaast leidt het tot een cirkelredenering, omdat de causaliteit van de veronderstelde onderliggende mechanismen vaak niet is bewezen.

Een beetje kort door de bocht zou je de redenering van Wiers als volgt kunnen samenvatten: Je moet de studies met positieve effecten samennemen, dan zie je dat CBM wel degelijk werkt. En als je studies met geen of negatieve effecten samenneemt, dan werkt het niet. Dus, is de redenering, als CBM werkt, dan werkt het; als het niet werkt, dan was het geen CBM: de klassieke no-true-Scotsman-redenering.

Eigenlijk laat onze serie meta-analyses zien dat CBM een goed voorbeeld is van het zogeheten decline effect, dat we veel zien in de wetenschap. De eerste studies vinden een groot effect van een bepaald fenomeen, maar latere studies laten veel kleinere effecten zien, en soms blijft er zelfs helemaal geen effect meer over (Fanelli, Costas, & Ioannidis, 2017). Dit kan onder andere komen door verschillen in design tussen vroege en late studies (bijvoorbeeld grotere aantallen respondenten in latere studies, of hogere methodologische kwaliteit) en door publicatiebias. Wat veel voorkomt, is dat replicatiepogingen van de eerste studies door anderen niet of zeer laat gepubliceerd worden als ze geen effect vinden (Suñé, Suñé, & Montoro, 2013). Dit soort 'mislukkingen' vinden zowel onderzoekers als tijdschriften vaak niet interessant. In onze meta-analyses hebben we duidelijke aanwijzingen gevonden voor dergelijke publicatiebias, wat erop duidt dat de effecten overschat worden, omdat negatieve studies (nog) niet gepubliceerd werden.

Interessant is hier het argument dat Wiers gebruikt om het probleem van publicatiebias te weerleggen. Hij schrijft (we citeren uit het betreffende artikel van Wiers): '(…) in de vermeende publicatiebias herken ik weinig: wij publiceerden niet alleen de genoemde positieve studies, maar ook negatieve studies (…)' Kennelijk ziet hij het feit dat één groep een aantal negatieve studies heeft gepubliceerd als een argument dat publicatiebias wereldwijd geen invloed heeft op de uitkomsten van meta-analyses.

Overigens is deze bewering binnen vijf minuten door iedereen te weerleggen: alleen al het Nederlandse trialregister laat ten minste drie CBM-studies zien met tot op heden ongepubliceerde resultaten, waaronder één met Wiers als seniorauteur.1 Als je dit allemaal goed op een rijtje zet, is het bijna onontkoombaar om te concluderen dat CBM simpelweg niet werkt, of maar zo weinig dat het geen klinische relevantie heeft.

Cognitieve bias bij CBM-onderzoekers

Het tweede punt is dat Wiers zelf 'bias' heeft ten gunste van CBM. Zo verwijst hij ter ondersteuning van zijn betoog naar een artikel van John Ioannidis, waar deze zegt dat om meta-analyses vaak 'een aura van onafhankelijke waarheid hangt', terwijl ze in werkelijkheid misleidend kunnen zijn (Ioannidis, 2016). Wiers gebruikt dit als argument om met andere meta-analyses te komen die net iets positievere uitkomsten van CBM laten zien. In het aangehaalde artikel gaat Ioannidis echter juist in op het fenomeen dat onderzoekers meta-analyses veelal gebruiken om hun eigen interventies te promoten (Ioannidis, 2016, p. 493). Wie de schoen past, trekke hem aan.

Ook – en wellicht zelfs juist – meta-analyses kunnen ten prooi vallen aan researcher allegiance, omdat tekortkomingen in de primaire studies in deze meta-analyses kunnen worden verdoezeld. Hierdoor kan ten onrechte het beeld van een consistent positief effect ontstaan. De meeste meta-analyses op het terrein van CBM zijn gedaan door CBM-onderzoekers die op zijn minst positief staan tegenover CBM. We zijn in ons veld terecht kritisch wanneer een farmaceut zijn eigen medicijn onderzoekt, maar wat betreft psychologische behandelingen lijkt er een merkwaardige blinde vlek te bestaan voor dit soort situaties, waar belangenverstrengeling overduidelijk op de loer ligt.

Er kan van alles gezegd worden over onze meta-analyses (en voor de duidelijkheid: dat is ook gedaan, vooral door CBM-onderzoekers, en vaak op niet al te zachtzinnige wijze), maar niet dat wij een allegiance ten gunste of ten nadele van CBM hebben. Dat is voor alle gepubliceerde commentaren die wij tot nu toe ontvingen wel degelijk het geval, met uitzondering van het commentaar van Marcel van den Hout (2016).

Toen we met onze serie meta-analyses begonnen, stonden we neutraal tegenover CBM-interventies. Echter, we verbaasden ons erover dat er ondanks de hoeveelheid literatuur nooit echt een fair test voor deze interventies was uitgevoerd, zoals we gewend zijn in de popperiaanse wetenschapsbeoefening.

De interpretatie van Wiers van het artikel van Ioannidis is eigenlijk heel illustratief. Later in zijn betoog verwijst Wiers opnieuw naar dit artikel en zegt dat '(…) geen van de auteurs van de meta-analyses zelf hands-on ervaring heeft met CBM (…)', terwijl dit wel door Ioannidis wordt aangeraden. Ioannidis zegt echter in werkelijkheid dat het wel goed is om experts te raadplegen (wat we gedaan hebben), maar hij zegt ook: 'Ideally, people who have no stake in the results should perform systematic reviews and meta-analyses, excluding not only those with financial conflicts of interest but even those who are content experts in the field' (Ioannidis, 2016, p. 495). De fair test komt hier weer om de hoek kijken. Dit raakt precies het punt van ons betoog. Wiers is zo verbonden met het veld van CBM, dat je eigenlijk geen onafhankelijk oordeel kunt verwachten. De ironie wil dat zijn eigen cognitive biases, zoals confirmation bias, ertoe leiden dat hij zelfs een artikel dat precies wijst op de problemen van bevooroordeeldheid selectief gebruikt om zijn betoog te ondersteunen.

De persoonlijke bias van Wiers komt ook terug in zijn commentaren op onze meta-analyse van CBM bij verslaving. Hij blijft volhouden dat CBM 'consequent klinisch relevante positieve resultaten' laat zien, hoewel onze meta-analyse consequent laat zien dat er juist geen of uitsluitend zeer kleine effecten zijn, in alle studies samen en in alle denkbare subgroepen (inclusief klinisch versus niet-klinisch). Op de lange termijn wordt inderdaad een klein, significant effect gevonden, maar dat is een klein effect (d = 0,18), gebaseerd op een handvol studies waarvan de kwaliteit niet optimaal is. Wij zouden op basis hiervan CBM geen evidence-based interventie willen noemen. Alleen een onderzoeker met een sterke bias en 'allegiance' zal met droge ogen durven beweren dat dit voldoende is om te stellen dat CBM evidence-based is. Wellicht is de term evidence-assumed (Coyne & Kok, 2014) een betere benaming. Dat enkele studies positieve effecten laten zien, zoals Wiers aanvoert, is toch echt geen argument, als na integratie van alle studies in een onafhankelijk uitgevoerde meta-analyse geen effect overblijft. Met een zoektocht van vijf minuten op PubMed kun je 'bewijs' vinden voor de meest krankzinnige beweringen, maar de kracht van meta-analyses is juist dat ze een synthese bieden van bestaande studies, waarbij ook de kwaliteit van de studies in ogenschouw wordt genomen.

Ten slotte

Uiteindelijk lijkt Wiers' betoog eigenlijk niet meer dan een laatste strohalm om het veld te 'redden' van wat onafhankelijke meta-analyses overtuigend laten zien: het verdampen van positieve klinisch relevante effecten wanneer CBM-studies langs dezelfde meetlat worden gelegd als bijvoorbeeld studies naar cognitieve gedragstherapie. Sinds het verschijnen van onze serie meta-analyses lijkt het alsof het CBM-veld koortsachtig bezig is met het uitbrengen van een stroom 'eigen' meta-analyses, commentaren en reacties (zoals het artikel van Wiers waar wij nu op reageren), die zonder uitzondering positieve effecten 'bewijzen' en onze meta-analyses 'weerleggen'. Twee vragen dringen zich aan ons op: ten eerste, kan al die energie niet beter besteed worden aan het uitvoeren van methodologisch robuuste, van tevoren geregistreerde randomized controlled trials, met voldoende proefpersonen en klinisch relevante uitkomstmaten? Ten tweede, wie proberen CBM-onderzoekers, onder wie Wiers, eigenlijk te overtuigen met deze overduidelijk eenzijdige heranalyses en commentaren? Zichzelf?

Uiteindelijk wijst, helaas voor Wiers, het onderzoek naar CBM er tot nu toe op dat CBM een mooi idee in het laboratorium was dat in de praktijk helaas niet blijkt te werken.

© 2010-2024 Uitgeverij Boom Amsterdam
ISSN 0167-7454

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.