te meten ben A. Williams, PhD, kwam door zijn wantrouwen van randomized controlled trials (RCT ‘ s) op de harde manier: hij ontwikkelde een soort hersenkanker zonder bewezen behandeling.
er waren gerandomiseerde proeven van verschillende benaderingen geweest, maar ze waren allemaal mislukkingen, zegt Williams, een emeritus hoogleraar psychologie aan de Universiteit van Californië in San Diego. En hoewel verschillende medicijnen een klein percentage van de patiënten in Fase II-onderzoeken hadden geholpen, zegt hij, kan het moeilijk zijn om therapieën te bemachtigen die nog niet door Fase III-onderzoeken zijn onderzocht.
“Geneeskunde zei in principe dat als het niet op deze manier wordt gedaan, het niet telt”, zegt Williams, en beschrijft de moeilijkheden die zijn artsen hadden om toegang te krijgen tot therapieën die hem waarschijnlijk niet zouden helpen, maar misschien wel zouden helpen. “Het probleem is de one-size-fits-all mentaliteit.”
net als Williams stellen veel andere psychologen — evenals medische onderzoekers — vraagtekens bij de veronderstelling van de National Institutes of Health, De Food and Drug Administration en anderen dat RCT ‘ s De gouden standaard zouden moeten zijn voor klinisch onderzoek. Hoewel de methodologie-waarbij willekeurig deelnemers worden toegewezen aan een behandelings-of controlegroep-zijn sterke punten heeft, zeggen ze, heeft het ook ernstige beperkingen die vaak over het hoofd worden gezien of genegeerd.
omdat de deelnemers aan het onderzoek doorgaans niet de gehele populatie vertegenwoordigen, kunnen de resultaten van RCT ‘ s bijvoorbeeld niet meer in het algemeen van toepassing zijn. En zelfs als ze dat deden, is het onmogelijk om aan een RCT te zien welke deelgroep van de deelnemers daadwerkelijk profiteerde van de onderzochte interventie.
deze critici willen RCT ‘ s niet helemaal afwijzen. In plaats daarvan willen ze hun bevindingen aanvullen met bewijs uit andere methodologieën, zoals epidemiologische studies, experimenten in één geval, het gebruik van historische controles of gewoon klinische ervaring.
sterke en zwakke punten
niemand ontkent dat RCT ‘ s hun sterke punten hebben.”Randomized trials do two things that are very rare other other designs,” zegt William R. Shadish, PhD, een professor of psychological science aan de University of California in Merced. “Ze leveren een onbevooroordeelde en consistente schatting van het effect op.”Hoewel Shadish terughoudend is om RTC’ s te beschrijven als de gouden standaard omdat de zin perfect is, beschrijft hij zichzelf wel als een” grote fan ” van de methodologie.
“If you can do a randomized trial,” he says, ” by all means do it.”
maar dat is niet altijd mogelijk. Door hun aard, zegt hij, staan sommige vragen willekeurige toewijzing van deelnemers niet toe. Dat zou bijvoorbeeld onethisch kunnen zijn.
zelfs wanneer RCT ‘ s haalbaar zijn, bieden zij mogelijk niet de antwoorden die de onderzoekers zoeken.
” alles wat RCT ’s doen is laten zien dat waar je mee te maken hebt geen snake oil is,” zegt Williams. “Ze vertellen je niet welke belangrijke informatie je nodig hebt, namelijk welke patiënten zullen profiteren van de behandeling.”
om rekening te houden met heterogeniteit onder de deelnemers, legt hij uit, moeten RCT ‘ s vrij groot zijn om statistische significantie te bereiken. Waar onderzoekers uiteindelijk mee eindigen, zegt hij, zijn de “centrale tendensen” van een zeer groot aantal mensen — een maatregel die “niet representatief zal zijn voor veel van iedereen als je ze als individuen bekijkt.”
ga verder dan de context van een RCT zelf, en de toepasbaarheid van de resultaten op individuele patiënten wordt nog problematischer.
om te beginnen zijn deelnemers aan RCT ‘ s meestal een “vrij zeldzame populatie” die niet representatief is voor de echte wereldbevolking waarop een interventie zich uiteindelijk zou richten, zegt Steven J. Breckler, PhD, uitvoerend directeur van APA ‘ s Wetenschapsdirectoraat.
” denk aan de mensen die opduiken voor drug trials — patiënten die waarschijnlijk al het andere hebben geprobeerd en wanhopig op zoek zijn naar een soort van behandeling,” zegt hij, eraan toevoegend dat ze verder worden neergehaald als onderzoekers elimineren would-be deelnemers met co-morbide aandoeningen en dergelijke. “Zullen de resultaten van dat proces generaliseren naar jou en mij? Of komen we uit een populatie van mensen die nooit zouden hebben ingeschreven in een proces om te beginnen?”
experimenten, zegt Breckler, impliceren meestal een afweging tussen interne validiteit — het vermogen om causale gevolgtrekkingen aan de interventie te traceren — en externe validiteit — de generaliseerbaarheid van de resultaten.
” wat mensen niet lijken te erkennen is dat de perfecte RCT strikt is ontworpen met interne validiteit in het achterhoofd,” zegt hij.
RCT ‘ s kunnen bijzonder ongeschikt zijn voor psychologische en medische interventies, voegt Breckler toe. In tegenstelling tot medicijnen die een eenvoudig biochemisch effect hebben dat waarschijnlijk niet van persoon tot persoon verschilt, zegt hij, hebben psychologische interventies de neiging om te interageren met factoren als geslacht, leeftijd en opleidingsniveau.
aanvulling van RCT ‘s
niemand suggereert dat onderzoekers stoppen met RCT’ s. In plaats daarvan dringen ze aan op de aanvulling van RCT ‘ s met andere vormen van bewijs.”Evidence-based practice should relate on a very broad, divers base of evidence”, zegt Breckler. “RCT’ s zou één bron zijn, maar er zijn veel andere bronnen.”Deze bronnen kunnen Fase II trial data, epidemiologische gegevens, kwalitatieve gegevens en rapporten uit het veld van clinici met behulp van een interventie, zeggen Breckler en anderen.
Williams pleit voor het gebruik van historische controles als aanvullende bron van informatie.
in deze methodologie onderzoeken onderzoekers de resultaten van eerdere, niet-gerandomiseerde studies om een ruwe baseline vast te stellen. Vervolgens vergelijken ze de resultaten van latere niet-gerandomiseerde proeven met die benchmark.
de aanpak werkt, zegt Williams, en voegt eraan toe dat het proces veel interventies snel na elkaar laat testen. Geconfronteerd met de mislukkingen van RCTs voor glioblastoma behandeling, bijvoorbeeld, wendden de onderzoekers zich tot het historische verslag en vonden dat slechts 15 percent van die met de kanker geen ziekteprogressie zes maanden na de behandeling begon had.
” ze vonden dat als je dit ding aan de standaardbehandeling toevoegt, je dat getal tot 25 procent kunt pushen en twee dingen kunt toevoegen en het tot 35 procent kunt pushen,” zegt hij. “Het is zonder twijfel een ruwe vergelijking, maar het blijkt een effectieve manier om het onderzoek te doen.”
de FDA ging akkoord met de goedkeuring van een geneesmiddel voor de behandeling van glioblastoom, niet op basis van een RCT, maar op meerdere Fase II-onderzoeken waarvan de resultaten beter waren dan de historische norm.
individuele experimenten zijn een andere belangrijke bron van bewijs, zegt Alan E. Kazdin, PhD, voormalig voorzitter van APA en hoogleraar psychologie en kinderpsychiatrie aan Yale. In tegenstelling tot RCT ‘ s, waarbij veel onderwerpen en weinig observaties betrokken zijn, hebben ontwerpen van afzonderlijke gevallen veel observaties, maar vaak weinig onderwerpen. In plaats van gewoon een pre – en postassessment te doen, beoordeelt de onderzoeker het gedrag — van een individu, een klaslokaal, zelfs een hele school — na verloop van tijd.
stel dat een patiënt een tic heeft, zegt Kazdin. In een enkel geval ontwerp, zou de onderzoeker de patiënt observeren en het aantal tics per uur vast te stellen. De onderzoeker zou dan een interventie uitvoeren en kijken wat er in de loop van de tijd gebeurt.
” als je gewoon een assessment doet voor een behandeling en een assessment na de behandeling en de groep die het kreeg vergelijkt met de groep die het niet deed, verlies je de rijkdom van de verandering op een dag-tot-dag, week-tot-week, maand-tot-maand basis,” zegt Kazdin, waarbij hij benadrukt dat single-case ontwerpen niet louter case studies zijn.
voor Kazdin betekent overdreven vertrouwen op RCT ‘ s dat er allerlei waardevolle informatie ontbreekt. Denk aan het telescoopprogramma van de natie, zegt hij. De Hubble telescoop kijkt naar zichtbaar licht. Een andere telescoop kijkt naar röntgenstralen. Een ander behandelt gammastraling.
” de methode die je gebruikt om iets te bestuderen kan de resultaten beïnvloeden die je krijgt, ” zegt Kazdin. “Daarom wil je altijd zoveel mogelijk verschillende methoden gebruiken.”*
Rebecca A. Clay is een schrijfster in Washington, D. C.