Wat kunnen experimenten ons vertellen over hoe we Governance kunnen verbeteren? – Universiteit van de Verenigde Naties

UN Photo/Albert Gonzalez Farran.In het afgelopen decennium zijn gerandomiseerde gecontroleerde proeven (RCT ‘ s) een hoofdbestanddeel geworden van het onderzoek in de ontwikkelingseconomie. Voorstanders van RCT ‘ s hebben gepleit voor het gebruik ervan als het beste middel om “wat werkt” in ontwikkeling te identificeren, terwijl sceptici sterke bezorgdheid uiten over hun groeiende hegemonie op het terrein.Vorig jaar vatte twee invloedrijke boeken, Karlan en Appel ’s More Than Good Intentions, en Banerjee en Duflo’ s Poor Economics, samen wat RCT ‘ s ons kunnen vertellen over hoe we wereldwijde armoede kunnen verminderen. Sceptici zoals Angus Deaton en Martin Ravallion wijzen erop dat RCT ‘ s, zelfs als ze goed zijn ontworpen, niet de “gouden standaard” zijn voor beleidsevaluatie, omdat ze vaak vertrouwen op kleine steekproeven (en kleine pilotinterventies) die ons niet veel kunnen vertellen over de vraag of een beleid zou werken als het op nationaal niveau zou worden opgeschaald, of overgebracht naar verschillende sociaaleconomische en politieke omstandigheden.

even belangrijk zijn de zorgen in verband met het feit dat RCT ‘ s meestal worden uitgevoerd in een korte tijd van analyse, en daarom slecht zijn toegerust om te gaan met ontwikkelingsprocessen die plaatsvinden in de loop van decennia of zelfs generaties.Op basis van dit debat startte UNU-WIDER het project experimentele en niet-experimentele methoden om de prestaties van de overheid te bestuderen, waarbij de bijdragen en beperkingen van RCT ‘ s worden onderzocht bij het bestuderen van een ander belangrijk onderwerp in de ontwikkeling: governance. Ondanks een grote literatuur over governance en experimentele methoden, heeft zeer weinig werk beide onderwerpen op deze manier direct samen bekeken.

het bestuderen van governance

Governance is een omstreden concept, vooral onder ontwikkelaars. Dit project hanteert een definitie van governance die voortbouwt op theorieën van de overheid en de staat, die wijzen op twee belangrijke rollen voor publieke instellingen bij het leveren van publieke goederen en het vertegenwoordigen van publieke belangen.

hoe, en hoe goed, regeringen regeren is een zaak die centraal staat in de studie van de politiek van de effectiviteit van ontwikkeling, en het gebied van de politieke wetenschap biedt een verscheidenheid aan verklaringen. Belangrijke structurele verklaringen, bijvoorbeeld, belichten ontwikkelingsniveaus, klassenstructuren en etnische verdeeldheid. Institutionalisten wijzen op Hoe regels en normen de “regels van het spel” vormgeven, vaak op onverwachte en langdurige manieren, en onderzoeken de impact van een reeks instellingen, waaronder verkiezingsregels, uitvoerende structuren, decentralisatie en federalisme. Ander werk richt zich op de invloed van politieke cultuur op het functioneren van democratisch bestuur en op de soms beslissende invloed van politiek leiderschap.

theorieën hebben de neiging om de twee rollen van de overheid afzonderlijk te behandelen, en bieden verklaringen voor een betere vertegenwoordiging en verantwoording (vaak geformuleerd in termen van het ontstaan van liberale democratie versus andere vormen van overheid) of voor een effectievere verstrekking van publieke goederen. Veel studies richten zich op gedesaggregeerde governance-resultaten, zoals effectief politiewerk, eigendomsrechten of universele gezondheidszorg. Inderdaad, verre van het hebben van een enkel model van verandering in bestuur, geeft de literatuur ons diverse, meervoudige en soms tegenstrijdige verklaringen. Een eenvoudig voorbeeld is regelgeving: Is meer of minder beter?

uit de resultaten van de RCT ‘ s blijkt een reeks strategieën, projecten en andere interventies die overheden zouden kunnen aannemen om specifieke aspecten van governance te verbeteren. Enkele interventies die in meerdere contexten zijn onderzocht, zijn onder meer voorlichtingscampagnes, financiële prikkels om de prestaties van werknemers in de publieke sector te verbeteren, op de gemeenschap gebaseerde monitoringsystemen en Openbare beraadslaging op lokaal niveau. Maar er blijft een zekere mate van onzekerheid over de onderliggende mechanismen (en theorieën) die de verdeling van beleidsresultaten voor een bepaalde behandelingsgroep (en zijn placebo) verklaren ten opzichte van de verdeling voor de gehele populatie.

grenzen van veldexperimenten

een veel voorkomende kritiek op experimentele studies is dat ze geen betrekking hebben op “grote” vragen of “grote” theorieën over governance (of ontwikkeling). Het vergelijken van de vragen die in RCT ‘ s worden onderzocht met die welke in de belangrijkste theorieën van governance worden geïdentificeerd, suggereert dat er iets aan de hand is.Aan de andere kant maken voorstanders van RCT ‘ s een overtuigend argument dat hun microbenadering overtuigender verklaringen biedt dan grote theorieën, door te kijken naar kleine beleidshervormingen die in de marge tot wenselijke verbeteringen in het beleid kunnen leiden.

hoe overtuigend dit ook mag klinken, deze microfocus legt een van de belangrijkste zwakke punten van RCT ‘ s bloot: de lage externe validiteit van hun bevindingen. Juist omdat experimentele onderzoekers de neiging hebben om theoretiseren op hoog niveau te vermijden, hebben ze weinig te zeggen over wat, binnen bepaalde contexten, uniek zou kunnen zijn of de resultaten hebben beïnvloed, en waarom hun bevindingen moeten worden verwacht dat ze generaliseerbaar zijn. Dit wordt verergerd door het feit dat experimenten zelden worden gerepliceerd in meerdere contexten.

een derde limiet voor RCT ‘ s in de studie van governance is het type causale factoren dat zij redelijkerwijs kunnen bestuderen. Deze beperking vloeit deels voort uit de noodzaak om grote aantallen eenheden te bestuderen om nauwkeurige statistische schattingen te verkrijgen (en fouten met een lage standaard), hetgeen onderzoekers aanmoedigt zich te concentreren op factoren van een laag niveau in plaats van op factoren van hogere niveaus, zoals nationale instellingen. Dit komt ook uit het eenvoudige onvermogen van onderzoekers om een aantal belangrijke variabelen, zoals het niveau van ontwikkeling te manipuleren. In andere gevallen zijn ethische overwegingen de bron van grote zorgen die naar behoren moeten worden gewogen en beoordeeld bij het bestuderen van een bepaald sociaal fenomeen.

RCT ‘ s zijn eveneens beperkt in termen van de eenheid van analyse waarop zij de effecten kunnen evalueren, die over het algemeen de individuele of huishoudens zijn, in plaats van de gemeenschappen of de natie. Veel theorieën van de overheid richten zich op niet-lineaire processen die in de loop van decennia evolueren, terwijl RCT ‘ s zelden kijken naar effecten buiten het lineaire traject tussen twee punten in de tijd, meestal een paar jaar.

Neem bijvoorbeeld het hypothetische geval van een J-vormige curve die is afgeleid van de relatie op lange termijn tussen economische liberalisering en politieke stabiliteit: op korte termijn leidt economische liberalisering tot een plotselinge breuk tussen economische actoren die een toename van politieke instabiliteit veroorzaakt. Een RCT kan concluderen dat economische liberalisering slecht is voor de politieke stabiliteit. Zodra de markten en instellingen echter verder zijn ontwikkeld, kan de politieke stabiliteit daadwerkelijk beginnen te verbeteren.

een laatste uitgave is cost. Zelfs als RCT ‘ s zouden kunnen worden aangepast aan een aantal belangrijke theorieën van governance, is het niet noodzakelijk duidelijk dat ze kosteneffectiever zouden zijn bij het testen van theorieën dan niet-experimentele methoden.In het kort wijst ons lopende onderzoek erop dat de RCT ‘ s, zoals ze tot nu toe zijn ontworpen, enige, maar beperkte, nut hebben in het onderzoek om de onderliggende factoren te begrijpen die van invloed zijn op de variatie in de prestaties van de overheid. Zij hebben een belangrijke bijdrage geleverd aan de kennis door het effect van sommige gerichte interventies met relatief snelle resultaten te laten zien, maar belangrijke hypothesen over hoe de prestaties van de overheid zouden kunnen verbeteren, zullen niet worden aangepakt met behulp van RCT ‘ s.Een centrale vraag voor ons is om na te gaan of en in welke mate de principes waarop RCT ‘ s zijn gebaseerd, kunnen worden verzoend met niet-experimentele (econometrische) methoden om een analytisch middenweg te vinden. In de verwachting dat sociale experimenten gebaseerd zijn op structurele modellen van economisch en politiek gedrag, kan dit mogelijk inzichten opleveren over de vraag of een interventie die in één context werkt, kan werken (en waarom) in andere sociaaleconomische en politieke contexten.

meer over dit project zal op onze webpagina worden geplaatst.