2013•02•21
Rachel Gisselquist och Miguel ni Exceptiono-zaraz Exceptiona
FN-foto / Albert Gonzalez Farran.
under det senaste decenniet har randomiserade kontrollerade studier (RCT) blivit en häftklammer för forskning inom utvecklingsekonomi. Förespråkare av RCT har förespråkat för deras användning som det bästa sättet att identifiera ”vad som fungerar” i utvecklingen, medan skeptiker uttrycker starka oro över deras växande hegemoni i fältet.
förra året sammanfattade två inflytelserika böcker, Karlan och Appel ’s More Than Good Intentions, och Banerjee och Duflo’ s Poor Economics vad RCTs kan berätta om hur man kan minska global fattigdom. Skeptiker som Angus Deaton och Martin Ravallion påpekar att RCT, även om de är väl utformade, inte är ”guldstandarden” för politisk utvärdering eftersom de ofta förlitar sig på små prover (och små pilotinterventioner) som inte kan berätta mycket om huruvida en politik skulle fungera om den skalas upp på nationell nivå eller överförs till olika socioekonomiska och politiska förhållanden.
lika viktiga är de problem som är förknippade med det faktum att RCT vanligtvis utförs under ett analysfönster på kort tid och därför är dåligt utrustade för att hantera utvecklingsprocesser som äger rum under årtionden eller till och med generationer.
med utgångspunkt i denna debatt initierade UNU-WIDER projektet experimentella och icke-experimentella metoder för att studera regeringens prestanda som utforskar RCT: s bidrag och gränser för att studera ett annat huvudämne i utveckling: governance. Trots en stor litteratur om styrning och experimentella metoder har väldigt lite arbete direkt beaktat båda ämnena på detta sätt.
studera styrning
styrning är ett omtvistat koncept, särskilt bland utvecklingsutövare. Detta projekt antar en definition av styrning som bygger på teorier om regeringen och staten, som pekar på två viktiga roller för offentliga institutioner att tillhandahålla offentliga varor och företräda allmänna intressen.
hur och hur väl regeringar styr är en fråga som är central för studien av utvecklingseffektivitetspolitiken, och statsvetenskapens område erbjuder en mängd olika förklaringar. Viktiga strukturella förklaringar belyser till exempel utvecklingsnivåer, klassstrukturer och etniska uppdelningar. Institutionalister pekar på hur regler och normer formar ”spelreglerna”, ofta på oväntade och långvariga sätt, och utforskar effekterna av en rad institutioner, inklusive valregler, verkställande strukturer, decentralisering och federalism. Annat arbete fokuserar på hur politisk kultur påverkar funktionen av demokratisk styrning, liksom på det ibland avgörande inflytandet av politiskt ledarskap.
teorier tenderar att hantera regeringens två roller separat och erbjuder förklaringar antingen för bättre representation och ansvarsskyldighet (ofta inramad i termer av framväxten av liberal demokrati jämfört med andra former av regering) eller för effektivare tillhandahållande av offentliga varor. Många studier fokuserar på disaggregerade styrresultat, sådan effektiv polisarbete, äganderätt eller universell hälsovård. I själva verket, långt ifrån att ha en enda modell för förändring i styrning, ger litteraturen oss olika, flera och ibland motsägelsefulla förklaringar. Ett enkelt exempel är reglering: är mer eller mindre bättre?
resultat från RCTs lyfter fram en rad strategier, projekt och andra insatser som regeringar kan anta för att förbättra specifika aspekter av styrning. Vissa insatser som har undersökts i flera sammanhang inkluderar offentliga informationskampanjer, ekonomiska incitament för att förbättra prestanda för anställda i den offentliga sektorn, samhällsbaserade övervakningssystem och Offentlig överläggning på lokal nivå. Men en viss osäkerhet kvarstår när det gäller de bakomliggande mekanismerna (och teorierna) som förklarar fördelningen av politiska resultat för en given behandlingsgrupp (och dess placebo) jämfört med hela befolkningen.
gränser för fältförsök
en vanlig kritik av experimentella studier är faktiskt att de varken tar upp ”stora” frågor eller” stora ” teorier om styrning (eller utveckling). Att jämföra de frågor som utforskas i RCT med de som identifieras i stora teorier om styrning tyder på att det finns något med detta.
å andra sidan gör förespråkare av RCT ett övertygande argument att deras mikroinriktning ger mer övertygande förklaringar än stora teorier, genom att titta på små politiska reformer som i marginalen kan leda till önskvärda förbättringar av politiken.
så övertygande som det här låter, exponerar detta mikrofokus en av de viktigaste svagheterna i RCT: den låga externa giltigheten av deras resultat. Just för att experimentella forskare tenderar att undvika teoretisering på hög nivå, har de lite att säga om vad som inom vissa sammanhang kan vara unikt eller ha påverkat resultaten och varför deras resultat bör förväntas vara generaliserbara. Detta förvärras av det faktum att experiment sällan replikeras i flera sammanhang.
en tredje gräns för RCT i studien av styrning är i den typ av orsaksfaktorer som de rimligen kan studera. Denna begränsning följer delvis av behovet av att ett stort antal enheter studeras för att få exakta statistiska uppskattningar (och låga standardfel), vilket uppmuntrar forskare att fokusera på lågnivåfaktorer snarare än de som innehas av enheter på högre nivå, såsom nationella institutioner. Detta kommer också från forskarnas enkla oförmåga att manipulera några viktiga variabler, såsom utvecklingsnivån. I andra fall är etiska överväganden källan till stora bekymmer som bör vägas och bedömas på lämpligt sätt när man studerar ett visst socialt fenomen.
RCT är på samma sätt begränsade när det gäller analysenheten som de kan utvärdera effekter, som i allmänhet är individen eller hushållen, snarare än samhällen eller nationen. Många teorier om regeringen fokuserar på icke-linjära processer som utvecklas under årtionden, medan RCT sällan tittar på effekter utöver den linjära banan mellan två tidpunkter, vanligtvis några år.
ta till exempel det hypotetiska fallet med en J-formad kurva som härrör från det långsiktiga förhållandet mellan ekonomisk liberalisering och politisk stabilitet: på kort sikt leder ekonomisk liberalisering till en plötslig bristning mellan ekonomiska aktörer som orsakar en ökad politisk instabilitet. En RCT kan dra slutsatsen att ekonomisk liberalisering är dålig för politisk stabilitet. Men när marknader och institutioner utvecklas ytterligare kan den politiska stabiliteten faktiskt börja förbättras.
en slutlig fråga är kostnad. Även om RCT skulle kunna anpassas för att ta itu med några viktiga teorier om styrning, är det inte nödvändigtvis klart att de skulle vara mer kostnadseffektiva vid testning av teorier än icke-experimentella metoder.
slutsats
kort sagt, vår pågående forskning tyder på att på det sätt som RCT har utformats hittills har de viss, men begränsad, nytta i forskning för att förstå de underliggande faktorerna som påverkar variationen i regeringens prestanda. De har gjort viktiga bidrag till kunskap genom att visa effekten av vissa riktade insatser med relativt snabba resultat, men stora hypoteser om hur regeringens prestanda kan förbättras kommer inte att behandlas med RCT.
en central fråga för oss är att ta reda på om och i vilken utsträckning de principer som RCT bygger på kan förenas med icke-experimentella (ekonometriska) metoder för att hitta en analytisk medelväg. I förväntan att socialt experiment bygger på strukturella modeller av ekonomiskt och politiskt beteende kan detta potentiellt ge insikter om huruvida ett ingripande som fungerar i ett sammanhang kan fungera (och varför) i andra socioekonomiska och politiska sammanhang.
mer om detta projekt kommer att publiceras på vår hemsida.