2013•02•21
Rachel Gisselquist und Miguel Niño-Zarazúa
UN Foto/Albert Gonzalez Farran.
In den letzten zehn Jahren haben sich randomisierte kontrollierte Studien (RCTs) zu einem festen Bestandteil der entwicklungsökonomischen Forschung entwickelt. Befürworter von RCTs haben sich für ihre Verwendung als das beste Mittel eingesetzt, um zu identifizieren, „was in der Entwicklung funktioniert“, während Skeptiker starke Bedenken hinsichtlich ihrer wachsenden Hegemonie auf diesem Gebiet äußern.
Im vergangenen Jahr haben zwei einflussreiche Bücher, Karlan und Appels More Than Good Intentions und Banerjee und Duflos Poor Economics, zusammengefasst, was RCTs uns darüber sagen können, wie wir die globale Armut reduzieren können. Skeptiker wie Angus Deaton und Martin Ravallion weisen darauf hin, dass RCTs, selbst wenn sie gut konzipiert sind, nicht der „Goldstandard“ für die politische Bewertung sind, da sie oft auf kleinen Stichproben (und kleinen Pilotinterventionen) beruhen, die uns nicht viel darüber sagen können, ob eine Politik funktionieren würde, wenn sie auf nationaler Ebene skaliert oder auf andere sozioökonomische und politische Bedingungen übertragen würde.
Ebenso wichtig sind die Bedenken, die damit verbunden sind, dass RCTs in der Regel in einem kurzen Analysefenster durchgeführt werden und daher schlecht gerüstet sind, um mit Entwicklungsprozessen umzugehen, die im Laufe von Jahrzehnten oder sogar Generationen stattfinden.
Aufbauend auf dieser Debatte initiierte UNU-WIDER das Projekt Experimental and Non-Experimental Methods to Study Government Performance, das die Beiträge und Grenzen von RCTs bei der Untersuchung eines anderen wichtigen Themas in der Entwicklung untersucht: Governance. Trotz einer großen Literatur über Governance und experimentelle Methoden hat nur sehr wenig Arbeit beide Themen auf diese Weise direkt zusammen betrachtet.
Governance studieren
Governance ist ein umstrittenes Konzept, insbesondere unter Entwicklungspraktikern. Dieses Projekt nimmt eine Definition von Governance an, die auf Theorien von Regierung und Staat aufbaut, die auf zwei Hauptrollen für öffentliche Institutionen bei der Bereitstellung öffentlicher Güter und der Vertretung öffentlicher Interessen hinweisen.
Wie und wie gut Regierungen regieren, ist eine zentrale Frage für das Studium der Politik der Entwicklungseffektivität, und das Gebiet der Politikwissenschaft bietet eine Vielzahl von Erklärungen. Wichtige strukturelle Erklärungen, zum Beispiel, markieren Entwicklungsstufen, Klassenstrukturen und ethnische Spaltungen. Institutionalisten weisen darauf hin, wie Regeln und Normen die „Spielregeln“ prägen, oft auf unerwartete und langfristige Weise, und untersuchen die Auswirkungen einer Reihe von Institutionen, einschließlich Wahlregeln, Exekutivstrukturen, Dezentralisierung und Föderalismus. Andere Arbeiten konzentrieren sich darauf, wie sich die politische Kultur auf das Funktionieren demokratischer Regierungsführung auswirkt, sowie auf den manchmal entscheidenden Einfluss politischer Führung.
Theorien befassen sich in der Regel getrennt mit den beiden Rollen der Regierung und bieten Erklärungen entweder für eine bessere Vertretung und Rechenschaftspflicht (oft in Bezug auf die Entstehung der liberalen Demokratie im Vergleich zu anderen Regierungsformen) oder für eine effektivere Bereitstellung öffentlicher Güter. Viele Studien konzentrieren sich auf disaggregierte Governance-Ergebnisse wie Polizeiarbeit, Eigentumsrechte oder universelle Gesundheitsversorgung. In der Tat gibt uns die Literatur weit davon entfernt, ein einziges Modell für Regierungsänderungen zu haben, vielfältige, vielfältige und manchmal widersprüchliche Erklärungen. Ein einfaches Beispiel ist die Regulierung: Ist mehr oder weniger besser?
Die Ergebnisse der RCTs heben eine Reihe von Strategien, Projekten und anderen Interventionen hervor, die Regierungen ergreifen könnten, um bestimmte Aspekte der Regierungsführung zu verbessern. Einige Interventionen, die in mehreren Kontexten untersucht wurden, umfassen öffentliche Informationskampagnen, finanzielle Anreize zur Verbesserung der Leistung von Mitarbeitern des öffentlichen Sektors, Community-basierte Überwachungssysteme und öffentliche Beratung auf lokaler Ebene. Es bleibt jedoch ein gewisses Maß an Unsicherheit in Bezug auf die zugrunde liegenden Mechanismen (und Theorien), die die Verteilung der Behandlungsergebnisse für eine bestimmte Behandlungsgruppe (und ihr Placebo) gegenüber der Verteilung für die gesamte Bevölkerung erklären.
Grenzen von Feldexperimenten
Tatsächlich ist eine häufige Kritik an experimentellen Studien, dass sie weder „große“ Fragen noch „große“ Theorien der Governance (oder Entwicklung) ansprechen. Der Vergleich der in RCTs untersuchten Fragen mit denen, die in den wichtigsten Governance-Theorien identifiziert wurden, legt nahe, dass etwas daran liegt.
Auf der anderen Seite machen Befürworter von RCTs ein überzeugendes Argument dafür, dass ihr Mikroansatz überzeugendere Erklärungen bietet als große Theorien, indem sie kleine politische Reformen betrachten, die am Rande zu wünschenswerten Verbesserungen in der Politik führen können.
So überzeugend dies auch klingen mag, dieser Mikrofokus deckt eine der Hauptschwächen von RCTs auf: die geringe externe Validität ihrer Ergebnisse. Gerade weil experimentelle Forscher dazu neigen, hochrangige Theoretisierungen zu meiden, haben sie wenig darüber zu sagen, was in bestimmten Kontexten einzigartig sein oder die Ergebnisse beeinflusst haben könnte und warum von ihren Ergebnissen erwartet werden sollte, dass sie verallgemeinerbar sind. Dies wird durch die Tatsache verstärkt, dass Experimente selten in mehreren Kontexten repliziert werden.
Eine dritte Grenze für RCTs bei der Untersuchung von Governance liegt in der Art der kausalen Faktoren, die sie vernünftigerweise untersuchen können. Diese Einschränkung ergibt sich zum Teil aus der Notwendigkeit, eine große Anzahl von Einheiten zu untersuchen, um genaue statistische Schätzungen (und niedrige Standardfehler) zu erhalten, was die Forscher ermutigt, sich auf Faktoren auf niedriger Ebene zu konzentrieren, anstatt auf solche, die von höheren Einheiten wie nationalen Institutionen gehalten werden. Dies liegt auch an der einfachen Unfähigkeit der Forscher, einige Schlüsselvariablen wie den Entwicklungsstand zu manipulieren. In anderen Fällen sind ethische Überlegungen Anlass zu großen Bedenken, die bei der Untersuchung eines bestimmten sozialen Phänomens angemessen gewichtet und bewertet werden sollten.
RCTs sind ähnlich begrenzt in Bezug auf die Analyseeinheit, auf der sie Auswirkungen bewerten können, die im Allgemeinen der Einzelne oder Haushalte ist, anstatt Gemeinschaften oder die Nation. Viele Regierungstheorien konzentrieren sich auf nichtlineare Prozesse, die sich über Jahrzehnte entwickeln, während RCTs selten Auswirkungen jenseits der linearen Flugbahn zwischen zwei Zeitpunkten, normalerweise einigen Jahren, betrachten.
Nehmen wir zum Beispiel den hypothetischen Fall einer J-förmigen Kurve, die sich aus der langfristigen Beziehung zwischen wirtschaftlicher Liberalisierung und politischer Stabilität ergibt: Kurzfristig führt die wirtschaftliche Liberalisierung zu einem plötzlichen Bruch zwischen den Wirtschaftsakteuren, der zu einer Zunahme der politischen Instabilität führt. Eine RCT könnte zu dem Schluss kommen, dass die wirtschaftliche Liberalisierung schlecht für die politische Stabilität ist. Sobald die Märkte und Institutionen jedoch weiter entwickelt sind, könnte sich die politische Stabilität tatsächlich verbessern.
Ein letztes Problem sind die Kosten. Selbst wenn RCTs angepasst werden könnten, um einige Schlüsseltheorien der Governance anzugehen, ist nicht unbedingt klar, dass sie beim Testen von Theorien kostengünstiger wären als nicht experimentelle Methoden.
Fazit
Kurz gesagt, unsere laufenden Forschungsarbeiten legen nahe, dass RCTs in der Art und Weise, wie sie bisher entworfen wurden, einen gewissen, aber begrenzten Nutzen für die Forschung haben, um die zugrunde liegenden Faktoren zu verstehen, die die Variation der staatlichen Leistung beeinflussen. Sie haben wichtige Beiträge zum Wissen geleistet, indem sie die Wirkung einiger gezielter Interventionen mit relativ schnellen Ergebnissen gezeigt haben, aber wichtige Hypothesen darüber, wie sich die Leistung der Regierung verbessern könnte, werden mit RCTs nicht angegangen.
Eine zentrale Frage ist für uns, ob und inwieweit die Prinzipien, auf denen RCTs basieren, mit nicht-experimentellen (ökonometrischen) Methoden in Einklang gebracht werden können, um einen analytischen Mittelweg zu finden. In der Erwartung, dass soziale Experimente auf strukturellen Modellen des wirtschaftlichen und politischen Verhaltens beruhen, könnte dies möglicherweise Erkenntnisse darüber liefern, ob eine Intervention, die in einem Kontext funktioniert, in anderen sozioökonomischen und politischen Kontexten funktionieren könnte (und warum).
Mehr zu diesem Projekt finden Sie auf unserer Webseite.