2013•02•21
Rachel Gisselquist i Miguel Niño-Zarazúa
UN Photo / Albert Gonzalez Farran.
w ciągu ostatniej dekady, randomizowane kontrolowane badania (rcts) stały się podstawą badań w ekonomii rozwoju. Zwolennicy RCT opowiadali się za ich wykorzystaniem jako najlepszego środka identyfikacji „tego, co działa” w rozwoju, podczas gdy sceptycy wyrażają silne obawy dotyczące ich rosnącej hegemonii w tej dziedzinie.
w zeszłym roku dwie wpływowe książki, Karlan i Appel 's More Than Good Intentions oraz Banerjee i Duflo’ s Poor Economics, podsumowały, co RCTs może nam powiedzieć o tym, jak zmniejszyć globalne ubóstwo. Sceptycy, tacy jak Angus Deaton i Martin Ravallion, podkreślają, że RCT, nawet jeśli są dobrze zaprojektowane, nie są „złotym standardem” oceny polityki, ponieważ często opierają się na małych próbkach (i małych interwencjach pilotażowych), które nie mogą nam wiele powiedzieć o tym, czy polityka byłaby skuteczna, gdyby została skalowana na szczeblu krajowym lub przeniesiona do różnych warunków społeczno-ekonomicznych i politycznych.
równie ważne są obawy związane z faktem, że RCT są zwykle prowadzone w krótkim czasie analizy, a zatem są źle przygotowane do radzenia sobie z procesami rozwojowymi, które mają miejsce w ciągu dziesięcioleci, a nawet pokoleń.
opierając się na tej debacie, UNU-WIDER zainicjował projekt Experimental and Non-Experimental Methods to Study Government Performance, który bada wkład i granice RCTs w badaniu innego ważnego tematu w rozwoju: zarządzania. Pomimo dużej literatury na temat zarządzania i metod eksperymentalnych, bardzo niewiele prac bezpośrednio rozpatrywało oba zagadnienia razem w ten sposób.
studiowanie zarządzania
zarządzanie jest koncepcją sporną, szczególnie wśród praktyków rozwoju. Projekt ten przyjmuje definicję zarządzania, która opiera się na teoriach rządu i państwa, które wskazują na dwie główne role instytucji publicznych w dostarczaniu dóbr publicznych i reprezentowaniu interesów publicznych.
jak i jak dobrze rządy rządzą jest sprawą centralną w badaniu polityki efektywności rozwoju, a dziedzina nauk politycznych oferuje wiele wyjaśnień. Główne wyjaśnienia strukturalne, na przykład, podkreślają poziomy rozwoju, struktury klasowe i podziały etniczne. Instytucjonaliści wskazują, jak reguły i normy kształtują „zasady gry”, często w nieoczekiwany i długotrwały sposób, i badają wpływ szeregu instytucji, w tym zasad wyborczych, struktur wykonawczych, decentralizacji i federalizmu. Inne prace koncentrują się na tym, w jaki sposób kultura polityczna wpływa na funkcjonowanie demokratycznych rządów, a także na decydującym wpływie przywództwa politycznego.
teorie mają tendencję do zajmowania się dwiema rolami rządu oddzielnie, oferując wyjaśnienia dla lepszej reprezentacji i odpowiedzialności (często sformułowane w kategoriach pojawienia się liberalnej demokracji w porównaniu z innymi formami rządu) lub dla skuteczniejszego dostarczania dóbr publicznych. Wiele badań koncentruje się na zdezagregowanych wynikach zarządzania, takich jak skuteczna policja, prawa własności czy powszechna opieka zdrowotna. W rzeczywistości, literatura nie ma jednolitego modelu zmian w zarządzaniu, ale daje nam różne, wielorakie, a czasem sprzeczne wyjaśnienia. Jednym prostym przykładem jest regulacja: czy mniej więcej jest lepsza?
wyniki RCT podkreślają szereg strategii, projektów i innych interwencji, które rządy mogłyby przyjąć w celu poprawy konkretnych aspektów zarządzania. Niektóre interwencje, które zostały zbadane w wielu kontekstach, obejmują publiczne kampanie informacyjne, zachęty finansowe mające na celu poprawę wyników pracowników sektora publicznego, systemy monitorowania oparte na społeczności i obrady publiczne na poziomie lokalnym. Pozostaje jednak pewien stopień niepewności co do podstawowych mechanizmów (i teorii), które wyjaśniają rozkład wyników polityki dla danej grupy leczonej (i jej placebo) w stosunku do rozkładu dla całej populacji.
granice eksperymentów polowych
rzeczywiście, jedną z powszechnych krytyki badań eksperymentalnych jest to, że nie dotyczą one ani „dużych” pytań, ani „dużych” teorii zarządzania (lub rozwoju). Porównanie pytań poruszanych w RCTs z tymi zidentyfikowanymi w głównych teoriach zarządzania sugeruje, że coś w tym jest.
z drugiej strony zwolennicy RCT twierdzą, że ich mikro podejście oferuje bardziej przekonujące wyjaśnienia niż Wielkie Teorie, patrząc na małe reformy polityki, które na marginesie mogą prowadzić do pożądanych ulepszeń w Polityce.
choć może to zabrzmieć przekonująco, ten mikro fokus ujawnia jedną z kluczowych słabości RCT: niską zewnętrzną ważność ich ustaleń. Właśnie dlatego, że badacze doświadczalni mają tendencję do unikania teoretyzowania na wysokim poziomie, mają niewiele do powiedzenia na temat tego, co w określonych kontekstach może być wyjątkowe lub wpłynęło na wyniki i dlaczego należy oczekiwać, że ich odkrycia będą uogólniane. Jest to potęgowane przez fakt, że eksperymenty są rzadko replikowane w wielu kontekstach.
trzecia granica RCTs w badaniu zarządzania jest w rodzaju czynników przyczynowych, które mogą rozsądnie badać. Ograniczenie to wynika częściowo z potrzeby badania dużej liczby jednostek w celu uzyskania dokładnych szacunków statystycznych (i niskich błędów standardowych), co zachęca naukowców do skupienia się na czynnikach niskiego poziomu, a nie na czynnikach znajdujących się w posiadaniu jednostek wyższego szczebla, takich jak instytucje krajowe. Wynika to również z prostej niezdolności naukowców do manipulowania niektórymi kluczowymi zmiennymi, takimi jak poziom rozwoju. W innych przypadkach względy etyczne są źródłem wielkich obaw, które powinny być odpowiednio wyważone i ocenione podczas badania określonego zjawiska społecznego.
RCT są podobnie ograniczone pod względem jednostki analizy, na podstawie której mogą oceniać skutki, czyli na ogół jednostki lub gospodarstwa domowe, a nie Społeczności lub narodu. Wiele teorii rządu koncentruje się na nieliniowych procesach, które ewoluują w ciągu dziesięcioleci, podczas gdy RCT rzadko patrzą na skutki wykraczające poza liniową trajektorię między dwoma punktami w czasie, zwykle kilka lat.
Weźmy na przykład hipotetyczny przypadek krzywej w kształcie litery J pochodzącej z długotrwałego związku między liberalizacją ekonomiczną a stabilnością polityczną: w krótkim okresie liberalizacja ekonomiczna prowadzi do nagłego zerwania między podmiotami gospodarczymi, co powoduje wzrost niestabilności politycznej. RCT może stwierdzić, że liberalizacja gospodarcza jest szkodliwa dla stabilności politycznej. Jednak po dalszym rozwoju rynków i instytucji stabilność polityczna może faktycznie zacząć się poprawiać.
ostatnim problemem jest koszt. Nawet jeśli RCTs mogłyby zostać dostosowane do niektórych kluczowych teorii zarządzania, niekoniecznie jest jasne, że byłyby one bardziej opłacalne w testowaniu teorii niż metody nieeksperymentalne.
wniosek
krótko mówiąc, nasze bieżące badania sugerują, że w sposób, w jaki RCT zostały zaprojektowane do tej pory, mają one pewną, ale ograniczoną, użyteczność w badaniach, aby zrozumieć podstawowe czynniki, które wpływają na zmianę wyników rządu. Wnieśli oni kluczowy wkład w wiedzę, pokazując efekty niektórych ukierunkowanych interwencji przy stosunkowo szybkich rezultatach, ale główne hipotezy dotyczące tego, w jaki sposób działania rządu mogłyby się poprawić, nie zostaną uwzględnione za pomocą RCTs.
głównym pytaniem dla nas jest sprawdzenie, czy i w jakim stopniu zasady, na których oparte są RCT, można pogodzić z nieeksperymentalnymi (ekonometrycznymi) metodami, aby znaleźć analityczne podłoże pośrednie. W oczekiwaniu, że eksperymenty społeczne opierają się na strukturalnych modelach zachowań gospodarczych i politycznych, może to potencjalnie dostarczyć informacji na temat tego, czy interwencja, która działa w jednym kontekście, może działać (i dlaczego) w innych kontekstach społeczno-ekonomicznych i politycznych.
więcej o tym projekcie znajdziecie na naszej stronie.