2013•02•21
Rachel Gisselquist y Miguel Niño-Zarazúa
Foto de la ONU / Albert Gonzalez Farran.
Durante la última década, los ensayos controlados aleatorios (ECA) se han convertido en un elemento básico de la investigación en economía del desarrollo. Los defensores de los ECA han abogado por su uso como el mejor medio para identificar «lo que funciona» en el desarrollo, mientras que los escépticos expresan fuertes preocupaciones sobre su creciente hegemonía en el campo.
El año pasado, dos libros influyentes, Más que buenas intenciones de Karlan y Appel, y Economía pobre de Banerjee y Duflo, resumieron lo que los ECA pueden decirnos sobre cómo reducir la pobreza global. Escépticos como Angus Deaton y Martin Ravallion señalan que los ECA, incluso si están bien diseñados, no son el «estándar de oro» para la evaluación de políticas, ya que a menudo se basan en muestras pequeñas (e intervenciones piloto pequeñas) que no nos dicen mucho sobre si una política funcionaría si se ampliara a nivel nacional o se transfiriera a diferentes condiciones socioeconómicas y políticas.
Igualmente importantes son las preocupaciones asociadas con el hecho de que los ECA generalmente se realizan bajo una ventana de análisis de corto plazo y, por lo tanto, están mal equipados para lidiar con los procesos de desarrollo que tienen lugar en el curso de décadas o incluso generaciones.
Sobre la base de este debate, el UNU-WIDER inició el proyecto Métodos Experimentales y No Experimentales para Estudiar el desempeño de los gobiernos, que explora las contribuciones y los límites de los ECA en el estudio de otro tema importante del desarrollo: la gestión de los asuntos públicos. A pesar de una gran bibliografía sobre gobernanza y métodos experimentales, muy poco trabajo ha considerado directamente ambos temas juntos de esta manera.
Estudiar la gobernanza
La gobernanza es un concepto controvertido, especialmente entre los profesionales del desarrollo. Este proyecto adopta una definición de gobernanza que se basa en las teorías del gobierno y el Estado, que señalan dos funciones principales para las instituciones públicas en el suministro de bienes públicos y la representación de los intereses públicos.
Cómo y qué tan bien gobiernan los gobiernos es un asunto central para el estudio de la política de la eficacia del desarrollo, y el campo de la ciencia política ofrece una variedad de explicaciones. Las principales explicaciones estructurales, por ejemplo, ponen de relieve los niveles de desarrollo, las estructuras de clase y las divisiones étnicas. Los institucionalistas señalan cómo las reglas y normas dan forma a las «reglas del juego», a menudo de maneras inesperadas y duraderas, y exploran el impacto de una variedad de instituciones, incluidas las reglas electorales, las estructuras ejecutivas, la descentralización y el federalismo. Otros trabajos se centran en la forma en que la cultura política afecta el funcionamiento de la gobernanza democrática, así como en la influencia, a veces decisiva, del liderazgo político.
Las teorías tienden a tratar las dos funciones del gobierno por separado, ofreciendo explicaciones para una mejor representación y rendición de cuentas (a menudo enmarcadas en términos de la aparición de la democracia liberal frente a otras formas de gobierno) o para una provisión más efectiva de bienes públicos. Muchos estudios se centran en resultados de gobernanza desglosados, como la eficacia de la policía, los derechos de propiedad o la atención sanitaria universal. De hecho, lejos de tener un modelo único de cambio en la gobernanza, la literatura nos da explicaciones diversas, múltiples y a veces contradictorias. Un ejemplo sencillo es la regulación: ¿Es más o menos mejor?
Los resultados de los ECA ponen de relieve una serie de estrategias, proyectos y otras intervenciones que los gobiernos podrían adoptar para mejorar aspectos específicos de la gobernanza. Algunas intervenciones que se han estudiado en múltiples contextos incluyen campañas de información pública, incentivos financieros para mejorar el desempeño de los empleados del sector público, sistemas de supervisión basados en la comunidad y deliberaciones públicas a nivel local. Sin embargo, sigue habiendo cierto grado de incertidumbre con respecto a los mecanismos (y teorías) subyacentes que explican la distribución de los resultados de las políticas para un grupo de tratamiento determinado (y su placebo) con respecto a la distribución para toda la población.
Límites de los experimentos de campo
De hecho, una crítica común de los estudios experimentales es que no abordan preguntas «grandes» ni teorías «grandes» de gobierno (o desarrollo). La comparación de las preguntas exploradas en los ECA con las identificadas en las principales teorías de gobernanza sugiere que hay algo en esto.
Por otro lado, los defensores de los ECA hacen un argumento convincente de que su enfoque micro ofrece explicaciones más convincentes que las grandes teorías, al observar pequeñas reformas de políticas que, al margen, pueden conducir a mejoras deseables en la política.
Por muy convincente que suene, este microenfoque expone una de las debilidades clave de los ECA: la baja validez externa de sus hallazgos. Precisamente porque los investigadores experimentales tienden a evitar la teorización de alto nivel, tienen poco que decir sobre lo que, dentro de contextos particulares, podría ser único o haber influido en los resultados, y por qué se debe esperar que sus hallazgos sean generalizables. Esto se ve agravado por el hecho de que los experimentos rara vez se replican en múltiples contextos.
Un tercer límite para los ECA en el estudio de la gobernanza está en el tipo de factores causales que pueden estudiar razonablemente. Esta limitación se debe en parte a la necesidad de estudiar un gran número de unidades para obtener estimaciones estadísticas precisas (y errores de bajo nivel), lo que alienta a los investigadores a centrarse en factores de bajo nivel en lugar de en los de unidades de nivel superior, como las instituciones nacionales. Esto también proviene de la simple incapacidad de los investigadores para manipular algunas variables clave, como el nivel de desarrollo. En otros casos, las consideraciones éticas son la fuente de grandes preocupaciones que deben ponderarse y evaluarse adecuadamente al estudiar un fenómeno social en particular.
Los ECA son igualmente limitados en cuanto a la unidad de análisis sobre la que pueden evaluar los impactos, que generalmente es el individuo o los hogares, en lugar de las comunidades o la nación. Muchas teorías del gobierno se centran en procesos no lineales que evolucionan a lo largo de décadas, mientras que los ECA rara vez miran los impactos más allá de la trayectoria lineal entre dos puntos en el tiempo, generalmente unos pocos años.
Tomemos, por ejemplo, el caso hipotético de una curva en forma de J derivada de la relación a largo plazo entre la liberalización económica y la estabilidad política: A corto plazo, la liberalización económica conduce a una ruptura repentina entre los actores económicos que causa un aumento de la inestabilidad política. Un RCT puede llegar a la conclusión de que la liberalización económica es mala para la estabilidad política. Sin embargo, una vez que los mercados y las instituciones se desarrollen aún más, la estabilidad política puede empezar a mejorar.
Un problema final es de costo. Incluso si los ECA pudieran adaptarse para abordar algunas teorías clave de la gobernanza, no está necesariamente claro que serían más rentables en las teorías de prueba que los métodos no experimentales.
Conclusión
En resumen, nuestra investigación en curso sugiere que, en la forma en que se han diseñado los ECA hasta el momento, tienen cierta, pero limitada, utilidad en la investigación para comprender los factores subyacentes que afectan la variación en el desempeño del gobierno. Han hecho contribuciones clave al conocimiento al mostrar el efecto de algunas intervenciones específicas con resultados relativamente rápidos, pero las principales hipótesis sobre cómo podría mejorar el desempeño del gobierno no se abordarán utilizando ECA.
Una cuestión central para nosotros es averiguar si, y en qué medida, los principios en los que se basan los ECA podrían conciliarse con métodos no experimentales (econométricos), para encontrar un punto medio analítico. Con la expectativa de que la experimentación social se base en modelos estructurales de comportamiento económico y político, esto podría proporcionar información sobre si una intervención que funciona en un contexto podría funcionar (y por qué) en otros contextos socioeconómicos y políticos.
Más información sobre este proyecto se publicará en nuestra página web.