El ministerio danés real de asuntos extranjeros - vaya a la página delantera de um.dk   Publication  
 
 
     
 
 

1. Introducción: El Propósito y el Alcance de este Informe

Este Informe de Síntesis[13] sobre la evaluación ofrece un examen general independiente de los resultados de las iniciativas para mejorar la eficacia de la ayuda internacional, especialmente desde el año 2005. Se espera que los resultados sean de interés para los ministros, legisladores, administradores de la ayuda y otros usuarios especializados, así como para el público en general, que tenga interés en el desarrollo y la ayuda. En un campo que está plagado de críticas y propuestas, esta evaluación, junto a los estudios que la componen, está destinada a reunir las distintas corrientes y contribuir a reforzar una base para la ayuda, tanto a nivel internacional como para cada país de manera individual.

Los riesgos son enormes: la necesidad imperiosa de mejorar la vida de miles de millones de personas (reflejada en los Objetivos de Desarrollo del Milenio para 2015), cientos de miles de millones de dólares comprometidos para la reducción de la pobreza, una red de relaciones internacionales y la creciente demanda multilateral, a menudo escéptica, de resultados tangibles provenientes de la ayuda al desarrollo. Los propios procesos de París y Accra, su seguimiento y evaluación, han requerido grandes inversiones de tiempo, atención y dinero desde 2005. Por lo tanto, esta evaluación es importante tanto para la rendición de cuentas, evaluando las reformas logradas o no logradas, como para aprender a guiar las mejoras futuras.

El presente informe tiene dos propósitos principales:

  1. resumir los resultados de la evaluación procedentes dos fases de evaluaciones nacionales voluntarias y de donantes/agencias, estudios institucionales y otras partes importantes de la Evaluación[14]; y


  2. destacar los hallazgos en cuanto a política, conclusiones, lecciones y recomendaciones posibles que resulten relevantes para el público clave y los usuarios previstos de los resultados de la Evaluación.

En el Foro de Alto Nivel sobre la Eficacia de la Ayuda al Desarrollo, que se reunirá en Corea en diciembre de 2011, se realizará un balance de los resultados y se trazará el futuro camino de la eficacia de la ayuda. Se espera que este Informe de Síntesis, en combinación con los informes de las evaluaciones nacionales y los estudios de donantes, se utilice amplia y constantemente en los distintos países y a nivel internacional, antes y después de dicho Foro.

Debido a sus propósitos, usos y públicos previstos, el presente Informe de Síntesis pretende ser sucinto, claro y directo, mini-mizando el uso de lenguaje especializado, siglas y discusiones metodológicas. Detrás del mismo se encuentran 60 informes detallados (miles de páginas de evidencia) elaborados a lo largo de un proceso extenso y sistemático de evaluación con-junta. Todas las fuentes y los pasos de la Evaluación han sido transparentes, y todos los materiales relevantes se encuentran a disposición del público.[15] Los procesos de elaboración del Informe de Síntesis fueron específicos, consensuados, monitoreados y revisados por una tercera parte independiente para garantizar su rigor y calidad. En el Anexo Técnico se resumen todos los pasos de la Evaluación.

En casi todas las áreas, los resultados de la Evaluación varían mucho entre los distintos países y donantes. No existe síntesis que pueda captar la información, las percepciones y las perspectivas en toda su riqueza, ni el peso de las evaluaciones y los numerosos ejemplos de los informes individuales detallados en que se basa. Cada uno de los procesos individuales de Evaluación debería haber tenido ya un valor importante como vehículo para la reflexión y mejora de la asistencia en su propio país u organismo, y cada uno de los informes ilustra y pone a prueba las conclusiones generales en estos contextos únicos. Sus hallazgos, conclusiones y recomendaciones detalladas merecen una amplia atención nacional e internacional, y sus resúmenes se adjuntan al presente informe. Los textos completos están disponibles en el DVD-ROM.

1.1 Breve reseña: La Declaración de París y el Programa de Acción de Accra

La Declaración de París sobre la Eficacia de la Ayuda al Desarrollo[16], adoptada en 2005,[17] es un acuerdo internacional histórico en el que culminan varias décadas de intentos destinados a mejorar la calidad de la ayuda y su impacto en el desarrollo. Establece una guía práctica de 56 compromisos prácticos, basados en la experiencia y organizados en torno a cinco principios clave de la ayuda eficaz:

  1. la apropiación por parte de los países,
  2. la alineación con las estrategias, los sistemas y los procedimientos de los países,
  3. la armonización de las acciones de los donantes,
  4. la gestión dirigida a los resultados, y
  5. la responsabilidad recíproca.

La DP también incluye disposiciones incorporadas para el seguimiento periódico y la evaluación independiente de cómo se están cumpliendo los compromisos. Esta Evaluación cumple parte de esa promesa, a tiempo para la revisión y la adopción de medidas en el IV Foro de Alto Nivel sobre Eficacia de la Ayuda al Desarrollo en Corea, y en el futuro. Este documento además ha tenido lugar a la par de las primeras dos rondas de Encuesta de Seguimiento de la DP.

El Programa de Acción de Accra se redactó en 2008, durante el Tercer Foro de Alto Nivel en Accra, Ghana, y está basado en los compromisos acordados en la DP. Después de una temprana revisión de alto nivel político de los progresos iniciales, el Foro aprobó un programa para acelerar el progreso hacia los objetivos de la DP, y reforzó o acentuó una serie de compromisos y áreas de trabajo importantes.

Los siguientes capítulos de este Informe explican las principales características adicionales de estos documentos, los even-tos en los cuales se adoptaron y, primordialmente, la campaña a largo plazo para incrementar la eficacia de la ayuda, a cuya promoción están destinados. La palabra “campaña” se utiliza aquí intencionalmente, e implica un esfuerzo sostenido y concertado para lograr objetivos importantes y difíciles. A modo de ejemplo, las fuentes o cabeceras de los compromisos de la DP se pueden remontar claramente hasta las innovaciones clave que realizaron diferentes países e instituciones durante los 15 años previos a 2005 como mínimo (Fig. 1).

1.2 Enfoque, metodología y limitaciones de la Evaluación

El desarrollo de la metodología

La Declaración es una afirmación política de principios y un conjunto de compromisos para avanzar en un proceso internacional de reforma, a largo plazo. Su implementación depende de la acción de múltiples actores con prioridades y circunstancias muy diferentes. Elaborar una metodología para evaluar los efectos ha sido un reto.

Se debe destacar que la Evaluación de la aplicación de la DP, incluyendo el Programa de Acción de Accra, no se trata de los efectos de una declaración política en sí misma, sino que analiza si y cómo los compromisos operativos, los actores relevantes y los factores motivadores contribuyeron a las mejoras previstas en ambos documentos.

Los participantes de la Evaluación y otros especialistas contratados llevaron a cabo un intenso trabajo de preparación para pensar y explorar maneras de aplicar metodologías relevantes y experiencias a fin de satisfacer las necesidades de este caso. El objeto de la Evaluación, como un conjunto acordado de principios y compromisos destinados a mejorar la eficacia de la ayuda, no es un proyecto ni un programa, que normalmente son los objetos de una evaluación de desarrollo. En un sentido amplio, es una estrategia, un campo en el que la Evaluación se está empezando a utilizar,[18] pero que tiene límites aún menos claros que la mayoría de las estrategias. La experiencia creciente en la evaluación de la influencia de las políticas también proporciona algunas características comunes interesantes.[19]Durante todo el proceso de Evaluación se identifcó una tendencia a tratar de aplicar enfoques lineales tradicionales y examinar qué cambios, si los hubo, se podían “atribuir” causalmente a la DP. A posteriori, resulta evidente que una declaración política no puede provocar cambios por sí sola. Lo más importante para esta Evaluación es establecer si la combinación de compromisos operativos, actores relevantes y factores motivadores que la DP ayudó a reunir, ha contribuido a las mejoras previstas. También se encarará la cuestión, secundaria pero significativa, de si la campaña fue un conjunto de técnicas eficaz (o si fue el más eficaz) para promover estos objetivos.[20]

También cabe aclarar, desde el principio, que la contribución de la Evaluación para analizar la reforma de la ayuda hasta la fecha y para encontrar lecciones para el futuro, es principal-mente (y sin excusas) de tipo cualitativo. El documento no pretende analizar procesos complejos y sutiles a través de datos numéricos. Este análisis y sus perspectivas cuentan con el respaldo de la mejor evidencia cuantitativa disponible, y tiene en cuenta los nuevos y prometedores esfuerzos para mejorar los datos numéricos, pero la evidencia cuantitativa todavía es débil y a menudo poco fidedigna. Los datos cualitativos, de origen, aprovechamiento y presentación transparentes, forman una evidencia contundente e invaluable, especialmente cuando se aplican para dar cuenta de los cambios en campos tan complejos como éste. Asimismo, las principales decisiones en materia de ayuda y relaciones de ayuda se determinan principalmente sobre la base de pruebas y argumentos cualitativos. Para ser relevante y útil, la Evaluación debe estar basada en estas realidades.

Figura 1. Fuentes de la Declaración de París sobre la eficacia de la ayuda al desarrollo

Figura 1. Fuentes de la Declaración de París sobre la eficacia de la ayuda al desarrollo
Opinión el cuadro en del mismo tamaño

Enfoque y metodología

A continuación se describen brevemente el enfoque y la metodología diseñadas para a afrontar este desafío; se encuentran más detallados en el Anexo Técnico adjunto. Después de amplias consultas, los participantes de la Evaluación consideraron que estas soluciones ofrecían la base disponible más rigurosa y manejable para generar hallazgos, conclusiones y recomendaciones verosímiles. La experiencia también ha proporcionado lecciones valiosas para otras posibles evaluaciones futuras de complejidad comparable.[21]

Las consideraciones clave que definieron el enfoque de la Evaluación son las siguientes:

  • Es importante aprovechar lo aprendido de la Fase 1, que dejó claro: a) el carácter político y no sólo técnico de los procesos para mejorar la eficacia de la ayuda, y b) el importante impacto que tienen los diferentes contextos en las posibilidades de mejorar los procesos de ayuda y fortalecer las contribuciones de la ayuda a los resultados de desarrollo.


  • Esta es una Evaluación plenamente internacional y con-junta, donde los diferentes países y organismos participantes se han involucrado estrechamente en todas las etapas del proceso, incluida su gobernabilidad, así como en los intercambios entre colegas de los equipos nacionales e internacionales. El propósito de esta participación plena fue fortalecer tanto la credibilidad como la relevancia de los resultados, así como ayudar a fortalecer las capacidades de evaluación.


  • Dada la enorme importancia de los factores en juego, esta Evaluación debe ser útil ante todo. Se espera que proporcione respuestas a las preguntas importantes para los principales interesados y grupos, quienes luego podrán utilizarlas para fortalecer sus estrategias, políticas y acciones.

La metodología de Evaluación de la Fase 2 se diseñó a fin de poder afrontar el inusual desafío de evaluar los efectos de un amplio programa de reformas, expresado en una declaración política, y aplicado en países socios y donantes cuyas circunstancias son muy diversas. Para hacer frente a este desafío, se acordó utilizar una técnica de evaluación probada para examinar los complejos procesos de cambio. El Equipo Central se basó en la propia DP para elaborar su “Teoría del Programa” implícita, es decir, la especificación de los objetivos deseados y la forma en que estos se generarían como base principal para la Evaluación (véase la Figura 2).

Además de aclarar la lógica subyacente de la DP, el Equipo Central también ilustró las “vías complejas hacia el cambio” desde los objetivos de desarrollo hasta los resultados de desarrollo (véase la Figura 3). Esto puso de relieve la gran cantidad de otros factores que, en diferentes contextos, influyen poderosamente sobre el desarrollo, y por lo tanto los límites de la función de la ayuda para contribuir a los resultados de desarrollo.[22] La Evaluación aplica la Teoría del Programa como base para reconocer que se trata de un recorrido, y que los diferentes actores recorren la senda que lleva a los cambios previstos de diferentes maneras y a diferentes velocidades. En consecuencia, se centra en evaluar la dirección de viaje en cada punto clave, y luego el ritmo y la distancia recorrida hasta el momento.

Figura 2. Teoría del programa

Figura 2. Teoría del programa
Opinión el cuadro en del mismo tamaño

Figura 3. El contexto para la aplicación de la Declaración de París: vías complejas hacia el cambio

Figura 3. El contexto para la aplicación de la Declaración de París: vías complejas hacia el cambio
Opinión el cuadro en del mismo tamaño

El Marco y la Matriz de la Evaluación

Este enfoque se aplicó a los estudios de los países y los donantes por medio de dos herramientas principales. En primer lugar, se elaboró y se difundió el Marco general de la Evaluación. El mismo estableció los enfoques generales, incluida la Teoría del Programa, y las herramientas metodológicas que debían aplicarse. En segundo lugar, se desarrolló una Matriz Opera-tiva común para las evaluaciones nacionales y una versión adaptada para los estudios de los donantes[23], con el fin de proporcionar un marco coherente para el análisis. Esta Matriz se organizó en torno a tres Preguntas de Evaluación principales, que también constituyen el esquema central de este Informe. Estas preguntas tienen por objeto evaluar y explicar:

  1. ¿hasta qué punto se ha aplicado la Declaración de París en los sistemas de los diferentes países y organismos donantes?


  2. ¿cuáles han sido los efectos sobre la promoción de las mejoras específicas de la eficacia de la ayuda que se enuncian en la Declaración? y


  3. ¿qué contribuciones a los resultados de desarrollo se pueden atribuir convincentemente a las reformas de la eficacia de la ayuda?

Para proporcionar y validar las respuestas y para llegar a las decisiones sobre la dirección de viaje, el ritmo y la distancia recorrida fueron necesarias numerosas fuentes de datos y técnicas.[24]

La evaluación también comprendió un análisis de las premisas en las que se basa la Declaración y la teoría de programa, incluyendo la identificación de falencias y sus consecuencias no previstas. La evaluación de estos puntos se encuentra principalmente en el capítulo de Conclusiones, en la sección que responde la pregunta: “Valor: Cuál ha sido el valor agregado de la cooperación al estilo de la Declaración de Paris? El record relativo de implementación de cada uno de los cinco principios de la DP y las prioridades de la Agenda Accra se explican detalladamente en el Capítulo 2 y están resumidas en la respuesta contenida en la sección de Conclusiones a la pregunta “Principios: Hasta que punto se ha observado e implementado cada uno de los cinco principios y se refleja las prioridades de la Agenda Accra?”. Finalmente, el Anexo Técnico contiene un resumen de la evidencia levantada durante las evaluaciones en relación a las fortaleces y debilidades relativas de los 12 indicadores aplicados en la Encuesta de Seguimiento de la DP que se realizó de manera paralela.

Los componentes principales de la Evaluación general fueron 19 estudios de evaluación de la Fase 1 (ocho de ellos realizados en los países socios y 11 en los organismos y donantes) enfocados en los resultados iniciales de la aplicación de la Declaración, y 21 evaluaciones nacionales, otros siete estudios institucionales de donantes y organismos[25] y siete actualizaciones de estudios de donantes de la Fase 1[26] en una segunda fase, que evaluaron todo el período hasta 2010. Se ha puesto énfasis en el trabajo de las asociaciones de ayuda y sus efectos en el ámbito nacional, incluidas las políticas y prácticas in situ de los donantes. Se encargó una serie de estudios complementarios para desarrollar los temas importantes, y se utilizó materiales adicionales.

Figura 4. Componentes principales de la Evaluación

Figura 4. Componentes principales de la Evaluación
Opinión el cuadro en del mismo tamaño

Independencia e integridad

La independencia profesional de los equipos de evaluación tanto en el ámbito nacional como internacional fue asegurada mediante los procesos de gobernabilidad de la Evaluación: los equipos son los únicos responsables de los contenidos de sus informes. A lo largo del proceso se ha dado prioridad a las Normas de Calidad de la OCDE-CAD para la Evaluación del Desarrollo. El intercambio de conocimientos, el apoyo, la revisión entre colegas y la garantía de calidad contaron con el respaldo de una revisión de literatura sistemática y dirigida (véase Bibliografía), de un sitio interactivo en la Extranet, y de talleres regionales e internacionales en los hitos del proceso.

Limitaciones

Varias de las principales limitaciones de esta Evaluación se reconocieron desde el principio, e incluyen:

  • el carácter inusual, establecido por el hecho de que el objeto de evaluación es un amplio programa de reformas y una declaración política, limitó las posibilidades de aplicar metodologías de evaluación más estandarizadas que implican una causalidad más lineal,


  • la amplitud y complejidad de los objetivos de la DP y la gran variedad de contextos en los que se aplica y de actores involucrados,


  • el poco tiempo transcurrido desde que se aprobó la Declaración en 2005, que ha resultado corto para aplicar algunos de los cambios fundamentales, y más corto aún desde el Programa de Acción de Accra en 2008, y


  • el carácter voluntario de la participación en las evaluaciones y los estudios, lo cual significa que la muestra de países socios, donantes y organismos involucrados no representa formalmente a los grupos completos. Sin embargo, tal como se observa a continuación en el Cuadro 1, se logró una distribución razonablemente representativa entre los países socios, con preocupación por el hecho de que participaran sólo dos países de América Latina, ningún país de Asia central y la limitada participación de estados frágiles o en estado de fragilidad, siendo Afganistán el caso principal. Los grupos de países socios como de donantes o agencias donantes que participaron incluyeron algunos que son con frecuencia identificados como “pioneros” y/o “líderes” en relación a reformas de la ayuda. Sin embargo, no se encontró evidencia de que la auto-selección de los participantes resultara en parcialización con preferencia para los mejores en su desempeño y existen hallazgos críticos en todos los países y agencias evaluados.

En el camino surgieron otras limitaciones y desafíos, que se registraron en el Informe Inicial junto con las correspondientes medidas de mitigación. No obstante, es necesario mencionar dos limitaciones importantes a la luz de los informes de evaluación y los estudios de los organismos nacionales, que realmente se presentaron desde noviembre de 2010.

Chasque para ver la tabla: Cuadro 1. Características de los países socios que participaron en la Fase 2 de la Evaluación''

* Fuente: World Bank (GNI formerly referred to as GNP)
** De acuerdo con la clasificación de economías país del Banco MundialAccording http://data.worldbank.org/about/country-classifications
*** Fuente: OECD.Stat

**** 2005, StudentsoftheWorld.info

En primer lugar, no se cumplió la expectativa original de lograr una cobertura suficiente de las políticas y acciones in situde los donantes y organismos mediante las evaluaciones de los países socios. Las limitaciones de la metodología de estudio de las oficinas centrales de los donantes y organismos de la Fase 1 se trasladaron a la Fase 2, y algunos donantes clave ni siquiera llevaron a cabo ese tipo de estudios. Es decir, la Evaluación contó con menos instrumentos específicos para evaluar el desempeño de los donantes y organismos que para las evaluaciones nacionales. Como resultado, se utilizaron otros análisis de renombre para fortalecer esta cobertura en la medida de lo posible, pero estos también proporcionan limitadas evaluaciones comparables sobre el desempeño de los donantes.[27] Sin embargo, los hallazgos que se incluyen en el presente documento surgen de las evaluaciones a nivel nacional de manera convincente, y cuentan con la confirmación, o la no refutación, de las evidencias de los estudios de donantes y organismos para la Evaluación, o de otros análisis de renombre que se citan. La falta de análisis comparativos más fidedignos de las iniciativas de eficacia y reforma, en los programas de los donantes y organismos bilaterales y multilaterales, representa actualmente un punto débil en el campo.

En segundo lugar, la mayor parte de las evaluaciones de la Fase 2, fuente central de evidencias, no siempre utilizaron los conjuntos estándar de fuentes de datos ni aplicaron las escalas de calificación comparables sugeridas en la Matriz de Evaluación. En su lugar, eligieron algunas de las fuentes y niveles propuestos y complementaron otros, con el fin de captar las particularidades de la situación de cada país. En esta etapa, la síntesis asume la diversidad de estos enfoques y no intenta volver a imponer las fuentes estándar. Por esta razón, el análisis del presente informe presenta un panorama general, donde se extraen las conclusiones comunes, se destacan las variaciones, se las cuantifica en la medida de lo posible y se ilustran los puntos clave con ejemplos representativos.

Otras corrientes de trabajo Finalmente, aunque no sea estrictamente una limitación de la presente Evaluación, es importante resaltar que un buen número de corrientes de trabajo relativas a aspectos específicos de la eficacia de la ayuda han estado teniendo lugar de manera paralela, bajo diferentes auspicios y alimentarán de manera independiente las discusiones y procedimientos preparatorios del Foro de Alto Nivel en Corea. Algunos ejemplos identificados especialmente en el texto como posiblemente complementarios o como trabajos que han considerado evidencia que va más allá de la presente evaluación incluyen: eficacia de la ayuda en estados frágiles o situaciones de fragilidad, cooperación Sur-Sur, fragmentación de la ayuda y división del trabajo, desarrollo de capacidades, mutua responsabilidad y gestión de resultados de desarrollo.


[13]Ha sido preparado por el Equipo Central de Evaluación de IOD PARC (http://www.iodparc.com), quien tiene la responsabilidad decisiva sobre su contenido.

[14] La Figura 4 ofrece un resumen gráfico de estos bloques constituyentes. Se los identificó y se llegó a un acuerdo sobre ellos en el Marco de la Evaluación, en diciembre de 2009.

[15] El sitio Web del Comité de Asistencia para el Desarrollo de la Organización de Cooperación y Desarrollo Económicos tiene una página dedicada donde se ha archivado el registro de todos los documentos y procesos. Estará disponible durante toda la Evaluación y será el registro de fuentes más importante.

[16] De aquí en adelante, la Declaración.

[17] La Declaración fue firmada en marzo de 2005 por el II Foro de Alto Nivel sobre la Eficacia de la Ayuda al Desarrollo, que tuvo lugar en París, Francia.

[18] Patrizi, PA y Patton, MQ (2010) ’Evaluating Strategy’, New Directions for Evaluation, Nº 128 Invierno, Asociación Evaluadora de los EE.UU.

[19] Para acceder a una útil compilación reciente, véase Jones, H (2011) A guide to monitoring and evaluating policy influence, Documento de Referencia del Instituto de Desarrollo de Ultramar (ODI por su sigla en inglés), Londres.

[20] Es decir, evaluar la propia “Teoría del Programa” de la Declaración.

[21] Se ha incorporado toda la documentación, un conjunto de procesos transparentes y un estudio independiente del proceso de Evaluación realizado por un equipo independiente, los cuales están destinados a proporcionar una base sólida para el aprendizaje. Como se señala en el Anexo Técnico, el proceso ya ha proporcionado algunas perspectivas valiosas sobre las complejidades de llevar a cabo estudios que abarcan varios países y organismos, equilibrar la necesidad de autonomía a nivel local con la coherencia de las conclusiones necesaria para el trabajo de la síntesis, y las dificultades para rastrear la causalidad y la atribución.

[22] Estos importantes documentos de orientación se presentaron originalmente en el Informe Inicial de mayo de 2010, y se reproducen en el Anexo Técnico del presente informe.

[23] Que no se aplicó sistemáticamente en los estudios de los donantes.

[24] En el Anexo Técnico adjunto se explica con más detalle el desarrollo y uso de estas herramientas dentro de la Evaluación.

[25] A diferencia de las evaluaciones completas.

[26] El nivel de detalle provisto en estos era variado.

[27] Las revisiones periódicas entre colegas del CAD cumplen parte de esta función, pero solamente entre los miembros donantes bilaterales y cada varios años. Mirando en otros lados, los resultados de la Encuesta de Seguimiento sobre la Declaración de París aplicados a los donantes generalmente no se informan ni se citan en conjunto. Cuando el Equipo Central puso a prueba una compilación de los resultados brutos de las Encuestas de 2006 y 2008, los resultados obtenidos plantearon varias preguntas más allá de los resultados nacionales que se informan generalmente. La Encuesta de 2010 puede responder, o no, estas inquietudes. El riesgo se ve aumentado por el hecho de que otros intentos recientes (sin duda experimentales) de elaborar evaluaciones comparativas del buen desempeño de los donantes también dependan tanto de algunos resultados de la Encuesta. Véase, por ejemplo, Birdsall, N et al (2010) Quality of Official Development Assistance Assessment, Washington DC: Brookings y CGD. Sin embargo, las evaluaciones más especializadas sobre temas como la descentralización de los donantes y la transparencia, han sido de gran ayuda.




Esta página forma parte de la publicación 'LA EVALUACIÓN DE LA DECLARACIÓN DE PARÍS, FASE 2 ', como capítulo 6 de 11
Edición 1.0 de la publicación, con fecha de la versión 07-07-2011,
La publicación se puede adquirir en la direccción http://www.netpublikationer.dk/um/11066/index.htm

 

 
 
 
 
  Ministerio de asuntos exteriores © | www.um.dk