Introducción

Hace diez años, nos enfrentábamos al hecho de que a menudo teníamos la dificultad de encontrar textos para apoyar nuestros intercambios pedagógicos al enseñar la evaluación de programas a las personas francófonas. En esa época, las bibliotecas estaban llenas de obras de referencia en inglés que a menudo utilizábamos por sus bondades pedagógicas (Patton 1997; Weiss 1998; Chen 2005), pero siempre nos enfrentábamos a retos lingüísticos. Por eso nos embarcamos en nuestra primera aventura editorial con la publicación en 2009 de una obra pedagógica en francés para formar a estudiantes y profesionales en evaluación de programas. Más allá del lenguaje, la originalidad del libro fue su enfoque multidisciplinar e intersectorial. De hecho, tras presentar propuestas de síntesis conceptual (incluidos textos de importantes autores de habla inglesa que habíamos traducido), el libro ofrecía numerosos ejemplos de evaluación de intervenciones. Estos ejemplos se ubicaban en varios sectores (educación, salud, acción social, etc.) y mostraban de manera didáctica cómo se podían movilizar varios métodos (cuantitativos, cualitativos, mixtos) y disciplinas para responder a preguntas de evaluación útiles para los profesionales y los/as responsables de la toma de decisiones. Este primer libro fue apreciado por lectores/as y profesores/as y sentimos la necesidad de publicar una edición revisada y ampliada en 2012 (Ridde y Dagenais 2012). Además, fue traducido al español y distribuido en América Latina por la editorial de una universidad colombiana, que deseaba difundir mejor estos planteamientos en ese continente, confirmando la necesidad de obras pedagógicas en idiomas distintos del inglés.

Pero a lo largo de los años y de nuestra experiencia de investigación y de enseñanza en los países del Sur, hemos sentido una triple necesidad que está en el origen de este trabajo colectivo.

Por una parte, observamos la necesidad de seguir publicando en francés, dadas las continuas dificultades a las que se enfrentan los/as estudiantes y colaboradores que sólo trabajan en un entorno francófono y que no dominan el inglés. Si bien desde 2009 se han publicado algunos libros en francés en el ámbito de la evaluación (Larivière y Corbière 2014; Hurteau, Houle y Guillemette 2012), ninguno de ellos tenía una especificidad propia del contexto del Sur, o más precisamente de los países de bajos ingresos, con el propósito de evitar toda confusión de uniformidad contextual. En 2016, cuando ya habíamos iniciado la producción de este libro, se publicó otro libro específico sobre la práctica de la evaluación en África, pero se centró menos en los métodos que en las prácticas reflexivas (Ridde et al. 2016). Volveremos a esta especificidad contextual, pero aquí queremos mostrar la importancia de poner a disposición escritos franceses que se refieren a un campo que todavía está dominado por el mundo anglosajón.

Por otra parte, si bien nuestro primer trabajo es, a nuestro juicio, una muy buena introducción a la evaluación de las intervenciones para los neófitos en este campo, nos quedó claro que necesitábamos profundizar en los límites de este trabajo y entrar en la complejidad de los métodos avanzados. Sin embargo, también nos quedó claro desde el comienzo que este tipo de trabajos interdisciplinares en francés y en salud global no existían. Sin embargo, especialmente para quienes participan en procesos de evaluación rigurosos que van más allá de las consultorías para dar respuesta a solicitudes de una organización-cliente (que también es obviamente un mandato importante), se hace esencial dominar los métodos complejos para responder a preguntas de evaluación complejas que se dirigen a programas igualmente complejos.

Esta complejidad hace imposible en muchos casos establecer lo que algunos economistas del desarrollo consideran la norma del análisis de causalidad, es decir, estudios aleatorios controlados, que en la mayoría de los casos son insuficientes para responder a las preguntas planteadas en el contexto del Sur. Esta complejidad también plantea importantes problemas de evaluación en el caso de las intervenciones que reúnen características de complejidad (Robert y Ridde 2014). Sin embargo, es evidente que es necesario movilizar métodos avanzados para esos análisis y, por lo tanto, presentarlos. Además, creemos que el contexto de los países de bajos ingresos es favorable a la innovación metodológica y al uso de estos métodos.

No volveremos sobre los interminables debates en torno al concepto de salud global (Taylor 2018), ya que queremos centrarnos en el hecho de que forma parte de un contexto de menos recursos y fuertes desigualdades, pero también de cuestiones de poder exacerbadas por la fuerte presencia de asistencia pública al desarrollo por parte de países de altos ingresos y la colaboración internacional en la práctica de la evaluación. Dado que los contextos son omnipresentes e influyen en todas las “etapas” de una evaluación (Craig et al. 2018), es esencial tenerlos en cuenta al seleccionar métodos científicamente, pero también contextualmente relevantes. Así pues, contrariamente a la creencia popular, es en un contexto de escasez de recursos donde los evaluadores deben ser más ágiles e innovadores, y tratar de desplegar métodos apropiados para lograr sus objetivos evaluativos. Los capítulos de este libro son ejemplos excelentes de esta agilidad y de cómo se pueden desplegar enfoques complejos para evaluar las intervenciones. No se ha esperado a los recientes intentos de crear un nuevo concepto en torno a la investigación de las intervenciones de salud pública para evaluar rigurosamente las intervenciones de salud global. Los autores y autoras que hemos movilizado para construir este libro demuestran este dinamismo metodológico, incluso en un contexto en el que los medios disponibles para la evaluación son muy inferiores a los que hay en el Norte. Pero la difusión de estas innovaciones, para parafrasear a Rogers, sigue estando demasiado a menudo confinada a unos pocos expertos… especialmente a los expertos anglófonos que tienen los medios para acceder a ellas.

Por lo tanto, y finalmente, la tercera necesidad que hemos identificado y que este libro intenta abordar, es la de la libre difusión del conocimiento, que es un tema importante en la salud global (Smith et al. 2017). ¿De qué sirve desarrollar todas estas innovaciones metodológicas si siguen siendo confinadas y monopolizadas por personas que dominan el inglés y tienen los medios para acceder a ellas? ¿Cómo podemos asegurarnos de que los estudiantes francófonos radicados en el Sur tengan acceso a conocimientos originales y útiles cuando no pueden pagar los libros, aunque puedan pagarlos por Internet? ¿Cómo podemos apoyar el desarrollo de la red de evaluadores francófonos emergentes? Aquí es donde nos atrajo nuestro encuentro con el proyecto de las Éditions science et bien commun y su deseo de democratización del conocimiento y justicia social del saber. Ya habíamos podido publicar uno de nuestros libros sobre nociones preconcebidas en materia de salud global en versión gratuita gracias a una iniciativa de las Presses de l’Université de Montréal (Ridde y Ouattara 2015). También habíamos subvencionado una reproducción de la primera edición de nuestro libro introductorio sobre la evaluación que se publicaría en el África occidental a tarifa reducida, en colaboración con Éditions L’Harmattan Burkina Faso. Pero estas ayudas  son temporales y realmente queríamos que nuestro nuevo libro fuera lo más accesible posible. La comunidad de personas que realizan evaluaciones en el mundo francófono está creciendo en todo el mundo, todos los países del África francófona ofrecen al menos una maestría en salud pública donde se está empezando a enseñar la evaluación… aquí hay tantas oportunidades como este libre acceso a métodos avanzados lo haga útil, creemos.

Así, este libro está destinado a todos los amantes de la evaluación (¡sí, sí, existen!) que deseen desarrollar sus conocimientos y habilidades en métodos avanzados. Está destinada principalmente, pero no exclusivamente, a las personas que trabajan en un contexto de salud global. En efecto, si los casos presentados se refieren al ámbito de la salud, en el sentido más amplio del término y en particular, a las poblaciones, es evidente que los métodos que presentamos pueden extenderse a otros ámbitos (educación, economía, etc.) y en contextos distintos de los del Sur. Por lo tanto, todos se beneficiarán y podrán utilizar su pericia para adaptar y trasladar estos métodos a otros lugares, en otros campos y en otras circunstancias.

El plan del libro

El libro se compone de cinco secciones, cada una de las cuales representa una dimensión metodológica relevante.

La primera sección es muy innovadora, ya que presenta métodos raramente discutidos en los libros y artículos de evaluación en francés. Nuestro enfoque general forma parte de un enfoque de evaluación basado en la teoría de las intervenciones (Chen 2005; Weiss 1998). En este sentido, se hace imprescindible referir lo que Beaudry y Gauthier llaman la fase de pre-evaluación (Beaudry y Gauthier, 1992), es decir, el análisis de la “evaluabilidad” de las intervenciones. En el capítulo 1 (Soura y colaboradores) se presentan las diversas etapas del proceso de un estudio de “evaluabilidad”. El caso presentado trata de un programa de prevención en la escuela y tiene como objetivo determinar el grado en que este programa es evaluable.

La sostenibilidad de las intervenciones es también un tema relativamente poco abordado en la literatura de lengua francesa. Cuando se trata, a menudo se trata como un tema marginal. Sin embargo, las investigaciones nos han dicho desde hace mucho tiempo que la sostenibilidad debería ser la primera, y no la última preocupación de los profesionales al planificar una intervención (Pluye y otros, 2005). Por lo tanto, decidimos incluirlo en la primera parte, ya que el primer autor de este capítulo sobre una intervención en Malí se quejó de que quedaba relegado, al igual que la sostenibilidad, al final del libro. Tenía razón y le agradecemos su petición. La sostenibilidad de las intervenciones en África está muy poco estudiada. Este capítulo presenta una metodología para hacerlo (Seppey y Ridde, Capítulo 2).

La segunda sección consta de tres capítulos en los que se presentan los enfoques de evaluación mediante métodos cualitativos. Aunque este uso no es innovador en el campo de la salud global (Belaid et al. 2016), hemos querido mostrar algunos enfoques originales que no se utilizan ampliamente en francés. Por lo tanto, estos tres capítulos proponen procesos interesantes en los que lo cualitativo se moviliza de manera rigurosa. El primero (Bujold y Fortin, capítulo 3) trata de la evaluación participativa de un programa destinado a la igualdad de género en Bolivia. Utiliza un método sistemático con tres componentes (cualitativo, participativo e interorganizativo). El segundo capítulo de esta sección (Rey y colaboradores, Capítulo 4) describe una evaluación realizada en México que utiliza otro enfoque cualitativo participativo que utiliza la fotografía como medio de expresión: photo voice. Se centra en las percepciones de los jóvenes indígenas sobre su participación en un programa basado en las artes para promover el cambio de comportamiento. Por último, el tercer capítulo de esta sección (Aka y colaboradores, capítulo 5) trata de la evaluación de un enfoque de investigación de la acción en Burkina Faso. El enfoque de evaluación adoptado combina un análisis externo con un análisis reflexivo para producir resultados que sirvan de guía para futuras estudios de investigación-acción.

La tercera sección ofrece la oportunidad de cumplir nuestro deseo de difundir más ampliamente el uso de métodos mixtos para la evaluación (Bujold y otros, 2018). En tres capítulos se muestra cómo realizar revisiones mixtas, así como la integración de datos que es fundamental para la pertinencia de estos métodos. Algunos ejemplos útiles en salud global facilitan esta demostración. El primero de estos capítulos (Hong y colaboradores, Capítulo 6) se centra en revisiones mixtas que combinan estudios cuantitativos, cualitativos y mixtos utilizando un enfoque sistemático. Se presenta un ejemplo de un a revisión mixta de un proyecto de financiación basado en los resultados en Burkina Faso; se presentan cuatro diseños de síntesis. En el segundo capítulo de esta sección (Pluye, Capítulo 7) se propone un marco conceptual que incluye todos los tipos de integración de los métodos cualitativos y cuantitativos, así como las diversas combinaciones posibles de estas estrategias. El siguiente capítulo (Pluye y otros, Capítulo 8) ilustra varios de estos tipos de combinaciones utilizando estudios de salud global.

La cuarta sección está dedicada a la evaluación de la efectividad y la eficiencia de las intervenciones. En los tres primeros capítulos de esta sección se explican los enfoques metodológicos para utilizar métodos estadísticos complejos con el fin de verificar si se han alcanzado los objetivos de las intervenciones. El primero (Benmarhnia y Fuller, Capítulo 9) presenta dos métodos cuasi-experimentales aplicables cuando los ensayos aleatorios controlados son imposibles de organizar: el método de la Diferencia en Diferencia (DD) y el enfoque de Regresión con Discontinuidad (RD). La aplicación de estos dos métodos se utiliza para medir los efectos de la edad mínima legal de consumo de alcohol en el consumo de los jóvenes. En el segundo capítulo de esta sección (Benmarhnia y McKinnon, capítulo 10) se presentan diferentes métodos para medir las desigualdades en materia de salud de una intervención de exención de tasas. Estas medidas incluyen el índice de concentración y el índice de Theil. En el tercer capítulo de la sección (Dumont, capítulo 11) se presentan los modelos estadísticos apropiados y las dificultades metodológicas relacionadas con los ensayos aleatorios por conglomerados utilizados para evaluar el impacto de una intervención para reducir la mortalidad materna y neonatal en los hospitales de Malí y el Senegal. En el cuarto capítulo de esta sección (Jouquet, capítulo 12) se presenta un análisis de la eficacia en función de los costos de una intervención en materia de VIH en Swazilandia, y además se presentan los análisis espaciales (Bonnet, capítulo 13). Finalmente, en esta versión en español, se adjuntan dos nuevos capítulos; la evaluación de la eficiencia de un programa para incrementar el número de partos vaginales mediante un estudio de coste efectividad (Garcia Mochon y Bermúdez-Tamayo, capítulo 14) y nuevamente se describe un ensayo clínico aleatorizado por conglomerados, en este caso para evaluar la efectividad de una intervención para mejorar el autocuidado en diabetes adaptado a un contexto de restricción de recursos (Martin y Olry de Labry-Lima, capítulo 15)

Por último, en la quinta sección se presentan varios enfoques, todos ellos centrados en el análisis de los procesos de aplicación y la fidelidad en una variedad de contextos, desde Nunavik hasta Cuba y desde el África occidental hasta el África meridional. En lo que respecta a los métodos, esta última sección es innovadora al proponer enfoques que rara vez se presentan o utilizan en la actualidad: un estudio de casos múltiples mediante un proceso de análisis piramidal (Ridde y Turcotte-Tremblay, capítulo 16), la evaluación de la fidelidad (Pérez y colaboradores, capítulo 17; Gauthier y colaboradores, capítulo 18) o el enfoque realista (Dossou y Marchal, capítulo 19).

No podríamos terminar esta introducción sin agradecer a todos los protagonistas de este libro. En primer lugar, los numerosos autores y autoras y sus colaboradores/as que cumplieron pacientemente con nuestros requisitos editoriales didácticos y aceptaron participar en una publicación cuyo tiempo de producción fue proporcional a su motivación. En segundo lugar, a Linda François, que nos ayudó con el formato de los manuscritos de los capítulos y que hizo un seguimiento de los autores y de las autoras para cumplir con los requisitos editoriales. Una de sus peticiones fue que se hicieran resúmenes de los capítulos en el mayor número posible de idiomas. Por lo tanto, debemos agradecer a aquellos que tuvieron la amabilidad de ayudarnos con estas traducciones. Finalmente, debemos agradecer a Éditions science et bien commun por su intención de publicar este libro en acceso abierto y todo su apoyo durante su producción, así como el apoyo financiero del Institut de Recherche pour le Développement (IRD) y el Equipo RENARD.

Referencias

Beaudry, J. et Gauthier, B. (1992). L’évaluation de programme. Dans B. Gauthier (dir.), Recherche sociale : de la problématique à la collecte de données (2^e éd., p. 425-452). Québec : Presses de l’Université du Québec.

Belaid, L., Bodson, O., Ridde, V., Samb, O. et Turcotte-Tremblay (2016). Innovations qualitatives dans l’évaluation des interventions en santé. Dans J. Kivits, F. Balard, C. Fournier et M. Winance (dir.), Les recherches qualitatives en santé. Malakoff : Armand Colin.

Bujold, M., Hong, Q. N., Ridde, V., Bourque, C. J., Dogba, M. J., Vedel, I. et Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. Montréal : 117^e Cahiers scientifiques de l’ACFAS.

Chen, H.-T. (2005). Practical program evaluation : assessing and improving planning, implementation, and effectiveness. Thousand Oaks, CA: Sage Publications.

Craig, P., Di Ruggiero, E., Frohlich, K. L., Mykhalovskiy, E. et White, M., on behalf of the Canadian Institutes of Health Research (CIHR)–National Institute for Health Research (NIHR) Context Guidance Authors Group (listed alphabetically), R. Campbell et al. (2018). Taking account of context in population health intervention research: guidance for producers, users and funders of research.
https://doi.org/10.3310/CIHR-NIHR-01

Hurteau, M., Houle, S. et Guillemette, F. (dir.). (2012). L’évaluation de programme axée sur le jugement crédible. Québec : Presses de l’Université du Québec.

Larivière, N., et Corbière, M. (dir.). (2014). Méthodes qualitatives, quantitatives et mixtes : dans la recherche en sciences humaines, sociales et de la santé. Québec : Presses de l’Université du Québec.

Patton, M. Q. (1997). Utilization–focused evaluation (3^e éd.). London: Sage Publications.

Pluye, P., Potvin, L., Denis, J.-L., Pelletier, J. et Mannoni, C. (2005). Program sustainability begins with the first events. Evaluation and program planning, 28, 123-137.

Ridde, V. et Dagenais, C. (dir.). (2012). Approches et pratiques en évaluation de programme (2^e éd.). Montréal : Presses de l’Université de Montréal.

Ridde, V., Kouanda, S., Kobiané, J.-F. et Zongo, S. (dir.). (2016). Pratiques et méthodes d’évaluation en Afrique. Paris : L’Harmattan.

Ridde, V. et Ouattara, F. (2015). Des idées reçues en santé mondiale. Montréal : Presses de l’Université de Montréal.

Robert, E. et Ridde, V. (2014). L’approche réaliste pour l’évaluation de programmes et la revue systématique : de la théorie à la pratique. Mesure et évaluation en éducation, 36(3), 79-108.

Smith, E., Haustein, S., Mongeon, P., Shu, F., Ridde, V. et Larivière, V. (2017). Knowledge sharing in global health research – the impact, uptake and cost of open access to scholarly literature. Health Research Policy and Systems, 15: 73
https://doi.org/10.1186/s12961-017-0235-3

Taylor, S. (2018). “Global Health”: meaning what? BMJ Global Health, 3(2), e000843.

Weiss, C. H. (1998). Evaluation : methods for studying programs and policies (2^e éd.). Upper Saddle River, NJ : Prentice Hall.

Cita

Ridde, Valéry y Christian Dagenais (2020). Introducción. In Evaluación de las intervenciones sanitarias en salud global. Bajo la dirección de Valéry Ridde y Christian Dagenais, pp. 1-9. Québec : Éditions science et bien commun y Marseille : IRD Éditions.