2 Evaluación de la sostenibilidad

Evaluación de la sostenibilidad

Definición del método La sostenibilidad es el proceso que conduce a la continuidad de una intervención. La evaluación de la sostenibilidad es el estudio de la presencia de rutinas para asignar un grado de sostenibilidad (nulo, precario, bajo, medio, alto). La evaluación de la sostenibilidad consiste en analizar los procesos que han permitido que la intervención perdure en el tiempo y explicar el grado de continuidad.

Fortalezas del método Comprender mejor el proceso de sostenibilidad, un fenómeno complejo en un contexto específico, que debe estudiarse en múltiples dimensiones. Desarrollar un análisis basado en un conjunto amplio de puntos de vista Triangular los métodos de recogida de datos (entrevistas, observaciones, investigación documental)

Desafíos del método Necesidades de recursos (tiempo, presupuesto) para analizar los datos Tener en cuenta la validez interna de la información (posibles sesgos) Dificultad para comprender el concepto y moverse hacia atrás y adelante, entre la teoría y los datos de campo

En este capítulo se presenta la evaluación de la sostenibilidad mediante el ejemplo de una evaluación de una intervención sanitaria en varios centros de salud de Malí, concretamente un proyecto piloto de financiación basada en los resultados (FBR).

Entre las diferentes metodologías posibles para evaluar la sostenibilidad de una intervención, la que se utiliza es el estudio de casos (Yin 2013), que puede ser un caso único, un caso múltiple, casos con niveles de análisis anidados u holísticos, etc. El estudio que se presenta, es el de un solo caso con diferentes niveles de análisis anidado, es decir, diferentes centros de salud que ofrecen diversos servicios.

Hay muchas evaluaciones de sostenibilidad que se limitan a estudiar el aspecto financiero de la intervención o sus efectos a largo y mediano plazo. La utilización del estudio de casos permite investigar más dimensiones de la intervención que se está evaluando: sus recursos, su funcionamiento, sus determinantes (facilitadores o barreras), sus efectos a corto y largo plazo, etc. Por consiguiente, estas dimensiones se investigarán mediante diferentes instrumentos de recogida de datos (entrevistas, observaciones, investigación documental, grupos de discusión, etc.), lo que permitirá triangular la información reunida y comprender así mejor el fenómeno general objeto de estudio. Cabe señalar que, además del estudio de casos, en la evaluación que aquí se presenta, se utiliza también un marco conceptual de sostenibilidad de la literatura científica. Este marco permite adoptar una perspectiva sistémica del fenómeno estudiado y estructurar mejor la evaluación centrándose en las dimensiones esenciales y subyacentes del fenómeno.

La metodología del estudio de casos es muy útil en la evaluación de fenómenos complejos como la sostenibilidad, ya que permite obtener el máximo de información sobre diversas dimensiones relacionadas con el objeto de estudio (Contandriopoulos y otros 1990; Lamoureux 2000; Yin 2013). Según Robert Yin (2013), este tipo de enfoque metodológico debería, sin embargo, limitarse a tres situaciones: 1) cuando sea necesario responder a preguntas de investigación del “¿Cómo? “2) cuando el investigador pueda ejercer muy poco o ningún control sobre la intervención, y 3) cuando el objeto del estudio sea actual, lo que permite la exploración directa del sujeto estudiado. Esta metodología también es necesaria cuando los agentes que participan en la evaluación son numerosos, diversos y tienen puntos de vista diferentes. La utilización de un marco conceptual en un estudio de casos también facilita la comprensión del objeto del estudio al identificar los diversos elementos relacionados con él.

Sin embargo, hay varios problemas de aplicación de esta metodología. El primero está relacionado con la cantidad de información necesaria para comprender el caso. Cuanto más compleja sea la intervención a evaluar, más información necesitará el investigador para comprenderla. Además, para ciertos detalles de la intervención, habrá que reunir información de determinados especialistas o expertos. El segundo desafío está relacionado con la complejidad del análisis de estos datos, que provienen de una gran variedad de fuentes (documentos, entrevistas, observaciones, etc.) y actores. Incluir toda esta información en una sola línea explicativa puede ser difícil. Sin embargo, hoy en día se utilizan varias herramientas informáticas y programas de software para ayudar a los/as investigadores/as a realizar este tipo de análisis.

Antecedentes

Malí

El estudio de casos que se presenta en este capítulo se centra en un proyecto piloto de financiación basada en los resultados que se está llevando a cabo en Malí. Malí es un país Saheliano sin litoral del África occidental que ocupa el puesto 179 en el Índice de Desarrollo Humano en 2015 (Programa de las Naciones Unidas para el Desarrollo 2015). En 2015, el país tenía más de 15,8 millones de habitantes, la mitad de los cuales (50,6%) vivía por debajo del umbral de pobreza con 1,25/Dólares día en paridad de poder adquisitivo (ibíd.). En 2015, la mortalidad neonatal y la de los menores de cinco años eran muy elevadas, con 77,6 y 122,7 muertes por cada 1.000 nacidos vivos, respectivamente. En 2014, el gasto total en salud fue sólo el 6,9% del PIB (División de Estadística de las Naciones Unidas 2016).

Malí es un país con una administración muy descentralizada, con varios niveles de representación: nacional, regional, de distrito, de zona y comunal; también podrían añadirse aldeas y barrios, pero no tienen competencias en los ámbitos de la salud y la educación (Syll 2005). La organización del sistema de salud basado en este modelo incluye hospitales nacionales, especializados y regionales, que están a cargo de la Dirección Nacional de Salud (DNS). Estas instituciones sanitarias representan el nivel terciario (de 2ª o 3ª nivel) de la prestación de atención de la salud y están distribuidas en las ocho regiones de Malí. Los primeros centros de referencia (nivel secundario) son los centros de salud de referencia (CSREF) que están presentes en los distritos sanitarios vinculados al nivel administrativo de las zonas (que no deben confundirse con los distritos de Bamako) (Observatorio de Salud de África 2014). En los servicios de primera línea se encuentran los centros de salud comunitarios (CSCOM), que están situados en las zonas sanitarias vinculadas a las comunas. La gestión cotidiana de los centros de salud comunitarios es privada, ya que de ella se ocupa una asociación de salud comunitaria (ASACO) integrada por representantes electos de las distintas aldeas de la comuna y que vela por el buen funcionamiento de los centros de salud comunitarios y la prestación del conjunto mínimo de actividades (MPA) (Observatorio de Salud de África 2014; Audibert y de Roodenbeke 2005). La MPA representa todos los servicios que un CSCOM debe ofrecer, es decir, servicios de promoción, prevención y atención. Las actividades van desde el simple diagnóstico y tratamiento de una enfermedad hasta las campañas de vacunación, el seguimiento de niños sanos (SES), las sesiones de información, educación y comunicación (IEC), las consultas pre y postnatales (CNA y CNP), los partos, la planificación familiar (PF) y otros. Los tres componentes del CSCOM ofrecen estos servicios: dispensario, la farmacia y la maternidad.

Financiación basada en los resultados

El Organismo Neerlandés de Desarrollo (SNV) y el Real Instituto Tropical (KIT) han ejecutado un proyecto piloto sobre financiación basada en los resultados en Malí, concretamente en la región de Koulikoro, una de las más pobres del país (Ministerio de Salud de Malí 2012; Secretaría General 2009; Toonen et al. 2014). El proyecto se ejecutó entre febrero de 2012 y diciembre de 2013 en los distritos sanitarios de Dioïla, Fana (ambos en el cerco de Dioïla) y Banamba (zona de Banamba) y contó con la participación de un total de 26 CSCOM (18 para el distrito de Dioïla y 4 para cada uno de los distritos de Fana y Banamba) y 3 CSREF (1 para cada distrito) (Toonen y otros, 2014).

Este proyecto piloto tenía por objeto aumentar la calidad y la cantidad de la atención ofrecida en esos distritos sanitarios mediante mecanismos de verificación, participación comunitaria, la rendición de cuentas en la gestión de los fondos, los vínculos entre la motivación y los resultados, y las adquisiciones (Toonen y otros 2014; Toonen, Kone y Dao s.f.). La adquisición consistió en el pago de una subvención para los servicios de salud a los que se dirigía el proyecto, que evaluó esos servicios cualitativa y cuantitativamente.

 

Estos subsidios, comúnmente conocidos como “primas”, se distribuyeron a los centros de salud (60%), así como a los proveedores de servicios de salud (40%). La proporción se invirtió para los CSREF. Estas primas se repartieron entre el personal sanitario, que recibió cada uno un promedio de 140.500 francos CFA por trimestre (para un total de 65.419.921 francos CFA/$138.100 dólares canadienses para el proyecto), y las organizaciones de salud, que recibieron un total de 98.129.882 francos CFA (207.150 dólares canadienses) (Toonen y otros, 2014). Las primas individuales constituían una parte sustancial de los ingresos de la mayoría de los empleados, que podían así hasta duplicar sus ingresos (Toonen y otros, 2014).

En la aplicación del FBR participaron diversos agentes, con diferentes funciones: los equipos técnicos de las CSCOM y los CSREF (servicios de atención), los ayuntamientos y las ASACO (contratación y compras), el equipo de gestión de distrito y la Dirección Regional de Salud (DRS) (regulación/verificación a nivel de las CSCOM y los CSREF, respectivamente) y diversas organizaciones no gubernamentales independientes (ONG) (verificación cruzada de resultados).

Al final del proyecto (2014), se realizó una evaluación final sobre el traspaso de responsabilidades al gobierno de Malí y la ampliación de la escala (Toonen et al. 2014), pero sin abordar el elemento de la sostenibilidad del proyecto. Por lo tanto, era pertinente evaluar la sostenibilidad del proyecto de la FBR en Malí, así como el proceso de sostenibilidad.

Plan de evaluación

En este estudio, la evaluación de la sostenibilidad se centró en dos objetos: el proceso de sostenibilidad y el mantenimiento o estado de situación de la intervención. Por consiguiente, la evaluación de la sostenibilidad se centra en los diferentes mecanismos de sostenibilidad futura, mientras que la evaluación del estado de situación, se centra en los logros de una intervención en un momento determinado (Tabla 1).

Tabla 1 : Plan de evaluación de un proyecto de FBR en Malí

	Sostenibilidad	Continuidad
Objetivos de la evaluación	Comprender el proceso de sostenibilidad	Evaluar el nivel de sostenibilidad del proyecto
Elementos de evaluación	Determinantes (Sostenibilidad) Fases (sostenibilidad) Eventos	Actividades “rutinizadas” (a través de determinantes y fases)
Recogida de datos	Entrevistas semiestructuradas Investigación documental
Tipo de análisis	Correspondencia con un marco conceptual Elaboración de una explicación inductiva	Correspondencia con un marco conceptual

A pesar de esta diferencia, la evaluación de procesos y resultados está íntimamente relacionada, ya que ambas se basan en un fundamento común; los determinantes de la sostenibilidad son la memoria organizativa, los códigos/valores, las normas/procedimientos, la capacidad de adaptación y las relaciones con las partes interesadas (véase Seppey y otros 2017 para más información sobre estos determinantes). Una característica especial de la evaluación de la sostenibilidad es que es el resultado de un juicio del investigador que asigna un nivel de sostenibilidad a la intervención en relación con los datos recogidos sobre el terreno.

Metodología

Revisión de la literatura y marco conceptual

La evaluación de un fenómeno complejo requiere una buena comprensión previa de sus diversos mecanismos, determinantes u otros componentes, de ahí la necesidad de iniciar la evaluación con una evaluación de la bibliografía sobre sostenibilidad. Para este estudio de caso, varios artículos científicos, informes organizativos, presentaciones y otros documentos contribuyeron a una comprensión sistemática y a la elaboración de un marco conceptual que reúne los diversos elementos de la sostenibilidad. Estos elementos se presentan en la figura 2: i) sus determinantes, ii) el proceso de sostenibilidad, iii) el nivel de sostenibilidad resultante de los elementos anteriores, iv) los diferentes contextos en los que se aplica la intervención, y v) los acontecimientos críticos y el tiempo (Johnson y otros, 2004; Chambers, Glasgow y Stange, 2013; Pluye, Potvin y Denis, 2004; Moullin y otros, 2015). Por consiguiente, el trazado del marco conceptual permite vincular los diferentes subconceptos de la sostenibilidad (adaptación, contexto organizativo, planificación de la sostenibilidad o sostenibilidad débil) a los mecanismos.

 

Determinantes ·       Adaptación ·       Memoria organizacional ·       Reglas ·       Valores/códigos ·       Desarrollo de relaciones entre las partes involucradas

Proceso de sostenibilidad ·       Modificaciones del plan de acción (si es necesario) ·       Evaluación de capacidades de la organización y de la intervención (pre—test) ·       Evaluación del estado de la sostenibilidad (post-test) ·       Planificación de la sostenibilidad ·       Ejecución de acciones   Contexto Sistema externo Ambiente local Organización Individuos Intervención Ejecución de acciones Nuevos eventos y evaluación en el tiempo

Niveles de sostenibilidad ·       Nulo ·       Precario ·       Débil ·       Medio ·       Alto (institucionalización)

Construcción y validación de la herramienta

El instrumento de recogida de datos es la guía de entrevista semiestructurada que surgió del examen de la literatura y del marco conceptual. Para este estudio de caso, se utilizó como base el modelo de una guía previamente utilizada durante la investigación sobre la sostenibilidad de las intervenciones en Haití (Ridde, Pluye y Queuille 2006). Sin embargo, para corresponder mejor al marco conceptual, este modelo tuvo que ser adaptado con la incorporación, eliminación y modificación de ciertas cuestiones.

Esta guía de entrevistas tiene cinco secciones relacionadas con los diferentes determinantes del marco y permite recopilar información relacionada con diferentes acontecimientos críticos también vinculados al proceso de sostenibilidad. Las preguntas eran abiertas y permitían reunir un máximo de información relacionada con los temas tratados. Dado que la guía que sirvió de modelo se había utilizado en Haití, hubo que adaptarla al contexto maliense (Ridde, Pluye y Queuille 2006). Esta adaptación se hizo en dos etapas, primero a través de un colega maliense y luego durante una visita sobre el terreno en la que se probó la guía con posibles participantes. Posteriormente, se hicieron modificaciones en el vocabulario, el orden de las preguntas, la complejidad de ciertos conceptos, etc. La guía se adaptó, por tanto, a las necesidades de los participantes. Este paso de adaptar la guía de entrevistas es esencial para una recolección efectiva de datos.

Muestreo

En aras de la exhaustividad, se seleccionó una amplia variedad de centros de salud como lugares de recolección, con el apoyo de personas que trabajan en los CSREF. Para garantizar esta exhaustividad se utilizaron varios criterios de selección: sitios con alta o baja asistencia, en zonas urbanas o rurales, y con particularidades en cuanto a su ubicación. Para garantizar la obtención de datos ricos y pertinentes, también se dio prioridad a los sitios con baja rotación de personal, acceso físico seguro y un mayor número de compras por FBR. En total, la muestra de sitios incluye tres centros de salud en cada uno de los distritos de Dioila y Fana de un total de 26 posibles, así como los dos CSREF respectivos.

En cuanto a los participantes, se utilizaron dos tipos de muestreo. El primero fue razonado y estratificado y subrayó las diferencias entre los participantes y la exhaustividad de los puntos de vista (Palinkas y otros, 2015). El criterio de inclusión en el estudio fue la participación en el proyecto, y los estratos fueron los diferentes papeles de los participantes: directivos (9), cuidadores (22), miembros de la COHA o consejo de la zona (9), y representantes locales (4). Los directores de los centros actuaron como especialistas en la selección de los participantes como autoridades de los diversos centros, facilitando el acceso de los participantes (Savoie-Zajc 2007). El otro tipo de muestreo se realizó mediante el método de bola de nieve, que consiste en obtener la ayuda de un participante para encontrar otro participante que nos ayude a encontrar otro participante, y así sucesivamente (Pires 1997). Este tipo de muestreo tuvo muchos participantes similares: personas que participaron en el diseño del proyecto, así como en su ejecución. Los participantes procedían de diversas organizaciones (Direcciones Nacionales y Regionales de Salud, SNV y KIT; cinco en total) y fueron seleccionados por recomendación de los agentes relacionados con el FBR que se habían reunido previamente. El muestreo final alcanzó un nivel de saturación de datos con un total de 49 entrevistas. La calidad del muestreo puede afirmarse por tres elementos: 1) la representatividad en número de la muestra en relación con la población objeto de estudio (por ejemplo, algunas centros de salud tenían menos de 10 empleados, mientras que el número objetivo de participantes en el estudio era de cinco por cada centro), 2) la participación de diferentes actores en la selección de los participantes (la cooperación entre los investigadores y los diversos actores sobre el terreno redujo el sesgo de selección), y 3) la exhaustividad de los grupos de actores (por ejemplo, el médico, la matrona, el gerente, el diseñador).

Recogida de datos

La fase de recogida de datos se llevó a cabo en dos etapas: del 22 al 29 de diciembre de 2015 y del 6 al 10 de febrero de 2016. Estas dos fases consistían en viajar (en autobús, motocicleta, carro, autostop, etc.) a los diferentes lugares que podían estar muy alejados (varios kilómetros de pistas de la carretera asfaltada) y reunir a un número máximo de participantes durante un período de uno a tres días. La segunda fase de la recolección fue más selectiva, ya que consistió en llegar a las diversas personas que no pudieron participar en la investigación en la primera fase. Los diversos contactos de estas personas que estaban ausentes o se sumaron a la toma de muestras de la bola de nieve se hicieron durante la primera fase de la recogida, lo que facilitó la concertación de citas y redujo el tiempo asignado a la recogida de datos.

Todas las entrevistas se grabaron con el consentimiento de los participantes y duraron desde menos de 30 minutos hasta más de 2 horas (± 1 hora y 15 minutos en promedio). La mayoría de las entrevistas se realizaron en francés, pero varios participantes optaron por realizarlas en bambara, el idioma local. Un intérprete acompañó al investigador y sirvió de puente entre el bambara y el francés. Es importante señalar que varios participantes pudieron realizar sus entrevistas en francés, pero con frases o segmentos completos en bambara. Por lo tanto, la presencia de un intérprete era necesaria en todo momento.

Estas entrevistas normalmente tenían lugar en el centro de salud, que era el lugar de trabajo de los participantes. Sin embargo, las entrevistas a menudo podían verse perturbadas por personas que saludaban al equipo de investigación, personas curiosas, ruidos de motocicletas, cacareos, etc., lo que era típico del contexto local y del lugar de trabajo, donde generalmente era difícil encontrar un lugar tranquilo para la entrevista.

También se realizó una búsqueda bibliográfica, ya que es importante que los datos recopilados mediante las entrevistas sean corroborados por documentos oficiales y viceversa, ya que las intervenciones suelen ser diferentes sobre el papel que en la realidad (Chambers, Glasgow y Stange 2013). Por lo tanto, se realizó un análisis documental a lo largo de todo el estudio. Se solicitó el acceso a cada uno de los documentos mencionados en las entrevistas, pero en realidad se recogieron muy pocos documentos debido al bajo nivel de archivo en los centros de salud y al temor a ser penalizado por ello, entre otras cosas.

Gestión, procesamiento y análisis de datos

Tras la recogida de datos, se transcribieron los audios de las entrevistas. Las entrevistas en Bambara fueron transcritas por un técnico de investigación, mientras que las de francés fueron transcritas por el investigador principal. Para verificar la integridad de cada transcripción, el investigador principal tuvo que releer todas las entrevistas francesas (30 de las 49 entrevistas) con la grabación. Las grabaciones de audio, así como las transcripciones literales, se grabaron en un sistema de almacenamiento e intercambio de información en línea en formato electrónico. Por lo tanto, los equipos de investigación de Malí y Quebec tuvieron acceso a esta información.

Todas las palabras fueron codificadas usando el software ©QDA Miner. La codificación con este programa informático consistía en asignar temas (por ejemplo, la adaptación, los procedimientos, etc.) a segmentos diferentes de las palabras, las frases y los párrafos. Este proceso de abstracción de datos (que pasa de lo empírico a lo teórico) está estructurado por un árbol de códigos que se basa en el marco conceptual. El árbol de códigos también fue revisado por pares para asegurar la presencia de cada elemento del marco conceptual.

En cuanto al análisis, se utilizaron dos tipos de análisis: el análisis de concordancia (la asociación del marco conceptual con la literalidad) y la elaboración de una explicación mediante el análisis inductivo e iterativo de los datos que permite el surgimiento de diferentes temas (Contandriopoulos y otros, 1990; Yin 2013). El análisis de coincidencia se realizó sobre la base de los diferentes temas que se habían codificado. Para cada componente del marco conceptual se propusieron elementos empíricos que ilustraban la situación en Malí (por ejemplo, la incomprensión de ciertos términos médicos ilustra el uso de un lenguaje inapropiado). También se señalaron las lagunas entre el marco conceptual y los elementos empíricos, que fueron las principales conclusiones de la investigación. A continuación, se elaboró una explicación del fenómeno de la sostenibilidad mediante un análisis iterativo e inductivo de los datos. Varios elementos hicieron posible este tipo de análisis, entre ellos la división de la recogida de datos en dos fases: en primer lugar, se efectuó una escucha y transcripción de las grabaciones previamente a la vuelta al campo. Esto hizo posible el poder refutar o confirmar las hipótesis durante una segunda fase de la recogida de datos. Por tanto, la escucha de las grabaciones, la relectura de las notas tomadas durante las entrevistas, la codificación de las notas literales, la creación de tablas de resumen por centro de salud y por tipo, y la creación de una lista de los datos recogidos, se llevó a cabo en dos fases de recogida.

La escucha de los audios, la relectura de las notas de las entrevistas y la presentación los resultados preliminares son actividades que han permitido apropiarse mejor de los datos y analizar mejor los diversos aspectos en estudio. También se pudo hacer una explicación inductiva a través de los diversos temas (fuera del marco conceptual) que se añadieron al árbol de códigos durante la etapa de codificación.

Resumen de los resultados

Los resultados del estudio se derivan de las diferentes etapas de la recogida de datos. Para mayor claridad, los resultados se compararon con el marco conceptual y los temas añadidos (Seppey et al. 2017). Llegamos a la conclusión de que el proyecto del FRB en Malí tenía un bajo nivel de sostenibilidad ya que, según nuestra evaluación, pocas actividades se “rutinizaron” después de dos años de la finalización de la intervención, que era uno de los factores determinantes de la sostenibilidad. Además, la continuidad de las actividades de la FBR que habían perdurado no estaban aseguradas a corto plazo debido a la inestabilidad de los recursos, la falta de participación de diversos agentes o la ausencia de beneficios claros para ellos. En cuanto a la sostenibilidad, varias fases fueron insuficientes o inexistentes, como la planificación y la evaluación. Para varias partes interesadas, la sostenibilidad de la intervención se logró mediante la ampliación de la escala, que es, sin embargo, un proceso totalmente diferente. Los rumores de que el Banco Mundial asumiría la responsabilidad de ampliar el proyecto parecieron haber eclipsado la planificación de la sostenibilidad del proyecto de marcos reguladores que se estaban llevando a cabo. El proceso de sostenibilidad también se vio fuertemente influenciado por la falta de recursos estables para sostener la intervención. Al final de la financiación del proyecto, varias actividades no pudieron continuar. Por ejemplo, no se contó con recursos para la supervisión externa, se abandonaron varias normas y procedimientos del FBR por considerarse demasiado exigentes o innecesarios.

Análisis reflexivo

Fortalezas y debilidades

El punto fuerte de este estudio sobre la sostenibilidad es la utilización de un marco conceptual que ha permitido una comprensión más sistémica y amplia del fenómeno. En el caso de la evaluación de un fenómeno complejo, nos parece indispensable utilizar ese marco para no ocultar ciertas dimensiones que podrían afectar a los resultados del estudio. Este marco también permitió estructurar mejor toda la investigación, desde la construcción de la guía de entrevistas hasta la redacción del informe final. El uso de un marco durante el análisis puede parecer muy deductivo, pero no impide el uso de un análisis inductivo que permita que surjan diferentes temas (Blais y Martineau 2006).

Una limitación de esta evaluación podría ser la ausencia de otros métodos de recogida de datos, como la observación, para validar cierta información recopilada durante las entrevistas. Por ejemplo, habría sido interesante observar las diferentes atenciones ofrecidas así como las diferentes prácticas de los centros para compararlas con los relatos de los servicios mencionados durante las entrevistas. Podrían haberse planteado varias discrepancias entre lo que se comunicó y lo que se observó. Esto puede explicarse por el hecho de que la mayoría de los participantes se encontraban en una situación de conflicto de intereses, ya que se habían beneficiado directa o indirectamente del proyecto (a través de las primas del proyecto o de un empleo remunerado relacionado con el proyecto FBR). Esta situación se reflejó en los datos, que pueden sobrestimar los efectos y la sostenibilidad del proyecto u ocultar los aspectos negativos o insostenibles del mismo, aunque los resultados muestran en general lo contrario. Si se adoptara un método de recogida de datos más orientado al discurso (entrevistas), los participantes podrían tener una mayor propensión a responder favorablemente a las preguntas relacionadas con el proyecto. Las observaciones realizadas durante y después del proyecto FBR habrían permitido ver efectivamente los diferentes efectos del proyecto FBR y su sostenibilidad.

Cuestiones de aplicación de la evaluación

Algunos otros elementos pueden constituir tanto limitaciones como apoyos para la evaluación. Dado que el investigador era un toubabou (nombre común de un hombre blanco) de fuera del contexto del estudio que quería discutir el tema del FBR, una proporción significativa de los participantes lo consideraron un individuo vinculado al FBR y capaz de reintroducir el proyecto. Esta preconcepción del papel del investigador puede haber tenido un impacto negativo en los datos, ya que casi todos los participantes pidieron al final de la entrevista volver al proyecto. A pesar de las estrategias puestas en marcha para reducir este sesgo, los participantes seguían siendo objeto de deseabilidad social (Savoie-Zajc 2016). Antes de cada entrevista, se aclaró el papel del investigador y los objetivos del estudio y se hizo hincapié en la independencia del estudio del proyecto FBR. Si los participantes parecían estar hablando específicamente a favor del proyecto FBR, se les recordó que debían aclarar los objetivos del estudio.

Por otra parte, la edad y el enfoque del investigador pueden haber facilitado la entrada en el campo. Al ser más joven que casi todos los participantes entrevistados y utilizar medios de transporte (autostop, motocicletas, autobuses o a pie) y alojamiento básico (tiendas, salas de hospital, salas de visita), el equipo de investigación (el intérprete y el investigador principal) a menudo se ganaron la simpatía de las personas de los centros de salud. Esto ciertamente permitió una mejor disponibilidad y disposición de los participantes, así como un cierto nivel de comodidad con el equipo de investigación. El uso de Bambara por el investigador principal durante el contacto y las conversaciones informales también permitió potencialmente una mejor relación de confianza con los participantes.

Lecciones aprendidas

En el presente estudio sobre la sostenibilidad se pueden señalar dos lecciones importantes sobre la forma de realizar la labor de evaluación. En primer lugar, este estudio destaca la importancia de la adaptación al contexto, que es tan importante para la sostenibilidad de una intervención como para un proyecto de investigación. Por ejemplo, en el caso de esta evaluación de la sostenibilidad, el lenguaje utilizado para las entrevistas podría ser a veces inapropiado, a pesar de la validación previa de la guía sobre el terreno. Las respuestas muy cortas y siempre positivas de algunos participantes podrían explicarse por una mezcla de deseo de complacer y una posible malinterpretación en el que sin duda influyó el bajo nivel de educación de algunos participantes. Las formulaciones también podrían estar mal adaptadas. Por ejemplo, en el contexto de Malí se considera que la “capacitación” es una actividad formal que generalmente termina con un certificado o diploma, lo que no era el caso del investigador. Por lo tanto, se hace esencial aclarar los posibles malentendidos y equívocos. Esto puede facilitarse mediante la intervención de un intérprete bien capacitado en el tema que se estudia o mediante la elección de un vocabulario adaptado a cada participante. Tan pronto como surjan dudas sobre una posible confusión, el investigador deberá aclarar la situación y tomar nota de esta nueva información en las entrevistas posteriores. Por lo tanto, el instrumento de recogida debe adaptarse constantemente, tanto la guía de la entrevista como el propio equipo de investigación en términos de vocabulario y comportamiento.

Desde una perspectiva más general, la logística de una evaluación de salud global suele requerir mucha flexibilidad y adaptabilidad debido a circunstancias imprevisibles (averías en el transporte, enfermedades, pérdida de redes de comunicación, etc.). Sin embargo, esto puede mitigarse mediante una planificación cuidadosa de la labor que debe realizarse y el tiempo que debe asignarse a ella. Planificar un día para hacer 90 km de transporte puede parecer muy fácil, pero cuando se suman las averías de los autobuses, las paradas frecuentes, los controles de carretera, etc., el día se acaba rápidamente. La programación de demasiadas reuniones en un día también puede ser problemática, ya que pueden producirse ausencias, aplazamientos o invitaciones a diversos eventos no planificados. Por lo tanto, es esencial tomar y planificar el tiempo “libre” para aprovechar al máximo las diversas oportunidades o inconvenientes. Dividir su estudio en diferentes momentos también puede ayudarle a reunir más información (por ejemplo, planear un segundo intervalo de tiempo para reunirse con los participantes ausentes o añadidos) e iniciar el proceso de análisis antes. Así pues, una primera fase de análisis puede permitir al investigador volver a los distintos actores y obtener respuestas a las primeras preguntas. El proceso iterativo de análisis permite reunir una información más rica y validar las numerosas hipótesis preliminares.

Referencias claves

Sitio web http://www.etudiantsetdeveloppement.org/article/comment-assurer-la-perennite-de-votre-projet-de-si 

Este sitio fue creado por una red francesa de Estudiantes y Desarrollo que promueve la transferencia de conocimientos en relación con el desarrollo entre pares. Además de la sostenibilidad, se presentan varios temas relacionados con el desarrollo.

Sitio web https://evalorix.com/boutique/innovations-en-sante/evaluation-perennite-programmes-sante-publique/

Evalorix.com es un sitio donde encontrará una multitud de herramientas para mejorar las prácticas en la salud y otros campos. Aquí puede encontrar herramientas de evaluación relacionadas con la sostenibilidad.

Ridde, V., Pluye, P. et Queuille, L. (2006). Évaluer la pérennité des programmes de santé publique : un outil et son application en Haïti. Revue d’Épidémiologie et de Santé Publique, 54, 421-431.

Este artículo es un ejemplo de un estudio de caso sobre la evaluación de la sostenibilidad de una intervención sanitaria. La guía de entrevistas que se proporciona al final de este artículo se utilizó para el estudio de casos en Malí.

Blais, M. et Martineau, S. (2006). L’analyse inductive générale : description d’une démarche visant à donner un sens à des données brutes. Recherches Qualitatives, 26(2), 1-18.

Este artículo ofrece una introducción muy concreta a lo que es el análisis cualitativo (y más específicamente el análisis inductivo). El artículo aclara las diferentes etapas del análisis inductivo y presenta un resumen de otros tipos de análisis.

Brouselle, A., Champagne, F., Contandriopoulos, A.-P. et Hartz, Z. (2011). L’évaluation : concepts et méthodes. Montréal : Les Presses de l’Université de Montréal.

Este libro presenta una diversidad de evaluaciones que pueden ser utilizadas en diferentes contextos. Por lo tanto, cada tipo de evaluación se explica con sus objetivos, los elementos evaluados, el proceso de evaluación, etc.

Referencias

Audibert, M. et de Roodenbeke, E. (2005). Utilisation des services de santé de premier niveau au Mali : analyse de la situation et perspectives. Banque Mondiale, Région Afrique, Département du Développement Humain.

Blais, M. et Martineau, S. (2006). L’analyse inductive générale : description d’une démarche visant à donner un sens à des données brutes. Recherches Qualitatives, 26(2), 1-18.

Chambers, D., Glasgow, R. et Stange, K. (2013). The dynamic sustainability framework: addressing the paradox of sustainment amid ongoing change. Implementation Science, 8 (1), 117.

Contandriopoulos, A.-P., Champagne, F., Potvin, L., Denis, J.-L. et Boyle, P. (1990). Savoir préparer une recherche : la définir, la structurer, la financer. Montréal: Presses de l’Université de Montréal.

Johnson, K., Hays, C., Center, H. et Daley, C. (2004). Building capacity and sustainable prevention innovations: a sustainability planning model. Evaluation and Program Planning, 27(2), 135-149. doi:http://dx.doi.org/10.1016/j.evalprogplan.2004.01.002

Lamoureux, A. (2003). Recherche et Méthodologie en Sciences Humaines (2^e éd.). Laval: Éditions Études Vivantes.

Ministère de la Santé du Mali. (2012). Carte sanitaire du Mali mise à jour – 2011 : Rapport de synthèse. edited by Secrétariat Général. s.l.

Moullin, J., Sabater-Hernandez, D., Fernandez-Llimos, F. et Benrimoj, S. (2015). A systematic review of implementation frameworks of innovations in healthcare and resulting generic implementation framework. Health Research Policy and Systems, 13 (1), 16.

Observatoire africain de la santé. (2014). État de santé et tendances.
http://www.aho.afro.who.int/profiles_information/index.php/Mali:Health_Status_and_Trends/fr

Palinkas, L. A., Horwitz, S. M., Green, C. A., Wisdom, J. P., Duan, N. et Hoagwood, K. (2015). Purposeful Sampling for Qualitative Data Collection and Analysis in Mixed Method Implementation Research. Administration and Policy in Mental Health and Mental Health Services Research, 42(5), 533-544.
doi:10.1007/s10488-013-0528-y

Pires, A. (1997). Échantillonnage et recherche qualitative : essai théorique et méthodologique. La recherche qualitative. Enjeux épistémologiques et méthodologiques, 113-169. Montréal: Gaëtan Morin.

Pluye, P., Potvin, L. et Denis, J.-L. (2004). Making public health programs last: conceptualizing sustainability. Evaluation and Program Planning, 27(2), 121-133.
http://dx.doi.org/10.1016/j.evalprogplan.2004.01.001

Ridde, V., Pluye, P. et Queuille, L. (2006). Évaluer la pérennité des programmes de santé publique : un outil et son application en Haïti. Revue d’Épidémiologie et de Santé Publique, 54(5), 421-431.
http://dx.doi.org/10.1016/S0398-7620(06)76740-2

Savoie-Zajc, L. (2007). Comment peut-on construire un échantillonnage scientifiquement valide?. Recherches qualitatives, 99-111(5).

Savoie-Zajc, L. (2016). L’entrevue semi-dirigée. Dans B. Gauthier et I. Bourgeois (dir.), Recherche sociale : de la problématique à la collecte des données (6^e éd., p. 337-364). Québec : Presses de l’Université du Québec.

Secrétariat général du Ministère de la Santé du Mali. (2009). PRODESS II prolonge 2009 2011 : Composante santé.

Seppey, M., Ridde, V., Touré, L. et Coulibaly, A. (2017). Donor-funded project’s sustainability assessment: a qualitative case study of a results-based financing pilot in Koulikoro region, Mali. Globalization and health, 13(1), 86.

Syll, O. (2005). La décentralisation en Afrique subsaharienne : Mali (Mémoire de maîtrise). Besançon: Université de Franche-Comté.

Toonen, J., Dao, D., Matthijssen, J. et Koné, B. (2014). Évaluation finale : accélérer l’atteinte de l’OMD 5 dans la région de Koulikoro – Projet pilote financement basé sur les résultats dans les cercles de Dioïla et Banamba. Amsterdam: Institut Royal Tropical.

Toonen, J., Koné, B. et Dao, D. s.d. Le Financement Basé sur les Résultats (FBR) au Mali. KIT.

United Nations Development Programme. (2015). Human Development Reports.
http://hdr.undp.org/en/countries/profiles/MLI

United Nations Statistics Division. (2016). Country Profile: Mali.
http://data.un.org/CountryProfile.aspx?crName=Mali.

Yin, R.K. (2013). Case Study Research: Design and Methods. Thousand Oaks: Sage Publications.

Resumen / Résumé / Abstract / Resumen en bambara

Le financement basé sur les résultats (FBR) est un type de réforme du financement du système de santé très populaire en Afrique. Plusieurs projets pilotes sont mis en œuvre dans le but d’offrir plus de soins de santé ainsi que d’en améliorer la qualité. Cependant, la pérennisation de ce type d’intervention en Afrique a encore été trop peu étudiée. Ce chapitre explique donc comment la pérennité de cette intervention a été évaluée au moyen d’une méthodologie qualitative. En lisant ce chapitre, on pourra mieux comprendre le processus de recherche qui a été mis en œuvre grâce à sa présentation exhaustive, de la première étape (ex. : la réalisation d’une revue de la littérature) jusqu’à la dernière (ex. : l’attribution du niveau de pérennité de l’intervention). Une section plus réflexive permet aussi aux lecteurs et lectrices de s’immiscer davantage dans l’expérience des chercheurs en ayant une meilleure compréhension des défis rencontrés (tant méthodologiques que professionnels) et des leçons apprises.

***

Results-Based Financing (RBF) is a new type of health financing reform that is very popular in Africa. Several pilot projects are being implemented on this continent, and elsewhere, to provide better and more health care services. However, too little research has been done on the sustainability of this type of intervention in Africa. This chapter explains how this intervention was evaluated, through the concept of sustainability, and following a qualitative methodology. By reading this chapter, we will be able to better understand the research process that has been carried out thanks to its exhaustive presentation, from the first step (e.g. the completion of a review of the literature) to the last (e.g. the attribution of the level of sustainability of the intervention). A more reflexive section also allows readers to become more involved in the researcher’s experience by having a better understanding of the challenges encountered (both methodological and professional) and the lessons that they have learned.

***

Resumen en Bambara, traducido por Ahamadou Diakité y Mahamadou Diabaté, a quienes agradecemos.

Nafolo ko mi siysin né do diabi sᴐrᴐlila (FBR) yé nafolo taabolo kura yé mi maakadi keneya kan farafina kᴐnᴐ. Poroje kuntiléna ciaman be sékan walassa ka sé ko furakeli lagini boηan ka yԑlԑ mali do a la ani ka kԑcioηoya ηuma kԑ o hokumu kᴐnᴐ taabolo bilali sé kan kuolaye farafina kᴐnᴐ kalan ciamaba ma a siηi sé kan o la. Ni Bolofara ηinfoli ba yira ciokodi taabolo kudayi diatemilԑli kԑra ni baara minԑ, ηinini taabolo bᴐlé yuman na. Ni Bolofara kalan ni na, ηinini taabolo fouamu bibali la sé kan sannan yԑlin yirali la ni kalan biolo folonηi (Misali la : o ηafé sebeni waleyali la) fo lavan (Misali la : taabolokudayi diaté dero dili la). Hakilina baara bolodali boyan k ata a fԑ ki sé do a ko la kᴐsᴐbԑ ηinini kela yé dᴐniya mi sᴐrᴐ ηeleya minounou yéra faamu cioko yuman na (kaata o kalan taabolo ni o baara taabolo) ani fouamu mi sᴐrᴐ la kᴐnᴐ.

***

Mathieu Seppey descubrió el mundo de la investigación después de pasar un tiempo efectuando ayuda humanitaria. Fue cuando vio diferentes problemas en el “campo” cuando sintió la necesidad de efectuar investigación y la importancia de comprender mejor los diferentes mecanismos que se activan por los diversos proyectos o programas de intervención. Por lo tanto, Mathieu volvió a la escuela para comprender mejor las intervenciones realizadas en todo el mundo, y más concretamente en el África occidental. Mientras desarrollaba una maestría en administración de la salud, viajó a Malí para comprender mejor estos mecanismos, especialmente los de la sostenibilidad de un proyecto de financiación basado en los resultados (tema de su tesis). Hoy en día, continúa su investigación doctoral, su tesis es sobre la definición de la sostenibilidad de las intervenciones sanitarias.

Valéry Ridde es Director de Investigación en el CEPED, una Unidad Conjunta de Investigación asociada a la Universidad de París Descartes y al Instituto de Investigación para el Desarrollo (IRD). Es investigador habitual del Institut de recherche en santé publique de l’Université de Montréal (IRSPUM) e investigador asociado del Centre interdisciplinaire de recherche en développement international et société (CIRDIS) de Montreal. Es editor asociado de las revistas BMJ Global Health y Global Health Promotion, miembro del consejo editorial del Canadian Journal of Program Evaluation y Qualitatif! Revue africaine de sciences sociales. Su investigación se centra en la cobertura universal de la salud, la financiación de los servicios de salud, la evaluación de programas, las políticas de salud pública y la promoción de la salud.

Cita

Mathieu Seppey y Valéry Ridde (2020). La evaluación de la sostenibilidad. Una intervención de financiación basada en los resultados en Malí. En Evaluación de las intervenciones sanitarias en salud global. Métodos avanzados. Bajo la dirección de Valéry Ridde y Christian Dagenais, pp. 43-65. Québec: Éditions science et bien commun y Marseille: IRD Éditions.