19 Evaluación realista

La elección de la estrategia para formular la teoría del programa inicial depende de la naturaleza de la intervención, la amplitud de los conocimientos del evaluador sobre el tema, los objetivos de la evaluación, los recursos disponibles y la naturaleza de los productos prioritarios que se esperan de la evaluación. Usar una combinación de los diferentes enfoques es el modelo ideal.

Etapa 3 del Ciclo de Evaluación Realista: Selección del Diseño del Estudio

La evaluación realista no impone ninguna estimación de estudio. Esta elección depende principalmente de las cuestiones que se están considerando y de los supuestos que conforman la teoría del programa original. Sin embargo, es esencial utilizar especificaciones que permitan modelos de inferencia configurables, no modelos de inferencia basados en variables (Van Belle et al. 2016). En relación con las preguntas de evaluación, la evaluación realista utiliza con mayor frecuencia metodologías mixtas, combinando métodos cuantitativos y cualitativos en diversos grados para responder a las preguntas de estudio (Ridde y Dagenais 2012).

Etapa 4 del ciclo de evaluación realista: Recopilación de datos

La recopilación de datos se hace de acuerdo con los métodos elegidos para cualquier evaluación. Hay una forma especial de entrevista cualitativa llamada “entrevista realista”. En este enfoque, el investigador comparte su teoría con los interesados y les pide su opinión sobre las diversas hipótesis así enunciadas. Al hacerlo, el investigador da su teoría a los entrevistados que comparten con él los elementos de su teoría según el principio “Dame tu teoría y yo te daré la mía”. Esta técnica no es una prescripción absoluta.

Etapa 5 del ciclo de evaluación realista: Análisis de los datos

El analista realista identifica los mecanismos de los datos empíricos mediante la argumentación inductiva o deductiva y formula por retroducción los vínculos implícitos entre las condiciones contextuales y los mecanismos por los que es probable que se expliquen los resultados observados.

La retroducción (o abducción) es un modo de razonamiento para el descubrimiento, distinto de la inducción y la deducción. Se parte de los resultados y de las pruebas contextuales observables para formular explicaciones plausibles. Por consiguiente, el proceso de análisis realista puede adoptar la siguiente forma: en lo que respecta a los resultados R, en presencia de los agentes A y los elementos contextuales C1, C2 y C3, estos resultados sólo pueden observarse si existe un razonamiento o una reacción de los agentes (mecanismo subyacente M) acerca de los recursos proporcionados por la intervención I. La identificación de estos agregados de Intervención-Contexto-Actor-Mecanismo de Resultados (ICAMO) (Marchal et al., 2018) es el trabajo esencial del analista realista.

La teoría del programa guía al analista realista que también se asegura de estar abierto a nuevas explicaciones que surgen de los datos. Los pasos clave del proceso de análisis son: 1) identificación de los resultados, 2) descripción de la intervención en términos de contenido, lugar, tiempo e intensidad, 3) identificación de los actores involucrados o no en el diseño y la implementación, 4) identificación de los vínculos implícitos entre las prácticas en torno a la intervención y los resultados observados (los mecanismos), 5) identificación de las características del contexto y su influencia diferencial en el desencadenamiento de los mecanismos y, por lo tanto, en los resultados, y 6) búsqueda activa de explicaciones alternativas. Estos pasos deberían permitir identificar los elementos de las configuraciones de ICAMO.

Para el análisis de los datos cualitativos deben respetarse criterios de calidad como el análisis iterativo, acumulativo, adaptativo y reflexivo (Teddlie y Tashakkori, 2009).

Etapa 6 del Ciclo de Evaluación Realista: Síntesis

Las configuraciones se sintetizan entonces de forma narrativa o gráfica. La formulación narrativa puede adoptar la estructura básica: en un contexto C, se observa un resultado R si un mecanismo M es activado en los actores A por la intervención I.

En la síntesis, los mecanismos y sus condiciones de ejercicio destacados se confrontan con la teoría del programa inicial, que se reformula así sumando las hipótesis pertinentes que faltan. Las hipótesis invalidadas pueden ser reformuladas negativamente o eliminadas. En el enfoque metodológico, sugerimos en esta etapa presentar en la primera columna de un cuadro las hipótesis de la teoría del programa inicial y en la segunda columna la nueva formulación de esas hipótesis poniendo de relieve las alteraciones de perfeccionamiento realizadas. Se trata de una buena práctica recomendada en el Informe de Evaluación Realista (Wong et al. 2014). La síntesis de este ciclo se puede informar en una figura como la que se muestra en la figura 2 al final de este capítulo.

Aplicando el enfoque de evaluación realista

Para evaluar de manera realista la adopción de la política de cesáreas gratuitas en los hospitales de Benin pueden ser necesarios varios ciclos, en los que cada ciclo explica con mayor detalle uno o más aspectos de las variaciones en la adopción de la política de un hospital a otro. Los ciclos subsiguientes también pueden adaptarse a medida que surjan cuestiones de los ciclos anteriores. El ejemplo que se presenta aquí se centra en un ciclo.

Etapa 1 del Ciclo de Evaluación Realista: La cuestión de la investigación

Para la evaluación de la aplicación de la política de cesáreas gratuitas en Benin, la pregunta de investigación fue la siguiente: ¿Cómo, por quién y en qué circunstancias se adoptó la política de cesáreas gratuitas en Benin en los hospitales y por qué?

Etapa 2 del Ciclo de Evaluación Realista: Teoría del Programa Inicial

Para desarrollar la teoría inicial del programa para la política en estudio, realizamos una revisión bibliográfica no sistemática que se centró en las teorías, los marcos analíticos y los modelos con más probabilidades de responder a la pregunta de investigación de forma aislada o de forma complementaria y coherente. La selección de las publicaciones siguió la estrategia de “recolección de bayas” (Booth 2008). Este enfoque iterativo y flexible comienza con una pregunta de búsqueda de literatura. El investigador realiza una búsqueda bibliográfica, selecciona un primer conjunto de artículos pertinentes a la cuestión de la investigación, analiza los conocimientos de esas publicaciones, formula otra pregunta más refinada sobre el mismo tema, realiza otra recopilación de datos, y así sucesivamente, hasta que se identifica una cuestión de investigación definitiva, coherente y complementaria (Booth 2008).

Este enfoque iterativo y flexible comienza con una pregunta de búsqueda de literatura. El investigador realiza una búsqueda bibliográfica, selecciona una primera serie de artículos pertinentes a su pregunta, analiza los conocimientos derivados de esas publicaciones, formula otra pregunta más refinada sobre el mismo tema, procede a otra recopilación de datos, y así sucesivamente, hasta llegar a un conocimiento sintético que satisfaga pragmáticamente sus necesidades de conocimiento.

Por lo tanto, comenzamos a seleccionar publicaciones en la literatura sobre políticas de atención de la salud materna exentas de pago en el África subsahariana. Encontramos una relativa falta de publicaciones que desarrollen teorías, marcos analíticos o modelos relevantes (Ridde y Olivier de Sardan 2016). Por lo tanto, decidimos ampliar nuestra investigación al campo más amplio de la aplicación y gestión de políticas públicas.

Cabe señalar que esta evaluación se llevó a cabo en el marco del estudio FEMHealth, que es una evaluación multinacional en la que los interesados se encuentran en diferentes niveles de la pirámide de la salud. Pensamos que una buena teoría de programa inicial en tal contexto de evaluación debería:

• tener una arquitectura básica lo suficientemente amplia como para permitir la recolección estructurada de los diferentes niveles de la pirámide de la salud y de los diferentes grupos de interesados
• ser fácil de entender y comunicar, de modo que pueda estructurar fácilmente el pensamiento, los debates y los conocimientos generados con múltiples interesados a nivel nacional.

Este proceso dio lugar a la selección de tres publicaciones clave (Berman 1978, Matland 1995 y Elmore 1979) que sirvieron de base para el desarrollo de la teoría del programa inicial. Esas publicaciones tenían por objeto explícitamente la elaboración de modelos para la aplicación de políticas públicas y cumplían los requisitos establecidos anteriormente en relación con el contexto de la evaluación. La teoría del programa inicial resultante fue formulada narrativamente como sigue (Recuadro 1).

Recuadro 1. Teoría del programa inicial que explica las variaciones en la adopción de políticas de salud de una estructura de implementación a otra

Un programa de salud es adoptado a nivel operacional por los administradores locales que se encargan de aplicarlo y que pueden hacerlo de manera variable. Los factores personales, así como los factores contextuales locales, desempeñan un papel, pero también son importantes otros elementos a nivel de políticas, a nivel de su traducción en un programa y a nivel de la comunidad. Hay tres escenarios posibles en la adopción de un programa por parte de los administradores locales. El primer escenario es la decisión de adoptar y aplicar el programa sin modificaciones. Esto es más probable si el programa se considera una extensión de los objetivos locales (alineación), es decir, si satisface las necesidades locales y proporciona los recursos necesarios. El segundo escenario es la adaptación (positiva) al contexto local; es probable que ocurra cuando los administradores locales estén convencidos de que el programa puede mejorarse. Esto también requiere que tengan la capacidad y la libertad de ajustar el programa a la situación local. Ese ajuste puede dar lugar a mejores resultados en la aplicación de políticas. La tercera hipótesis es la desviación de programas; esto puede ocurrir si el programa se considera un medio de crear oportunidades personales u organizativas y si hay poco “apoyo” para su ejecución y poca contrapresión local. El escenario real final depende de la presión local, pública y política (lo que a su vez requiere que los representantes de la comunidad conozcan la política y dispongan de canales efectivos para ser escuchados), y del compromiso personal de los gestores locales. La aplicación sostenible requiere la institucionalización a nivel local. En el plano normativo, son factores influyentes la participación de los administradores y los beneficiarios en el proceso de adopción de decisiones y la medida en que se definen claramente los objetivos de las políticas y los grupos destinatarios. Entre los factores a nivel de los programas figura la existencia de instrucciones operacionales claras (incluida la determinación de los objetivos de política, los grupos destinatarios, las disposiciones prácticas para la aplicación del reembolso, etc.). Si se abordan adecuadamente las cuestiones relativas a los trabajadores de la salud, como la compensación por la pérdida de ingresos, la capacitación, la (re)distribución, etc., es más probable que se adopte y aplique el programa. Pasar de un nivel del sistema a otro puede cambiar la política: Un buen consenso sobre los objetivos, los grupos destinatarios y las modalidades de aplicación (bajo nivel de ambigüedad y conflicto) puede facilitar la transición de un nivel del sistema a otro si cada nivel cuenta con la capacidad y los recursos necesarios. Una débil capacidad de vigilancia y aplicación puede conducir a una aplicación simbólica si existe un fuerte sentido de profesionalismo (dependiendo de la voluntad de los profesionales locales). Si no hay consenso sobre los objetivos, los grupos destinatarios y las modalidades de aplicación, la política puede enredarse en conflictos de poder o transformarse a nivel local.

Etapa 3 del Ciclo de Evaluación Realista: El Diseño del Estudio

Elegimos la cita del estudio de caso integrado (Yin 2003) que se adapta bien a situaciones complejas (Marchal 2013). El objetivo de la fase de elaboración de instrumentos y de recogida de datos era reunir de manera óptima datos empíricos que permitieran formular conclusiones de configuración. Adoptamos un método mixto simultáneo y anidado (concurrente anidado) con un componente cuantitativo más pequeño integrado en un estudio predominantemente cualitativo. Los componentes de la teoría del programa guiaron el desarrollo de esta herramienta.

Se consideró que la aplicación de la política de cesáreas gratuitas a nivel nacional era el estudio de caso. La elección de las unidades de análisis se hizo de manera razonada para poder “probar” las hipótesis expresadas por la teoría del programa inicial. Se seleccionaron como unidades de análisis dos hospitales con resultados contrastados en la aplicación de políticas (Caso 1 y Caso 2 de la Figura 1).

Etapa 4 del Ciclo de Evaluación Realista: Recolección de datos

Combinamos una revisión de la literatura con la extracción de datos cuantitativos, entrevistas semiestructuradas, un estudio de costos y el seguimiento de los flujos financieros para responder a una serie de preguntas intermedias que pretendían contribuir a la respuesta de la pregunta central. En el cuadro siguiente se presentan las fuentes de datos y los instrumentos para los estudios de casos.

Tabla 2 : Fuentes de datos, técnicas de recopilación y muestra por unidad de análisis

Fuentes de datos	Técnicas	Caso 1: Hospital privado de base religiosa	Caso 2: Hospital público
Gestores de salud locales	Entrevistas semiestructuradas	4	4
Los administradores de hospitales y los proveedores de atención médica	Entrevistas semiestructuradas	15	8
Representantes de la comunidad en los comités locales de salud	Entrevistas semiestructuradas	6	3
Mujeres embarazadas a las que se dirige la política	Entrevistas semiestructuradas	6	6
	Encuestas de producción	28	17
Informes sobre la política y diversos documentos contables en el Organismo Nacional de Cesáreas Libres y en las estructuras de ejecución	Vigilancia de los estados financieros	1	1
Datos del Sistema de Información de Salud, proveedores de atención de salud y administradores locales de salud	Revisión de la literatura con extracción de datos para estudios de costos	30	30
Implementación Entorno hospitalario	Observación no participante de las prácticas en torno a la política	1	1

La recogida de datos fue llevada a cabo por un equipo multidisciplinario de socio-antropólogos, economistas de la salud y médicos. Duró desde marzo de 2012 hasta septiembre de 2012.

Un elemento clave fue el estudio de las percepciones, experiencias y opiniones de los diversos interesados a todos los niveles: integró las observaciones preliminares realizadas con todos los demás instrumentos de manera iterativa, acumulativa, adaptable y flexible.

Las frecuentes interacciones dentro del equipo de recopilación permitieron integrar los datos pertinentes producidos por el equipo multidisciplinario con las diferentes técnicas de recopilación y adaptar la colección en consecuencia sobre la marcha.

Etapas 5 y 6: Análisis y síntesis

Los datos cualitativos fueron gestionados por el software NVIVO 10. Se importaron memorandos de recopilación, informes de análisis preliminares de otras técnicas, documentos de política, etc. en el programa informático para formar una única base de datos utilizada para el análisis. Los diversos componentes de la teoría inicial guiaron la codificación. El análisis se llevó a cabo de tal manera que también permitió la adición de nuevos códigos de manera inductiva.

Los análisis preliminares llevados a cabo en las diferentes disciplinas que participan en el estudio fueron importantes para el análisis realista en sí.

En la síntesis, los mecanismos e hipótesis así destacados se enfrentaron a la teoría inicial, que se reformuló añadiendo las hipótesis pertinentes.

Algunos resultados

En esta sección presentamos, de manera ilustrativa, algunos resultados de las diferentes etapas metodológicas. No se trata de resultados exhaustivos sobre el tema que se examina, sino de ejemplos para ilustrar el proceso y la forma en que podrían formularse los resultados de una evaluación realista.

Prácticas en torno a la adopción de la política por parte de los administradores de los hospitales

En el hospital privado religioso

En este hospital, de los ocho elementos del paquete de políticas, sólo el examen postoperatorio estaba totalmente exento. La tarifa media que pagaban los usuarios por una cesárea después de la puesta en marcha de la política era de 48 dólares [mín. 45 dólares; máx. 135 dólares], en lugar de ser completamente gratuita como se prevé en la política promovida por el gobierno.

Este hospital es propiedad de una organización religiosa que es propietaria de la infraestructura, nombra a los administradores, contrata al personal, valida el presupuesto, moviliza recursos externos para el funcionamiento del hospital cuando es necesario y controla la gestión. El hospital funciona principalmente sobre la base de los recursos internos movilizados mediante la recuperación de los costos de los pagos directos. La intervención del Estado en el funcionamiento del hospital es mínima. El Comité de Salud, el órgano local para la participación de la comunidad en el gobierno del sistema de salud local, casi nunca interviene en este hospital. La población está mal informada sobre la política de este hospital y no tiene un canal oficial para la información o las quejas.

El Decreto Nº 2008-730, de 22 de diciembre de 2008, por el que se estableció la Política, acreditó a este hospital para la aplicación de la Política tan pronto como se puso en marcha en abril de 2009. Sin embargo, los directores de este hospital no adoptaron y efectivamente comenzaron a ofrecer cesáreas gratuitas hasta septiembre de 2009. Los administradores indicaron que no confiaban en que el gobierno proporcionara reembolsos oportunos como se indica en los documentos oficiales de política. Los gestores justificaron esta desconfianza por sus experiencias anteriores con el gobierno, que les sigue debiendo, desde hace varios años, los recursos financieros exentos a los beneficiarios de la cobertura sanitaria parcial concedida a los funcionarios públicos. Los administradores comenzaron a aplicar la exención del pago de las cesáreas cuando se dieron cuenta de que los demás hospitales privados que aplicaban la política en realidad comenzaban a recibir reembolsos con regularidad y sin demasiada demora.

El estudio de costos demostró que el costo de producción medio (incluidos todos los costos directos) de una cesárea en este hospital religioso era de 44 dólares [mín. 37 dólares; máx. 69 dólares]. Las tarifas de los usuarios anteriores a la política eran de 163 dólares. Nuestra herramienta de seguimiento del flujo de efectivo mostró que hasta diciembre de 2011, este hospital fue reembolsado por todas las cesáreas realizadas. Los administradores consideraron que la suma fija de 178 dólares era insuficiente e injusta, pues creían que la tasa de reembolso de los hospitales no estatales debía ser más elevada que la de los hospitales estatales en los que las subvenciones públicas cubrían muchos gastos de funcionamiento. Por lo tanto, los gestores decidieron cobrar sistemáticamente a los usuarios 35 dólares por cesárea, además del reembolso recibido del gobierno.

 

En el hospital público

De los ocho artículos incluidos en el paquete de cesáreas gratuitas, cinco estaban totalmente exentos del costo de la atención en este hospital. El resto de la tarifa que se cobró a los usuarios fue de US$6,22 [US$0,1 min; máx. US$53,3].

Este hospital es propiedad del Estado, que lo construyó y lo equipó con recursos públicos. El gobierno paga una parte importante del personal y nombra a los directivos. La población está mejor informada sobre la política. Los usuarios utilizan varios canales, como las emisoras de radio comunitarias, para informarse sobre la política o para quejarse si es necesario.

Los gestores de este hospital adoptaron la política rápidamente y comenzaron a implementarla a la semana de su lanzamiento oficial. El director del hospital participó en el taller técnico en el que se elaboraron opciones de política en la fase de elaboración de políticas. Consideró que la política apoyaba su visión de aumentar el acceso financiero a los servicios para los usuarios de su hospital. Tomó medidas activas para facilitar su aplicación con éxito.

En este hospital, se consideraba que la tasa de reembolso cubría en gran medida el costo de la cesárea para el hospital. Los gestores que son funcionarios públicos se sintieron obligados a empezar a aplicar la política, como explicó un gestor:

El público ha sido ampliamente informado de que la cesárea es gratuita y es difícil decir ahora, que no voy a empezar a aplicar la política. Una mujer no puede venir y tú dices, hoy no hacemos cesáreas gratis, porque el director provincial de salud sabe que las cesáreas son gratis. Si una mujer se queja de que el centro le ha pedido que pague, como gestor, tendrá que explicar por qué. Gestor del Hospital Público, 2012

Algunas configuraciones causales en torno a la adopción se derivan de los resultados

Nuestro análisis de las prácticas declaradas en el hospital privado de base religiosa indica que, en este contexto, los gestores no tienen una relación administrativa jerárquica con el Estado, ya que las presiones de la población son demasiado débiles o están ausentes. En este contexto, la administración pública es percibida como lenta, poco creíble en el cumplimiento de sus compromisos financieros y despierta una actitud de desconfianza, a pesar de que la movilización de recursos de la prestación de cuidados es esencial para el funcionamiento del hospital. El pago directo es sistemático, está fuertemente arraigado en la cultura de la organización y se considera una medida crucial de la supervivencia de la organización. En este contexto, la política de exención del pago de los derechos de atención de salud (Intervención) es percibida por los administradores de los hospitales (Actores) como una amenaza para la supervivencia de los hospitales (Mecanismo) y, de hecho, un escenario no óptimo en la adopción de la política (Resultado).

El éxito de la adopción (Resultado) en este contexto requiere que se perciba que la política protege los intereses financieros de los hospitales o, en el mejor de los casos, que aporta un valor añadido financiero a los hospitales (Mecanismo), mediante el suministro de recursos más fácilmente recuperables, más abundantes o más regulares (Intervención).

En el contexto de los hospitales públicos, nuestro análisis muestra que es relativamente más probable que los administradores cumplan con las órdenes administrativas jerárquicas del Estado. La participación de la comunidad en la gestión de los hospitales es relativamente más importante, ya que las poblaciones están bien informadas sobre la política y tienen canales para expresar sus quejas. Esta doble presión, administrativa de arriba hacia abajo y comunitaria de abajo hacia arriba sobre los administradores de los hospitales (Actores) genera coerción (Mecanismo) que lleva a una mejor adopción de la política (Resultado).

Las inversiones estructurales del Estado antes de la iniciación de la política en el hospital público son más importantes que en el hospital privado (Contexto). En este contexto, el reembolso de la misma suma global por acto (Intervención) genera un sentimiento de injusticia (Mecanismo) entre las estructuras no estatales (Actores) que tienden a compensar esta injusticia mediante el cobro de tasas adicionales a los usuarios, ofreciendo así sólo una parte de los servicios de forma gratuita (Resultado).

Síntesis y debate: teorías sobre la adopción de políticas

A través de las configuraciones causales formuladas anteriormente, podemos ver que la adopción depende de la confianza entre las partes interesadas y el promotor de la política de exención, por ejemplo, el Estado. Esta confianza es tanto más necesaria si se pone en duda la credibilidad del promotor sobre la base de la experiencia previa. Entre las medidas que deben adoptarse para tranquilizar a los administradores de los hospitales figura el suministro oportuno de recursos apropiados para la prestación del servicio, por lo menos como compensación suficiente por la pérdida de recursos generada por la exención del pago.

Esta explicación es coherente con la teoría del comportamiento planificado, que afirma que es poco probable que los individuos desarrollen una fuerte intención de actuar y comportarse de cierta manera si sienten que carecen de los recursos y las oportunidades para hacerlo, incluso si tienen una actitud favorable hacia el comportamiento en cuestión e incluso si sienten que los miembros de la familia o los compañeros humanos aprobarían el comportamiento (normas subjetivas) (Ajzen y Fishbein 1980). Así pues, aun cuando la voluntad política y los mandatos administrativos infundan la formación de nuevas normas y estructuras de referencia, es poco probable que la adopción de la política sea una realidad si no tiene las características requeridas y si no proporciona suficientes recursos garantizados presentes y futuros para fortalecer el control que se percibe de los agentes sobre su aplicación.

La percepción de justicia en la distribución de los recursos es crucial en los casos en que las estructuras de ejecución están sujetas a diferentes derechos de propiedad y a una financiación variable. Es probable que se produzca una sensación de injusticia si la política no define claramente los costos reales que entraña la producción de cada acto por tipo de establecimiento sanitario y si no define explícitamente el margen excedente concedido a cada unidad de ejecución. Esta necesidad percibida de equidad en la adopción no está presente en la teoría del comportamiento planificado (Ajzen y Fishbein 1980), en el modelo de difusión de innovaciones de Rogers (1995), ni en el modelo de aceptación de la tecnología (Davis 1989). La influencia de esta sensación de injusticia en la adopción de políticas puede analizarse como una presión isomórfica mimética (Zucker 1988), en la que los actores de las estructuras sanitarias no estatales aprenden sobre los beneficios derivados de la política de las estructuras sanitarias estatales y buscan beneficios similares a través de su comportamiento.

Este análisis nos llevó a reformular la teoría original del programa (Recuadro 2).

Recuadro 2. Teoría de programa refinada

Un programa de salud es adoptado a nivel operacional por los administradores locales de salud que se encargan de su aplicación y que pueden hacerlo en diversos grados. Los factores personales, así como los factores contextuales locales, desempeñan un papel, pero también son importantes otros elementos a nivel de políticas, su traducción en un programa y a nivel de la comunidad. Hay cuatro escenarios posibles en la adopción de un programa por parte de los administradores locales. El primer escenario es la decisión de adoptar y aplicar el programa sin modificaciones. Esto es más probable si el programa se considera una extensión de los objetivos locales (alineación), es decir, si satisface las necesidades locales y proporciona los recursos necesarios. El segundo escenario es la adaptación (positiva) al contexto local. Es probable que ocurra cuando los administradores locales estén convencidos de que el programa puede ser mejorado. También requiere que tengan la capacidad y la libertad de ajustar el programa a la situación local. Ese ajuste puede dar lugar a mejores resultados en la aplicación de políticas. La tercera hipótesis es la desviación de programas; esto puede ocurrir si el programa se percibe como un medio de crear oportunidades personales u organizativas y si hay poco “apoyo” para su ejecución y poca contrapresión local. Un cuarto escenario posible es la decisión de adoptar y poner en práctica una versión reducida del programa en la que sólo se ofrezca gratuitamente una parte de los servicios. Es probable que esta situación se produzca incluso si los recursos proporcionados por la política son suficientes. Es más probable que los administradores se sientan en desventaja en la asignación de los recursos proporcionados por la política en comparación con otras estructuras de ejecución. El escenario real final depende de la presión local, pública y política (lo que a su vez requiere representantes de la comunidad que conozcan la política y dispongan de canales eficaces para ser escuchados), la confianza de los administradores de las estructuras de ejecución en el compromiso del proponente de la política y el compromiso personal de los administradores locales con el éxito de la política. La aplicación sostenible requiere la institucionalización a nivel local. En el plano normativo, son factores influyentes la participación de los administradores y los beneficiarios en el proceso de adopción de decisiones y la medida en que se definen claramente los objetivos de las políticas y los grupos destinatarios. Entre los factores a nivel de los programas figura la existencia de instrucciones operacionales claras (incluida la determinación de los objetivos de política, los grupos destinatarios, las disposiciones prácticas para la aplicación del reembolso, etc.). Si se abordan adecuadamente las cuestiones relativas a los trabajadores de la salud, como la compensación por la pérdida de ingresos, la capacitación, la (re)distribución, etc., es más probable que se adopte y aplique el programa. Pasar de una fase a otra puede cambiar la política: – Un buen consenso sobre los objetivos, los grupos destinatarios y las modalidades de aplicación (bajo nivel de ambigüedad y conflicto) puede facilitar la transición de una fase a otra si cada nivel cuenta con la capacidad y los recursos necesarios. – Una débil capacidad de vigilancia y aplicación puede conducir a una aplicación simbólica si existe un fuerte sentido de profesionalismo (dependiendo de la voluntad de los profesionales locales). – Si no hay consenso sobre los objetivos, los grupos destinatarios y las modalidades de aplicación, la política puede enredarse en conflictos de poder o transformarse a nivel local.

En esta refinada teoría de los programas, se añaden nuevos supuestos a la teoría original de los programas, por ejemplo, sobre el papel de los sentimientos de injusticia y confianza en la adopción de la política. El perfeccionamiento también implicó una modificación de una hipótesis existente. Por ejemplo, el número de posibles escenarios de adopción se redujo de tres a cuatro.

Esta refinada teoría del programa proporciona una respuesta plausible a la pregunta de evaluación. Los encargados de la formulación de políticas pueden utilizarla de manera práctica para mejorar el diseño y la aplicación de las políticas. Esta teoría del programa también puede ser utilizada para mejorar el diseño de otras políticas similares.

Sin embargo, esta sigue siendo una teoría programática que de ninguna manera pretende ser universal o transferible a todos los contextos o tipos de intervenciones. Es inherentemente susceptible de mejorar en ciclos de evaluación posteriores.

Lecciones aprendidas y debate sobre cuestiones de aplicación de la evaluación

• Requiere mucha preparación. Aunque esta fase no tiene necesariamente aspectos fundamentalmente diferentes de la preparación de otras formas de evaluación, debe reunir toda la información posible sobre los asociados locales en la investigación, la intervención que se va a evaluar, los interesados en torno a la intervención y los contextos de desarrollo y aplicación. Sugerimos en esta etapa distinguir claramente entre las dos situaciones siguientes:
  • se elige desarrollar la teoría del programa inicial a partir de la de los diseñadores de la intervención. En este caso, no es esencial que el evaluador finalice una teoría inicial del programa antes de iniciar las actividades sobre el terreno. Sin embargo, el evaluador debe tener suficientes conocimientos teóricos y metodológicos para explicar la teoría del programa inicial de los diseñadores de manera realista.
  • se elige desarrollar la teoría del programa inicial de forma independiente o como complemento de la de los diseñadores de la intervención. En este caso, es esencial dedicar tiempo a la revisión de la literatura.
• Al comienzo de la evaluación debe dominarse una definición clara del concepto de “mecanismo causal”. Este es uno de los principales desafíos para comprender la evaluación realista.
• La distinción entre el mecanismo, el contexto y los resultados puede a veces convertirse en un rompecabezas y una fuente de confusión. Hemos aprendido que la definición más operativa es la de “el razonamiento y las reacciones de los actores sobre los recursos aportados por la intervención”. En otras palabras, los mecanismos se ocultan en las percepciones, opiniones y lógicas implícitas o explícitas de los actores que subyacen a sus actitudes y acciones en relación con los recursos proporcionados por la intervención, lo que determina los resultados (Pawson y Tilley 1997; Lacouture y otros 2015). Estos mecanismos pueden formularse explícitamente en el discurso de los actores o ser objeto de una retroalimentación que debe identificarse.
• Es esencial centrar la recogida de datos en el enfoque de la configuración: a veces se necesitan instrumentos específicos para documentar el contexto, la aplicación de la intervención, los resultados de la intervención y los mecanismos, todo ello basado en la teoría del programa inicial. Durante el análisis es esencial mantener una visión integrada de esos componentes mediante la triangulación de los datos para identificar las configuraciones en las que interactúan la intervención, los agentes, los mecanismos, los elementos contextuales y los resultados.
• Refinar la teoría del programa es un proceso interminable. El objetivo final de un ciclo no es producir una teoría de programa universal, sino útil para generar conocimientos que sean relevantes para los interesados o los investigadores. Esta mirada pragmática al propósito de un ciclo de evaluación realista es esencial para orientar los esfuerzos y evitar quedar atrapado en un proceso interminable.

Referencias clave

Pawson, R. et Tilley, N. (1997). Realistic evaluation. Londres : Sage Publications.

Los autores de este libro son los padres fundadores de la evaluación realista. En este libro se explican detalladamente los fundamentos de la evaluación realista y se ilustran los conceptos clave con ejemplos de programas sociales en diferentes campos de los países desarrollados.

Marchal, B., Van Belle, S., Van Olmen, J., Hoerée, T. et Kegels, G. (2012). Is realist evaluation keeping its promise? A review of published empirical studies in the field of health systems research. Evaluation, 18(2), 192–212.

En esta publicación se examina el uso de la evaluación realista en la investigación de los sistemas de salud. Describe, entre otras cosas, los diferentes modelos de uso, las confusiones conceptuales y los desafíos metodológicos observados. En él se propone el ciclo de evaluación realista y se describen las diversas medidas para reducir la confusión y facilitar la estructuración del enfoque metodológico.

Lacouture, A., Breton, E., Guichard, A. et Ridde, V. (2015). The concept of mechanism from a realist approach: a scoping review to facilitate its operationalization in public health program evaluation. Implementation Science, 10, 153-162.

En la presente publicación se ofrece una síntesis de las diferentes definiciones operacionales del concepto de “mecanismo” en la evaluación de las políticas de salud pública. Es útil para una mejor comprensión de este concepto clave y puede ayudar a evitar posibles confusiones entre los conceptos de “mecanismo”, “contexto” y “resultados”.

Sitio http://www.ramesesproject.org/

Este sitio presenta los productos de los proyectos Realist And Meta-narrative Evidence Syntheses: Evolving Standards (RAMESES) I y II. RAMESES I ha elaborado normas de calidad y publicación y materiales de capacitación para revistas realistas, así como enfoques conexos para revistas metanarrativas. RAMESES II ha elaborado normas de calidad y publicación y materiales de capacitación para una evaluación realista. Este sitio está en inglés.

Referencias

Ajzen, I. et Fishbein, M. (1980). Understanding attitudes and predicting social behavior. Englewood Cliffs, NJ : Prentice-Hall.

Audi, R. (1999). The Cambridge dictionary of philosophy (2e éd.). Cambridge, NY: Cambridge University Press.

Berman, P. (1978). The study of macro and micro implementation of social policy. Santa Monica, CA : RAND Corporation.

Booth, A. (2008). Unpacking your literature search toolbox: on search styles and tactics. Health Information et Libraries Journal, 25(4), 313–317.

Centre de Recherche en Reproduction humaine et en Démographie. (2014). Rapport de synthèse : l’évaluation de la politique de gratuité de la césarienne dans cinq zones sanitaires au Bénin. Cotonou, Bénin: University of Aberdeen.

Dalkin, S. M., Greenhalgh, J., Jones, D., Cunningham, B. et Lhussier, M. (2015). What’s in a mechanism?: Development of a key concept in realist evaluation. Implementation Science, 10, 49-55.

Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. Management Information Systems Quarterly, 13, 319–340.

Elmore, F. R. (1979). Backward Mapping : Implementation Research and Policy Decisions. Polit Sci Q, 94, 601-16.

Goodnough, L. T., Riddell, J., Lazarus, H., Chafel, T. L., Prince, G., Hendrix, D., et Yomtovian, R. (1993). Prevalence of platelet transfusion reactions before and after implementation of leukocyte-depleted platelet concentrates by filtration. Vox Sanguinis, 65(2), 103–107.

Lacouture, A., Breton, E., Guichard, A. et Ridde, V. (2015). The concept of mechanism from a realist approach: a scoping review to facilitate its operationalization in public health program evaluation. Implementation Science, 10, 153-162.

Marchal, B., Kegels, G. et Van Belle, S. (2018). Realist evaluation in health policy and systems research: theory incarnate. Dans N. Emmel, J. Greenhalgh, A. Manzano, M. Monaghan et S. Dalkin (dir.), Doing Realist Research (édition 2018, volume 1). Londres, Angleterre: Sage Publications.

Marchal, B., Van Belle, S., De Brouwere, V. et Witter, S. (2013). Studying complex interventions: reflections from the FEMHealth project on evaluating fee exemption policies in West Africa and Morocco. BMC Health Services Research, 13, 469-477.

Marchal, B., Van Belle, S., Van Olmen, J., HoerÇe, T. et Kegels, G. (2012). Is realist evaluation keeping its promise?: A review of published empirical studies in the field of health systems research. Evaluation, 18(2), 192–212.

Marchal, B., Van der Veken, K., Essolbi, A., Dossou, J. P., Richard, F. et Van Belle, S. (2013). Methodological reflections on using realist evaluation in a study of fee exemption policies in West Africa and Morocco. Aberdeen : University of Aberdeen.

Matland, R. E. (1995). Synthesizing the implementation literature: The ambiguity-conflict model of policy implementation. Journal of Public Administration Research and Theory, 5(2), 145-174.

Merton, R. K. (1968). Social theory and social culture. New York : The Free Press.

Pawson, R. (2006). Evidence-based policy: a realist perspective. London ; Thousand Oaks, Calif. : SAGE Publications.

Pawson, R. et Tilley, N. (1997). Realistic evaluation. Londres : SAGE Publications.

Ridde, V. et Dagenais, C. (2012). Approches et pratiques en évaluation de programmes. Montréal : Presses de l’Université de Montréal.

Ridde, V. et Olivier de Sardan J. P. (2016). The implementation of public health interventions in Africa: a neglected strategic theme. Médecine et Santé Tropicales, 27(1), 6-9.

Ridde, V. et Olivier de Sardan J. P. (2017). The implementation of public health interventions in Africa: a neglected strategic theme. Médecine et Santé Tropicales, 27(1), 6–9.

Rogers, E. M. (1995). Diffusion of innovations (4e éd.). New York : Free Press.

Stern, E., Stame, N., Mayne, J., Forss, K., Davies, R. et Befani, B. (2012). Broadening the range of designs and methods for impact evaluations. Londres : Department for International Development.

Teddlie, C. et Tashakkori, A. (2009). Foundations of mixed methods research : integrating quantitative and qualitative approaches in the social and behavioral sciences. Londres : SAGE Publications

Van Belle, S., Wong, G., Westhorp, G., Pearson, M., Emmel, N., Manzano, A. et Marchal, B. (2016). Can ‘realist’ randomised controlled trials be genuinely realist?. Trials, 17, 313-318.

Westhorp, G. (2014). Realist impact evaluation: An introduction. Londres : A method lab.

Westhorp, G., Prins, E., Kusters, C., Hultink, M., Guijt, I. et Brouwers, J. (2011). Realist evaluation: an overview. Report from an expert seminar with Dr. Gill Westhorp. Wageningen: Wageningen UR Centre for Development Innovation.

Wong, G., Greenhalgh, T., Westhorp, G. et Pawson, R. (2014). Development of methodological guidance, publication standards and training materials for realist and meta-narrative reviews: the RAMESES (Realist And Meta-narrative Evidence Syntheses – Evolving Standards) project. Health Services and Delivery Research, No. 2.30. Southampton, UK : NIHR Journals Library.

Yin, R. (2003). Case study research. Design and methods. Londres : Sage Publications.

Zucker, L. G. (1988). Institutional patterns and organizations : culture and environment. Cambridge, MA : Ballinger Publishing.

Resumen / Résumé / Overzicht / Abstract

La evaluación realista (ER) explica los mecanismos causales de los resultados de la intervención en diferentes contextos. Basado en la evaluación de la implementación de políticas de salud en África Occidental, este capítulo ilustra las diferentes etapas del ciclo de la ER. En el primer paso, se formulan las preguntas de la investigación. El valor añadido de la evaluación realista es óptimo para responder a preguntas como “¿Por qué? ¿Cómo? ¿Para quién? y ¿en qué contextos funciona o no una intervención? ». El segundo paso es la formulación de la teoría del programa inicial, que depende de la naturaleza de la intervención, los objetivos de la evaluación, la naturaleza de los productos prioritarios principales esperados de la evaluación, los recursos disponibles y la familiaridad del evaluador con el tema de la evaluación. La recolección de datos puede basarse en una forma particular de entrevista cualitativa llamada “entrevista realista”. En la práctica, la recolección de datos debe adaptarse a los informantes clave, a sus percepciones y expectativas de los evaluadores para evitar la tendencia de los entrevistados a confirmar sistemáticamente la teoría del evaluador. El analista realista identifica activamente las configuraciones “Intervención-Contexto-Actor-Mecanismo-Resultado”. En la práctica, el razonamiento retroductivo se utiliza para explicar los mecanismos. Una tabla para el seguimiento de los cambios en la teoría original del programa facilita el paso final de la síntesis y el informe de la ER.

***

L’évaluation réaliste (ER) explicite les mécanismes causaux des résultats d’une intervention dans différents contextes. En s’appuyant sur l’évaluation de la mise en œuvre d’une politique de santé en Afrique de l’Ouest, ce chapitre illustre les différentes étapes du cycle de l’ER. À la première étape, les questions de recherche sont formulées. La valeur ajoutée de l’approche de l’ER est optimale sur des questions de type « Pourquoi? Comment? Pour qui? et dans quels contextes une intervention marche ou non? ». La seconde étape est la formulation de la théorie de programme initiale qui dépend de la nature de l’intervention, les objectifs d’évaluation, la nature des produits prioritaires attendus de l’évaluation, les ressources disponibles et la familiarité de l’évaluateur avec l’objet d’évaluation. La collecte des données peut se baser sur une forme particulière d’entretien qualitatif appelé « entretien réaliste ». En pratique, la collecte de données doit s’adapter aux informateurs clés, à leurs perceptions et attentes vis-à-vis des évaluateurs et évaluatrices pour éviter la tendance à la confirmation systématique de la théorie de l’évaluateur par les interviewés. L’analyste réaliste identifie activement les configurations « Intervention-Contexte-Acteur-Mécanisme-Résultat ». En pratique le raisonnement par rétroduction est utilisé pour expliciter les mécanismes. Un tableau permettant de suivre les changements apportés à la théorie de programme initiale facilite la dernière étape de la synthèse et du rapport de l’ER.

***

Realistische evaluatie (RE) verklaart de causale mechanismen die de resultaten van een interventie verklaren in verschillende contexten. Op basis van de evaluatie van de implementatie van een gezondheidsbeleid in West-Afrika illustreert dit hoofdstuk de verschillende stadia van de RE-cyclus. In de eerste fase worden de onderzoeksvragen geformuleerd. De toegevoegde waarde van de RE-benadering is optimaal voor vragen als “waarom, hoe, voor wie, en in welke context werkt een interventie of niet?”. De tweede stap is de formulering van de initiële programmatheorie, die afhangt van de natuur van de interventie, de evaluatiedoelstellingen, de aard van de outputs die van de evaluatie worden verwacht, de beschikbare middelen en de bekendheid van de beoordelaar met het doel van de evaluatie. Voor het verzamelen van gegevens kan elke methode gebruikt worden? Een specifieke vorm van interviews, genaamd “realistisch interview ” wordt vaak gebruikt. In de praktijk moet het verzamelen van gegevens zich aanpassen aan de informanten, hun percepties en verwachtingen ten opzichte van de beoordelaars om de neiging tot systematische bevestiging van de initiële theorie door de geïnterviewden te vermijden. De realistische analist identificeert vervolgens de configuraties ‘Interventie-context-actor-mechanisme-resultaat’. In de praktijk wordt retroductie gebruikt om de mechanismen te indetificeren. Een tabel om wijzigingen in de oorspronkelijke programmatheorie bij te houden, vergemakkelijkt de laatste stap van de synthese en rapportage van de RE.

***

Realist Evaluation (RE) identifies the causal mechanisms explaining the results of a given intervention in different contexts. Based on the evaluation of the implementation of a health policy in West Africa, this chapter illustrates the different stages of the RE cycle. In the first stage, the research question is formulated. The added value of the RE approach is optimal on questions such as “why, how, for whom, and in what contexts does an intervention work or not?”. The second step is the formulation of the initial program theory, which depends on the nature of the intervention being studied, the objectives, and the nature of the main outputs expected from the evaluation, the resources available and the evaluator’s familiarity with the object of evaluation The Data collection is method neutral and can be based on a particular form of qualitative interview called “realist interview”. In practice, data collection must adapt to key informants, their perceptions and expectations vis-à-vis the evaluators to avoid the tendency for systematic confirmation of the evaluator theory by the interviewees. The realist analyst actively identifies the “Intervention-Context-Actor-Mechanism-Outcome” configurations. In practice, retroductive analysis is used to explicit mechanisms that are implicit by nature. A table to track changes to the initial program theory facilitates the final step of the synthesis and the reporting of the RE.

***

Jean-Paul Dossou es médico de salud pública e investigador de políticas y sistemas de salud en cuestiones de salud sexual y reproductiva y cobertura sanitaria universal en el África occidental y oriental. Ha estado forjando apasionadamente sus habilidades teóricas y prácticas en la complejidad y las metodologías realistas desde 2012, trabajando estrechamente con investigadores realistas de clase mundial, incluyendo al Pr Bruno Marchal.

Bruno Marchal es jefe de la Dependencia de Organización de Servicios de Salud del Departamento de Salud Pública del Instituto de Medicina Tropical de Amberes (Bélgica). Su labor de investigación y docencia se centra en la gestión estratégica de los servicios de salud, así como en las metodologías de investigación adaptadas a cuestiones sanitarias complejas. Es el autor de las publicaciones más citadas sobre la evaluación realista y está a la vanguardia del desarrollo de la evaluación realista en la salud mundial.

Cita

Jean-Paul Dossou y Bruno Marchal (2020). Evaluación realista. El ejemplo de la adopción de una política de salud pública en Benín. En Evaluación de las intervenciones sanitarias en salud global. Métodos avanzados. Bajo la dirección de Valéry Ridde y Christian Dagenais, pp. 481-510. Québec: Éditions science et bien commun y Marseille: IRD Éditions.