17 L’évaluation réaliste

L’évaluation réaliste

Définition de la méthode Cette approche d’évaluation fondée sur la théorie cherche à expliciter de manière systématique les mécanismes causaux des résultats d’une intervention pour différentes populations et dans différents contextes. Elle permet de répondre non seulement à la question classique « Est-ce qu’une intervention fonctionne ou non pour entrainer tel effet? », mais surtout à des questions importantes pour la prise de décision comme « Pourquoi une intervention fonctionne ou non? Comment? Pour qui et dans quel contexte? ».US

Forces de la méthode C’est une approche émergente; les personnes qui maîtrisent sont de plus en plus demandées. Elle permet de répondre à des questions d’évaluation impossible à aborder avec d’autres approches comme : Comment, pour qui et dans quel contexte, une intervention marche ou non, et pourquoi? Elle met les actrices et acteurs opérationnels au cœur de l’évaluation. Ce focus valorisant et capacitant fait du processus d’évaluation un outil au service d’une meilleure redistribution des pouvoirs. Elle a le potentiel de stimuler et de renforcer la culture locale de l’apprentissage en favorisant une explicitation systématique et une confrontation des hypothèses habituellement implicites qui sous-tendent les interventions et les pratiques.

Défis de la méthode Elle dépend de la richesse des connaissances de l’évaluateur ou de l’évaluatrice sur le programme en évaluation, les acteurs et actrices et les contextes de mise en œuvre ; elle nécessite, de fait, des ressources relativement importantes. Elle nécessite un effort de synthèse important et de la créativité pour communiquer efficacement les résultats. Le critère de qualité des résultats des évaluations réalistes est la plausibilité. Les commanditaires d’évaluation soucieux d’attribuer les résultats à un programme donné verraient ceci potentiellement comme une limite. Elle reste une approche en construction avec un débat méthodologique encore vif. Il peut être parfois difficile de trouver des repères méthodologiques clairs, précis et établis pour l’étudiant-e réaliste débutant-e.

Présentation de la méthode, utilité et défis d’application

L’évaluation réaliste est une approche d’évaluation fondée sur la théorie (Stern et al. 2012) Elle permet de répondre non seulement à la question classique « Est-ce qu’une intervention I fonctionne ou non pour entrainer un effet E? », mais surtout à des questions importantes pour la prise de décision comme « Pourquoi une intervention I fonctionne-t-elle ou non? Comment? Pour qui et dans quel contexte? » (Ridde et Dagenais 2012). Elle cherche à expliciter de manière systématique les mécanismes causaux des résultats d’une intervention pour différentes populations et dans différents contextes et elle permet ainsi l’adaptation optimale des programmes sociaux à différents groupes de personnes. Elle constitue de fait, une excellente approche pour promouvoir l’équité.

L’évaluation réaliste est plus adaptée aux interventions complexes mises en œuvre dans des systèmes ouverts en mutation permanente (Marchal et al. 2012). Elle convient à l’évaluation des nouvelles initiatives, des interventions pilotes et des interventions aux résultats mitigés, dont on ignore les mécanismes de succès ou d’échec afin de comprendre les différences (Westhorp 2014). L’évaluation réaliste convient aussi à l’évaluation d’interventions dont l’approche fait l’objet d’un faible consensus entre les parties prenantes, sur laquelle il existe très peu de connaissances à propos des options possibles ou dans laquelle l’expertise est limitée. Dans ce cas, l’évaluation réaliste permet d’adopter une démarche d’apprentissage systématique sur des questions clés importantes pour guider la politique dans son processus de développement, de mise en œuvre et d’amélioration progressive.

Cette forme d’évaluation rompt fondamentalement avec les approches classiques d’évaluation parce qu’elle s’appuie sur les concepts de la causalité générative et du courant philosophique du réalisme (Pawson et Tilley 1997). Selon le modèle de causalité générative, une action est causale si, et seulement si, ses effets sont déclenchés par un mécanisme qui agit dans un contexte spécifique. Ce mécanisme causal est l’objet central des travaux de l’évaluateur ou de l’évaluatrice réaliste^[1]. L’intervention n’est pas perçue comme causale : elle apporte des ressources qui, en interaction avec les ressources préexistantes dans le contexte, peuvent générer ou non un mécanisme causal déclenchant un effet. La causalité générative se distingue ainsi du modèle de causalité successionniste qui stipule qu’un effet E peut être attribué à une intervention I si on peut démontrer la conjonction constante entre E et I. La nuance entre ces deux modèles de causalité est essentielle pour définir et comprendre l’évaluation réaliste (Van Belle et al. 2016).

L’évaluation réaliste s’inscrit dans le courant philosophique du réalisme, qui reconnait que la réalité existe indépendamment des interprétations ou de la connaissance que l’humain a de cette réalité (Audi 1999). Le réalisme philosophique est distinct du positivisme et du constructivisme qui sont à la base des approches d’évaluation des programmes les plus utilisées (Pawson 2006; Westhorp et al. 2011) Pour mieux comprendre l’évaluation réaliste, il est essentiel de connaitre ces courants et leurs implications en matière d’évaluation. Un premier livre de Ridde et Dagenais discute longuement de ces fondements théoriques et de leurs implications pratiques (Ridde et Dagenais 2012).

Dans ce chapitre, nous présentons l’application de cette approche à l’évaluation de l’adoption d’une politique publique de santé (Goodnough et al. 1993). L’adoption s’inscrit dans la mise en œuvre, une phase complexe du cycle des politiques publiques qui est l’une des plus cruciales, mais malheureusement l’une des moins étudiées en Afrique subsaharienne (Ridde et Olivier de Sardan 2017). Nous présentons la méthodologie de cet exercice en suivant le cycle de l’évaluation réaliste (Marchal et al. 2012). Nous présentons les étapes du cycle et l’application que nous en avons faite. Une partie de nos résultats sera présentée pour illustrer la manière dont elles ont été « construites » à travers les différentes étapes du cycle. Finalement, nous discutons quelques leçons apprises.

Contexte et programme évalué : la politique de gratuité de la césarienne au Bénin

Le Bénin a introduit en avril 2009 une politique d’exemption de paiement des frais de soins à l’attention des femmes nécessitant une césarienne dans 48 hôpitaux répartis sur tout le pays. Ces hôpitaux doivent offrir la césarienne sans perception de frais directs auprès des patientes. Le gouvernement rembourse en retour aux hôpitaux un montant forfaitaire de 100 000 FCFA (178 $US) par césarienne réalisée. Les frais de référence avant la césarienne, la consultation à l’admission dans l’hôpital, l’acte de césarienne, les médicaments et les consommables, l’hospitalisation et les soins postopératoires sont théoriquement pris en compte selon le décret qui institue la politique (Centre de Recherche en Reproduction humaine et en Démographie 2013). Une évaluation préliminaire avait mesuré les résultats de la mise en œuvre dans sept hôpitaux et a montré que le nombre d’éléments du paquet de gratuité, réellement offert de manière entièrement gratuite par les hôpitaux, varie de 1 sur 8 (Hôpital 2) à 5 sur 8 (Hôpital 5) (tableau 1). Cette variabilité dans l’adoption des politiques est un défi classique observé dans la mise en œuvre de plusieurs politiques de santé en Afrique subsaharienne.

Tableau 1. Adoption variable de la politique de gratuité de la césarienne dans 7 hôpitaux au Bénin, 2012

	Hôp. 1	Hôp. 2 (Cas 1)	Hôp. 3	Hôp. 4	Hôp. 5 (Cas 2)	Hôp. 6	Hôp. 7	Nombre d’hôpitaux offrant l’item gratuitement
Transfert dans le district sanitaire								0/7
Abord veineux avec soluté avant le transfert								0/7
Consultation								2/7
Acte chirurgical								6/7
Médicaments								1/7
Consommables								2/7
Hospitalisation								5/7
Contrôle postopératoire								6/7
Items gratuits sur nombre total d’items	3/8	1/8	2/8	3/8	5/8	4/8	4/8
Source : Centre de Recherche en Reproduction humaine et en Démographie 2014

• Case de couleur noire : Totalement payant
• Case de couleur grise : Partiellement gratuit
• Case de couleur blanche : Totalement gratuit

Protocole d’évaluation : le cycle de l’évaluation réaliste

L’évaluation réaliste adopte une démarche cyclique qui commence avec une théorie de programme initiale et finit avec une théorie de programme raffinée. Ces théories sont des théories de moyenne portée (TMP), définies selon Merton (1968, p. 39) comme des théories

dont le niveau se situe entre les hypothèses de travail, mineures, mais nécessaires, qui se développent au quotidien dans le cadre de la recherche, et les efforts systématiques d’intégration pour développer une théorie unitaire qui expliquerait toutes les uniformités observées du comportement social, de l’organisation sociale et du changement social ».

Le processus réaliste vise ainsi à produire des théories de programme de type TMP de plus en plus raffinées et de mieux en mieux aptes à être appliquées à des contextes de plus en plus variés et plus grands, ou encore à expliquer de manière plus fine et plus précise un phénomène social donné (Marchal et al. 2012).

Étape 1 du cycle de l’évaluation réaliste : formuler la question de recherche

La démarche pour formuler la question d’évaluation est similaire à celle de toutes les autres formes d’évaluation, à la différence que la perspective de l’évaluation réaliste élargit considérablement l’éventail des questions susceptibles d’être retenues. La valeur ajoutée est optimale sur des questions de type « Pourquoi?, Comment?, Pour qui?, et dans quels contextes ou circonstances? ».

Étape 2 du cycle de l’évaluation réaliste : élaborer la théorie de programme initiale

La théorie de programme initiale peut être élaborée en utilisant un ou plusieurs processus (figure 1).

Le choix de la stratégie pour formuler la théorie de programme initiale dépend de la nature de l’intervention, de l’étendue des connaissances de l’évaluateur ou de l’évaluatrice à propos du sujet à l’étude, des objectifs de l’évaluation, des ressources disponibles et de la nature des produits prioritaires attendus de l’évaluation. L’utilisation d’une combinaison des différentes approches est le modèle idéal.

Étape 3 du cycle de l’évaluation réaliste : choisir le devis de l’étude

L’évaluation réaliste n’impose aucun devis d’étude. Ce choix dépend essentiellement des questions à l’étude et des hypothèses qui constituent la théorie de programme initiale. Il est toutefois essentiel d’utiliser des devis qui permettent d’avoir des modèles d’inférence configurationelle et non des modèles d’inférence basés sur des variables (Van Belle et al. 2016). En rapport avec les questions d’évaluation, l’évaluation réaliste utilise la plupart du temps les méthodologies mixtes, combinant des méthodes quantitatives et qualitatives à des degrés divers pour répondre aux questions d’étude (Ridde et Dagenais 2012).

Étape 4 du cycle de l’évaluation réaliste : collecter les données

La collecte des données se fait en fonction des méthodes choisies comme n’importe quelle évaluation. Il existe une forme particulière d’entretien qualitatif appelé « entretien réaliste ». Dans cette approche, le chercheur ou la chercheuse partage sa théorie avec les parties prenantes et leur demande leurs opinions sur les différentes hypothèses ainsi énoncées. Ce faisant, le chercheur ou la chercheuse donne sa théorie aux personnes interviewées qui partagent avec lui ou elle les éléments de leur théorie suivant le principe « Donne-moi ta théorie et je te donnerai la mienne ». Cette technique n’est pas une prescription absolue.

Étape 5 du cycle de l’évaluation réaliste : analyser les données

L’analyste réaliste identifie par argumentation inductive ou déductive les mécanismes à partir des données empiriques et formule par rétroduction les liens implicites entre les conditions du contexte et les mécanismes par lesquels les résultats observés sont susceptibles d’être expliqués.

La rétroduction (ou l’abduction) est un mode de raisonnement pour la découverte, distinct de l’induction et de la déduction. Elle part des résultats et des éléments contextuels observables pour formuler des explications plausibles. Le processus d’analyse réaliste peut ainsi prendre la forme suivante : au regard des résultats R, en présence des acteurs et actrices A et des éléments de contexte C1, C2 et C3, ces résultats ne peuvent être observés que s’il existe un raisonnement ou une réaction des acteurs et actrices (mécanisme sous-jacent M) à propos des ressources apportées par l’intervention I. L’identification de ces agrégats Intervention-Contexte-Acteurs-Mécanisme-Résultat ou Outcome (ICAMO) (Marchal et al., 2018) constitue le travail essentiel de l’analyste réaliste.

La théorie de programme guide l’analyste réaliste qui veille aussi à rester ouvert-e aux nouvelles explications qui émergent des données. Les étapes clés dans le processus d’analyse sont les suivantes : 1) identification des résultats, 2) description de l’intervention en termes de contenu, de lieu, de temps et d’intensité, 3) identification des acteurs et actrices impliqués ou non dans la conception et dans la mise en œuvre, 4) identification des liens implicites entre les pratiques autour de l’intervention et les résultats observés (les mécanismes), 5) identification des caractéristiques du contexte et de son influence différentielle sur le déclenchement des mécanismes et donc des résultats et 6) recherche active des explications alternatives. Ces étapes devraient permettre d’identifier les éléments des configurations ICAMO.

Pour l’analyse des données qualitatives, les critères de qualité comme l’analyse itérative, cumulative, adaptative et réflexive doivent être respectés (Teddlie et Tashakkori, 2009).

Étape 6 du cycle de l’évaluation réaliste : faire la synthèse

Les configurations sont ensuite synthétisées de manière narrative ou graphique. La formulation narrative peut adopter la structure de base : dans un contexte C, on observe un résultat R, si un mécanisme M est déclenché chez les acteurs et actrices A par l’intervention I.

Dans la synthèse, les mécanismes et leurs conditions d’exercice mis en évidence sont confrontés à la théorie de programme initiale qui est ainsi reformulée par addition des hypothèses pertinentes manquantes. Les hypothèses infirmées peuvent être reformulées de manière négative ou supprimées. Dans la démarche méthodologique, nous suggérons à cette étape de présenter dans la première colonne d’un tableau les hypothèses de la théorie de programme initiale et dans la seconde, la nouvelle formulation de ces hypothèses en mettant en évidence les altérations de raffinement apportées. Il s’agit d’une bonne pratique recommandée dans le rapportage de l’évaluation réaliste (Wong et al. 2014). La synthèse de ce cycle peut être rapportée sous forme de figure comme illustrée dans la figure 3 à la fin de ce chapitre.

Application de l’approche de l’évaluation réaliste

L’évaluation réaliste de l’adoption de la politique de gratuité de la césarienne dans les hôpitaux du Bénin peut nécessiter plusieurs cycles, chaque cycle expliquant de manière plus fine un ou plusieurs aspects des variations dans l’adoption de la politique d’un hôpital à l’autre. Les cycles subséquents peuvent aussi s’adapter au fur et à mesure aux questions qui émergent des cycles précédents. L’exemple rapporté ici porte sur un cycle.

Étape 1 du cycle de l’évaluation réaliste : la question de recherche

Pour l’évaluation de la mise en œuvre de la politique de gratuité de la césarienne au Bénin, la question de recherche était la suivante : Comment, par qui et dans quelles circonstances la politique de gratuité de la césarienne au Bénin a-t-elle été adoptée dans les hôpitaux et pourquoi?

Étape 2 du cycle de l’évaluation réaliste : la théorie de programme initiale

Pour élaborer la théorie de programme initiale de la politique à l’étude, nous avons effectué une revue non systématique de la littérature qui a porté sur les théories, les cadres d’analyse et les modèles les plus à même de répondre seuls ou de manière complémentaire et cohérente à la question de recherche. La sélection des publications s’est faite suivant la stratégie du « berry-picking » (Booth 2008). Cette approche itérative et flexible commence par une question de recherche bibliographique. Le chercheur ou la chercheuse effectue une recherche documentaire, sélectionne une première série d’articles pertinents pour sa question, analyse les connaissances issues de ces publications, formule une autre question plus raffinée sur le même sujet, procède à une autre collecte de données et ainsi de suite, jusqu’à aboutir à une connaissance synthétique répondant de manière pragmatique à ses besoins de connaissance.

Nous avons donc commencé à sélectionner les publications dans la littérature sur les politiques d’exemption des frais de soins en santé maternelle en Afrique subsaharienne. Nous avons constaté un manque relatif de publications développant des théories, des cadres d’analyse ou des modèles pertinents (Ridde et Olivier de Sardan 2016). Nous avons décidé donc d’étendre notre recherche au domaine plus large de la mise en œuvre des politiques publiques et du management.

Il faut noter que cette évaluation a été réalisée dans le cadre de l’étude FEMHealth qui est une évaluation multi-pays, avec des parties prenantes situées à différents niveaux de la pyramide sanitaire. Nous estimions qu’une bonne théorie de programme initiale dans un tel contexte d’évaluation devrait :

• avoir une architecture de base assez complète pour permettre de structurer la collecte à différents niveaux de la pyramide sanitaire et auprès des différents groupes de parties prenantes
• être facile à comprendre et à communiquer afin qu’elle puisse structurer aisément les réflexions, les discussions et les connaissances produites avec les multiples parties prenantes au niveau des pays.

Ce processus a abouti à la sélection de trois publications clés (Berman 1978, Matland 1995 et Elmore 1979) qui ont servi de base à l’élaboration de la théorie de programme initiale. Ces publications visaient explicitement à développer des modèles de mise en œuvre des politiques publiques et répondaient aux exigences définies plus haut liées au contexte de l’évaluation. La théorie de programme initiale qui en a résulté était formulée de manière narrative comme suit (encadré 1).

Encadré 1 : Théorie de programme initiale expliquant les variations dans l’adoption des politiques de santé d’une structure de mise en œuvre à l’autre

Un programme de santé est adopté au niveau opérationnel par les gestionnaires locaux qui sont responsables de l’appliquer et qui peuvent le faire de manière variable. Les facteurs personnels aussi bien que des facteurs contextuels locaux jouent un rôle, mais d’autres éléments au niveau de la politique, au niveau de sa traduction dans un programme et au niveau communautaire, sont également importants. Il y a trois scénarios possibles dans l’adoption d’un programme par les gestionnaires locaux. Le premier scénario est la décision d’adopter et d’appliquer le programme sans modification. Ceci est fort probable si le programme est perçu comme une extension des objectifs locaux (alignement), c’est-à-dire s’il répond aux besoins locaux et fournit les ressources nécessaires. Le second scénario est l’adaptation (positive) au contexte local ; il est susceptible de se produire lorsque les gestionnaires locaux sont convaincus que le programme peut être amélioré. Cela nécessite aussi qu’ils et elles en aient la capacité et une marge de liberté pour ajuster le programme à la situation locale. Un tel ajustement peut mener à de meilleurs résultats dans la mise en œuvre de la politique. Le troisième scénario est le détournement du programme ; ceci peut se produire se le programme est perçu comme un moyen de créer des opportunités personnelles ou organisationnelles et si sa mise en œuvre est peu « soutenue » et que la contre-pression locale est faible. Le scénario réel final dépend de la pression locale, publique et politique (qui à son tour nécessite des représentants de la communauté bien informés sur la politique et ayant des canaux efficaces pour se faire entendre), et l’engagement personnel des gestionnaires locaux. Une mise en œuvre durable exige une institutionnalisation au niveau local. Au niveau politique, l’engagement des gestionnaires et des bénéficiaires dans le processus décisionnel et la mesure dans laquelle les objectifs politiques et les groupes cibles sont clairement définis sont des facteurs influents. Les facteurs au niveau du programme comprennent l’existence d’instructions opérationnelles claires (y compris l’identification des objectifs de la politique, les groupes cibles, les modalités pratiques de la mise en œuvre du remboursement, etc.). Si les problèmes du personnel de santé, tels qu’une compensation pour perte de revenus, une formation, une (re) distribution, etc., sont pris en main de façon appropriée, le programme aura plus de chances d’être adopté et appliqué. Le passage d’un niveau du système à l’autre peut modifier la politique : Un bon consensus sur les objectifs, les groupes cibles et les modalités de la mise en œuvre (faible niveau d’ambiguïté et de conflit) peut faciliter le passage d’un niveau du système à l’autre si chaque niveau dispose des capacités et des ressources nécessaires. Un suivi et une capacité d’application faibles peuvent mener à la mise en œuvre symbolique s’il y a un sentiment profond de professionnalisme (dépendant de la volonté des professionnels locaux). S’il n’y a pas de consensus sur les objectifs, les groupes cibles et les modalités de la mise en œuvre, la politique peut être empêtrée dans des conflits de pouvoir ou transformée au niveau local.

Étape 3 du cycle de l’évaluation réaliste : le devis de l’étude

Nous avons choisi le devis d’étude de cas intégrés (Yin 2003) qui est bien adapté aux situations complexes (Marchal 2013). L’objectif de la phase de développement des outils et de collecte des données était de recueillir de manière optimale des données empiriques susceptibles de permettre la formulation de conclusions de type configurationnel. Nous avons adopté une méthode mixte de type simultanée et imbriquée (concurrent nested) avec une composante quantitative plus petite intégrée dans une étude à dominante qualitative. Les composantes de la théorie de programme ont guidé ce développement d’outils.

La mise en œuvre de la politique de gratuité de la césarienne à l’échelle nationale a été considérée comme le cas d’étude. Le choix des unités d’analyse s’est fait de manière raisonnée pour permettre de « tester » les hypothèses exprimées par la théorie de programme initiale. Deux hôpitaux, dont les résultats dans la mise en œuvre de la politique sont contrastés (cas 1 et cas 2 sur la figure 1), ont été sélectionnés comme les unités d’analyse.

Étape 4 du cycle de l’évaluation réaliste : la collecte des données

Nous avons combiné une revue documentaire avec extraction de données quantitatives, des entretiens semi-structurés, une étude de coût et un suivi des flux financiers pour répondre à une série de questions intermédiaires qui visaient à contribuer à la réponse à la question centrale. Le tableau suivant présente les sources de données et les outils pour les études de cas.

Tableau 2. Sources de données, techniques de collecte et échantillon par unité d’analyse

Sources de données	Techniques	Cas 1 : Hôpital privé confessionnel	Cas 2 : Hôpital public
Gestionnaires locaux de la santé	Entretiens semi-structurés	4	4
Gestionnaires des hôpitaux et prestataires de soins	Entretiens semi-structurés	15	8
Représentants de la communauté dans les comités locaux de santé	Entretiens semi-structurés	6	3
Les femmes enceintes ciblées par la politique	Entretiens semi-structurés	6	6
	Enquêtes de sortie	28	17
Rapports sur la politique et différents documents comptables à l’Agence Nationale de Gratuité de la Césarienne et dans les structures de mise en œuvre	Suivi des flux financiers	1	1
Données du Système d’information sanitaire, prestataires de soins et gestionnaires locaux de la santé	Revue documentaire avec extraction de données pour étude de coûts	30	30
Environnement des hôpitaux de mise en œuvre	Observation non participante des pratiques autour de la politique	1	1

La collecte des données a été réalisée par une équipe multidisciplinaire de socio-anthropologues, d’économistes de la santé et de médecins. Elle a duré de mars 2012 à septembre 2012.

L’étude sur les perceptions, le vécu et les opinions des différentes parties prenantes à tous les niveaux a constitué un élément clé : elle a intégré les observations préliminaires réalisées avec tous les autres outils de manière itérative, cumulative, adaptative et flexible.

Les interactions fréquentes au sein de l’équipe de collecte ont permis d’intégrer les données pertinentes produites par l’équipe multidisciplinaire avec les différentes techniques de collecte et d’adapter la collecte en conséquence au fur et à mesure.

Étapes 5 et 6 : l’analyse et la synthèse

Les données qualitatives ont été gérées par le logiciel NVIVO 10. Les mémos de collecte, les rapports des analyses préliminaires des autres techniques, ainsi que les documents de politiques, etc. ont été importés dans le logiciel pour constituer une base de données unique utilisée pour l’analyse. Les différentes composantes de la théorie initiale ont guidé la codification. L’analyse était réalisée de manière à permettre aussi l’addition de nouveaux codes de manière inductive.

Les analyses préliminaires effectuées dans les différentes disciplines impliquées dans l’étude ont été importantes pour l’analyse réaliste proprement dite.

Dans la synthèse, les mécanismes et les hypothèses ainsi mis en évidence ont été confrontés à la théorie initiale, qui a été reformulée par addition des hypothèses pertinentes.

Quelques résultats

Dans cette section, nous présentons de manière illustrative quelques résultats issus des différentes étapes méthodologiques. Il ne s’agit pas de résultats exhaustifs sur le sujet à l’étude, mais d’exemples pour illustrer le processus et la manière dont les résultats d’une évaluation réaliste pourraient être formulés.

Les pratiques autour de l’adoption de la politique par les gestionnaires des hôpitaux

Dans l’hôpital privé confessionnel

Dans cet hôpital, sur les huit éléments du paquet de la politique, seul l’examen postopératoire était entièrement exempté. La rémunération médiane payée par les usagères pour une césarienne après le lancement de la police s’élevait à 48 $US [min. 45 $US ; max 135 $US] au lieu d’être totalement gratuit comme prévu par la Politique promue par l’État.

Cet hôpital est la propriété d’une organisation religieuse qui en possède les infrastructures, qui nomme les gestionnaires, recrute le personnel, valide le budget, mobilise des ressources extérieures pour le fonctionnement de l’hôpital au besoin et contrôle la gestion. L’hôpital fonctionne essentiellement sur la base de ressources internes mobilisées à travers le recouvrement des coûts par paiement direct. Les interventions de l’État dans le fonctionnement de cet hôpital sont minimes. Le Comité de Santé – instance locale d’implication de la communauté dans la gouvernance du système local de santé – n’intervient quasiment jamais dans cet hôpital. Les populations sont peu informées à propos de la politique dans cet hôpital et n’ont aucun canal officiel pour s’informer ou exprimer leurs plaintes.

Le décret n° 2008-730 du 22 décembre 2008, portant institution de la Politique, a accrédité cet hôpital pour la mise en œuvre de la Politique dès son lancement en avril 2009. Cependant, les gestionnaires de cet hôpital n’ont adopté et n’ont commencé à offrir effectivement la césarienne gratuite qu’en septembre 2009. Les gestionnaires ont mentionné qu’ils ne faisaient pas confiance au gouvernement pour effectuer les remboursements en temps opportun, tel qu’indiqué dans les documents de politique officiels. Les gestionnaires ont justifié cette méfiance par leurs expériences antérieures avec l’État qui continue à leur devoir, depuis plusieurs années, les ressources financières exemptées aux bénéficiaires de la couverture sanitaire partielle accordée aux fonctionnaires. Les gestionnaires ont commencé à mettre en œuvre l’exemption de paiement pour les césariennes lorsqu’ils et elles ont constaté que les autres hôpitaux privés mettant en œuvre la politique ont commencé à recevoir effectivement les remboursements de manière régulière et sans trop de retard.

L’étude des coûts a montré que le coût de production médian (y compris tous les coûts directs) d’une césarienne dans cet hôpital confessionnel était de 44 $US [min 37 $US ; max 69 $US]. Les frais facturés aux usagères avant la politique étaient de 163 $US. Notre outil de suivi des flux financiers a montré que jusqu’en décembre 2011, cet hôpital était remboursé pour toutes les césariennes effectuées. Les gestionnaires ont perçu que le montant fixe de 178 $US était insuffisant et injuste, estimant que le taux de remboursement pour les hôpitaux n’appartenant pas à l’État devait être supérieur à celui des hôpitaux appartenant à l’État où les subventions publiques couvrent de nombreux coûts de fonctionnement. Les gestionnaires ont donc décidé de facturer systématiquement 35 $US aux usagères par césarienne en plus du remboursement reçu de l’État.

Dans l’hôpital public

Sur les huit éléments inclus dans le paquet de la césarienne gratuite, cinq ont été entièrement exemptés de frais de soins dans cet hôpital. Les frais encore à la charge des usagères s’élevaient à 6,22 $US [0,1 $US min ; max 53,3 $US].

Cet hôpital est la propriété de l’État qui l’a construit et l’a équipé avec des ressources publiques. L’État y paye une partie importante du personnel et nomme les gestionnaires. La population est mieux informée sur la politique. Les usagers et usagères utilisent plusieurs canaux comme les radios communautaires pour s’informer sur la politique ou se plaindre au besoin.

Les gestionnaires de cet hôpital ont adopté la politique rapidement et ont commencé à la mettre en œuvre moins d’une semaine après le lancement officiel. Le directeur de l’hôpital a participé à l’atelier technique qui a élaboré des options stratégiques dans la phase de développement de la politique. Il a perçu la politique comme un soutien à sa vision d’augmenter l’accès financier aux services pour les utilisateurs et utilisatrices dans son hôpital. Il a pris des mesures actives pour faciliter sa mise en œuvre réussie.

Dans cet hôpital, les frais de remboursement ont été perçus comme couvrant largement les coûts de la césarienne pour l’hôpital. Les gestionnaires qui sont des fonctionnaires de l’État se sont sentis obligés de commencer à mettre en œuvre la politique, comme l’a expliqué un gestionnaire :

La population a été largement informée que la césarienne est gratuite et il est difficile de dire maintenant, moi, je ne vais pas commencer à mettre en œuvre la politique. Une femme ne peut pas venir et vous lui dites, nous n’exécutons pas de césarienne gratuite aujourd’hui, puisque le directeur provincial de la santé sait que la césarienne est gratuite. Si une femme se plaint que l’établissement lui a demandé de payer, en tant que gestionnaire, vous devrez expliquer pourquoi. Gestionnaire, Hôpital public, 2012

Quelques configurations causales autour de l’adoption dérivée des résultats

Notre analyse des pratiques énoncées dans l’hôpital privé confessionnel nous indique que, dans ce contexte, les gestionnaires ne sont pas dans une relation administrative hiérarchique avec l’État, car les pressions issues des populations sont trop faibles ou absentes. Dans ce contexte, l’administration publique est perçue comme lente, peu crédible à propos du respect de ses engagements financiers et suscite une attitude de méfiance alors que la mobilisation des ressources issues des prestations des soins est essentielle pour le fonctionnement de l’hôpital. Le paiement direct est systématique, fortement ancré dans la culture organisationnelle et considéré comme une mesure capitale de survie organisationnelle. Dans ce contexte, la politique d’exemption de paiement des frais de soins (Intervention) est perçue par les gestionnaires d’hôpitaux (Acteurs) comme une menace pour la survie des hôpitaux (Mécanisme) et de fait un scénario sub-optimal dans l’adoption de la politique (Résultat).

La bonne adoption (Résultat) dans ce contexte nécessite que la politique soit perçue comme protectrice des intérêts financiers des hôpitaux ou au mieux qu’elle apporte une plus-value financière aux hôpitaux (Mécanisme), par l’apport de ressources plus facilement recouvrables, plus abondantes ou plus régulières (Intervention).

Dans le contexte de l’hôpital public, notre analyse montre que les gestionnaires sont relativement plus susceptibles de se conformer aux injonctions administratives hiérarchiques venant de l’État. La participation communautaire à la gestion de l’hôpital est relativement plus importante avec des populations bien informées sur la politique et disposant de canaux pour exprimer leurs plaintes. Cette double pression, administrative descendante et communautaire ascendante, sur les gestionnaires des hôpitaux (Acteurs) génère une coercition (Mécanisme) qui induit une meilleure adoption de la politique (Résultat).

Les investissements structurels de l’État avant l’initiation de la politique dans l’hôpital public sont plus importants que dans l’hôpital privé (Contexte). Dans ce contexte, le remboursement d’un même montant forfaitaire par acte (Intervention) génère un sentiment d’injustice (Mécanisme) auprès des structures n’appartenant pas à l’État (Acteurs) qui tendent de fait à compenser cette injustice en percevant des frais supplémentaires auprès des usagers et usagères, n’offrant donc en fait qu’une partie des services gratuitement (Résultat).

Synthèse et discussion : les théories autour de l’adoption de la politique

À travers les configurations causales formulées plus haut, on constate que l’adoption dépend de la confiance entre les parties prenantes et le promoteur de la politique d’exemption, par exemple l’État. Cette confiance est d’autant plus nécessaire si la crédibilité du promoteur est remise en cause sur la base d’expériences antérieures. Les dispositions à prendre pour rassurer les gestionnaires des hôpitaux incluent l’apport à temps de ressources adaptées à l’offre du service, tout au moins en compensation suffisante pour la perte de ressources générée par l’exemption de paiement.

Cette explication est compatible avec la théorie du comportement planifié qui stipule qu’il est peu probable que les individus développent une forte intention d’agir et se comportent d’une certaine manière s’ils pensent qu’ils n’ont pas les ressources et les opportunités pour y parvenir, même s’ils ont une attitude favorable envers le comportement en question et même s’ils estiment que les membres de leurs familles ou leurs congénères approuveraient le comportement (normes subjectives) (Ajzen et Fishbein 1980). Ainsi, même si la volonté politique et les injonctions administratives insufflent la formation de nouvelles normes et de nouvelles structures de référence, il est peu probable que l’adoption de la politique soit une réalité si elle n’a pas des caractéristiques requises et si elle n’apporte pas suffisamment de ressources garanties présentes et futures pour renforcer le contrôle perçu des acteurs et actrices sur sa mise en œuvre.

La perception de la justice dans la répartition des ressources est capitale dans le cas où les structures de mise en œuvre font l’objet de droits de propriété différents et sont sujettes à des financements variables. Un sentiment d’injustice est susceptible de se produire si la politique ne définit pas clairement les coûts réels engagés dans la production de chaque acte par type de formation sanitaire et si elle ne définit pas de manière explicite la marge excédentaire accordée à chaque unité de mise en œuvre. Ce besoin d’équité perçu dans l’adoption n’est présent ni dans la théorie du comportement planifié (Ajzen et Fishbein 1980), ni dans le modèle de diffusion des innovations de Rogers (1995), ni dans le modèle d’acceptation des technologies (Davis 1989). L’influence de ce sentiment d’injustice sur l’adoption de la politique peut être analysée comme une pression isomorphique mimétique (Zucker 1988), dans laquelle les acteurs et actrices des structures de santé n’appartenant pas à l’État en apprennent sur les avantages tirés de la politique par les structures de santé appartenant à l’État et recherchent à travers leurs comportements des bénéfices similaires.

Cette analyse nous a amenés à reformuler la théorie de programme initiale (encadré 2).

Encadré 2 : Théorie de programme raffinée

Un programme de santé est adopté au niveau opérationnel par les gestionnaires locaux de la santé qui sont responsables de l’appliquer et qui peuvent le faire de manière variable. Les facteurs personnels aussi bien que des facteurs contextuels locaux jouent un rôle, mais d’autres éléments au niveau de la politique, sa traduction dans un programme et au niveau communautaire, sont également importants. Il y a quatre scénarios possibles dans l’adoption d’un programme par les gestionnaires locaux. Le premier scénario est la décision d’adopter et d’appliquer le programme sans modification. Ceci est fort probable si le programme est perçu comme une extension des objectifs locaux (alignement), c’est-à-dire s’il répond aux besoins locaux et fournit les ressources nécessaires. Le second scénario est l’adaptation (positive) au contexte local. Il est susceptible de se produire lorsque les gestionnaires locaux sont convaincus que le programme peut être amélioré. Cela nécessite aussi qu’ils et elles en aient la capacité et une marge de liberté pour ajuster le programme à la situation locale. Un tel ajustement peut mener à de meilleurs résultats dans la mise en œuvre de la politique. Le troisième scénario est le détournement du programme ; ceci peut se produire si le programme est perçu comme un moyen de créer des opportunités personnelles ou organisationnelles et si sa mise en œuvre est peu « soutenue » et que la contre-pression locale est faible. Un quatrième scénario possible est la décision d’adopter et d’appliquer une version réduite du programme dans laquelle une partie seulement des services est offerte gratuitement. Ce scénario est susceptible de se produire même si les ressources apportées par la politique sont suffisantes. Il est plus probable si les gestionnaires se sentent défavorisés dans l’allocation des ressources apportées par la politique par rapport à d’autres structures de mise en œuvre. Le scénario réel final dépend de la pression locale, publique et politique (qui à son tour nécessite des représentant-e-s de la communauté bien informés sur la politique et ayant des canaux efficaces pour se faire entendre), la confiance des gestionnaires des structures de mise en œuvre dans l’engagement du promoteur de la politique et l’engagement personnel des gestionnaires locaux pour le succès de la politique. Une mise en œuvre durable exige une institutionnalisation au niveau local. Au niveau politique, l’engagement des gestionnaires et des bénéficiaires dans le processus décisionnel et la mesure dans laquelle les objectifs politiques et les groupes cibles sont clairement définis sont des facteurs influents. Les facteurs au niveau du programme comprennent l’existence d’instructions opérationnelles claires (y compris l’identification des objectifs de la politique, les groupes cibles, les modalités pratiques de la mise en œuvre du remboursement, etc.). Si les problèmes du personnel de santé, tels qu’une compensation pour perte de revenus, une formation, une (re) distribution, etc., sont pris en main de façon appropriée, le programme aura plus de chances d’être adopté et appliqué. Le passage d’une phase à l’autre peut modifier la politique : – Un bon consensus sur les objectifs, les groupes cibles et les modalités de la mise en œuvre (faible niveau d’ambiguïté et de conflit) peut faciliter le passage d’une phase à l’autre si chaque niveau dispose des capacités et des ressources nécessaires. – Un suivi et une capacité d’application faibles peuvent mener à la mise en œuvre symbolique s’il y a un sentiment profond de professionnalisme (dépendant de la volonté des professionnels locaux). – S’il n’y a pas de consensus sur les objectifs, les groupes cibles et les modalités de la mise en œuvre, la politique peut être empêtrée dans des conflits de pouvoir ou transformée au niveau local.

Dans cette théorie de programme raffinée, de nouvelles hypothèses sont ajoutées à la théorie de programme initiale par exemple à propos du rôle du sentiment d’injustice et de la confiance dans l’adoption de la politique. Le raffinement a porté aussi sur une modification d’une hypothèse existante. Par exemple, le nombre de scénario d’adoption possibles est passé de trois à quatre.

Cette théorie de programme raffinée apporte une réponse plausible à la question d’évaluation. Les décideuses et décideurs politique peuvent s’en inspirer de manière pratique pour améliorer la conception et la mise en œuvre de cette politique. Cette théorie de programme peut aussi permettre de mieux concevoir d’autres politiques similaires.

Cette théorie de programme reste toutefois une théorie de programme qui ne vise d’aucune manière à être universelle ou transférable à tous les contextes ou à tous les types d’intervention. Elle est par nature susceptible d’être améliorée au fil de cycles d’évaluation subséquentes.

Leçons apprises et discussion sur les enjeux de la mise en œuvre de l’évaluation

• Il faut une bonne préparation. Même si cette phase n’a pas forcément d’aspects fondamentalement différents de la préparation des autres formes d’évaluation, elle doit permettre de rassembler autant de données que possible sur les partenaires locaux de recherche, l’intervention à l’évaluation, les parties prenantes autour de l’intervention, les contextes de développement et de mise en œuvre. Nous suggérons à cette étape de distinguer clairement les deux situations suivantes :
  • le choix est fait de développer la théorie de programme initiale à partir de celle des concepteurs et conceptrices de l’intervention. Dans ce cas, il n’est pas indispensable pour l’évaluateur ou l’évaluatrice de finaliser une théorie de programme initiale avant de démarrer les activités de terrain. Il ou elle doit toutefois avoir une connaissance théorique et méthodologique suffisante pour expliciter la théorie de programme initiale des concepteurs et conceptrices dans une logique réaliste.
  • le choix est fait de développer la théorie de programme initiale indépendamment ou en complément de celle des concepteurs et conceptrices de l’intervention. Dans ce cas, il est essentiel de consacrer du temps à des revues de littérature.
• Il faut maîtriser une définition claire du concept de « mécanisme causal » au départ de l’évaluation. Il s’agit de l’un des défis majeurs pour comprendre l’évaluation réaliste.
• La distinction entre mécanisme, contexte et résultats peut parfois devenir un casse-tête et une source de confusion. Nous avons appris que la définition la plus opérationnelle est celle des « raisonnements et des réactions des acteurs et actrices à propos des ressources apportées par l’intervention ». En d’autres termes, les mécanismes sont cachés dans les perceptions, les opinions, les logiques implicites ou explicites des acteurs et actrices qui sous-tendent leurs attitudes, leurs actions vis-à-vis des ressources apportées par l’intervention, ce qui en détermine les résultats (Pawson et Tilley 1997; Lacouture et al. 2015). Ces mécanismes peuvent être explicitement formulés dans les discours des acteurs et actrices ou faire l’objet d’une rétroaction pour être identifiés.
• Il est essentiel de centrer la collecte de données sur l’approche configurationelle : il faut parfois des outils spécifiques pour documenter le contexte, la mise en œuvre de l’intervention, les résultats de l’intervention et les mécanismes, le tout construit sur la théorie de programme initiale. Pendant l’analyse, il est essentiel de garder une vision intégrée de ces composantes en triangulant les données afin d’identifier des configurations dans lesquelles l’intervention, les acteurs et actrices, les mécanismes, les éléments contextuels et les résultats sont en interaction.
• Le raffinement de la théorie de programme est un processus qui n’aboutit jamais. L’objectif final d’un cycle n’est pas de produire une théorie de programme universelle, mais utile en produisant des connaissances pertinentes pour les parties prenantes ou les chercheuses et chercheurs. Ce regard pragmatique sur la finalité d’un cycle d’évaluation réaliste est essentiel pour guider les efforts et éviter de s’embourber dans un processus sans fin.

Références clés

Pawson, R. et Tilley, N. (1997). Realistic evaluation. Londres : Sage Publications.

Les auteurs de ce livre sont les pères fondateurs de l’évaluation réaliste. Dans ce livre, ils en expliquent longuement les fondements et illustrent les concepts clés par des exemples en s’appuyant sur des programmes sociaux de différents domaines dans les pays développés.

Marchal, B., Van Belle, S., Van Olmen, J., Hoerée, T. et Kegels, G. (2012). Is realist evaluation keeping its promise? A review of published empirical studies in the field of health systems research. Evaluation, 18(2), 192–212.

Cette publication fait une revue de l’utilisation de l’évaluation réaliste dans le cadre de la recherche sur les systèmes de santé. Elle décrit entre autres les différents modèles d’utilisation, les confusions conceptuelles et les défis méthodologiques observés. Elle propose le cycle de l’évaluation réaliste et en décrit les différentes étapes pour réduire les confusions et faciliter la structuration de la démarche méthodologique.

Lacouture, A., Breton, E., Guichard, A. et Ridde, V. (2015). The concept of mechanism from a realist approach: a scoping review to facilitate its operationalization in public health program evaluation. Implementation Science, 10, 153-162.

Cette publication fait une synthèse des différentes définitions opérationnelles du concept de « mécanisme » dans l’évaluation des politiques de santé publique. Elle est utile pour mieux comprendre ce concept clé et peut aider à s’affranchir des confusions possibles entre les concepts de « mécanisme », « contexte » et « résultats ».

Site http://www.ramesesproject.org/

Ce site comporte les produits des projets Realist And Meta-narrative Evidence Syntheses : Evolving Standards (RAMESES) I et II. RAMESES I a développé des standards de qualité et de publication ainsi que les matériels de formation pour les revues réalistes ainsi que les approches y afférentes des revues méta-narratives. RAMESES II a développé des standards de qualité et de publication ainsi que les matériels de formation pour l’évaluation réaliste. Ce site est en anglais.

Références

Ajzen, I. et Fishbein, M. (1980). Understanding attitudes and predicting social behavior. Englewood Cliffs, NJ : Prentice-Hall.

Audi, R. (1999). The Cambridge dictionary of philosophy (2e éd.). Cambridge, NY: Cambridge University Press.

Berman, P. (1978). The study of macro and micro implementation of social policy. Santa Monica, CA : RAND Corporation.

Booth, A. (2008). Unpacking your literature search toolbox: on search styles and tactics. Health Information et Libraries Journal, 25(4), 313–317.

Centre de Recherche en Reproduction humaine et en Démographie. (2014). Rapport de synthèse : l’évaluation de la politique de gratuité de la césarienne dans cinq zones sanitaires au Bénin. Cotonou, Bénin: University of Aberdeen.

Dalkin, S. M., Greenhalgh, J., Jones, D., Cunningham, B. et Lhussier, M. (2015). What’s in a mechanism?: Development of a key concept in realist evaluation. Implementation Science, 10, 49-55.

Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. Management Information Systems Quarterly, 13, 319–340.

Elmore, F. R. (1979). Backward Mapping : Implementation Research and Policy Decisions. Polit Sci Q, 94, 601-16.

Goodnough, L. T., Riddell, J., Lazarus, H., Chafel, T. L., Prince, G., Hendrix, D., et Yomtovian, R. (1993). Prevalence of platelet transfusion reactions before and after implementation of leukocyte-depleted platelet concentrates by filtration. Vox Sanguinis, 65(2), 103–107.

Lacouture, A., Breton, E., Guichard, A. et Ridde, V. (2015). The concept of mechanism from a realist approach: a scoping review to facilitate its operationalization in public health program evaluation. Implementation Science, 10, 153-162.

Marchal, B., Kegels, G. et Van Belle, S. (2018). Realist evaluation in health policy and systems research: theory incarnate. Dans N. Emmel, J. Greenhalgh, A. Manzano, M. Monaghan et S. Dalkin (dir.), Doing Realist Research (édition 2018, volume 1). Londres, Angleterre: Sage Publications.

Marchal, B., Van Belle, S., De Brouwere, V. et Witter, S. (2013). Studying complex interventions: reflections from the FEMHealth project on evaluating fee exemption policies in West Africa and Morocco. BMC Health Services Research, 13, 469-477.

Marchal, B., Van Belle, S., Van Olmen, J., HoerÇe, T. et Kegels, G. (2012). Is realist evaluation keeping its promise?: A review of published empirical studies in the field of health systems research. Evaluation, 18(2), 192–212.

Marchal, B., Van der Veken, K., Essolbi, A., Dossou, J. P., Richard, F. et Van Belle, S. (2013). Methodological reflections on using realist evaluation in a study of fee exemption policies in West Africa and Morocco. Aberdeen : University of Aberdeen.

Matland, R. E. (1995). Synthesizing the implementation literature: The ambiguity-conflict model of policy implementation. Journal of Public Administration Research and Theory, 5(2), 145-174.

Merton, R. K. (1968). Social theory and social culture. New York : The Free Press.

Pawson, R. (2006). Evidence-based policy: a realist perspective. London ; Thousand Oaks, Calif. : SAGE Publications.

Pawson, R. et Tilley, N. (1997). Realistic evaluation. Londres : SAGE Publications.

Ridde, V. et Dagenais, C. (2012). Approches et pratiques en évaluation de programmes. Montréal : Presses de l’Université de Montréal.

Ridde, V. et Olivier de Sardan J. P. (2016). The implementation of public health interventions in Africa: a neglected strategic theme. Médecine et Santé Tropicales, 27(1), 6-9.

Ridde, V. et Olivier de Sardan J. P. (2017). The implementation of public health interventions in Africa: a neglected strategic theme. Médecine et Santé Tropicales, 27(1), 6–9.

Rogers, E. M. (1995). Diffusion of innovations (4e éd.). New York : Free Press.

Stern, E., Stame, N., Mayne, J., Forss, K., Davies, R. et Befani, B. (2012). Broadening the range of designs and methods for impact evaluations. Londres : Department for International Development.

Teddlie, C. et Tashakkori, A. (2009). Foundations of mixed methods research : integrating quantitative and qualitative approaches in the social and behavioral sciences. Londres : SAGE Publications

Van Belle, S., Wong, G., Westhorp, G., Pearson, M., Emmel, N., Manzano, A. et Marchal, B. (2016). Can ‘realist’ randomised controlled trials be genuinely realist?. Trials, 17, 313-318.

Westhorp, G. (2014). Realist impact evaluation: An introduction. Londres : A method lab.

Westhorp, G., Prins, E., Kusters, C., Hultink, M., Guijt, I. et Brouwers, J. (2011). Realist evaluation: an overview. Report from an expert seminar with Dr. Gill Westhorp. Wageningen: Wageningen UR Centre for Development Innovation.

Wong, G., Greenhalgh, T., Westhorp, G. et Pawson, R. (2014). Development of methodological guidance, publication standards and training materials for realist and meta-narrative reviews: the RAMESES (Realist And Meta-narrative Evidence Syntheses – Evolving Standards) project. Health Services and Delivery Research, No. 2.30. Southampton, UK : NIHR Journals Library.

Yin, R. (2003). Case study research. Design and methods. Londres : Sage Publications.

Zucker, L. G. (1988). Institutional patterns and organizations : culture and environment. Cambridge, MA : Ballinger Publishing.

Résumé / Overzicht / Abstract / Resumen

L’évaluation réaliste (ER) explicite les mécanismes causaux des résultats d’une intervention dans différents contextes. En s’appuyant sur l’évaluation de la mise en œuvre d’une politique de santé en Afrique de l’Ouest, ce chapitre illustre les différentes étapes du cycle de l’ER. À la première étape, les questions de recherche sont formulées. La valeur ajoutée de l’approche de l’ER est optimale sur des questions de type « Pourquoi? Comment? Pour qui? et dans quels contextes une intervention marche ou non? ». La seconde étape est la formulation de la théorie de programme initiale qui dépend de la nature de l’intervention, les objectifs d’évaluation, la nature des produits prioritaires attendus de l’évaluation, les ressources disponibles et la familiarité de l’évaluateur avec l’objet d’évaluation. La collecte des données peut se baser sur une forme particulière d’entretien qualitatif appelé « entretien réaliste ». En pratique, la collecte de données doit s’adapter aux informateurs clés, à leurs perceptions et attentes vis-à-vis des évaluateurs et évaluatrices pour éviter la tendance à la confirmation systématique de la théorie de l’évaluateur par les interviewés. L’analyste réaliste identifie activement les configurations « Intervention-Contexte-Acteur-Mécanisme-Résultat ». En pratique le raisonnement par rétroduction est utilisé pour expliciter les mécanismes. Un tableau permettant de suivre les changements apportés à la théorie de programme initiale facilite la dernière étape de la synthèse et du rapport de l’ER.

***

Realistische evaluatie (RE) verklaart de causale mechanismen die de resultaten van een interventie verklaren in verschillende contexten. Op basis van de evaluatie van de implementatie van een gezondheidsbeleid in West-Afrika illustreert dit hoofdstuk de verschillende stadia van de RE-cyclus. In de eerste fase worden de onderzoeksvragen geformuleerd. De toegevoegde waarde van de RE-benadering is optimaal voor vragen als « waarom, hoe, voor wie, en in welke context werkt een interventie of niet? ». De tweede stap is de formulering van de initiële programmatheorie, die afhangt van de natuur van de interventie, de evaluatiedoelstellingen, de aard van de outputs die van de evaluatie worden verwacht, de beschikbare middelen en de bekendheid van de beoordelaar met het doel van de evaluatie. Voor het verzamelen van gegevens kan elke methode gebruikt worden? Een specifieke vorm van interviews, genaamd « realistisch interview  » wordt vaak gebruikt. In de praktijk moet het verzamelen van gegevens zich aanpassen aan de informanten, hun percepties en verwachtingen ten opzichte van de beoordelaars om de neiging tot systematische bevestiging van de initiële theorie door de geïnterviewden te vermijden. De realistische analist identificeert vervolgens de configuraties ‘Interventie-context-actor-mechanisme-resultaat’. In de praktijk wordt retroductie gebruikt om de mechanismen te indetificeren. Een tabel om wijzigingen in de oorspronkelijke programmatheorie bij te houden, vergemakkelijkt de laatste stap van de synthese en rapportage van de RE.

***

Realist Evaluation (RE) identifies the causal mechanisms explaining the results of a given intervention in different contexts. Based on the evaluation of the implementation of a health policy in West Africa, this chapter illustrates the different stages of the RE cycle. In the first stage, the research question is formulated. The added value of the RE approach is optimal on questions such as « why, how, for whom, and in what contexts does an intervention work or not? ». The second step is the formulation of the initial program theory, which depends on the nature of the intervention being studied, the objectives, and the nature of the main outputs expected from the evaluation, the resources available and the evaluator’s familiarity with the object of evaluation The Data collection is method neutral and can be based on a particular form of qualitative interview called « realist interview ». In practice, data collection must adapt to key informants, their perceptions and expectations vis-à-vis the evaluators to avoid the tendency for systematic confirmation of the evaluator theory by the interviewees. The realist analyst actively identifies the « Intervention-Context-Actor-Mechanism-Outcome » configurations. In practice, retroductive analysis is used to explicit mechanisms that are implicit by nature. A table to track changes to the initial program theory facilitates the final step of the synthesis and the reporting of the RE.

***

La evaluación realista (ER) explica los mecanismos causales de los resultados de la intervención en diferentes contextos. Basado en la evaluación de la implementación de políticas de salud en África Occidental, este capítulo ilustra las diferentes etapas del ciclo de la ER. En el primer paso, se formulan las preguntas de la investigación. El valor añadido de la evaluación realista es óptimo para responder a preguntas como « ¿Por qué? ¿Cómo? ¿Para quién? y ¿en qué contextos funciona o no una intervención? ». El segundo paso es la formulación de la teoría del programa inicial, que depende de la naturaleza de la intervención, los objetivos de la evaluación, la naturaleza de los productos prioritarios principales esperados de la evaluación, los recursos disponibles y la familiaridad del evaluador con el tema de la evaluación. La recolección de datos puede basarse en una forma particular de entrevista cualitativa llamada « entrevista realista ». En la práctica, la recolección de datos debe adaptarse a los informantes clave, a sus percepciones y expectativas de los evaluadores para evitar la tendencia de los entrevistados a confirmar sistemáticamente la teoría del evaluador. El analista realista identifica activamente las configuraciones « Intervención-Contexto-Actor-Mecanismo-Resultado ». En la práctica, el razonamiento retroductivo se utiliza para explicar los mecanismos. Una tabla para el seguimiento de los cambios en la teoría original del programa facilita el paso final de la síntesis y el informe de la ER.

***

Jean-Paul Dossou est médecin de santé publique, chercheur en politiques et systèmes de santé, sur des questions de santé sexuelle et reproductive et de couverture sanitaire universelle en Afrique de l’Ouest et de l’Est. Il forge passionnément ses compétences théoriques et pratiques en complexité et en méthodologies réalistes depuis 2012 en travaillant étroitement avec des chercheuses et chercheurs réalistes de référence mondiale, dont le Pr Bruno Marchal.

Bruno Marchal est chef de l’unité « Organisation des Services de Santé » au Département de Santé publique à l’Institut de Médecine Tropicale d’Anvers en Belgique. Ses travaux de recherche et d’enseignement portent principalement sur la gestion stratégique des services de santé, ainsi que sur des méthodologies de recherche adaptées aux questions complexes en santé. Il est l’auteur des publications les plus citées sur l’évaluation réaliste et est en première ligne dans le développement de l’évaluation réaliste dans la santé mondiale.

Citation

Jean-Paul Dossou et Bruno Marchal. (2019). L’évaluation réaliste. L’exemple de l’adoption d’une politique publique de santé au Bénin. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. 433-462. Québec : Éditions science et bien commun et Marseille : IRD Éditions.