21 Évaluation réaliste

Résumé

L’évaluation réaliste est fondée sur une conception des politiques publiques comme des interventions qui produisent leurs effets par le biais de mécanismes qui ne se déclenchent que dans des contextes spécifiques. L’analyse de ces liens entre des contextes, des mécanismes et des effets est donc au cœur de cette approche. Celle-ci peut prendre appui sur une diversité de méthodes, mais va dans tous les cas avoir recours à des méthodes qualitatives pour investiguer les mécanismes en jeu. Relevant de la famille des évaluations basées sur la théorie, l’évaluation réaliste aspire à produire des théories de moyenne portée permettant notamment de faciliter le transfert des connaissances produites sur l’intervention étudiée à d’autres contextes ou d’autres interventions du même type.

Mots-clés : Méthodes qualitatives, évaluation basée sur la théorie, configurations contexte – mécanisme – effet, théorie de moyenne portée, réalisme critique

I. En quoi consiste cette approche?

Le réalisme critique, courant de pensée porté notamment par Roy Bhaskar (1975), a ouvert la voie au développement de l’approche réaliste pour l’évaluation. Dans son ouvrage A Realist Theory of Science, il se demande : comment doit être le monde pour que la science soit possible? L’idée est de se questionner sur la nature de la réalité, puisque c’est ce qui va ensuite déterminer la manière dont on peut l’explorer et l’appréhender. Bhaskar avance qu’il existe des structures, des pouvoirs, des mécanismes (par exemple la gravité) qui existent et qui peuvent produire des effets, même si nous ne les connaissons pas. Une feuille peut tomber de l’arbre et atteindre le sol sous l’effet de la gravité, même si nous ne l’avons pas observée. L’objectif est alors d’essayer de produire des connaissances sur les mécanismes, pouvoirs, structures qui existent et sur leurs façons d’agir, notamment les conditions qui favorisent leur déclenchement et les effets qu’ils peuvent produire. Ces théories sont donc des « énoncés sur la façon dont les choses agissent dans le monde » (Bhaskar 1975). L’objectif des chercheur·e·s est alors de produire des théories qui vont essayer d’élucider l’existence des mécanismes et leurs modes de fonctionnement. Cependant, ces théories seront toujours perfectibles et évolutives, la réalité et les connaissances évoluent. Pour les chercheur·e·s « réalistes », il y a une réalité, mais il n’y a pas de vérités générales valables en tout temps et en tout lieu.

L’approche réaliste de l’évaluation des politiques publiques se base sur ces principes (Pawson et Tilley 1997; Westhorp et al. 2011; Westhorp 2014; Robert et Ridde 2020). Elle a été introduite par Pawson et Tilley (1997). Le présupposé est que les politiques ont de réels effets, mais elles ne les provoquent pas directement. Elles permettent, ou non, le déclenchement de mécanismes, qui vont, eux-mêmes, produire des effets. Les mécanismes sont la réaction des personnes aux ressources, aux sanctions ou aux opportunités (selon le type de politique publique) mises à leur disposition dans le cadre de la politique (Lacouture et al. 2015). Les acteurs sont donc les moteurs du changement, ce sont leurs réactions qui vont produire des effets, qu’ils soient positifs, négatifs, attendus ou inattendus. Il ne suffit donc plus de répondre à la question : la politique fonctionne-t-elle (ou non), mais plutôt, d’investiguer les mécanismes qui, déclenchés par la politique dans des contextes spécifiques, vont produire des effets. Cela va permettre de répondre à la question : comment la politique fonctionne-t-elle ou non, pourquoi, pour qui, et dans quels contextes? L’objectif de l’évaluation réaliste est donc de faire des liens entre le déclenchement de mécanismes et des facteurs contextuels, et entre l’action de ces mécanismes et la survenue d’effets.

Pour répondre à toutes ces questions évaluatives, l’évaluation réaliste va mobiliser une approche d’évaluation basée sur la théorie (cf chapitre séparé). Il s’agit de partir de la théorie de l’intervention de la politique à évaluer (la façon dont on s’attend à ce que la politique produise ses effets), et de la faire évoluer, en fonction des connaissances existantes et des données de terrain. L’objectif est d’arriver à formuler ce qu’on appelle une théorie de moyenne portée (Merton 1968). Il s’agit d’une théorie qui se situe entre la théorie de l’intervention de la politique et une théorie qui se voudrait générale. C’est une théorie explicative d’une régularité (tendance observée) contextualisée (liée à des contextes particuliers). Pour arriver à cela, différentes étapes de l’évaluation sont à organiser.

(1) Reconstruire la théorie d’intervention

Il s’agit de commencer par comprendre la politique mise en œuvre. Il y a tout un ensemble de croyances ou de suppositions qui soutiennent les activités de la politique. En effet, toute politique repose sur une théorie du changement, c’est-à-dire une idée selon laquelle les activités mises en œuvre peuvent produire des changements. Il s’agit de répondre à des questions telles que : quelles sont les ressources mises à disposition par la politique et pourquoi? Quels changements la politique pourrait-elle générer et comment? Quels éléments du contexte pourraient avoir une influence sur la politique? Cette théorie de l’intervention n’est initialement souvent pas explicite, et il s’agit de l’investiguer. Cela peut passer par des discussions avec l’équipe de mise en œuvre et par une revue des documents. Souvent utilisés de façon interchangeable, les concepts de « théorie de l’intervention » et de « théorie du changement » présentent toutefois des différences. Ainsi la théorie de l’intervention est une théorie détaillée, centrée sur l’intervention, et décrivant l’ensemble des composantes d’une intervention et leur relation logique jusqu’à leur impact souhaité. Dans une perspective réaliste, elle intègre les concepts de mécanisme et de contexte. La théorie du changement est, quant à elle, centrée sur l’objectif de l’intervention et le changement social qu’elle vise : elle décrit ainsi la partie du raisonnement logique entre les résultats attendus et les impacts souhaités d’une intervention.

(2) Formuler des propositions théoriques sur la façon dont la politique peut produire des effets

À cette étape, il faut se baser à la fois sur la théorie de la politique reconstituée à l’étape précédente, et sur les connaissances scientifiques. L’objectif est de formuler des propositions théoriques sur la façon dont les activités de la politique, dans des contextes spécifiques, pourraient déclencher des mécanismes, qui pourront eux-mêmes produire des effets, et lesquels. Il s’agit de travailler sur les interactions entre un contexte particulier, la possibilité de déclenchement d’un mécanisme via la politique, et la production d’un effet. Le contexte est l’ensemble des facteurs extérieurs à la politique qui ont une influence sur le déclenchement d’un mécanisme (ex : caractéristiques socio-économiques des participant·e·s, normes sociales, relations interpersonnelles, environnement politique, etc.). Les effets sont les résultats produits par le déclenchement de ces mécanismes. Ces interactions sont donc des propositions théoriques sur la façon dont la politique devrait fonctionner et pourquoi.

(3) Tester empiriquement les propositions théoriques

Sur la base des propositions théoriques construites a priori, l’objectif est ensuite de les mettre à l’épreuve des faits, afin de les confirmer, réviser ou préciser. Cela permet de faire évoluer les propositions théoriques et donc la théorie de la politique. Cette mise à l’épreuve des faits pourra mobiliser des méthodes de collecte des données à la fois quantitatives et qualitatives. En effet, l’évaluation réaliste ne repose pas forcément sur un seul type de méthode ou de données. L’objectif est d’utiliser une panoplie de méthodes en fonction de leur pertinence pour tester les propositions théoriques. Il ne s’agit donc pas vraiment d’une méthode de recherche mais plutôt d’une « logique d’enquête » (Pawson et Tilley 2004). Néanmoins, pour investiguer les mécanismes et donc les raisonnements des acteurs et actrices impliqué·e·s dans la politique, il est nécessaire de mobiliser au moins des données de nature qualitative pour comprendre comment les acteurs et actrices perçoivent et réagissent à la politique. L’objectif de cette étape est de repérer, dans les données issues du terrain, des liens entre des contextes, des mécanismes et des effets, qui surviennent de façon régulière.

(4) Préciser la théorie de moyenne portée

À partir des données de terrain, les propositions théoriques formulées sont donc testées et précisées. Les propositions initialement construites évoluent et sont complétées avec les nouvelles données. Cela nous permet d’avoir une théorie consolidée, qui peut être formalisée par un ensemble de configurations « contexte, mécanismes, effets » (CME), pour expliquer comment, pourquoi, pour qui et dans quels contextes ce type de politique peut fonctionner ou non. Comme les mécanismes sont déclenchés par la politique, et sont forcément liés à une personne ou groupe de personnes, il est possible de formuler les théories sous forme de configurations plus complètes : ICAME (intervention – contexte – acteur – mécanisme – effet). Cette théorie est appelée théorie de moyenne portée car elle a une validité plus large que la théorie de la politique, qui est très spécifique. La théorie de moyenne portée est plus abstraite et peut servir de base pour analyser et évaluer d’autres politiques du même type.

II. En quoi cette approche est-elle utile pour l’évaluation des politiques publiques?

L’évaluation des politiques publiques a pour objectif d’orienter l’action publique en identifiant les activités les plus pertinentes à engager au vu des objectifs souhaités. Pour cela, il est nécessaire de s’appuyer sur les leçons apprises de la mise en œuvre de politiques passées ou en cours. Ces leçons ne doivent pas se résumer à évaluer la réalisation ou non des objectifs d’une action. Elles doivent également se nourrir de la mise à l’épreuve des hypothèses et préjugés qui ont fondé cette politique, ainsi que des stratégies d’action de celles et ceux chargé·e·s de la mettre en œuvre. L’approche réaliste permet donc de se distinguer des approches plus traditionnelles de l’évaluation, qui visent souvent à évaluer uniquement l’efficacité d’une politique, à l’aide d’indicateurs plutôt quantitatifs. Souvent, ces méthodes, à elles seules, se révèlent insuffisantes pour tirer des leçons pertinentes de la mise en œuvre de politiques complexes. Or, la plupart des politiques sont complexes car elles interviennent à différents niveaux d’action, impliquent une multitude de personnes, se transforment au fur et à mesure de leur mise en œuvre, sont influencées par le contexte et une myriade de facteurs. Il est donc utile de se tourner vers d’autres approches, comme l’évaluation réaliste, qui permettent de prendre en compte la complexité des politiques. Elle permet de saisir comment une politique peut, ou non, engendrer des changements. C’est une recherche évaluative de type explicative.

Il est souvent mis en avant dans la littérature critique sur les politiques publiques, qu’un même type de politique est diffusé sans être adapté dans d’autres contextes (Olivier de Sardan 2021). Pourtant, cette diffusion de politiques standardisées ne permet souvent pas de produire les mêmes résultats ailleurs. L’approche réaliste permet d’expliquer cela et peut permettre d’éviter de tels écueils. Elle aide à comprendre ce qui favorise, ou non, le déclenchement des mécanismes qui produisent des effets positifs, et à comprendre comment et pourquoi ces déclenchements pourraient potentiellement survenir ailleurs. Comprendre pourquoi et comment les politiques publiques fonctionnent, auprès de quels bénéficiaires et dans quels contextes, permet de fournir des orientations à la prise de décision. Se poser la question de « pour qui » la politique fonctionne est également une interrogation essentielle dans le cadre de l’évaluation des politiques publiques. Cela est nécessaire pour tenir compte des retombées différentes de la politique pour les différents sous-groupes, notamment les plus marginalisés, chez lesquels on peut observer des effets différentiels, contre-intuitifs voire indésirables. Tous ces questionnements, que l’on retrouve dans l’approche réaliste, peuvent donner des indications sur la pertinence de mettre en œuvre une politique dans un autre contexte, ou sur la façon dont on peut adapter ou faire évoluer la politique pour qu’elle ait le plus de chances de produire les effets escomptés. Elle est donc une approche particulièrement adaptée quand la politique vise à être mise à l’échelle et étendue à d’autres populations, dans d’autres contextes.

Un raisonnement réaliste, s’appuyant sur les résultats d’évaluations antérieures ou sur une revue des écrits scientifiques selon cette approche, peut tout à fait être utilisé pour guider la formulation d’une politique avant sa mise en œuvre. Néanmoins, l’évaluation réaliste de la politique ne pourra pas être réalisée uniquement a priori si aucune donnée sur des résultats n’est disponible, puisque pour élaborer les configurations CME, des données sur les effets sont nécessaires.

III. Un exemple d’utilisation de cette approche pour évaluer la mise en œuvre de la couverture sanitaire universelle

La couverture sanitaire universelle (CSU) promeut l’accès de toutes les personnes aux services de santé dont elles ont besoin, sans être exposées à des difficultés financières. Pour atteindre ce but, l’Organisation mondiale de la santé (OMS) a mis en place un Partenariat pour soutenir la CSU dans plusieurs pays. Ce partenariat vise à soutenir un dialogue collaboratif sur les politiques, instruments de gouvernance dans les pays qui ont pour objectif de mettre en œuvre des actions pour la CSU. Cette intervention consiste donc à mettre à disposition des ressources et expertises (ex : assistant·e technique, formation pour les cadres des ministères, etc.) en fonction des besoins des Ministères de la santé (Robert et Ridde 2020). Ce type d’intervention est donc complexe, prend place dans des contextes très différents et sous des formes variables. Elle ne peut pas être évaluée en mobilisant uniquement des données et indicateurs de types quantitatifs. Par contre, l’évaluation réaliste a permis de mieux comprendre comment ce Partenariat peut fonctionner, et les potentielles différences de résultats selon les contextes de mises en œuvre. L’objectif général de l’étude était donc de comprendre comment, dans quels contextes et via quels mécanismes le Partenariat peut soutenir le dialogue sur les politiques.

L’objectif était d’investiguer : 1) comment et dans quels contextes le Partenariat peut-il initier et nourrir le dialogue sur les politiques? 2) comment la dynamique de collaboration se déroule-t-elle au sein du dialogue sur les politiques soutenu par le Partenariat? (Robert et al. 2022) Une étude de cas multiples a été menée dans six pays. Des propositions théoriques sur la façon dont la politique pouvait fonctionner ont pu être tirées des documents du projet mais aussi des théories existantes dans les écrits scientifiques, par exemple les théories sur les relations partenariales et la gouvernance collaborative. Un exemple de proposition théorique formulée est que le renforcement des capacités (par la formation, l’expertise technique et le soutien continu de l’OMS) donnerait du pouvoir au ministère de la santé (M) tout en déclenchant une compréhension commune de la gouvernance et du dialogue sur les politiques (M) ; ce qui devrait amener le ministère de la Santé à mener des dialogues sur les politiques inclusifs et participatifs (E). Le déclenchement de ces mécanismes pourrait être favorisé par des facteurs contextuels, comme par exemple le fait que l’OMS et le ministère de la Santé entretiennent des relations durables (C) ou que les ressources humaines des deux institutions qui participent au Partenariat sont stables (C).

Une démarche collaborative a été adoptée, en impliquant les parties prenantes aux étapes clés de l’évaluation : développement du protocole, élaboration de la théorie d’intervention, interprétation des résultats, etc. En s’appuyant à la fois sur les théories afin de monter en abstraction, la théorie d’intervention et les données de terrain pour consolider ou réfuter les propositions théoriques initiales, plusieurs configurations CME ont pu être formulées. Par exemple : le partenariat facilite le lancement du dialogue sur les politiques (E) en suscitant l’intérêt des parties prenantes pour une collaboration multisectorielle (M), à condition que ces dernières reconnaissent leur interdépendance et l’incertitude qui pèse sur la gestion des problèmes de santé essentiels (C). On voit qu’un des effets attendus par l’OMS lors de la mise en place du Partenariat ne se réalisera que dans un contexte particulier qui permettra le déclenchement d’un mécanisme réactionnel spécifique de la part des parties prenantes. Ce type de résultats pourra soutenir la mise en œuvre des actions similaires, aider à l’adapter ou à connaître les contextes où ce type d’intervention a le plus de chances de répondre positivement aux objectifs attendus.

IV. Quels sont les critères permettant de juger de la qualité de la mobilisation de cette approche?

L’évaluation réaliste est plus une approche de l’évaluation qu’une méthode. Elle fait partie de la catégorie de « recherche évaluative ». Pour juger de la qualité d’une évaluation réaliste, il faut donc plutôt s’assurer que l’évaluation respecte certains critères de base de l’approche. Par exemple, l’évaluation doit se focaliser sur la découverte des mécanismes à l’œuvre, et le concept de mécanisme doit être correctement compris et appliqué. Il est nécessaire de retrouver dans le processus d’évaluation la mise en relation de contextes, mécanismes, effets, et acteurs, par la présence de configurations. L’évaluation doit permettre de générer une plus grande abstraction par rapport à la théorie de la politique. D’autres éléments peuvent également favoriser une évaluation réaliste de qualité : la réalisation d’une revue des écrits scientifiques pour investiguer les théories existantes et soutenir la formulation des propositions théoriques à tester; le croisement des sources de données (qualitatives et quantitatives); l’implication des différentes parties prenantes de la politique aux différentes étapes de l’évaluation, etc. Il existe des guides, tels que les « Quality Standards for Realist Evaluation » (Wong et al. 2016) qui fournissent une orientation à chaque étape de l’évaluation, afin de réaliser une évaluation réaliste de qualité.

V. Quels sont les atouts et les limites de cette approche par rapport à d’autres?

L’évaluation réaliste a de nombreux atouts. Elle permet de prendre en compte la complexité des politiques publiques, ainsi que celle du monde social, politique, économique, dans lequel elles prennent place. Elle s’appuie sur une démarche collaborative, et favorise l’implication de toutes les parties prenantes (au niveau institutionnel, opérationnel et réceptionnaire de la politique). Plus particulièrement, cette démarche permet de mettre les « bénéficiaires » et personnes de premières lignes au centre de l’évaluation, en les considérant comme des expert·e·s. Ce sont leurs réactions que l’on essaie de comprendre, et ce sont elles et eux qui sont les plus à même de nous informer.

Elle permet d’expliquer des processus et résultats multiples, de mettre en évidence les résultats inattendus des politiques, et de répondre à des questions évaluatives souvent négligées (comprendre le comment plutôt qu’uniquement le résultat). Le fait de chercher à comprendre de façon approfondie le fonctionnement des politiques permet de fournir des connaissances qui sont plus à même d’être mobilisables dans d’autres contextes. Son attention au contexte est fondamentale car trop souvent oubliée dans les approches évaluatives standards. De plus, son ancrage dans la théorie permet de favoriser l’utilisation et le cumul des connaissances disponibles. Elle permet de mobiliser concrètement les connaissances scientifiques, alors qu’elles sont souvent trop peu utilisées sur le terrain. Le fait de s’appuyer à la fois sur les écrits scientifiques et sur les données issues du terrain, permet de s’assurer d’une certaine transférabilité des résultats produits et de fournir des recommandations appropriées aux personnes décisionnaires politiques (pertinence ou non de mettre en œuvre ce type de politique dans certains contextes, comment adapter une politique à un contexte spécifique, etc.). Enfin, elle permet la collaboration entre des équipes de travail ayant des expertises et des domaines de recherche différents, ainsi que la mobilisation de méthodes de recherche très différentes.

Néanmoins, mobiliser cette approche comporte quelques défis. D’abord, elle demande du temps et elle peut être difficile à maîtriser. Les concepts de contexte et de mécanisme peuvent être difficiles à appréhender et à opérationnaliser. Il y a encore un manque d’enseignements dédiés à la pratique de l’évaluation avancée et de la recherche évaluative dans lesquels on enseigne l’évaluation réaliste. De plus, beaucoup de parties prenantes de l’évaluation (bailleurs, partenaires opérationnels, comités d’éthique, etc.) ne connaissent pas cette approche, ce qui peut poser des problèmes de compréhension sur ce qu’il est possible ou non de faire, et donc de répondre à leurs attentes. Ensuite, l’évaluation reste très marquée par la recherche de résultats d’impact mesurés à l’aide d’indicateurs. Ici, c’est un tout autre format de résultats qui pourra être fourni aux commanditaires et aux parties prenantes intéressées. Enfin, cette approche de l’évaluation n’est pas simple, et ne permet pas de produire des résultats linéaires : plusieurs mécanismes peuvent agir en même temps, avoir des influences contraires sur les résultats ; un effet dans une configuration peut devenir un contexte dans une autre. Les configurations CME peuvent donc parfois être difficiles à construire.

Quelques références bibliographiques pour aller plus loin

Bhaskar, Roy. 1975. A Realist Theory of Science.

Lacouture, Anthony. et Breton, Eric. et Guichard, Anne. et Ridde, Valéry. 2015. « The concept of mechanism from a realist approach: a scoping review to facilitate its operationalization in public health program evaluation. » Implementation Science 10 (1): 153. https://doi.org/10.1186/s13012-015-0345-7.

Merton, Robert C.. 1968. Social Theory and Social Structure. Simon and Schuster.

Olivier de Sardan, Jean-Pierre. 2021. La Revanche des contextes: Des mésaventures de l’ingénierie sociale en Afrique et au-delà. Paris: Karthala.

Pawson, Ray. et Tilley, Nicholas. 1997. Realistic Evaluation. London: Sage.

Pawson, Ray. et Tilley, Nicholas. 2004. Realist Evaluation. DPRN Thematic Meeting 2006 Report on Evaluation.

Robert, Emilie. et Ridde, Valéry. 2020. Dealing With Complexity and Heterogeneity in a Collaborative Realist Multiple Case Study in Low- and Middle-Income Countries. SAGE Research Methods Cases. SAGE Publications Ltd. https://doi.org/10.4135/9781529732306.

Robert, Emilie. et Ridde, Valéry. et Rajan, Dheepa. et Sam, Omar. et Dravé, Mamadou. et Porignon, Denis. 2019. « Realist Evaluation of the Role of the Universal Health Coverage Partnership in Strengthening Policy Dialogue for Health Planning and Financing: A Protocol. » BMJ Open 9 (1): e022345. https://doi.org/10.1136/bmjopen-2018-022345.

Robert, Emilie. et Zongo, Sylvie. et Rajan, Dheepa. et Ridde, Valéry. 2022. « Contributing to Collaborative Health Governance in Africa: A Realist Evaluation of the Universal Health Coverage Partnership. » BMC Health Services Research 22 (1): 753. https://doi.org/10.1186/s12913-022-08120-0.

Westhorp, Gill. 2014. « Realist Impact Evaluation: An Introduction ». Methods Lab.

Westhorp, Gill. et Prins, Ester. et Kusters, Cecile. et Hultink, Mirte. et Guijt, Irene. et Brouwers, Jan. 2011. « Realist Evaluation : An Overview ». Seminar report.

Wong, Geoff. et Westhorp, Gill. et Manzano, Ana. et Greenhalgh, Joanne. et Jagosh, Justic. et Greenhalgh, Trish. 2016. « RAMESES II reporting standards for realist evaluations ». BMC Medicine 14 (1): 96. https://doi.org/10.1186/s12916-016-0643-1.