14 Traçage de processus

Résumé

Le traçage de processus est une approche d’évaluation basée sur la théorie. À partir de la formulation d’une théorie du changement relative aux processus (TCP), elle recueille des preuves pour déterminer comment l’intervention s’est déroulée dans un cas unique et si elle a contribué de manière plausible aux changements escomptés. Souvent décrite comme une approche qualitative, le traçage de processus peut en fait s’appuyer sur une diversité de méthodes qualitatives et quantitatives. Particulièrement utile pour évaluer des interventions complexes, cette approche permet de déterminer « dans quelles conditions, comment et pourquoi » une intervention a fonctionné, plutôt que de quantifier son impact.

Mots-clés : Méthodes qualitatives, évaluation basée sur la théorie, théorie du changement, processus, principes causaux, chemins de contribution, preuves, empreintes digitales, raisonnement bayésien

I. En quoi consiste cette approche?

Lorsque les évaluateurs ou évaluatrices effectuent un traçage de processus (TP), ils et elles se comportent un peu comme des « détectives ». En appliquant le traçage de processus, on cherche à expliquer, plutôt qu’à simplement décrire, les processus de changement. Pour le dire simplement, on cherche à retracer comment les activités des personnes et collectifs et leurs motivations s’articulent pour produire un changement dans les comportements et actions des autres. Le traçage de processus s’apparente également à un « travail de détective » sur le plan empirique, puisqu’il consiste à rassembler un ensemble de preuves (ce que D. Beach appelle des « empreintes digitales ») pour déterminer comment l’intervention s’est déroulée dans un cas particulier et si elle a plausiblement contribué à produire les changements escomptés. En termes un peu plus techniques, le traçage de processus est une approche d’évaluation basée sur la théorie permettant d’étudier comment les interventions ont fonctionné dans des cas réels (voir chapitre séparé sur l’évaluation basée sur la théorie). En tant que tel, le traçage de processus appartient à la famille des méthodes qui cherchent à répondre aux questions « comment, pourquoi et dans quelles circonstances » les programmes et les politiques fonctionnent en étudiant comment ils se déroulent dans le monde réel. Visuellement, le traçage de processus cherche à comprendre ce qui se passe « entre » la flèche qui relie les interventions et les résultats, à partir d’une démarche d’étude de la théorie du changement. Son avantage comparatif par rapport à d’autres méthodes est d’ouvrir complètement la boîte noire des processus de changement.

Le traçage de processus est souvent considéré comme une approche « qualitative » parce qu’il s’appuie souvent sur des preuves qualitatives (provenant d’entretiens, d’observations, de documents, etc.) mais, comme beaucoup d’autres approches d’évaluation basées sur la théorie, il résiste en réalité à une classification simple et peut être plus adéquatement décrit comme « agnostique ». Le traçage de processus peut mobiliser une gamme de méthodes de collecte et d’analyse de données, quantitatives ou qualitatives, en cherchant à rassembler un ensemble de preuves suffisamment solides pour trancher entre la théorie du changement examinée et les explications alternatives. En outre, plus récemment, certains évaluateurs ont formalisé mathématiquement l’utilisation du traçage de processus par l’application du raisonnement bayésien (Befani 2021).

Le traçage des processus se décompose en deux phases principales, et se distingue des autres évaluations basées sur la théorie par quelques caractéristiques uniques que nous mettrons brièvement en évidence.

La première phase du traçage du processus consiste à formuler une théorie du changement relative aux processus (TCP).

Une TCP est une théorie détaillée de la manière dont une intervention a contribué à un résultat d’intérêt. Il s’agit de décortiquer les activités des acteurs et actrices et collectifs qui, ensemble, constituent le fonctionnement interne des programmes (la flèche). Les acteurs et actrices sont les personnes ou les organisations qui font des choses, tandis que les actions sont ce qu’ils et elles font. Pour comprendre pourquoi les actions d’un·e acteur·rice ont conduit d’autres acteurs et actrices à faire des choses, il faut essayer de rendre aussi explicite que possible ce que Cartwright et Hardie (2012) appellent les principes de causalité.

Pour ce faire, il s’agit dans un premier temps de réfléchir à la « contribution » qui aurait pu être produite de manière réaliste par une intervention et aux chemins de contribution plausibles reliant l’intervention à ces contributions. Pour cela, on peut s’appuyer sur la littérature en sciences sociales sur le sujet ou sur les archives ouvertes compilant les résultats d’évaluations déjà réalisées (evidence repositories), ainsi que sur les documents produits dans le cadre de la mise en œuvre de la politique étudiée. En ce sens, le traçage de processus ne se limite pas aux objectifs déclarés, mais explore plutôt les différentes voies plausibles, intentionnelles ou non, vers les changements escomptés.

Lorsqu’il s’agit de déterminer quelle contribution aurait pu être produite par une intervention, il est également important d’explorer les explications concurrentes, en dehors des activités du programme, qui pourraient également expliquer les résultats.

Le niveau de détail d’une TCP peut varier. Une TCP plus détaillée est nécessaire lorsque l’évaluation cherche à produire des connaissances exploitables qui peuvent aider à la mise en œuvre du projet. En revanche, si l’objectif est de comprendre comment un type d’intervention fonctionne dans plusieurs cas, une TCP simplifiée, d’un niveau de précision moyen, peut être suffisant.

La deuxième phase consiste à tester empiriquement la TCP pour comprendre comment elle a réellement fonctionné dans un cas donné.

Le traçage de processus cherche à tester et à affiner sa théorie en observant comment l’intervention a fonctionné dans un cas donné. Dans le traçage de processus, une TCP détaillée sert de base pour tester empiriquement comment une contribution a été effectivement produite. Cela signifie qu’avant de s’engager dans la collecte réelle de données, il faut anticiper le type « d’empreintes digitales » plausibles laissées par le mécanisme de changement et déterminer le type de preuves dont on a besoin ou que l’on souhaiterait voir pour renforcer la confiance dans la théorie. Il existe deux types de preuves utiles : certaines « doivent être trouvées » pour éviter de fragiliser ou d’invalider la TCP. D’autres sont des preuves qu’on « aimerait trouver » pour renforcer de manière significative la crédibilité de la TCP.

Dans la réflexion sur ces différents éléments de preuve, il s’agit de ratisser large pour englober une variété de différentes « empreintes digitales » potentielles. Dans le cadre du traçage de processus, chaque élément de preuve individuel ne nous apprend généralement pas grand-chose, mais combiné à d’autres, il peut agir comme une signature unique. Travailler avec des preuves implique donc souvent une forme de bricolage (pour en savoir plus, voir Beach et Pedersen, 2019 : 232-233).

Une fois que la collecte des données a commencé, une évaluation critique des observations et des preuves réunies doit avoir lieu. Le raisonnement bayésien est souvent utilisé comme cadre logique pour évaluer la force (valeur probante) des preuves collectées, soit de manière informelle, de façon analogue à son utilisation dans les enquêtes criminelles (par exemple Beach et Pedersen, 2019), soit de manière plus formelle par l’application du théorème de Bayes et l’estimation des probabilités de trouver ou de ne pas trouver des preuves (voir par exemple Befani et Stedman-Pryce, 2017). Fondamentalement, dans une démarche de traçage de processus, il faut se poser les questions suivantes :

• Si les « empreintes » attendues ne sont pas trouvées, a-t-on eu bien accès à l’ensemble des données empiriques et peut-on être sûr que nos sources ne nous cachaient pas quelque chose?

• Si les « empreintes » attendues sont trouvées, avons-nous interprété correctement ce que nos sources nous ont dit dans ce contexte, et pouvons-nous leur faire confiance?

II. En quoi cette approche est-elle utile pour l’évaluation des politiques publiques?

Lorsque le traçage de processus a fait son entrée dans la pratique de l’évaluation, le domaine de l’évaluation d’impact avait été dominé par des approches (quasi-)expérimentales présentant de forts avantages comparatifs dans l’établissement de l’effet de traitement moyen d’interventions relativement simples dont l’effet pouvait être mesuré quantitativement. Cependant, le besoin s’est fait sentir d’élargir la boîte à outils de l’évaluation d’impact à d’autres approches qui pourraient répondre à différents types de questions causales, et d’étudier des interventions plus complexes et moins accessibles à la quantification et aux comparaisons contrôlées. Le traçage de processus est alors apparu comme une approche utile pour les évaluations qui cherchent à expliquer les processus de changement et qui sont moins concernées par la question de savoir « dans quelle mesure » une intervention a eu un impact sur un résultat souhaité, et plus par la question de « dans quelles conditions, comment et pourquoi » une intervention a fonctionné dans le monde réel.

Le traçage de processus a été utilisé pour évaluer l’impact d’une série d’interventions, mais il présente un avantage comparatif par rapport à d’autres méthodes pour étudier les interventions complexes ou difficiles à saisir, telles que l’influence des connaissances et du travail sur les données, l’impact des campagnes de plaidoyer et de communication ou encore de la concertation sur la prise de décision, etc. Elle fonctionne également bien pour évaluer l’impact des interventions qui visent à modifier des comportements par le biais de mécanismes de sensibilisation et d’incitation.

Le traçage de processus peut être utilisé pour répondre à divers besoins décisionnels, mais il convient particulièrement bien à la gestion adaptative des interventions, lorsqu’on cherche à tester et à affiner les modalités de mise en œuvre d’un programme dans divers contextes. Il peut également être utile d’utiliser le traçage de processus pendant une phase pilote ou de généralisation d’une intervention, pour évaluer si les mécanismes de changement sont déclenchés lorsque les interventions sont reproduites ou étendues. Cette méthode fonctionne généralement bien en tant qu’approche in itinere ou ex post.

III. Exemples d’utilisation de cette approche dans le domaine du développement

Parmi des exemples d’utilisation du traçage de processus pour l’évaluation des politiques de développement, on peut citer : son utilisation pour évaluer la soutenabilité des politiques d’appui budgétaire (Orth et al. 2017), pour étudier l’impact de campagnes de plaidoyer sur la préservation de la biodiversité (D’Errico, et al. 2017), ou encore pour comprendre la contribution des mécanismes de participation citoyenne dans l’amélioration des services publics en République dominicaine (Raimondo, 2020).

Dans ce dernier exemple, l’évaluation a cherché à répondre à l’intensification des efforts des organismes d’aide pour favoriser la participation des citoyens et citoyennes à la définition des programmes de développement. La Banque mondiale a décidé en 2014 d’intégrer des activités de participation citoyenne dans tous ses projets où des bénéficiaires directs pouvaient être identifié·e·s. En prenant cet engagement politique, la Banque mondiale a affirmé que la participation citoyenne était non seulement positive en principe, mais qu’elle pouvait également améliorer l’efficacité de ses projets. Pour tester cette hypothèse, l’évaluation a porté sur un cas typique d’organisation de la participation citoyenne pour améliorer la fourniture des services de santé et d’éducation pour les ménages pauvres en République dominicaine. Le fait de décortiquer et de tester les mécanismes causaux sous-jacent aux activités de participation citoyenne a certainement permis à l’équipe d’évaluation de mieux comprendre les rouages comportementaux, opérationnels et institutionnels de l’intervention et les conditions dans lesquelles la participation citoyenne pouvait contribuer à l’amélioration de la qualité des services. Sur la base de cette compréhension fine, l’évaluation a formulé des recommandations pratiques concernant la façon dont les réunions avec les citoyen·ne·s devraient être organisées et par qui pour assurer une boucle de rétroaction efficace et l’amélioration des services. Cependant, il était nécessaire de compléter le traçage de processus par des comparaisons entre cas afin d’améliorer la validité externe des résultats et leur pertinence politique pour l’ensemble du programme, qui a été mis en œuvre dans plusieurs régions.

IV. Quels sont les critères permettant de juger de la qualité de la mobilisation de cette approche?

La qualité de la mise en œuvre du traçage des processus dépend de la manière dont la théorie et l’empirie sont réunis. Pour parvenir à un traçage de processus présentant une validité interne élevée, il convient de garder à l’esprit les trois critères suivants :

1. un TCP plus désagrégé et plus fin qui capture les épisodes et les mécanismes clés;
2. des preuves très spécifiques trouvées pour chaque partie du TCP;
3. des sources dignes de confiance et un accès complet aux données empiriques.

En revanche, si le TCP est trop simple ou abstrait, si les preuves trouvées ne sont pas spécifiques ou pouvaient valider d’autres explications, ou si les sources sont trop faibles ou ne sont pas dignes de confiance, la validité interne sera faible.

Pour certaines évaluations, il est également important que les leçons tirées du traçage de processus puissent être transposées à d’autres contextes. Le traçage de processus en lui-même n’a pas une grande validité externe, mais en le combinant avec des comparaisons entre cas, il est possible d’explorer si des processus similaires fonctionnent également dans d’autres cas à travers les contextes.

V. Quels sont les atouts et les limites de cette approche par rapport à d’autres?

Principaux atouts de l’approche lorsqu’elle est bien mise en œuvre :

• Si les trois critères de qualité énoncés ci-dessus sont respectés, l’application du traçage de processus renforce considérablement la capacité à établir un lien de causalité fort entre les interventions et les résultats observés, tout en ayant un fort pouvoir explicatif sur le « comment » et le « pourquoi » des processus de changement.

• Le traçage de processus fournit un plan clair pour organiser et rendre transparent le processus de collecte et d’évaluation des preuves, ainsi que la triangulation des sources. Ce processus va bien au-delà des approches typiques d’étude de cas et d’autres approches basées sur la théorie. Le traçage du processus permet à la théorie du changement de se déployer de manière vivante et rend plus crédibles les revendications d’impact ou de contribution.

• Il est également plus facile de tirer des « leçons pratiques » d’une étude mobilisant le traçage de processus que de nombreux autres types d’approches d’évaluation. En se concentrant sur les explications causales et les liens entre les actions et les changements de comportements, il aide à concevoir comment ces activités devraient être ajustées ou modifiées pour améliorer les résultats.

• Le traçage de processus présente un avantage comparatif par rapport à d’autres méthodes d’évaluation (d’impact) pour évaluer des interventions qui ne se prêtent pas à la quantification ou à l’expérimentation, comme le dialogue politique, la contribution de la recherche, le travail sur les connaissances et les données, les campagnes de plaidoyer et de communication, etc.

Quelques (dé)limitations de l’approche :

• Le traçage de processus ne permet pas de quantifier l’impact moyen d ‘une intervention sur un résultat d’intérêt et ne doit pas être utilisé pour atteindre cet objectif.

• Bien que le traçage de processus ne requière pas nécessairement une technicité excessive, la courbe d’apprentissage est abrupte pour en maîtriser les ficelles. Il faut notamment se familiariser avec la mise en place des « tests empiriques » pour mesurer la valeur probante (le caractère unique et la fiabilité) des preuves; il s’agit aussi de faire preuve de rigueur dans la reconstruction de la TCP, et de tirer parti de la littérature existante pour théoriser le changement de comportement lié à des actions spécifiques, etc.

• En soi, le traçage de processus a une faible validité externe et doit être associé à une étude de cas croisée, ce qui peut devenir onéreux et prendre du temps.

Quelques références bibliographiques pour aller plus loin

Beach, Derek. et Brun Pedersen, Rasmus. 2019. Process Tracing Methods. Ann Arbor: University of Michigan Press.

Befani, Barbara. et Stedman-Bryce, Gavin. 2017. “Process Tracing and Bayesian updating for impact evaluation”. Evaluation, 23(1): 42–60.

Befani, Barbara. 2021. Credible Explanations of Development Outcomes: Improving Quality and Rigour with Bayesian Theory-Based Evaluation. Report 2021:03, Expert Group for Aid Studies (EBA), Sweden.

Cartwright, Nancy. et Hardie, Jeremy. 2012. Evidence-based policy: A practical guide to doing it better. Oxford: Oxford University Press.

D’Errico Stefano. et Befani, Barbara. et Booker, Francesca. et Guiliani, Alessandra. 2017. Influencing policy change in Uganda: an impact evaluation of the Uganda Poverty and Conservation Learning Group’s work. PCLG Research Report https://www.iied.org/sites/default/files/pdfs/migrate/G04157.pdf

Orth, Magdalena. et Schmitt, Johannes. et Krisch, Franziska. et Oltsch, Stefan. 2017. What we know about the effectiveness of budget support. Evaluation Synthesis, German Institute for Development Evaluation (DEval), Bonn.

Raimondo, Estelle. 2020. “Getting Practical with Causal Mechanisms: The Application of Process-Tracing under Real-World Evaluation Constraints.” New Directions for Evaluation, Fall 2020, 45-58.