23 Récolte d’incidences

Résumé

La récolte d’incidences est une approche qualitative en évaluation ex post. Plutôt que de tester un impact spécifique de l’intervention étudiée, elle consiste, en collaboration avec les parties prenantes, à identifier et collecter des preuves empiriques concernant des effets intentionnels ou non, à étudier comment ces effets ont été produits et si et comment l’intervention a pu jouer un rôle dans ce processus, avant de valider ces résultats à l’aide de sources externes. La récolte d’incidences est une approche axée sur l’utilisation : elle vise à produire des connaissances pour l’action. Elle est particulièrement utile dans le cas d’interventions complexes, quand les effets d’une intervention ne sont pas connus ou identifiés au préalable ou dans le cas d’une intervention significativement modifiée depuis son lancement.

Mots-clés : Méthodes qualitatives, étude de cas, changements observables, énoncé des incidences, récolte, impact

I. En quoi consiste cette approche?

La récolte d’incidences est une approche qualitative en évaluation dans laquelle les personnes qui assurent la récolte (les évaluateurs et évaluatrices), identifient, formulent, vérifient, analysent et interprètent des effets (incidences). Les incidences sont définies comme des changements observables dans le comportement d’individus ou de collectifs tels que des groupes, des communautés, des organisations, des institutions. Les incidences sont des changements dans les pratiques, les relations, les politiques, les actions et les activités de ces individus ou collectifs. Cela peut être l’augmentation du nombre de femmes inscrites à une formation professionnelle ou l’utilisation d’une pratique de gestion innovante par une organisation d’agriculteurs et d’agricultrices. Ces incidences peuvent être positives ou négatives, intentionnelles ou non, attendues ou inattendues. Elles ne doivent pas être confondues avec les impacts, c’est à dire les conséquences ultimes de l’intervention sur des dimensions du bien-être des bénéficiaires ciblé·e·s, comme la santé ou l’éducation. Selon le lexique de la récolte d’incidences, les impacts (par exemple, en matière de santé ou d’éducation) ne peuvent être obtenus sans un changement de comportement (par exemple, l’application de pratiques alimentaires, la participation à des formations). Ce sont donc ces comportements qui sont ciblés par la récolte d’incidences.

La récolte d’incidences fournit des preuves empiriques sur les incidences (outcomes) obtenues et la façon dont une intervention y a contribué, ainsi que sur la signification de ces résultats à la lumière des questions de l’évaluation. La récolte d’incidences ne se concentre pas sur le progrès ou la réalisation des résultats prévus, attendus ou planifiés de l’intervention, mais recueille des preuves sur ce qui a été réalisé et travaille à rebours pour identifier si et comment l’intervention a contribué à ces changements. Dans la récolte, tous les changements qui se sont réellement produits sont collectés, ce qui permet de saisir également les résultats involontaires, positifs et négatifs. L’évaluateur ou l’évaluatrice facilite leur identification et la recherche de preuves de la manière dont ils ont été obtenus et de la contribution de l’intervention. La récolte d’incidences est axée sur l’utilisation : son but est de servir les utilisations des résultats de l’évaluation par les utilisateurs prévus, c’est-à-dire ceux qui prendront des décisions sur la base de ces résultats. L’accent est mis sur l’apprentissage à partir de l’évaluation afin d’agir à partir de ces apprentissages.

L’élément clé de la récolte d’incidences est l’énoncé des incidences (outcome statement) qui décrit le changement, qui l’a fait, quand et où, quelle était la contribution plausible des activités, stratégies et produits de l’intervention à chaque changement, et l’importance du changement. À titre d’exemple : depuis 2015, le département de l’agriculture du Sénégal publie un bulletin d’information présentant des prévisions météorologiques et des recommandations agricoles ciblées en utilisant un langage et un format adaptés aux agriculteur·rice·s et au grand public, démocratisant ainsi l’accès aux connaissances scientifiques. L’intervention a contribué à ce changement grâce à une étude sur les canaux et les formats de communication préférés des agriculteur·rice·s et à une série de formations en communication scientifique.

La récolte d’incidences se fait en six étapes, à travers lesquelles les énoncés des incidences sont affinés et démontrés empiriquement. La première étape consiste à concevoir la récolte afin de répondre aux utilisations prévues des résultats, telles que définies par leurs utilisateurs et utilisatrices primaires. La deuxième étape consiste à examiner la documentation pour identifier et formuler des projets d’énoncés de résultats. La troisième étape consiste à ouvrir un dialogue avec les personnes qui connaissant la contribution de l’intervention à ces changements, lesquelles examinent et affinent les énoncés d’incidences avec l’équipe d’évaluation jusqu’à ce qu’un ensemble d’énoncés précis soit identifié. Définir clairement ce qui a changé, la contribution de l’intervention et l’importance du changement permet de délimiter les incidences qui sont prises en compte dans l’évaluation et celles qui ne le sont pas. L’idée est de s’efforcer d’obtenir un nombre réduit de changements vérifiables pour lesquels il faudra recueillir des preuves empiriques à l’étape suivante. La quatrième étape est la démonstration empirique des incidences par des sources externes indépendantes de l’intervention mais connaissant les changements étudiés et pouvant valider la contribution de l’intervention. La corroboration permet de vérifier l’exactitude des incidences, mais aussi d’enrichir la compréhension du changement et de la contribution d’autres acteurs ou interventions. D’autres changements liés à l’intervention que les utilisateurs et utilisatrices primaires n’avaient pas identifiés peuvent émerger lors de l’étape de corroboration. La cinquième étape consiste à analyser et interpréter les énoncés d’incidences, en systématisant les preuves empiriques pour répondre aux questions d’évaluation définies lors de l’étape de conception. La sixième étape consiste à aider les utilisateurs et utilisatrices à utiliser les résultats de l’évaluation pour les usages prévus.

Les 6 étapes de la récolte d’incidences

1. Conception de la récolte
2. Examen de la documentation, première rédaction des énoncés d’incidences
3. Dialogue avec les parties prenantes
4. Démonstration empirique des incidences à l’aide de sources externes
5. Analyse et interprétation des énoncés d’incidences
6. Soutien à l’utilisation des résultats de la recherche par les parties prenantes

II. En quoi cette approche est-elle utile pour l’évaluation des politiques publiques?

La récolte d’incidences est une méthode d’évaluation rétrospective ou ex post, mais elle peut également être utilisée pour suivre les progrès pendant une intervention. Elle est particulièrement utile pour les interventions complexes où le contexte est imprévisible, incertain, dynamique, et où les actions prévues sont susceptibles de changer. La récolte d’incidences est particulièrement appropriée pour : 1) suivre et évaluer des interventions sur des défis émergents pour lesquels peu d’informations et de preuves existent; 2) générer des preuves empiriques des changements obtenus par une intervention qui n’a pas prédéfini de changements ou qui avait des changements prédéfinis très généraux; 3) fournir des preuves sur les changements générés directement et indirectement par une intervention, intentionnels ou non; 4) évaluer une intervention qui a changé de manière significative par rapport à ce qui était initialement prévu.

Cette approche peut être utilisée pour suivre une intervention en cours en collectant périodiquement et systématiquement des informations et des enseignements sur les changements sociaux obtenus et la contribution de l’intervention à ceux-ci. Elle peut être combinée avec des méthodes qualitatives ou quantitatives qui répondent à d’autres questions d’évaluation. Par exemple, elle peut compléter les résultats des méthodes qui quantifient les impacts liés au bien-être auxquels ont conduit les changements récoltés.

La récolte d’incidences se concentre sur la contribution des actions de l’intervention au changement social, c’est-à-dire sur la relation plausible et logique entre l’intervention et le changement, plutôt que sur la part exacte attribuable à cette action. Contrairement à d’autres approches basées sur la contribution (voir chapitre séparé sur l’analyse de contribution), la récolte d’incidences ne démarre pas par l’identification de la relation cause-effet à des changements prédéfinis et intentionnels. Au contraire, elle récolte « tous » les résultats observés et travaille ensuite à rebours pour reconstruire la contribution de l’intervention à ces changements. En effet, l’intérêt principal de la récolte d’incidences réside dans sa capacité de rendre compte de dynamiques de changement social en adoptant une approche ouverte et large dans l’identification de ces changements, même lorsque celles-ci sont inattendues ou involontaires. Pour cette raison, elle est particulièrement adaptée à l’évaluation d’interventions complexes où l’incertitude, les contextes dynamiques et l’adaptation sont fréquents.

III. Un exemple de l’utilisation de cette approche : l’extension d’une politique d’information météorologique et climatique au Sénégal

Ce qui suit présente une étude de cas utilisant la récolte d’incidences dans le cadre d’une approche d’évaluation plus large pour évaluer les résultats de l’extension des services d’information météorologique et climatique (SMC) au Sénégal et comment des actions de recherche ont contribué à ces résultats (Blundo-Canto et al. 2021). Les SMC impliquent la production, la traduction, la transformation, la transmission, l’accès et l’utilisation d’informations scientifiques sur la météo et le climat pour soutenir la prise de décision. Au Sénégal, la diffusion de prévisions météorologiques et climatiques accompagnées de recommandations pour les secteurs et les acteurs économiques s’est étendue, passant de projets de recherche pilotes à une stratégie de niveau national, en deux décennies. L’évaluation des résultats de cette généralisation des services s’inscrivait dans une double logique de reddition de comptes et d’apprentissage, et reposait sur trois composantes. La reconstruction de l’histoire de l’innovation (Douthwaite et Ashby 2005) : la chronologie détaillée et l’interconnexion des événements, des facteurs, des actions et des individus et collectifs qui ont marqué la mise à l’échelle des SMC. La récolte d’incidences (Wilson-Grau 2018) : l’évaluation des changements dans les pratiques, les relations, les politiques, les actions et les activités observables des individus et collectifs impliqué·e·s et affecté·e·s par la mise à l’échelle des SMC, et la contribution des partenariats de recherche à ces changements. L’analyse du chemin de l’impact (Douthwaite et al. 2003) : la chaîne de causalité menant des actions de recherche de l’Agence nationale de l’aviation civile et de la météorologie (ANACIM) et de ses partenaires aux résultats identifiés et à leurs effets perçus à moyen et long terme.

Les six étapes de l’approche de récolte d’incidences ont guidé la mise en œuvre des trois composantes. Dans l’étape de conception, l’équipe d’évaluation a discuté avec l’ANACIM de la conception de la récolte, en identifiant les sources documentaires et les acteurs et actrices clés qui devraient participer à l’étape de formulation. Lors de la deuxième étape, la documentation existante a été examinée afin de reconstituer l’histoire de l’innovation et de pré-identifier les résultats qui pourraient être liés au processus de mise à l’échelle, qui ont été discutés avec l’Agence. Lors de l’étape de formulation, un atelier réunissant 16 représentant·e·s d’acteur·rice·s nationaux et locaux impliqués dans le processus de mise à l’échelle a été organisé afin de reconstituer les principaux événements, individus et collectifs, actions et facteurs contextuels. L’atelier a permis d’identifier d’autres individus et collectifs impliqué·e·s dans le processus et certaines incidences supplémentaires. Les changements identifiés au cours des trois étapes précédentes ont été systématisés et formulés, puis étayés par des entretiens individuels avec 44 informateurs et informatrices compétent·e·s et indépendant·e·s de l’acteur principal du changement, l’ANACIM. Néanmoins, la particularité du processus politique étudié, qui consiste à passer d’un projet pilote à une action d’envergure nationale impliquant de nombreux partenaires et secteurs, a fait que certain·e·s des participant·e·s à l’atelier ont été interrogé·e·s dans le cadre du processus de démonstration empirique afin de valider et de fournir des preuves des résultats pour lesquels ils avaient par ailleurs été sollicités en tant qu’informateurs et informatrices compétent·e·s. Grâce aux preuves fournies par l’étape de validation, les résultats ont été affinés, de même que la contribution des actions de recherche de l’ANACIM et de ses partenaires, ainsi que d’autres acteur·rice·s et facteurs. Afin de soutenir l’utilisation, trois ateliers de restitution au niveau national et local ont été réalisés, dans lesquels les résultats de la récolte d’incidences ont été présentés et discutés par les participant·e·s, ainsi que les actions possibles sur la base des connaissances générées.

Les principales conclusions de l’approche combinant la récolte d’incidences, les histoires d’innovation et l’analyse des chemins d’impact peuvent être résumées comme suit. Au cours des deux dernières décennies, les services météorologiques et climatiques ont servi d’instruments politiques clés pour faire face à la variabilité accrue des précipitations et les événements climatiques extrêmes qui affectent les communautés rurales vulnérables du Sahel ouest-africain. L’histoire de l’innovation commence dans les années 1980 lorsque, suite à une sécheresse dévastatrice, le centre régional d’agriculture, d’hydrologie et de météorologie créait le premier groupe de travail multidisciplinaire pour faciliter le développement des services météorologiques et climatiques, leur interprétation, leur diffusion et leur utilisation. Dans les années 2000, l’Agence nationale de météorologie du Sénégal s’associait à des acteurs de la recherche nationale et internationale pour mettre en place des groupes de travail multidisciplinaires décentralisés pilotes, afin de faciliter l’assimilation des prévisions et des recommandations au niveau local. Les informations climatiques étaient combinées avec des conseils agricoles dans un langage qui utilisait les concepts, les habitudes et les pratiques locales pour rendre ces informations exploitables par les agriculteurs et agricultrices. Les groupes de travail multidisciplinaires se réunissait régulièrement pendant la saison des pluies pour discuter de la transmission des prévisions et des recommandations. Des personnes reconnues dans leurs communautés agricoles étaient formées aux concepts de prévision et à leur interprétation afin d’accroître l’assimilation par les autres agriculteurs. Au cours des années menant à 2018, les SMC et les groupes de travail multidisciplinaires ont été séquentiellement étendus à la plupart des départements du Sénégal.

La récolte d’incidences nous a permis d’identifier comment les informations climatiques étaient intégrées dans les plans, stratégies et programmes d’adaptation sectoriels et nationaux, ainsi que dans la coordination des actions de multiples acteurs et actrices au niveau local. Elle nous a également permis d’identifier d’autres secteurs que l’agriculture, notamment la pêche, l’énergie et la protection des ressources en eau, qui utilisaient les SMC, montrant ainsi que les résultats générés dépassaient les frontières institutionnelles, sectorielles et de gouvernance. Au-delà des actions de l’ANACIM et de ses partenaires, ce processus a été soutenu par un environnement de financement mondial favorable. En combinant la récolte d’incidences avec l’analyse des chemins d’impact, il est apparu que l’extension des SMC à de nouveaux et nouvelles utilisateurs et utilisatrices, secteurs et usages, s’est faite selon cinq axes : 1) l’amélioration continue des SMC, 2) l’émergence et la consolidation des facilitateurs de SMC, 3) l’inclusion des SMC dans la planification des actions, 4) la mobilisation active pour soutenir la mise à l’échelle des SMC, et 5) l’habilitation des acteurs et actrices à assumer de nouveaux rôles. Les facteurs sous-jacents au processus de mise à l’échelle peuvent être résumés comme des actions intentionnelles des partenaires de recherche, y compris le renforcement des capacités, le partage des connaissances, les plateformes d’action, et la création d’opportunités d’interaction; le soutien financier national et international; et un environnement politique favorable. L’amélioration continue des SMC grâce ç la prise en compte des retours de ses utilisateurs et utilisatrices a renforcé le processus de mise à l’échelle, ce qui a permis d’accroître l’accès de la population aux SMC. La récolte d’incidences a également permis de saisir les défis soulevés par l’expansion des SMC au fur et à mesure de l’apparition de nouveaux usages, utilisateurs et utilisatrices. En même temps, il existe une demande croissante pour des SMC de meilleure qualité et à grain plus fin, délivrés au bon moment pour prendre des décisions, ce qui nécessite des investissements importants. Les questions de confiance quant à la provenance de l’information, à la manière dont elle est produite et à la façon de l’interpréter peuvent constituer un obstacle au fur et à mesure que les SMC touchent de plus en plus d’utilisateurs et utilisatrices, si des campagnes de renforcement des capacités ne sont pas mis en place. Les partenariats public-privé pourraient jouer un rôle important, mais à l’heure actuelle, la participation du secteur privé à la diffusion des SMC est limitée. Les résultats de l’évaluation ont été utilisés dans une logique de reddition de comptes par les partenaires de recherche impliqués, mais aussi pour la production de connaissances scientifiques sur la mise à l’échelle de ces instruments politiques, et pour discuter des principaux défis que les individus et collectifs impliqués dans la production, la diffusion et l’utilisation des SMC doivent surmonter.

IV. Quels sont les critères permettant de juger de la qualité de la mobilisation de cette approche?

La récolte d’incidences se concentre sur l’évaluation des résultats, et non des impacts. Son objet n’est pas de compter des bénéficiaires ou de mesurer les effets qu’ils et elles ressentent. Il est important de le préciser pour juger de la qualité de cette méthode. Son objectif est d’identifier les changements intentionnels, non intentionnels, attendus ou inattendus dans les pratiques, les relations, les politiques, les actions ou les activités des individus et collectifs et d’évaluer la contribution d’une intervention à ces changements. Une telle évaluation se concentre sur l’utilisation des résultats par les utilisateurs et utilisatrices prévu·e·s, pour les usages prévus. Par conséquent, sa qualité doit être jugée en fonction de ces usages prévus (par exemple, la reddition de comptes ou l’apprentissage pour une gestion adaptative). Par exemple, l’étape de démonstration empirique est importante lorsque l’objectif est la reddition de comptes et le bilan d’ensemble d’une politique, mais elle peut être négligée ou effectuée de manière plus légère lorsque l’objectif est l’apprentissage interne ou le suivi.

Pour juger les énoncés d’incidences, la récolte d’incidences utilise les critères SMART : chaque déclaration doit être Spécifique, suffisamment détaillée pour être appréciée par n’importe quel lecteur ou lectrice; Mesurable: fournissant des informations quantitatives et qualitatives vérifiables; Réalisée: un lien plausible entre la contribution de l’intervention et l’incidence peut être établi; Pertinente: l’incidence est significative à la lumière de l’objectif de l’intervention; opportune dans le Temps: l’incidence s’est produite à proximité du moment où l’évaluation est réalisée, même si la contribution de l’intervention s’est produite un certain temps auparavant.

V. Quels sont les atouts et les limites de cette approche par rapport à d’autres?

La caractéristique principale qui distingue la récolte d’incidences des autres méthodes d’évaluation est qu’elle se concentre sur les changements obtenus, qu’ils aient été planifiés ou non, ce qui permet de saisir les résultats involontaires ou inattendus, tant positifs que négatifs. La méthode fournit un moyen systématique et structuré d’identifier ces changements et de travailler à rebours pour déterminer si et comment l’intervention y a contribué. La récolte d’incidences mobilise des données quantitatives et qualitatives pour décrire les incidences. Cependant, elle ne fournit pas une évaluation quantitative de ces changements. Elle informe plutôt sur les processus et les stratégies qui ont conduit à un changement quantitatif, qui peut par ailleurs être mesuré par d’autres méthodes. Elle ne peut pas être utilisée pour mesurer l’impact. Lorsque la récolte d’incidences omet l’étape de justification empirique, elle est alors plus adaptée pour l’apprentissage interne que pour la reddition de comptes, car elle ne recourt alors pas à un processus de validation par des sources indépendantes et bien informées.

Comme d’autres approches axées sur l’utilisation, la récolte d’incidences se concentre sur l’utilité de l’évaluation pour ses utilisateurs et utilisatrices et pour les utilisations prévues. Celles-ci peuvent être de l’ordre de l’apprentissage, la prise de décision, la planification, la reddition de comptes, l’information des partenaires, etc., en fonction de ce qui a été convenu avec les utilisateurs et utilisatrices primaires au stade de la conception. Ce choix guide la manière dont la méthode est appliquée et le poids accordé à la justification des changements sociaux et de la contribution de l’intervention. La mesure dans laquelle la contribution de l’intervention est évaluée dans la récolte sera plus élevée lorsque l’utilisation est la reddition de comptes, à la fin d’une intervention, que lorsque l’utilisation prévue est l’apprentissage pour favoriser une gestion adaptative pendant l’intervention.

Quelques références bibliographiques pour aller plus loin

Cette note méthodologique s’inspire largement de :

Wilson-Grau, Ricardo. 2018. Outcome Harvesting: Principles, Steps, and Evaluation Applications. IAP.

Blundo-Canto, Genowefa. et Andrieu, Nadine. et Soule Adam, Nawalyath. et Ndiaye, Ousmane. et Chiputwa, Brian. 2021. « Scaling Weather and Climate Services for Agriculture in Senegal: Evaluating Systemic but Overlooked Effects ». Climate Services 22 (Avril): 100216. https://doi.org/10.1016/j.cliser.2021.100216.

Références supplémentaires mentionnées :

Douthwaite, Boru. et Ashby, Jacqueline. 2005. « Innovation Histories: A Method for Learning from Experience ». The Institutional Learning and Change (ILAC) Initiative, 4. https://hdl.handle.net/10568/70176.

Douthwaite, Boru. et Kuby, Thomas. et van de Fliert, Elske. et Schulz, Steffen. 2003. « Impact pathway evaluation: an approach for achieving and attributing impact in complex systems ». Agricultural Systems, Learning for the future: Innovative approaches to evaluating agricultural research, 78(2): 243‑65. https://doi.org/10.1016/S0308-521X(03)00128-8.