22 L’analyse de contribution

Résumé

L’analyse de contribution est une approche évaluative « basée sur la théorie » particulièrement adaptée à l’évaluation d’interventions complexes. Elle consiste à formuler progressivement des « hypothèses de contribution », dans un processus impliquant les parties prenantes de la politique, pour ensuite tester ces hypothèses de façon systématique à partir d’une diversité de méthodes (qui peuvent être qualitatives ou mixtes).

Mots-clés : Méthodes mixtes, interventions complexes, hypothèses de contribution, démarche abductive, contexte, chemins d’impact, paquets causaux, approche narrative

I. En quoi consiste cette approche?

L’analyse de contribution est une approche évaluative dite « basée sur la théorie » (EBT) : elle s’organise autour d’un processus visant à 1) élaborer un ensemble d’hypothèses portant sur les effets d’une intervention évaluée (comment ces effets sont obtenus, dans quels cas, pourquoi…) – appelé « théorie du changement »; puis à 2) tester ces hypothèses à travers la collecte et l’analyse d’informations empiriques; pour enfin 3) mettre à jour la théorie initiale en indiquant quelles hypothèses sont vérifiées.

Tout comme l’évaluation réaliste ou le traçage de processus (process tracing, voir chapitres dédiés dans cet ouvrage), par exemple, l’analyse de contribution fait partie des EBT de nouvelle génération qui ont émergé dans les années 2000 (elles sont parfois réunies sous l’appellation d’évaluations d’impact basées sur la théorie – EIBT). Elle aborde les interventions évaluées comme des objets complexes dans des environnements complexes. Ainsi, l’analyse de contribution récuse fondamentalement l’idée que les interventions puissent intrinsèquement « marcher »; le succès ou l’échec dépend toujours d’une pluralité de facteurs et de contextes, que l’évaluation doit documenter. En cela, elle marque un contraste avec les approches contrefactuelles, notamment, qui visent à identifier « ce qui marche » indépendamment du contexte de mise en place. Mais ce qui distingue l’analyse de contribution d’autres approches, c’est qu’elle rejette aussi l’idée que le rôle de l’évaluation soit d’établir un impact de façon irréfutable : dans un contexte complexe, son objectif n’est pas de prouver les effets des interventions, mais bien de réduire l’incertitude quant à leur contribution aux changements observés. C’est en effet cette incertitude qui est ici considérée comme préjudiciable à la décision et, plus globalement, à la fabrique de l’action publique.

Construction de la théorie (theory-building)

Tout le processus de l’analyse de contribution consiste ainsi à réduire progressivement l’incertitude sur les effets de l’intervention évaluée. La première phase de construction de la théorie consiste, comme pour toute EBT, à poser une question relative aux liens de cause à effet que l’on veut investiguer et à élaborer des hypothèses causales en réponse à cette question. Cette dernière porte le plus souvent sur des contributions de l’intervention à des changements recherchés. Imaginons un plan interministériel visant à prévenir ou prendre en charge les violences sexuelles dans des établissements d’enseignement supérieur. La question posée pourra consister à demander « En quoi le plan engagé a-t-il contribué à la réduction effective des violences sexuelles et à la meilleure prise en charge de leurs suites? ».

Le niveau des violences et les réponses apportées dans les établissements, cependant, sont des changements de société, qui ne dépendent que très partiellement d’un quelconque plan ministériel. De fait, dans l’analyse de contribution, on ne préjuge pas que ces changements sont dus à l’intervention. Au contraire, on part du principe que tout changement est le résultat d’une multitude de causes entrelacées, dont (peut-être) l’intervention. C’est ainsi que l’analyse de contribution part du changement (ici, l’évolution des violences sexuelles) pour rechercher des contributions, plutôt que de l’intervention évaluée (le plan interministériel).

Ce à quoi s’attache donc l’analyse de contribution, dans cette phase initiale, c’est à expliciter ce en quoi pourrait consister la contribution de l’intervention (parmi d’autres facteurs) et à s’assurer qu’une telle contribution est plausible. Par plausible, on entend que cette contribution, sans être vérifiée, est néanmoins vraisemblable : elle pourrait avoir lieu dans le contexte de l’intervention évaluée.

Plus le cadre de l’intervention est complexe, et plus ce travail d’enquête initiale peut prendre du temps. La plausibilité d’une hypothèse n’est en effet pas jugée in abstracto : elle est estimée au regard de la convergence entre les observations, expériences et opinions informées des parties prenantes, de sa proximité avec des hypothèses validées dans d’autres cadres présentant des similarités avec l’intervention évaluée, sur la possible significativité de l’intervention par rapport à d’autres facteurs, sur de premiers indices d’un effet possible, etc.

Cette phase s’appuie généralement sur une première collecte de données empiriques (des échanges avec les parties prenantes, une analyse documentaire ou une revue de littérature) qui permet d’aboutir à des « hypothèses de contribution » (contribution claims, littéralement « allégations relatives à la contribution ») ainsi qu’à des explications alternatives (c’est-à-dire des affirmations portant sur d’autres facteurs pouvant plausiblement expliquer les changements observés). Dans notre cas, une évaluation étudierait les changements intervenus (ou non) dans les violences sexuelles et dans les pratiques des établissements au cours des dernières années pour identifier des contribution claims. Si un certain nombre d’établissements ont changé drastiquement leurs pratiques sur ce domaine, c’est peut-être que le plan incluait une obligation de mettre en place des stratégies de lutte contre les violences sexuelles et de rendre compte des progrès annuellement; mais aussi peut-être que les acteurs déjà en faveur de démarches actives contre ces violences dans l’administration se sont servis de ce plan pour soutenir leur agenda interne; ou encore que des groupes étudiants s’en sont servis pour faire plier des administrations réticentes. Chacune de ces trois hypothèses, si elle s’appuie sur des exemples, un cadre théorique convaincant, etc. peut devenir une hypothèse de contribution.

À ce stade, le niveau d’incertitude quant aux effets de l’intervention est donc déjà réduit par rapport à la situation initiale : certaines affirmations ont été rejetées, d’autres apparaissent plus ou moins plausibles en l’état d’avancement de l’évaluation. Celles qui sont retenues sont étudiées dans l’étape suivante.

Mise à l’épreuve de la théorie (theory-testing)

Seules les hypothèses suffisamment plausibles (ou celles jugées particulièrement importantes pour les parties prenantes) sont en effet testées en profondeur. Dans l’analyse de contribution, il est possible d’utiliser une très vaste palette d’outils ou de méthodes, qualitatives ou quantitatives, pour estimer les changements et tester à charge et à décharge les hypothèses de contribution, en combinaison avec d’autres facteurs. Lors de ce processus, les hypothèses de contribution ne sont pas validées ou écartées. Elles sont plutôt progressivement étoffées, passant par exemple de « l’intervention contribue de telle façon » à « lorsque les conditions x et y sont réunies, l’intervention contribue de telle façon, sauf si un évènement z apparaît », aboutissant ainsi à des « paquets causaux » (causal packages) réunissant plusieurs facteurs associés aux changements observés. L’analyse de contribution peut également s’attacher à identifier les chemins d’impact et les mécanismes sous-jacents qui expliquent ces contributions. Par exemple, dans notre cas, peut-être que la phase de mise à l’épreuve permettrait de montrer que la mise à l’agenda du dialogue de gestion entre tel ministère et les établissements de la question des violences sexuelles a eu des conséquences directes en termes de mise en place d’un dispositif de remontée des violences; mais que tous les ministères n’ont pas réellement saisi cette question dans leur dialogue de gestion. Idéalement, la suite de la collecte consisterait alors à vérifier si des dispositifs de remontée des violences existent dans les établissements dépendant des autres ministères, et pourquoi.

L’analyse de contribution ne préconise pas d’approche particulière pour établir l’inférence causale. Une démarche possible consiste à identifier, à l’image du « traçage de processus », une série de tests empiriques. Ces tests définissent chacun une condition qui doit être satisfaite pour qu’on puisse conclure que l’intervention contribue bien aux changements observés. Des tests peuvent également porter sur d’autres facteurs pouvant, de façon plausible, expliquer les changements. Tous les outils de l’évaluation et, plus largement, des sciences sociales, qualitatifs ou quantitatifs, peuvent être employés pour mener ces tests : entretiens, études de cas, analyses documentaires, mais aussi enquêtes, analyses statistiques… peuvent être mobilisés. La combinaison de ces outils permet, par triangulation, de renforcer (ou de réduire) le degré de confiance dans la contribution et d’aboutir aux constats et aux conclusions de l’évaluation. L’évaluation réaliste peut également être mobilisée ici pour identifier des mécanismes sous-jacents aux relations causales.

Une dernière spécificité de l’analyse de contribution est d’aboutir à des récits de contribution (contribution story). Le récit de contribution réunit au départ les contribution claims, progressivement rendues plus robustes par la collecte et l’analyse. Il a vocation à consolider, à compléter ou à défier les récits dominants qui sous-tendent l’intervention évaluée. Contrairement à une évaluation contrefactuelle par exemple, qui cherche à convaincre par la quantification, l’analyse de contribution s’appuie ainsi sur des narratifs appuyés par des éléments de preuve, qui peuvent ensuite être utilisés dans la fabrique de l’action publique. Dans notre cas, peut-être que le récit de contribution ferait apparaître la façon dont les parties prenantes déjà engagées dans la lutte contre les violences sexuelles se sont saisies du plan interministériel pour faire pencher la balance en leur faveur dans la gouvernance interne des établissements, au détriment d’un narratif national basé sur le contrôle par l’État des pratiques des établissements.

II. En quoi cette approche est-elle utile pour l’évaluation des politiques publiques?

L’analyse de contribution est essentiellement utilisée ex-post, bien qu’il existe des tentatives pour l’utiliser chemin faisant. Elle est particulièrement indiquée pour les cas où la contribution d’une intervention aux changements attendus est très incertaine, ou semble improbable, mais où cette contribution revêt un intérêt stratégique pour les parties prenantes : par exemple parce que les attentes sont très fortes vis-à-vis de cette contribution, ou parce que de cette contribution dépend la poursuite ou non de l’intervention.

Le travail réalisé dans la phase de construction de la théorie, parce qu’il permet de formuler des contributions plausibles qui s’écartent souvent des objectifs affichés, est particulièrement utile pour la gestion stratégique ou la reconception des interventions.

L’analyse de contribution se prête particulièrement bien à des démarches collaboratives ou participatives, permettant aux parties prenantes d’échanger sur les hypothèses de contribution et sur les conditions dans lesquelles elles ont des chances de se vérifier ou non. Les récits de contribution qu’elle produit, s’ils sont débattus et appropriés par les parties prenantes, fournissent une base utile à des réorientations stratégiques. Dans leur forme finale, les hypothèses de contribution, parce qu’elles sont explicatives et contextualisées, sont également utiles pour faire évoluer l’intervention ou les pratiques des acteurs et actrices impliqué·e·s.

III. L’exemple de la contribution d’une Fondation à la recherche dans les sciences du vivant

Une Fondation soutient sur le long terme (financement, accompagnement) des équipes et des institutions de recherche de haut niveau dans le domaine des Sciences du vivant^[1]. Les responsables de la Fondation sont conscient·e·s que les résultats des travaux financés ne peuvent pas être attribués seulement à leur soutien : les équipes de recherche sont en effet le principal moteur des résultats obtenus; elles s’appuient généralement sur une pluralité de financements; elles s’inscrivent dans des tendances de la recherche, font suite à des recherches passées et travaillent en lien avec d’autres équipes dans le monde. Enfin, les apports que peut avoir la Fondation sont indissociables du contexte de la recherche (sous-financement de la recherche en France, concurrence internationale…). Néanmoins, ses responsables pensent tout de même que son concours peut être significatif, et ils souhaitent l’explorer.

Eu égard à la diversité des projets soutenus (soutien individuel ou collectif, travaux de recherche, équipements, démarches pluridisciplinaires…), plusieurs théories du changement sont initialement conçues et alimentées par une collecte exploratoire (analyse documentaire, entretiens). Cette phase initiale aboutit à une première ébauche de « méta-théorie » du changement (réunissant les différentes théories élaborées), dans laquelle un certain nombre d’hypothèses de contribution (contribution claims) sont proposées. Celles-ci diffèrent en particulier selon la maturité du projet soutenu, et du type de soutien. Pour chacune de ces hypothèses de contribution, des tests empiriques sont élaborés, de façon à estimer le degré de confiance qu’il est possible d’avoir dans la réalité de ces contributions. Ces hypothèses sont ensuite soumises à examen à travers les tests afférents dans une série d’études de cas portant sur des projets soutenus par la Fondation.

L’analyse croisée des études de cas permet d’affiner et de circonstancier les contributions de la Fondation aux projets qu’elle soutient. Au total, 8 contributions principales sont identifiées, passant par différents chemins : par exemple, un financement de la Fondation peut contribuer à la pérennité d’un projet par son engagement sur la durée, mais aussi parce qu’il apporte de la légitimité au projet qui peut alors capter d’autres financements. La Fondation n’active pas toujours ces 8 contributions, mais son apport est plus important lorsque plusieurs sont activées sur un même projet. Le récit de contribution insiste sur l’inscription de ces contributions dans des facteurs explicatifs communs : par exemple le choix pertinent de chercheurs et de chercheuses qui savent utiliser les financements supplémentaires pour aller plus loin, ou tester ce qu’ils et elles n’auraient pu tester autrement; ou la relation de confiance mise en place, avec une grande liberté donnée aux équipes de recherche (qui se traduit notamment par des attentes minimales en termes de rendu compte des financements). Cette dimension humaine est aussi ce qui explique que ses apports soient plus marquants dans le soutien aux équipes de recherche, plutôt qu’aux institutions. L’évaluation alimente ainsi les évolutions stratégiques de la Fondation en identifiant les situations dans lesquelles son apport peut être le plus important et les choix qu’une réorientation supposerait en termes de moyens humains et financiers.

IV. Quels sont les critères permettant de juger de la qualité de la mobilisation de cette approche?

La qualité de l’analyse de contribution se juge essentiellement à la capacité à travailler dans un continuum de plausibilité, ce qui signifie pouvoir considérer au départ un certain nombre d’hypothèses relatives aux facteurs qui sous-tendent les changements observés, dont l’intervention, à les passer en revue, identifier les plus plausibles, pour ensuite les tester et les étoffer progressivement.

Ces dernières années, le terme d’analyse de contribution est parfois utilisé comme synonyme apparemment flatteur d’évaluation basée sur la théorie. Parmi les principaux critères permettant de les différencier, on peut notamment citer :

1. la démarche itérative (dite abductive) de l’analyse de contribution (les hypothèses sont constamment révisées tout au long de l’évaluation);
2. le fait que la recherche des contributions démarre par les changements attendus et remonte à rebours vers l’intervention, plutôt que l’inverse;
3. une collecte d’information visant à progressivement contextualiser et étoffer les hypothèses de contribution;
4. le soin apporté à tester des explications alternatives et
5. la dimension narrative des résultats, sous la forme d’un récit de contribution.

V. Quels sont les atouts et les limites de cette approche par rapport à d’autres?

L’analyse de contribution apporte des constats crédibles et utiles pour la fabrique de l’action publique dans des situations très particulières, qui semblent initialement très compliquées à évaluer. Elle doit sa crédibilité à son processus itératif, qui peut être rendu transparent dans une démarche participative. Le fait que les parties prenantes soient associées à chacune des étapes et la traçabilité des tests opérés, de même que l’humilité affichée de la démarche amènent un grand degré de confiance, base essentielle à l’utilisation des résultats.

Néanmoins, il faut garder en tête que le processus de l’analyse de contribution est lui-même incertain : on ne sait pas au départ quelles hypothèses de contribution seront testées et comment. Il est généralement nécessaire d’ouvrir la focale en début d’évaluation pour comprendre le contexte dans lequel se situe l’intervention, quelles interventions ou facteurs expliquent les changements constatés. Cette phase initiale, qui va consister à décrire les changements constatés, est ce qui fait tout l’intérêt de l’analyse de contribution par rapport à d’autres approches qui saisissent les interventions de façon presque « hors sol ». Mais cette phase peut être extrêmement chronophage, d’autant qu’elle dépend essentiellement de sources secondaires, externes à l’évaluation, et il faut trouver le bon niveau d’épaisseur à donner à la description – l’évaluation n’ayant pas vocation à être exhaustive.

Comme pour toute EBT, il faut prendre garde à ne pas surestimer les contributions, même si le fait de partir des changements plutôt que de l’intervention elle-même réduit ce risque. Une solution est l’application systématique de tests empiriques portant sur l’intervention et sur les explications alternatives. Mais cette solution peut également s’avérer très lourde et source de confusion, notamment lorsque les tests sont trop nombreux ou mal calibrés (c’est-à-dire qu’ils ne permettent pas suffisamment de faire varier le degré de confiance dans une hypothèse de contribution).

À noter que là où l’évaluation réaliste et le traçage de processus sont plutôt utilisés à l’échelle projet ou pour tester un seul chemin d’impact, l’analyse de contribution est plutôt utilisée à l’échelle de programmes ou de politiques publiques, lorsque les acteurs impliqués et les chemins d’impact sont nombreux. Cette visée plus large est ce qui fait l’intérêt de l’analyse de contribution, mais elle renforce les incertitudes décrites ci-dessus.

Quelques références bibliographiques pour aller plus loin

L’analyse de contribution est née sous la plume de John Mayne au tournant des années 2000. On pourra lire les deux articles suivants, le premier marquant le début de la prise en compte de la complexité par l’analyse de contribution et le second présentant un état des débats et des évolutions de l’analyse de contribution en 2019 :

Mayne, John. 2012. Contribution analysis: Coming of age?. Evaluation 18 (3): 270‑80. https://doi.org/10.1177%2F1356389012451663

Mayne, John. 2019. Revisiting Contribution Analysis.Canadian Journal of Program Evaluation. 34 (2). https://doi.org/10.3138/cjpe.68004

Les articles suivants témoignent de l’opérationnalisation progressive de l’approche dans les années 2010. Le premier rend compte d’un certain nombre d’obstacles pratiques et des façons dont des praticien·ne·s peuvent les dépasser; le second est un exemple emblématique d’une situation dans laquelle l’intervention évaluée n’est clairement pas le principal moteur des changements attendus; le troisième donne un exemple de l’usage de l’analyse de contribution dans le développement du secteur privé :

Delahais, Thomas. et Toulemonde, Jacques. 2012. Applying Contribution Analysis: Lessons from Five Years of Practice. Evaluation 18 (3): 281‑93. https://doi.org/10.1177/1356389012450810

Delahais, Thomas. et Toulemonde, Jacques. 2017. Making Rigorous Causal Claims in a Real-Life Context: Has Research Contributed to Sustainable Forest Management? Evaluation 23 (4): 370‑88. https://doi.org/10.1177/1356389017733211

Ton, Giel. 2021. Development Policy and Impact Evaluation: Learning and Accountability in Private Sector Development. In Handbook of Development Policy par Zafarullah, Habib. et Huque, Ahmed. 378‑90. Edward Elgar Publishing. https://doi.org/10.4337/9781839100871.00042