13 Les études de cas

Résumé

Les études de cas consistent à analyser de façon approfondie un ou plusieurs cas, à partir d’une diversité de méthodes et au regard d’approches théoriques. Le choix des cas (unique ou multiples) étudiés est crucial. Les études de cas sont particulièrement adaptées pour étudier l’émergence et les processus en jeu dans la mise en œuvre des politiques et pour participer aux évaluations basées sur la théorie.

Mots-clés : Méthodes qualitatives, méthodes quantitatives, méthodes mixtes, étude de cas, approches théoriques, cas unique/multiples, triangulation empirique, généralisation analytique

I. En quoi consiste cette méthode?

Aussi employée en anthropologie, la démarche d’étude de cas a été utilisée depuis longtemps en évaluation, où elle n’est pas considérée comme une méthode mais comme une stratégie de recherche (Yin 2018). En étudiant une politique dans son contexte et au moyen de multiples sources de données, l’étude de cas (unique ou multiples) cherche à répondre à des questions du type « comment » et « pourquoi » à partir d’une démarche systémique et avec les soutiens d’approches théoriques. La réalisation d’une étude de cas pour l’évaluation d’une politique publique suit un processus habituel en évaluation : planification, rédaction du protocole, préparation du terrain, collecte et analyse des données, partage des résultats et éventuelles recommandations pour l’amélioration de la politique (Gagnon 2012). Comme pour toutes les évaluations, le choix des méthodes doit suivre les objectifs et la question d’évaluation, et non pas l’inverse. Une étude de cas pourra ainsi mobiliser des méthodes qualitatives, quantitatives et différents devis (design) de méthodes mixtes.

La stratégie des études de cas est donc appropriée lorsqu’il s’agit d’organiser une évaluation de l’émergence, des processus, de la pertinence ou de l’adaptation des politiques. Elle est souvent mobilisée lorsque les équipes évaluatives disposent de peu ou d’aucun contrôle sur les événements et le contexte qui influence les actions de la politique. Cela est bien souvent le cas en dehors de toutes situations expérimentales, rares dans le domaine des politiques publiques. Elle est donc surtout préconisée pour comprendre un phénomène contemporain, souvent complexe, et organisé dans un contexte réel.

Le recours à la démarche des études de cas peut servir à expliquer une politique publique, la décrire en profondeur ou encore illustrer une situation spécifique, qui parfois peut être originale et éclairante pour les prises de décision. L’intérêt des études de cas est de pouvoir s’adapter à des situations différentes pour lesquelles il existe de multiples variables d’intérêts autour d’une politique. Il s’agit aussi de pouvoir utiliser de multiples sources de données, quantitatives ou qualitatives, qui permettent d’assurer une triangulation empirique. La stratégie des études de cas permet de tenir compte de propositions théoriques et de l’état des connaissances scientifiques pour orienter la collecte et l’analyse des données. Elle s’inscrit parfaitement, sans s’y limiter, dans les démarches d’évaluation basées sur la théorie.

Il existe une myriade de propositions pour qualifier les types d’études de cas possibles. D’abord, il est possible d’utiliser des études de cas simples/uniques (concernant une politique) ou des études de cas multiples (plusieurs politiques dans un même contexte organisationnel ou une même politique dans des contextes différents). Ensuite, ces cas peuvent être étudiés de manière holistique (la politique dans sa globalité) ou selon différents niveaux d’analyses (les dimensions de la politique que la théorie d’intervention aura précisées ou les contextes régionaux particuliers). Le choix des cas étudiés doit être heuristique (pouvoir apprendre de l’étude) et stratégique (pouvoir disposer de données selon le budget disponible, répondre à des questions utiles). L’un des critères essentiels du choix des cas est de pouvoir disposer d’informations suffisamment pertinentes pour comprendre la politique en profondeur et dans sa complexité. L’échantillonnage des cas doit donc être explicite, rigoureux et transparent. Le choix des études de cas peut ainsi permettre de disposer de cas critiques, uniques, typiques, révélateurs, instrumentaux, etc. Cette sélection peut aussi être réalisée en collaboration entre les équipes de recherche et celles qui pilotent la politique afin de s’assurer de la pertinence des choix mais aussi de leur faisabilité. La sélection peut aussi reposer sur des analyses quantitatives préalables pour disposer de la situation de départ des cas et, par exemple, choisir des cas très contrastés ou très similaires dans leur performance à l’égard de la politique analysée.

Parfois, il peut aussi s’avérer fécond de disposer d’une approche diachronique afin de produire des études de cas longitudinales. Ainsi, l’analyse dans le temps d’une politique permet de mettre au jour les influences de l’évolution du contexte ou des stratégies des personnes qui la mettent en œuvre, ou encore de celles en bénéficiant. Partir de cas dont les conditions initiales sont semblables pour ensuite étudier leur évolution est qualifié de « racing cases » par Eisenhardt (Gehman et al. 2018).

Lors de l’analyse des données, la démarche de l’étude de cas nécessite, en plus des analyses habituelles spécifiques aux méthodes (analyse de contenu, thématique, statistiques descriptives ou inférentielles, etc.) de mobiliser une logique de réplication. L’idée est de comparer, de manière systématique et rigoureuse, les données empiriques et la théorie, qu’elle soit la théorie d’intervention de la politique ou un cadre théorique ou conceptuel utilisé pour comprendre la politique. Ce processus est nommé par Yin la généralisation analytique. Lorsque plusieurs cas soutiennent la même théorie, il est possible de suggérer la présence d’une logique de réplication ( Yin 2010).

Les configurations peuvent être des outils heuristiques pour cette démarche d’analyse, qu’elles soient organisationnelles ou ancrées dans le réalisme critique (voir le chapitre séparé sur l’évaluation réaliste). En outre, retrouver des configurations, ou des situations semblables dans des contextes différents, renforce la capacité à généraliser les résultats des études de cas. Yin estime que la généralisation analytique nécessite la construction d’un argumentaire très solide et qui sera en mesure de résister aux défis des analyses logiques. Ainsi, il est indispensable de préciser cet argumentaire théorique dès le début de l’étude de cas, soit en mobilisant une théorie ou à partir de l’état des connaissances sans que cela soit parfaitement spécifique à la politique publique analysée. Au départ d’une étude de cas, il faut donc rester à un niveau conceptuel relativement élevé, à tout le moins supérieur à la politique étudiée. Ensuite, les résultats empiriques de l’étude de cas doivent montrer en quoi ils s’alignent (ou pas) avec l’argumentaire théorique de départ. Il faudra enfin discuter de la manière dont cette réflexion théorique, à partir de cette politique particulière, peut aussi s’appliquer à d’autres situations et d’autres politiques de l’étude de cas particulière. Le fait d’avoir, y compris au début de l’étude de cas, formulé également un contre-argument (des « hypothèses rivales ») et d’avoir tenté de disposer de données empiriques au cours de la collecte de données (qui les réfutent), renforce la validité de ce processus de généralisation analytique. Enfin, la puissance des études de cas multiples est que cette généralisation analytique est renforcée lorsque les résultats d’un cas sont similaires à ceux des autres cas.

Certaines équipes de recherche proposent même que les études de cas puissent conduire à la construction de théories (theory-building case studies), notamment lorsque l’on analyse des objets complexes comme les politiques publiques.

II. En quoi cette méthode est-elle utile pour l’évaluation des politiques publiques?

Avant de décider de s’engager dans la voie de l’étude de cas, il convient de se poser deux questions préliminaires qui détermineront le bien-fondé de l’approche :

1. Est-ce que le phénomène auquel je m’intéresse a besoin du (ou des) cas pour être compréhensible? (p.ex., Theory-building case studies)

2. Est-ce que le(s) cas représente(nt) une fenêtre empirique qui éclaire l’analyse du phénomène plus large?

Une fois que l’on a répondu positivement à l’une ou à l’autre, on peut définir les questions évaluatives:

• Dans quelles conditions de la vie réelle la politique publique X expérimentée sous forme de pilote dans le contexte A, peut-elle être mise à l’échelle dans les contextes B, C, et D?

• Comment la controverse au sujet de la politique publique Y apparue dans le contexte B a-t-elle émergé?

• Quels sont les facteurs de succès de la mise en œuvre de la politique publique X dans le contexte A?

• Comment les politiques publiques Y et Z ont-elles été mises en œuvre dans le contexte B ?

• Pourquoi la politique publique X dans les contextes A et B a-t-elle échoué, alors qu’elle a eu des effets positifs dans le contexte C?

• Pourquoi la politique publique X mise en œuvre dans le contexte A a échoué, alors que la politique publique Y mise en œuvre dans le même contexte A a réussi?

• Qu’est-ce qui, dans les caractéristiques de la politique publique Z mise en œuvre dans les contextes A, B, et C, permet d’informer la théorie μ? (Theory-building case studies)

L’usage de l’étude de cas peut intervenir à n’importe quel moment du processus d’évaluation, ex ante (au moment de la conception de la politique), in itinere (pendant la mise en œuvre), ou ex post (par exemple, afin de mieux comprendre les résultats produits).

III. Un exemple d’utilisation de cette méthode au Burkina Faso

Des études de cas simples et multiples longitudinales ont été mobilisées pour étudier une politique publique de financement de la santé au Burkina Faso (Ridde 2021).

La Banque mondiale a incité le gouvernement à tester dans une douzaine de districts une modalité de financement des centres de santé supplémentaire au budget de l’État. Il s’agissait d’organiser un paiement à la performance où les centres de santé et les professionnels et professionnelles de santé recevaient des fonds supplémentaires en fonction de l’atteinte de résultats d’activités. Par exemple, pour chaque accouchement réalisé dans le centre avec un partographe, ils recevaient 3,2 euros à partager entre la structure et le personnel, selon des procédures et des indicateurs complexes. Des processus de vérification et de contrôle étaient organisés pour s’assurer de la fiabilité des demandes de paiements.

Pour étudier l’émergence de cette nouvelle politique, nous avons réalisé une étude de cas unique (centrée sur la politique) afin de mieux comprendre son origine, les idées véhiculées, les solutions proposées, les personnes l’ayant proposée, les enjeux de pouvoir, etc. Nous avons employé une analyse documentaire et 14 entretiens qualitatifs en profondeur auprès des responsables politiques, des organismes de financements et des personnes expertes du sujet. Selon une démarche de généralisation analytique, nous avons comparé cette émergence pour comprendre si ce qui s’est déroulé au Burkina Faso se reproduisait aussi au Bénin.

Pour étudier la mise en œuvre de la politique au Burkina Faso, nous avons eu ensuite recours à des études de cas multiples longitudinales. Pour des raisons de temps et de budget, nous avons sélectionné trois districts représentant la diversité des situations de mise en œuvre de la politique. Puis, au sein de chacun de ces districts, nous avons sélectionné six cas parmi les centres de santé primaires (environ 30 par district) et un cas qui était l’hôpital de référence (un seul par district). Les six cas ont été sélectionnés en fonction des trois types de stratégies de financement que la politique souhaitait tester, donc deux cas par type. Nous avons décidé de retenir deux cas les plus contrastés possibles au sein de chacun des trois types : un centre de santé très performant et un autre pas du tout. La performance a été calculée à l’aide d’une méthode quantitative (série chronologique) sur la base d’indicateurs de fréquentation des centres de santé au cours des années précédant la politique. Cette analyse étique (du point de vue externe) a classé tous les centres de santé selon leur ordre de performance pour soutenir la sélection des cas. Cette dernière a aussi bénéficié de l’avis émique (du point de vue interne) des responsables locaux du système de santé afin de tenir compte de leur propre perception de la performance des centres, au-delà de l’approche quantitative qui ne donne qu’une vision partielle de la performance. Ainsi, pour chacun des sept cas sélectionnés par district (7×3 = 21), nous avons employé de multiples sources de données pour comprendre les défis de la mise en œuvre de la politique : analyse de la documentation, entrevues qualitatives formelles (entre 114 et 215 par district) et informelles (entre 26 et 168 par district), observations de situations. Une grille de collecte de données a aussi permis de mesurer la fidélité de la mise en œuvre de la politique. Afin de mieux comprendre l’évolution de la mise en œuvre de la politique, et notamment les adaptations au cours du temps, trois moments de collecte de données ont été réalisés sur une période de 24 mois, suivant ainsi l’approche des études de cas multiples longitudinales.

Enfin, ces études de cas ont aussi été fécondes pour étudier, avec une approche qualitative et une longue immersion sur le terrain, les conséquences non attendues (positives ou négatives) de cette politique. Si cette dimension de l’évaluation est encore trop peu appréhendée, sa réalisation au Burkina Faso a montré toute la pertinence de cette démarche (Turcotte-Tremblay et al. 2017). Se limiter aux effets attendus, qu’implique souvent une focalisation extrême sur la seule théorie d’intervention développée par les équipes qui définissent la politique, réduit la portée heuristique de l’évaluation. Si les succès sont essentiels, les défis peuvent aussi être indispensables pour améliorer les politiques publiques à l’aide des études de cas.

Pour toutes ces démarches, l’analyse s’est réalisée de manière hybride, soit déductive (au regard de la théorie d’intervention ou d’un cadre conceptuel) et inductive (données empiriques originales). La comparaison entre les cas, entre les districts et entre les pays a permis de monter en abstraction dans une démarche de généralisation analytique.

IV. Quels sont les critères permettant de juger de la qualité de la mobilisation de cette méthode?

Juger de la qualité d’une démarche complexe comme celle des études de cas nécessite une vision globale, en dépassant les réflexions spécifiques, mais essentielles, aux méthodes habituelles (quantitative et qualitative). Pour cela, Yin (2018) propose d’étudier la qualité des études de cas au regard des quatre dimensions :

• Validité de construit (étudier la politique attendue et pas autre chose) : utiliser de multiples sources de données probantes, décrire et établir une chaîne causale, impliquer les parties prenantes dans la validation du protocole et des rapports;

• Validité interne (confiance dans les résultats) : comparer les données empiriques entres elles et avec la théorie, construire des logiques d’explications, tenir compte des hypothèses rivales et différentes, recourir aux cadres logiques/théories de l’intervention;

• Validité externe (capacité de généraliser les résultats) : utiliser des théories, utiliser la logique de reproduction analytique;

• Fiabilité (pour la même étude de cas, les mêmes conclusions) : recourir à un protocole d’étude de la politique, développer une base de données des cas.

V. Quels sont les atouts et les limites de cette méthode par rapport à d’autres?

Le principal atout de l’étude de cas est sa capacité à « intégrer les caractéristiques uniques de chaque cas et d’examiner des phénomènes complexes dans leur contexte », c’est-à-dire, en condition de vie réelle (Stiles 2013, 30).

La stratégie de l’étude de cas, du fait de l’abondance et la variété des corpus de données mobilisés, et des méthodes de recherche employées (qualitatives, quantitatives ou mixtes), permet, le plus souvent, une riche description de la ou des politique(s) publique(s) évaluée(s) et des contextes de mise en œuvre. C’est notamment le cas des études de cas uniques, qui permettent d’aller en profondeur dans l’analyse. En ce qui concerne les études de cas multiples, l’avantage principal est que cela permet d’accroître les variations potentielles, ce qui augmente la robustesse de l’explication. Le revers de la médaille est que ces stratégies requièrent de dédier un temps important. Ainsi, l’ampleur du travail peut s’avérer problématique, surtout si les délais fixés par les commanditaires sont courts. De plus, s’il y a plusieurs questions évaluatives, ou une question qui invite à relier les enjeux de mise en œuvre aux effets, il faudra alors, sans doute, penser à associer l’étude de cas (qui pourra se concentrer sur l’analyse de processus, par exemple) à une autre stratégie de recherche complémentaire, tel que les démarches quasi-expérimentales (Yin et Ridde 2012). Enfin, plusieurs biais peuvent apparaître; le choix orienté du ou des cas, la faible puissance statistique lorsque l’on réalise des analyses quantitatives. Ces biais sont susceptibles d’éroder la comparabilité inter-cas ou entre les contextes. La riche justification du choix des cas (les politiques publiques) (Stake 1995) et la description du ou des contextes, ainsi que le processus de généralisation analytique, décrit précédemment, permettent de diminuer l’impact de ces biais.

En ce qui concerne les theory-building case studies, on repère à la fois des avantages et des inconvénients de l’étude de cas (Stiles 2013). La stratégie de l’étude de cas consiste ici à comparer différents énoncés provenant de la théorie, avec une seule ou plusieurs observations. Ceci peut se réaliser à travers la description du ou des quelques cas en des termes théoriques. Ainsi, si chaque détail ne peut être observé qu’une seule fois, ils peuvent s’avérer très nombreux et donc utiles à la construction de la théorie. Toutefois, les mêmes biais précédemment cités sont susceptibles d’apparaître (choix orienté des cas, faible puissance statistique). La confiance dans chacun des énoncés peut être érodée par ces biais. En revanche, comme de nombreux énoncés sont examinés, reflétant une diversité de contextes et donc de variations possibles, le renforcement global de la confiance dans la théorie peut se révéler tout aussi important que dans une étude de test d’hypothèses.

Quelques références bibliographiques pour aller plus loin

Gagnon, Yves-Chantal. 2012. L’étude de cas comme méthode de recherche. 2nd ed. Québec: Presses de l’Université du Québec.

Gehman, Joel. et Glaser, Vern L.. et Eisenhardt, Kathleen M.. et Gioia, Denny. et Langley, Ann. et Corley, Kevin G.. 2018. « Finding Theory–Method Fit: A Comparison of Three Qualitative Approaches to Theory Building ». Journal of Management Inquiry 27 (3): 284‑300. https://doi.org/10.1177/1056492617706029.

Ridde, Valéry, éd.. 2021. Vers une couverture sanitaire universelle en 2030? Éditions science et bien commun. Québec: Canada: Zenodo. https://doi.org/10.5281/ZENODO.5166925.

Stake, Robert E. 1995. The Art of Case Study Research. Thousand Oaks, CA: SAGE Publications.

Stiles, William B. 2013. « L’utilisation des études de cas pour l’élaboration de la théorie en psychothérapie ». Psychothérapies 33 (1): 29‑35. https://doi.org/10.3917/psys.131.0029.

Turcotte-Tremblay, Anne-Marie. et Ali Gali-Gali, Idriss. et De Allegri Manuela. et Ridde, Valéry.. 2017. « The Unintended Consequences of Community Verifications for Performance-Based Financing in Burkina Faso ». Social Science & Medicine 191 (octobre): 226‑36. https://doi.org/10.1016/j.socscimed.2017.09.007.

Yin, Robert K. 2010. « Analytic Generalization ». In Encyclopedia of Case Study Research, par Albert Mills, Gabrielle Durepos, et Elden Wiebe, 6. 2455 Teller Road, Thousand Oaks California 91320 United States: SAGE Publications, Inc. https://doi.org/10.4135/9781412957397.n8.

Yin, Robert K. 2018. Case study research and applications: design and methods. Sixth edition. Los Angeles: SAGE.