34 Les approches au design complexe et leurs principales stratégies d’enquêtes

Des devis complexes pour des objets complexes

Difficile aujourd’hui de penser que les objets de recherches sont simples, y compris (sinon surtout) dans le contexte d’une thèse de doctorat. L’ont-ils été un jour? Toujours est-il que dans le monde globalisé et interconnecté où nous vivons toutes et tous, la complexité est au cœur de toutes nos recherches. Pourtant, des auteurs et autrices ont proposé de différencier la simplicité de ce qui est compliqué ou complexe. Par exemple, ils et elles suggèrent que suivre une recette de cuisine est simple, construire une fusée pour envoyer des personnes dans l’espace est compliqué, mais assurer l’éducation d’un enfant au sein d’une famille est complexe (Glouberman et Zimmerman, 2002).

Pourtant, d’autres auteurs et autrices pensent que cette différence au regard de la complexité d’un objet de recherche n’a pas de sens. Ils et elles estiment que cela dépend essentiellement de la manière dont la personne qui réalise l’étude le perçoit. Même l’analyse de la prise d’un médicament ou simplement la production de la molécule est forcément un système complexe (Petticrew, 2011).

Par exemple, contrairement à ce qui a été postulé au début du champ de l’étude des politiques publiques, elles ne sont jamais simples et leur mise en œuvre n’est jamais vraiment rationnelle. Entre ce qui a été décidé et ce qui a été mis en place, il existe souvent, sinon toujours, des écarts très importants. De plus, les politiques publiques ne suivent jamais un processus linéaire mais sont, au contraire, tourbillonnaires (Monnier, 1992). En effet, pour reprendre les mots d’un théoricien célèbre de la complexité, Edgard Morin « dès qu’un individu entreprend une action, quelle qu’elle soit, celle-ci commence à échapper à ses intentions » (2005).

Si votre recherche porte sur une intervention, une politique publique, un projet ou un programme, par exemple, il peut être utile de définir et révéler sa complexité au regard des sept dimensions proposées par Pawson (2013). Dans le tableau 1, ces dimensions sont explicitées et un exemple est proposé pour les illustrer dans le contexte d’une intervention organisée par l’Organisation mondiale de la santé (OMS) dans plusieurs pays à travers un partenariat pour la couverture universelle en santé (CSU)^[1].

L’importance du contexte et de son étude

Au cœur de cette complexité, le rôle du contexte sur tout objet de recherche est essentiel à étudier, tout comme le contexte a une influence indéniable sur votre processus de recherche. Un guide a récemment été proposé pour soutenir les chercheuses et chercheurs dans la prise en compte du contexte au cours de leurs études (Craig et al., 2018). Le tableau 2 présente un exemple de la manière dont le contexte peut être pris en compte dans un type de recherche, celui de la recherche interventionnelle dans le domaine de la santé. Il s’agit d’un exemple dans un secteur particulier, mais ce tableau peut vous aider à adapter les questionnements à vos objets et situations particulières de recherche bien au-delà des questions de santé.

Si le concept de contexte reste encore à préciser, Pawson (2013) suggère de l’analyser au regard :

• des caractéristiques et des capacités individuelles des personnes concernées;
• des relations interpersonnelles créées entre elles;
• des normes, des règles et des routines des organisations et des institutions;
• des systèmes sociaux, économiques et culturels plus larges.

Par exemple, au Burkina Faso, une recherche doctorale a tenté de comprendre pourquoi une politique de santé avait eu des effets positifs pour certains centres de santé d’un district alors que rien n’avait changé pour d’autres centres de santé du même district. Pour comprendre cette différence, une doctorante a collecté des données pendant deux ou trois semaines dans chaque contexte de six centres de santé. Elle y a réalisé de très nombreuses entrevues et observations participantes pour trouver des pistes d’explications du rôle du contexte dans la compréhension de cette différence d’effet d’une politique nationale (Belaid, 2014). Il vous reste à lire la thèse pour avoir les résultats!

Agilité et pluralisme méthodologique

Face à cette complexité et ce rôle essentiel du contexte dans la compréhension de nos objets d’études, il est donc illusoire de vouloir fixer à l’avance toutes les procédures de recherche et tous les outils de collecte de données. Nous œuvrons la plupart de temps dans un contexte réel, autrement dit, dans une situation où, contrairement à ce qui se passe (parfois) dans un laboratoire de science naturelle, les situations changent, évoluent, sont dynamiques, labiles et mouvantes en permanence. La recherche interventionnelle se pratique sur le terrain, c’est une recherche de plein air, elle n’est pas confinée, pour reprendre la dichotomie classique (Callon et al., 2001). Nous sommes donc en situation réelle comme aiment à le rappeler des scientifiques du domaine de l’évaluation, des sciences sociales ou de l’analyse des systèmes de santé (Ridde et Robert, 2014; Robson, 2011).

Les devis fixes (« design », plan d’études, protocole) de recherche visent surtout à tester des hypothèses en utilisant des données quantitatives à partir d’une approche hypothético-déductive. En revanche, les devis flexibles cherchent à comprendre une problématique dans un contexte réel en laissant le plus souvent émerger les données, en adaptant les outils aux situations qui évoluent et en utilisant principalement (mais pas uniquement) des méthodes qualitatives. Évidemment, la nature des données n’a rien à voir avec la rigueur de vos analyses car l’usage du qualitatif, lorsqu’il est bien fait (ce qui n’est pas toujours le cas malheureusement, il suffit de penser aux stratégies d’échantillonnage qui ne sont pas toujours ni explicites ni transparentes), est tout aussi valide que celui du quantitatif (Olivier de Sardan, 2008). Mais il n’est pas toujours utile de se laisser tenter par cette dichotomie classique car l’important, le cœur d’une thèse, est de répondre à votre question de recherche. C’est donc la question de recherche principale qui doit guider vos choix méthodologiques et pas obligatoirement vos perspectives épistémologiques, vos expertises techniques ou celles des personnes qui encadrent votre thèse.

Vous devez avoir l’agilité de choisir les méthodes les plus appropriées et de vous adapter aux situations de votre terrain pour répondre à votre question de recherche plutôt que rester rigide au regard de ce que vous aviez planifié ou ce que l’on avait décidé que vous deviez réaliser. Par exemple, la doctorante dont j’ai évoqué la thèse plus haut, au Burkina Faso, n’avait pas prévu de passer autant de temps dans les villages mais la complexité de la situation a justifié une présence plus longue et des entrevues avec des personnes qu’elle n’avait pas prévu rencontrer. Ainsi, le pragmatisme et le pluralisme méthodologiques devraient devenir vos meilleurs amis (Ridde, 2016; Robson, 2011). Vous pouvez bien sûr avoir rédigé et fait valider par un comité d’éthique votre protocole de recherche doctorale avant de démarrer votre collecte, vous pouvez même le publier dans une revue scientifique comme cela se fait de plus en plus en santé publique. Mais il ne faut pas vous y enfermer et il faudrait vous donner la possibilité, dans les limites évidemment du respect des principes éthiques énoncés dans votre protocole, de vous adapter de manière agile aux contextes qui agissent tant sur votre objet de recherche que sur votre démarche scientifique.

Les méthodes mixtes

L’une des manières de mieux comprendre la complexité de vos objets de recherche est de ne pas utiliser un seul type de données (qualitative ou quantitative), mais de s’inscrire dans une démarche de méthodes mixtes. Ces démarches sont encore trop peu utilisées et conceptualisées sur le continent africain et en Haïti. Par exemple, l’analyse des articles scientifiques publiés en anglais dans le domaine de la recherche sur les politiques et les systèmes de santé en Afrique, entre 1950 et 2013, n’a permis d’identifier que 105 études (De Allegri et al., 2018). Elles sont pourtant très utiles, comme nous l’avons montré au Burkina Faso, pour étudier pourquoi certaines femmes continuaient de devoir accoucher à la maison alors que le gouvernement avait mis en place une politique nationale de subvention du prix des accouchements (De Allegri et al., 2015). Cependant, toute démarche en méthodes mixtes implique une réelle intégration des données qualitatives et quantitatives. Il ne s’agit pas simplement de juxtaposer ces données sans les intégrer ou de recourir à deux types de techniques de collectes du même type de données qualitatives (un groupe de discussion et des entrevues) ou quantitatives (des questionnaires et des analyses secondaires d’une base de données). Cela est évidemment possible (et parfois souhaitable), mais pour que vous puissiez vraiment vous inscrire dans un processus qualifié de méthodes mixtes, il est indispensable d’assurer une intégration des données qualitatives et quantitatives.

Cette intégration doit être planifiée et préparée en amont de la collecte des données pour en faciliter l’analyse, mais elle peut être réalisée a posteriori si vous en percevez la nécessité après une première phase qualitative ou quantitative. Par exemple, au Sénégal, nous avons récemment mesuré l’intention vaccinale d’un échantillon représentatif de la population dans le contexte de la pandémie COVID-19. Mais face à l’importance relative des personnes affirmant refuser le vaccin, nous avons exploré leurs raisons par une démarche qualitative subséquente. L’intégration des données peut être effectuée dans la présentation des résultats de votre recherche (au sens de chacun des thèmes par exemple) ou lors de leur discussion (en comparaison avec l’état des connaissances scientifiques et lors de votre souhait de monter en généralité), mais elle doit nécessairement être présente. Dans notre analyse des 105 articles, 62% ont présenté les résultats quantitatifs et qualitatifs de manière séparée et l’intégration était dans la très grande majorité des cas dans la section « discussion » (De Allegri et al., 2018). Pierre Pluye propose en détail l’existence, non mutuellement exclusives, de trois types d’intégration, soit la connexion de phases, la comparaison de résultats, et l’assimilation des données (Pluye, 2019).

Il existe plusieurs manières d’articuler les données qualitatives et quantitatives dans un devis en méthodes mixtes. On en propose généralement deux idéaux-types. Le premier est l’approche séquentielle, où une méthode est utilisée avant l’autre. La première méthode informe généralement la seconde. Par exemple, dans l’étude sur les accouchements au Burkina Faso, des questionnaires quantitatifs avaient permis de comprendre que les femmes payaient plus que ce que la politique avait prévue. Par la suite, des entrevues et des discussions de groupe avec les infirmiers et infirmières a permis de comprendre les raisons multiples de cet écart : besoin de prescrire des médicaments absents dans les centres, demande de paiements informels, etc. Le second type de devis en méthodes mixtes est l’approche convergente où il s’agit de collecter en même temps et en parallèle les données qualitatives et quantitatives. Il existe bien sur de nombreuses variantes à ces démarches qui sont explicitées notamment dans deux ouvrages francophones très utiles à cet égard (Bujold et al., 2018; Ridde et Dagenais, 2019).

Enfin, si vous souhaitez vous engager dans la mise en œuvre d’une recherche au moyen d’un devis en méthodes mixtes, la rédaction de votre thèse en suivant les conseils proposés par un outil serait très utile (Pluye et al., 2011). Le « mixed methods appraisal tool » (MMAT : outil d’analyse des méthodes mixtes) propose une liste de contrôle pour mieux décrire de manière systématique toutes les études usant de méthodes mixtes. Il est de plus en plus utilisé et pourrait vous être d’une grande aide tant pour planifier votre démarche scientifique doctorale que pour en rédiger les résultats.

Bibliographie commentée

Belaid, L. (2014). Facteurs contextuels dans l’évaluation d’une politique de santé maternelle au Burkina Faso [Thèse de doctorat, Université de Montréal]. Papyrus. http://hdl.handle.net/1866/11812

Une recherche doctorale qui montre comment mobiliser des méthodes mixtes pour comprendre l’hétérogénéité des effets d’une politique et le rôle du contexte.

Bujold, M., Nha Hong, Q., Ridde, V., Bourque, C. J., Dogba, M. J., Vedel, I. et Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. ACFAS.

Un ouvrage collectif en accès libre pour comprendre les concepts et la manière d’utiliser des méthodes mixtes en recherche.

Callon, M., Lascoumes, P. et Barthe, Y. (2001). Agir dans un monde incertain : Essai sur la démocratie technique. Seuil.

Un livre passionnant, notamment sur le rôle de la science dans les décisions publiques.

Craig, P., Di Ruggiero, E., Frohlich, K. L., Mykhalovskiy, E., White, M., Campbell, R., Cummins, S., Edwards, N., Hunt, K., Kee, F., Loppie, C., Moore, L., Ogilvie, D., Petticrew, M., Poland, B., Ridde, V., Shoveller, J., Viehbeck, S. et Wight, D. (2018). Taking account of context in population health intervention research : Guidance for producers, users and funders of research. NIHR, NHS. https://doi.org/10.3310/CIHR-NIHR-01

Un rapport de recherche qui propose des pistes aux acteurs et actrices de la recherche interventionnelle pour mieux tenir compte du contexte dans les recherches et leurs publications.

De Allegri, M., Sieleunou, I., Abiiro, G. A. et Ridde, V. (2018). How far is mixed methods research in the field of health policy and systems in Africa? A scoping review. Health Policy and Planning, 33(3), 445-455. https://doi.org/10.1093/heapol/czx182

Une synthèse de l’usage des méthodes mixtes pour les recherches sur les politiques et les systèmes de santé en Afrique.

De Allegri, M., Tiendrebéogo, J., Müller, O., Yé, M., Jahn, A. et Ridde, V. (2015). Understanding home delivery in a context of user fee reduction : A cross-sectional mixed methods study in rural Burkina Faso. BMC Pregnancy and Childbirth, 15, 330. https://doi.org/10.1186/s12884-015-0764-0

Un exemple de mobilisation des méthodes mixtes pour comprendre l’efficacité d’une politique de santé.

Glouberman, S. et Zimmerman, B. (2002). Systèmes compliqués et complexes : En quoi consisterait une réforme des soins de santé réussie? Commission sur l’avenir des soins de santé au Canada. http://publications.gc.ca/collections/Collection/CP32-79-8-2002F.pdf

Une proposition de différenciation entre le simple, le compliqué et le complexe dans les études du domaine de la santé.

Monnier, E. (1992). Évaluations de l’action des pouvoirs publics. Du projet au bilan. Économica.

Un livre ancien mais utile pour comprendre que les politiques publiques ne sont pas linéaires mais fluctuantes.

Morin, E. (2005). Introduction à la pensée complexe. Seuil.

Un classique indispensable à étudier pour commencer à comprendre la science de la complexité.

Olivier de Sardan, J.-P. (2008). La rigueur du qualitatif. Les contraintes empiriques de l’interprétation socio-anthropologique. Academia Bruylant.

Un ouvrage indispensable pour les positivistes qui pensent que la recherche qualitative n’est pas sérieuse, mais aussi essentiel à lire pour les constructivistes qui n’explicitent pas suffisamment leur démarche méthodologique.

Pawson, R. (2013). The Science of Evaluation : A Realist Manifesto. Sage.

Un ouvrage incontournable et complet pour appréhender le rôle de la science dans les politiques publiques et comprendre la proposition théorique de l’autrice d’une évaluation ancrée dans une épistémologie réaliste.

Petticrew, M. (2011). When are complex interventions « complex »? When are simple interventions « simple »? The European Journal of Public Health, 21(4), 397‑398. https://doi.org/10.1093/eurpub/ckr084

Un article court où l’auteur explicite ce qu’il entend par interventions complexes en santé publique.

Pluye, P. (2019). L’intégration en méthodes mixtes. Cadre conceptuel pour l’intégration des phases, résultats et données qualitatifs et quantitatifs. Dans V. Ridde et C. Dagenais (dir.), Évaluation des interventions de santé mondiale. Méthodes avancées (p. 191‑217). Éditions science et bien commun.

Une proposition innovante pour renforcer la manière dont nous intégrons les données qualitatives et quantitatives en méthodes mixtes.

Pluye, P., Robert, E., Cargo, M., Bartlett, G., O’Cathain, A., Griffiths, F., Boardman, F., Gagnon, M. P. et Rousseau, M. C. (2011). Proposal : A mixed methods appraisal tool for systematic mixed studies reviews. MMAT. http://mixedmethodsappraisaltoolpublic.pbworks.com/w/file/fetch/84371689/MMAT%202011%20criteria%20and%20tutorial%202011-06-29updated2014.08.21.pdf 

Un outil essentiel pour décrire et analyser le recours à des devis en méthodes mixtes.

Ridde, V. (2016). Pluralisme méthodologique et évaluation en santé publique en Afrique : Une étude de cas au Burkina Faso. Dans V. Ridde (dir.), Pratiques et méthodes d’évaluation en Afrique (p. 199‑222). L’Harmattan.

Une étude de cas de la mobilisation du pluralisme méthodologique dans l’analyse d’une politique de santé.

Ridde, V. et Dagenais, V. (dir.). (2019). Évaluation des interventions de santé mondiale. Méthodes avancées. Éditions science et bien commun, Éditions IRD.

Un ouvrage collectif présentant de nombreuses études de cas d’évaluation d’interventions complexes.

Ridde, V. et Robert, É. (2014). Real World Evaluation Strategies. Oxford University Press.

Une courte recension des textes essentiels à lire pour se former à l’évaluation d’interventions complexes en situation réelle (et donc non contrôlée).

Robert E., Ridde, V., Rajan, D., Sam, O., Dravé, M., Porignon, D. (2019). Realist evaluation of the role of the Universal Health Coverage Partnership in strengthening policy dialogue for health planning and financing: a protocol. BMJ Open, 9(1), 1-9. http://dx.doi.org/10.1136/bmjopen-2018-022345

Un article présentant un protocole de recherche de la manière dont l’évaluation réaliste est planifiée pour comprendre une intervention complexe dans plusieurs pays d’Afrique.

Robson, C. (2011). Real world research : A resource for users of social research methods in applied settings (3^e éd.). Wiley.

Un ouvrage à lire pour comprendre la démarche de la recherche qui tient compte des contextes pour comprendre ses objets.

Références complémentaires

Bamberger, M., Rugh, J. et Mabry, L. (2006). RealWorld Evaluation. Working Under Budget, Time, Data, and Political Constraints. Sage.

Bamberger, M. (2012). Introduction to Mixed Methods in Impact Evaluation. Interaction. https://www.interaction.org/sites/default/files/Mixed%20Methods%20in%20Impact%20Evaluation%20(English).pdf

Creswell, J. W. et Plano Clark, V. L. (2007). Designing and conducting mixed methods research. Sage.

Greene, J. C. (2007). Mixed Methods in Social Inquiry. Wiley.

Guével, M.-R. et Pommier, J. (2012). Recherche par les méthodes mixtes en santé publique : enjeux et illustration. Santé Publique, 24, 23‑38.

Larivière, N. et Corbière, M. (dir.). (2014). Méthodes qualitatives, quantitatives et mixtes: dans la recherche en sciences humaines, sociales et de la santé. Presses de l’Université du Québec.

Mc Sween-Cadieux, E., Dagenais, C. et Ridde, V. (2018). A deliberative dialogue as a knowledge translation strategy on road traffic injuries in Burkina Faso: a mixed-method evaluation. Health Research Policy and Systems, 16(1), 1-13. https://doi.org/10.1186/s12961-018-0388-8

Ozawa, S. et Pongpirul, K. (2014). 10 best resources on … mixed methods research in health systems. Health Policy and Planning, 29(3), 323–327. https://doi.org/10.1093/heapol/czt019

Pluye, P. et Hong, Q. N. (2014). Combining the Power of Stories and the Power of Numbers: Mixed Methods Research and Mixed Studies Reviews. Annual Review of Public Health, 35(1), 29‑45. https://doi.org/10.1146/annurev-publhealth-032013-182440

Ridde, V. et Olivier de Sardan, J-P. (2015). A mixed methods contribution to the study of health public policies: complementarities and difficulties. BMC Health Services Research, 15(3), 1-8. https://doi.org/10.1186/1472-6963-15-S3-S7

Robert, E. et Ridde, V. (2020). Faire face à la complexité et à l’hétérogénéité dans une étude de cas multiple réaliste dans des pays à revenu faible et intermédiaire. HAL. https://hal.archives-ouvertes.fr/hal-02517418/document

Tashakkori, A. et Teddlie, C. (2010). Sage handbook of mixed methods in social & behavioral research (2^e éd.). Sage.