16 Les méthodes mixtes

Résumé

Les méthodes mixtes consistent à intégrer des méthodes qualitatives et quantitatives dans une évaluation ou une recherche. La démarche suppose de réfléchir à cette intégration à toutes les étapes du projet, de la formulation des questions de recherche à l’analyse des données, en passant par la revue de littérature. Les méthodes mixtes permettent un apport descriptif, explicatif ou prédictif supérieur à ceux des méthodes qualitatives ou quantitatives prises séparément.

Mots-clés : Méthodes mixtes, intégration, devis séquentiel exploratoire, devis séquentiel explicatif, devis convergent, revue mixte de la littérature

I. En quoi consistent ces méthodes?

Tout programme peut être évalué en combinant le pouvoir des mots (sons et images) et celui des chiffres (Pluye et Hong 2014). Par exemple, vous pouvez recueillir des histoires auprès des intervenant·e·s et des usagèr·e·s qui illustrent des succès ou des échecs dont on peut tirer des leçons pratiques (ancrées dans l’expérience des parties prenantes) pour améliorer une intervention; de plus, vous pouvez recueillir les statistiques disponibles sur cette intervention, ou planifier leur collecte de manière transversale (par exemple, avec une enquête) ou longitudinale (par exemple, avec une collecte routinière de données insérée dans les activités quotidiennes). L’intégration des histoires et des statistiques constitue un moyen puissant pour répondre aux défis et questions complexes posés par les politiques publiques.

Dans les sections suivantes, la démarche utilisant les méthodes mixtes est présentée suivant les différentes étapes de la recherche.

Formuler clairement des questions spécifiques

Les méthodes mixtes permettent de répondre à des questions d’évaluation ou de recherche qualitatives et quantitatives interdépendantes (par exemple, séquentielles) ou complémentaires (par exemple, convergentes) sur une politique publique. Par exemple, vous pouvez formuler un objectif général mixte combinant exploration et mesure, puis des questions qualitatives et quantitatives spécifiques (Tableau 1). Toute question doit être formulée clairement. Elle exprime une seule idée (une phrase interrogative). Les questions d’évaluation et de recherche proviennent habituellement des problèmes et des défis rencontrés lors de la création, du développement, de la mise en œuvre (par exemple, l’adaptation au contexte) et de la pérennisation (par exemple, l’ajustement aux changements du contexte) des politiques publiques. Elles sont imposées par la direction ou suggérées par les intervenant·e·s et les usagèr·e·s.

Effectuer une revue mixte de la littérature 

Toute évaluation ou recherche est guidée par les connaissances existantes. Celles-ci proviennent des experts, de la littérature grise (par exemple, les rapports des organisations publiques identifiables avec Google Scholar ou OpenAlex) et des publications indexées dans les bases de données bibliographiques comme Cairn, Érudit, Scopus, etc. L’aide d’un·e documentaliste est inestimable. Commencez par effectuer une revue des revues de littérature publiées sous forme d’articles scientifiques, ou de chapitre de livre ou de thèse. Identifiez les documents les plus pertinents (ceux qui répondent à vos questions) et planifiez une mise à jour des connaissances. Utilisez un logiciel de gestion des documents pour garder une trace du processus et faciliter la rédaction des sections « Introduction » et « Discussion » de votre rapport (par exemple, le logiciel libre Zotero).

Pour mettre à jour les connaissances, les revues mixtes combinent des études quantitatives, qualitatives et/ou mixtes. Elles sont de plus en plus populaires car elles permettent de répondre à des questions qualitatives et quantitatives en tirant profit de la complémentarité des connaissances qualitatives, quantitatives et mixtes. Lorsqu’une politique publique et ses effets sont bien connus, elles permettent d’en fournir une compréhension approfondie et complète dans plusieurs contextes. La grande majorité des revues de littérature ne sont pas systématiques (chères et chronophages), mais les revues mixtes peuvent être systématiques, comme tout autre type de revue : pour en savoir plus sur cette méthode, voir la fiche séparée sur les revues de littérature mixtes.

Choisir un plan (devis) utilisant les méthodes mixtes

L’évaluation et la recherche utilisant les méthodes mixtes s’inspirent généralement de trois devis ou plans de base : séquentiel exploratoire, séquentiel explicatif, et convergent (voir Tableau 2).

Le devis séquentiel exploratoire [QUAL → QUAN] commence avec la collecte et l’analyse de données qualitatives (QUAL). Dans ce devis, les résultats de la phase 1 qualitative informent la collecte et l’analyse des données de la phase 2 quantitative (QUAN). La phase 2 est ainsi fondée sur la perspective des participant·e·s. Ce devis implique d’abord l’exploration qualitative du phénomène d’intérêt, puis l’utilisation des résultats qualitatifs pour guider l’échantillonnage et la construction de l’outil de collecte de données quantitatives subséquentes (intégration).

Dans le devis séquentiel explicatif [QUAN → QUAL], la collecte et l’analyse des données quantitatives (phase 1) précèdent et informent la collecte des données qualitatives (phase 2). Ce devis implique une évaluation quantitative initiale suivie d’une exploration qualitative de ces résultats, de sorte que les résultats qualitatifs contribuent à l’explication de résultats quantitatifs inattendus ou extrêmes (intégration).

Le devis convergent [QUAN + QUAL] est le plus fréquemment utilisé. Il combine les méthodes qualitatives et quantitatives de manière indépendante et complémentaire. Autrement dit, la collecte et l’analyse des données qualitatives et quantitatives ne dépendent pas l’une de l’autre. Elles sont menées simultanément ou non. En effet, il est rare d’avoir suffisamment de ressources pour tout mener de front. La convergence (intégration) survient au moment de l’interprétation des résultats qualitatifs et quantitatifs. Ce devis implique la collecte de données qualitatives et quantitatives pour répondre à une question similaire formulée de manière qualitative et quantitative.

Collecter et analyser des données

La collecte et l’analyse des données doit tenir compte des sources de données disponibles et des techniques spécifiques, qualitatives ou quantitatives, nécessaires à leur analyse. Certaines procédures peuvent être mixtes, par exemple la technique Delphi (combinant entretiens et questionnaires avec un échantillon de taille moyenne incluant des expert·e·s du monde entier). Étant donné que de nombreuses procédures et techniques d’analyse statistiques et qualitatives peuvent être utilisées, cette fiche est centrée sur l’intégration des méthodes qualitatives et quantitatives.

Stratégies d’intégration

Planifiez toute combinaison pertinente des stratégies pour intégrer les phases (connexion), les résultats (comparaison) et les données (assimilation) qualitatives et quantitatives. En partant d’une revue méthodologique, nous avons identifié trois types d’intégration et neuf stratégies opérationnelles (trois par type d’intégration) pour mener à bien l’intégration des méthodes qualitatives et quantitatives en méthodes mixtes. De plus, nous avons identifié toutes les combinaisons possibles de ces stratégies (Pluye et al. 2018). Ces combinaisons ont été confirmées dans la littérature sur les soins de première ligne, les soins infirmiers, et les sciences de l’éducation, de l’environnement et de l’information. Pour aller plus loin, des techniques spécifiques d’intégration sont décrites dans un manuel (Fetters 2020).

II. En quoi ces méthodes sont-elles utiles pour l’évaluation des politiques publiques?

Les méthodes mixtes sont développées dans plusieurs domaines depuis les années 1970. Elles formalisent des procédures et des techniques pour intégrer les méthodes qualitatives et quantitatives en évaluation et en recherche (Pluye et al. 2019). Elles permettent ainsi d’obtenir une compréhension supérieure à la somme des connaissances obtenues séparément avec des méthodes qualitatives et quantitatives. Par exemple, elles permettent de répondre à la fois à des questions touchant les effets et les coûts des interventions, les processus qui les sous-tendent de même que les expériences et les perspectives des parties prenantes.

III. Un exemple d’utilisation des méthodes mixtes dans le secteur de la santé

Une agence gouvernementale d’Évaluation des Technologies en Santé (ETS) produit et diffuse des recommandations (par exemple des guides sur l’utilisation optimale des médicaments et des normes sur la gestion des services sociaux) à l’échelle nationale via les associations professionnelles, les services sociaux et les services de santé. La direction de l’agence met en œuvre une recherche évaluative qui vise à justifier la pérennisation de cette intervention (imputabilité). Pour chaque recommandation disponible sur le site Internet de l’agence, un questionnaire validé (Granikov et al. 2020) permet aux usagèr·e·s d’en évaluer la pertinence, l’impact cognitif, par exemple en termes d’apprentissage, et l’intention de l’utiliser. En deux ans, plus de 6000 réponses ont été soumises et analysées (statistiques descriptives). De plus, des entretiens sont menés avec 15 usagèr·e·s pour identifier les effets de l’utilisation des recommandations (analyse thématique). L’intégration des statistiques et des thèmes permet d’estimer les retombées de l’intervention (utilisation et effets), et d’ajouter des types d’effets attendus dans le questionnaire.

IV. Quels sont les critères permettant de juger de la qualité de ces méthodes?

Les méthodes mixtes doivent satisfaire à trois conditions nécessaires ou caractéristiques essentielles : (a) au moins une méthode qualitative et une méthode quantitative sont intégrées; (b) chaque méthode est utilisée de façon rigoureuse par rapport aux critères généralement admis dans la méthodologie ou la tradition de recherche invoquée; et (c) l’intégration des méthodes est effectuée au minimum au moyen de questions d’évaluation ou de recherche, d’un devis (plan) et d’une stratégie d’intégration des résultats ou des données qualitatives et quantitatives. Quelques outils permettent d’évaluer la qualité des méthodes mixtes en appliquant ces principes. Leur liste est mise à jour sur le site catevaluation.ca. L’outil validé le plus populaire est disponible gratuitement sur Internet (Hong et al. 2018) : il comprend une grille de vérification, un manuel d’utilisation et des réponses aux questions les plus fréquentes (mixedmethodsappraisaltoolpublic.pbworks.com).

Par ailleurs, de nombreux guides et manuels facilitent la rédaction d’un rapport d’évaluation ou d’une publication scientifique utilisant les méthodes mixtes (Creswell et Plano Clark 2018). Leur liste est mise à jour sur le site equator-network.org. Les recommandations GRAMMS (« Good Reporting of a Mixed Methods Study ») listent six éléments essentiels à inclure dans un document qui rapporte l’utilisation des méthodes mixtes (O’Cathain, Murphy, et Nicholl 2008) : (a) justifier l’usage de ces méthodes en lien avec les questions de recherche; (b) indiquer le plan (séquentiel ou convergent) d’usage des méthodes mixtes; (c) détailler les méthodes qualitatives et quantitatives mobilisées; (d) préciser quand, comment et qui a procédé à l’intégration des méthodes mobilisées; (e) présenter les limites de ces méthodes; et (f) indiquer quels ont été les apports des différentes méthodes, ainsi que l’apport complémentaire de leur intégration.

V. Quels sont les atouts et les limites de ces méthodes par rapport à d’autres?

Les avantages des méthodes mixtes résident dans la synergie entre méthodes qualitatives et quantitatives. L’intégration de ces méthodes donne une valeur ajoutée aux méthodes prises séparément (Fetters et Freshwater 2015). En revanche, les méthodes mixtes entraînent un travail supplémentaire pour collecter et analyser à la fois des mots (sons et images) et des statistiques, et pour intégrer les données et résultats qualitatifs et quantitatifs. Leur mobilisation peut donc prendre plus de temps qu’une seule méthode, et nécessite une équipe multidisciplinaire avec au moins un·e expert·e pour chacune des méthodes sélectionnées. Finalement, elles requièrent plus d’espace dans une publication.

Quelques références bibliographiques pour aller plus loin

Creswell, John. et Vicki, Plano Clark. 2018. Designing and conducting mixed methods research. 3rd éd. Thousand Oaks: SAGE.

Fetters, Michael. 2020. The mixed methods research workbook: Activities for designing, implementing, and publishing projects. Thousand Oaks: SAGE.

Fetters, Michael. et Freshwater, Dawn. 2015. « The 1+ 1= 3 integration challenge ». Journal of Mixed Methods Research 9 (2): 115-17.

Granikov, Vera. et Grad, Roland. et El Sherif, Reem. et Shulha, Michael. et Chaput, Genevieve. et Doray, Genevieve. et Lagarde, François. et Rochette, Annie. et Tang, David Li. et Pluye, Pierre. 2020. « The Information Assessment Method: Over 15 years of research evaluating the value of health information. » Education for Information 36 (1): 7-18.

Hong, Quan Nha. et Fàbregues, Sergi. et Bartlett, Gillian. et Boardman, Felicity. et Cargo, Margaret. et Dagenais, Pierre. et Gagnon, Marie-Pierre. et Griffiths, Frances. et Nicolau, Belinda. et O’Cathain, Alicia. 2018. « The Mixed Methods Appraisal Tool (MMAT) version 2018 for information professionals and researchers. » Education for information 34 (4): 285-91.

O’Cathain, Alicia. et Murphy, Elizabeth. et Nicholl, Jon. 2008. « The quality of mixed methods studies in health services research. » Journal of Health Services Research and Policy 13 (2): 92-98.

Pluye, Pierre. et Bengoechea, Enrique García. et Granikov, Vera. et Kaur, Navdeep. et Tang, David Li. 2018. « Tout un monde de possibilités en méthodes mixtes : revue des combinaisons des stratégies utilisées pour intégrer les phases, résultats et données qualitatifs et quantitatifs en méthodes mixtes. » Dans Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé, sous la direction de Bujold, Mathieu. et Hong, Quan Nha. et Ridde, Valéry. et Bourque, Claude Julie. et Dogba, Maman Joyce. et Vedel, Isabelle. et Pluye, Pierre. 28-48. Montréal: Association francophone pour le savoir.

Pluye, Pierre. et Bengoechea, Enrique García. et Tang, David Li. et Granikov, Vera. 2019. « La pratique de l’intégration en méthodes mixtes. » Dans Évaluation des interventions de santé mondiale: méthodes avancées, sous la direction de Ridde Valéry et Christian Dagenais, 213-38. Québec: Éditions science et bien commun.

Pluye, Pierre. et Hong, Quan Nha. 2014. « Combining the power of stories and the power of numbers: Mixed methods research and mixed studies reviews. » Annual Review of Public Health 35: 29-45.