17 Les revues de littérature systématiques mixtes

Résumé

Les revues de littérature systématiques mixtes consistent à procéder à un examen systématique et à dresser un bilan des travaux disponibles (et notamment des évaluations déjà réalisées) sur un sujet donné, en intégrant des travaux mobilisant des méthodes qualitatives, quantitatives et mixtes. Ce type de revue de littérature permet notamment une meilleure compréhension des interventions et phénomènes complexes. En englobant une diversité de questions évaluatives, elle est particulièrement utile pour éclairer la prise de décision publique.

Mots-clés : Méthodes mixtes, études qualitatives, études quantitatives, revue systématique mixte, revue de la littérature

I. En quoi consiste cette méthode?

La démarche de revue de littérature consiste à résumer, combiner, analyser, commenter ou critiquer des écrits portant sur un sujet donné. Les revues de littérature systématiques mixtes ont comme particularité d’inclure une variété de types d’études pour mieux comprendre des phénomènes complexes : des études quantitatives (par exemple, des études qui mesurent les effets d’une intervention ou l’ampleur d’un problème), des études qualitatives (par exemple, des études qui portent sur l’expérience des personnes) et des études utilisant des méthodes mixtes (c’est-à-dire, études qui utilisent des méthodes quantitatives et qualitatives).

Les revues systématiques mixtes font partie de la grande famille des revues systématiques de la littérature, c’est-à-dire un type de revue de littérature qui vise à répondre à une question de recherche en suivant une démarche préalablement définie pour le repérage, la sélection, l’évaluation et la synthèse des études pertinentes. Il s’agit d’un type considéré parmi les plus rigoureux puisqu’il permet de minimiser des erreurs et des biais qui peuvent survenir durant le processus de la revue. Ces revues utilisent donc des méthodes explicites et les rapportent de manière transparente afin qu’elles puissent être reproduites. Outre la revue systématique, il existe une variété de types de revues qui utilisent une approche systématique tels que la revue de la portée (scoping review), la revue rapide (rapid review) et la revue de revues systématiques (overview of reviews).

De manière générale, la mise en œuvre d’une revue systématique mixte suit huit étapes :

1. Formuler une ou des questions de recherche — la formulation des questions peut être guidée par une exploration sommaire de la littérature existante sur le sujet d’intérêt;

2. Définir des critères d’éligibilité (inclusion et exclusion) pour la sélection des articles;

3. Identifier des sources documentaires pour s’assurer d’avoir une recherche exhaustive telles que chercher dans des bases de données bibliographiques (par exemple, PubMed, Health Policy Reference Center, International Political Science Abstracts, Europa World, Worldwide Political Sciences Abstracts, Web of Science, JSTOR, SocINDEX), consulter la table de matière de périodiques scientifiques sur le sujet d’intérêt, chercher dans des sites web sur le sujet, consulter la liste de références des articles retenus ou les articles qui ont été cités, et contacter des expertes et experts;

4. Élaborer une stratégie de recherche documentaire avec la collaboration d’un ou d’une bibliothécaire spécialisé·e qui maîtrise les techniques de recherche documentaire dans les bases de données et les autres sources;

5. Sélectionner des documents pertinents en suivant deux étapes soit la sélection à partir des titres et résumés des documents puis la sélection à partir des textes intégraux;

6. Évaluer la qualité des documents retenus à l’aide d’outils pour évaluer la qualité des études;

7. Extraire les données des documents retenus à l’aide d’un formulaire qui précise toutes les données à extraire; et

8. Synthétiser les données extraites, c’est-à-dire analyser les données récoltées dans la revue pour en faire un tout cohérent pour répondre à la ou aux questions de recherche. Dans le cadre des revues systématiques mixtes, la synthèse doit aussi considérer comment les données qualitatives et quantitatives seront intégrées. De manière générale, deux principaux devis (ou protocoles) de synthèse peuvent être utilisés pour synthétiser les données qualitatives et quantitatives : a) devis de synthèse convergent dans lequel les données sont synthétisées de manière simultanée (par exemple, les études quantitatives et les études qualitatives sont synthétisées séparément avec différentes méthodes de synthèse puis les résultats des deux synthèses sont comparés) et b) devis de synthèse séquentiel qui implique au moins deux phases de synthèses dépendantes (par exemple, les études qualitatives sont d’abord synthétisées puis les résultats de cette synthèse informent la synthèse des études quantitatives).

Pour de plus amples informations sur chacune de ces étapes et sur les devis de synthèse, vous pouvez consulter les références à la fin de ce document ainsi que ce site web : http://toolkit4mixedstudiesreviews.pbworks.com.

II. En quoi cette méthode est-elle utile pour l’évaluation des politiques publiques?

Les revues systématiques mixtes sont pertinentes pour l’évaluation des politiques publiques, car elles permettent une compréhension plus approfondie des phénomènes et des interventions complexes. Les phénomènes complexes sont souvent caractérisés par une multiplicité d’acteurs impliqués ainsi qu’une diversité de modèles d’intervention et de facteurs qui influencent leur succès. Divers types d’études peuvent être utilisés pour évaluer ces phénomènes complexes. Ainsi, la synthèse de ces études complémentaires permettra d’acquérir une compréhension plus globale de l’état des connaissances sur un phénomène complexe.

La revue systématique mixte permet de fournir un portrait plus large et complet de la littérature sur un sujet donné. Elle permet aussi de combiner des questions complémentaires telles que : Quelle est l’efficacité d’une politique? Pourquoi cette politique est-elle efficace ou pas? Comment la politique fonctionne-t-elle? Quels sont les facteurs qui entravent ou facilitent l’implantation de cette politique? Pour répondre à ces questions, il est nécessaire d’inclure des études quantitatives pour répondre aux questions sur l’efficacité des politiques et des études qualitatives qui porteront sur les questions sur le pourquoi et sur le comment. Les réponses à ces questions complémentaires peuvent favoriser une meilleure prise de décision chez les personnes décideuses politiques, gestionnaires et praticiennes.

D’autres avantages des revues systématiques mixtes ont été soulignés comme de permettre une meilleure compréhension des résultats obtenus dans les études quantitatives à partir des études qualitatives (ou vice versa), de considérer une diversité de perspectives (par exemple, perspectives des personnes décideuses et utilisatrices), de corroborer des connaissances obtenues, et de renforcer la crédibilité et la validité des conclusions.

III. Un exemple d’utilisation de cette méthode : la lutte contre le tabagisme chez les jeunes

Une revue systématique mixte a été effectuée par des chercheurs et chercheuses de l’EPPI-Centre (Evidence for Policy and Practice Information and Co-ordinating Centre) au Royaume-Uni pour informer le développement de politiques visant à réduire le taux de tabagisme chez les jeunes (Sutcliffe, Twamley, Hinds et al., 2011). Dans leur revue, ils et elles se sont intéressé·e·s à trois principales questions de recherche : a) Quels sont les modes d’accès aux produits du tabac vendus au détail et non au détail les plus utilisés par les jeunes âgé·e·s de 11 à 18 ans et les modes varient-ils en fonction de facteurs tels que l’âge et le sexe? b) Quelle est la perception des jeunes sur l’accès aux produits du tabac et quels sont, selon les jeunes, les obstacles et les facteurs facilitant l’accès aux produits du tabac? et c) Quels types d’interventions visant à limiter l’accès aux produits du tabac aux jeunes en dehors du commerce de détail ont été évalués et comment ces interventions abordent-elles les obstacles et les facilitateurs identifiés comme importants par les jeunes au Royaume-Uni?

Pour cette revue systématique mixte, une recherche documentaire dans plus d’une centaine de sources d’information a été effectuée (par exemple, bases de données, sites web, recherche par citations). Cette recherche a permis d’identifier six études qualitatives, sept sondages et seize études d’intervention. Deux personnes ont été impliquées de manière indépendante dans la sélection des études, l’évaluation de leur qualité, l’extraction et la synthèse des données. Les synthèses pour chaque type d’étude inclus (sondages, études qualitatives, études d’intervention) ont été effectuées séparément. Pour l’intégration, les résultats de ces synthèses ont par la suite été comparés de deux manières : a) évaluer le niveau de concordance entre les résultats des sondages et ceux des études qualitatives concernant les sources des produits du tabac des jeunes et leurs modes d’accès par sexe, âge et statut tabagique (occasionnel ou régulier) et b) évaluer dans quelle mesure les interventions ont permis d’aborder les obstacles et les facilitateurs identifiés par les jeunes dans les études qualitatives.

À la lumière des résultats de cette revue, trois principales implications pour le développement de politiques pour réduire le taux de tabagisme chez les jeunes ont été formulées. Premièrement, les études ont révélé qu’il était facile d’accéder aux produits du tabac par des personnes du réseau amical et des pairs (accès social) dans les écoles. Les jeunes ont décrit cet accès social comme étant omniprésent, organisé et visible. Ainsi, le développement d’une réglementation plus stricte dans les écoles pour réduire l’accès social devrait être exploré. Deuxièmement, les résultats des études indiquent que la mise en œuvre d’une réglementation dans les commerces de détail était variable. Il est donc nécessaire d’explorer les raisons de la mise en œuvre inégale et d’identifier les moyens pour permettre un meilleur contrôle de la mise en œuvre de la réglementation dans ces commerces de détail. Troisièmement, les résultats de cette revue suggèrent la nécessité de s’attaquer aux achats de produits du tabac par une tierce personne adulte comme des personnes du réseau familial et amical et des personnes extérieures.

Dans cette revue systématique mixte, l’utilisation de données provenant de différents types d’études a permis d’identifier différents modes d’accès utilisés, de mieux comprendre les expériences et les opinions des jeunes sur l’accès aux produits du tabac et d’explorer des pistes d’intervention potentielles. Aussi, la nature mixte de la revue, qui combine des données d’enquêtes, des recherches sur le point de vue des jeunes au Royaume-Uni et des interventions portant sur l’accès aux produits du tabac en dehors du commerce de détail, a permis de fournir des données contextualisées pour l’élaboration de politiques.

IV. Quels sont les critères permettant de juger de la qualité de la mobilisation de cette méthode?

Pour juger la qualité des revues systématiques, il est important de comprendre les sources d’erreurs et de biais potentiels qui peuvent influencer les résultats obtenus. Nous en présenterons quatre : biais de repérage, biais de divulgation, biais de sélection et biais d’interprétation.

Le biais de repérage survient lorsque les études pertinentes sur le sujet d’intérêt ne sont pas repérées. Ce biais est relié à la recherche documentaire et aux sources de repérage. Afin de faire une recherche exhaustive pour repérer l’ensemble des études pertinentes pour la question de recherche, il est important de diversifier les sources documentaires, d’utiliser différentes bases de données et de développer des stratégies de recherche documentaire rigoureuse avec la collaboration de bibliothécaires spécialisé·e·s.

Le biais de divulgation, dont le plus connu est le biais de publication, survient lorsque la nature, la direction ou la force des résultats d’une étude influencent sa publication. Par exemple, il a été démontré que les études ayant des effets positifs ont plus de chance d’être publiées et être publiées plus rapidement dans des périodiques scientifiques que celles qui démontrent des résultats négatifs. Ceci peut entraîner une surreprésentation des études démontrant des effets positifs et peut affecter les conclusions de la revue systématique. Pour minimiser ce biais, il est recommandé de diversifier les sources de données et les types de documents à inclure comme des rapports scientifiques provenant de centres de recherche et des thèses et mémoires rédigés dans le cadre des études supérieures universitaires.

Un biais de sélection survient lorsque la sélection des études est arbitraire ou influencée par des motivations ou convictions particulières. Par exemple, une chercheuse ou un chercheur pourrait croire qu’une intervention est importante et décider d’inclure seulement des études qui ont démontré que l’intervention est efficace. Ceci biaisera donc les résultats de la revue. Pour minimiser ce biais, il est important de définir des critères d’éligibilité clairs préalablement à la sélection et d’impliquer deux personnes lors de la sélection.

Le biais d’interprétation est relié à la personne qui évalue et son interprétation des études. Ce biais peut être minimisé en impliquant au moins deux personnes dans l’extraction des données, l’évaluation de la qualité des études et la synthèse des données. De plus, dans une revue systématique mixte, il est recommandé d’avoir une équipe avec des expertises complémentaires en méthodologies de recherche qualitative et quantitative afin de faciliter la synthèse et le jugement sur la qualité des études.

V. Quels sont les atouts et les limites de cette méthode par rapport à d’autres?

Une revue systématique mixte permet de répondre à des questions diverses, de tirer profit de la complémentarité des données quantitatives et qualitatives, et d’avoir une compréhension approfondie et complète d’un phénomène complexe. Aussi, le fait d’utiliser une méthodologie rigoureuse et explicite permet de minimiser des erreurs et des biais potentiels qui pourraient influencer la validité des résultats d’une revue. Toutefois, divers défis peuvent survenir lors de son opérationnalisation.

Un défi important est le temps et les ressources requis. La durée d’une revue systématique peut varier entre 6 à 24 mois. Divers facteurs peuvent influencer sa durée tels que les questions de recherche à traiter, le nombre de personnes impliquées, le nombre de documents à analyser, et la ou les méthodes de synthèse à utiliser. Aussi, le fait d’inclure une diversité de types d’études dans une revue systématique mixte augmente le volume de document à identifier, trier, extraire et analyser. Il est ainsi important de s’assurer de la disponibilité des ressources et de bien justifier le choix d’effectuer une revue systématique mixte.

Les questions qui pourront être étudiées dans une revue systématique dépendent de la littérature disponible. Par exemple, dans le cadre d’une revue systématique mixte, une équipe de recherche pourrait être intéressée à identifier des études sur les effets d’une intervention et d’autres sur la perspective des utilisateurs sur l’intervention. Imaginons toutefois que la recherche documentaire ne permette d’identifier que des études sur les effets et aucune sur la perspective des utilisateurs sur l’intervention d’intérêt. Dans cet exemple, la revue n’est pas mixte puisque seulement un type d’études est synthétisé. Afin d’orienter les questions de recherche spécifiques qui pourraient être abordées sur un sujet d’intérêt dans le cadre d’une revue systématique mixte, il peut être utile de mener une exploration préalable et sommaire de la littérature existante.

Un autre défi concerne l’intégration des données, c’est-à-dire comment les composantes qualitatives et quantitatives sont combinées. Il s’agit d’une caractéristique clé de la revue systématique mixte qui permet que l’ensemble des résultats des divers types d’études retenus soient intégrés afin de fournir une compréhension plus approfondie sur le sujet d’intérêt et émettre des recommandations qui reflètent l’ensemble de la littérature couverte. Une revue qui n’a pas d’intégration pourrait être considérée comme incluant plusieurs revues indépendantes plutôt qu’une revue mixte. Il est donc essentiel de bien décrire la façon dont les données sont intégrées et de bien refléter la valeur ajoutée de cette intégration et de ses limites.

Quelques références bibliographiques pour aller plus loin

Heyvaert, Mieke. et Hannes, Karin. et Onghena, Patrick. 2016. « Using Mixed Methods Research Synthesis For Literature Reviews: The Mixed Methods Research Synthesis Approach. » Thousand Oaks, CA: SAGE Publications.

Hong, Quan Nha. et Pluye, Pierre. et Bujold, Mathieu. et Wassef, Maggy. 2018. « Les défis des revues systématiques mixtes : devis de synthèse convergents et séquentiels. » Dans Cahier scientifique Acfas #117 – Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé, sous la direction de Mathieu Bujold, Quan Nha Hong, Valéry Ridde, Claude Julie Bourque, Maman Joyce Dogba, Isabelle Vedel et Pierre Pluye, 49-63. Montréal : Association francophone pour le savoir (Acfas). https://www.acfas.ca/publications/magazine/2018/03/cahier-scientifique-117-methodes-mixtes.

Hong, Quan Nha. et Rees, Rebecca. et Sutcliffe, Katy. et Thomas, James. 2020. « Variations of mixed methods reviews approaches: A case study. » Research Synthesis Methods 11 (6): 795-811. https://doi.org/10.1002/jrsm.1437.

Hong, Quan Nha. et Turcotte-Tremblay, Anne-Marie. et Pluye, Pierre. 2019. « Les revues systématiques mixtes – Un exemple à propos du financement basé sur les résultats. » Dans Évaluation des interventions de santé mondiale. Méthodes avancées, sous la direction de Valéry Ridde et Christian Dagenais, 157-202. Québec : Éditions science et bien commun. https://scienceetbiencommun.pressbooks.pub/evalsantemondiale/chapter/revuesmixtes/.

Lizarondo, Lucylynn. et Stern, Cindy. et Carrier, Judith. et Godfrey, Christina. et Rieger, Kendra. et Salmond, Susan. et Apostolo, Joao. et Kirkpatrick, Pamela. et Loveday, Heather. 2020. « Chapter 8: Mixed methods systematic reviews. » Dans JBI Manual for Evidence Synthesis, sous la direction d’E. Aromataris et Z. Munn. Adelaide : JBI. https://jbi-global-wiki.refined.site/space/MANUAL.

Sutcliffe, Katy. et Twamley, Katherine. et Hinds, Kate. et O’Mara, Allison. et Thomas, James et Brunton, Ginny. 2011. « Young people’s access to tobacco: A mixed-method systematic review. » EPPI-Centre, Social Science Research Unit, UCL Institute of Education, University College London (London). https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=3301.