5. Trois étapes pour construire et tester des théories de moyenne portée dans le cadre d’essais contrôlés randomisés réalistes : les leçons théoriques et méthodologiques d’une application

[Traduit de : Jamal, Farah, Adam Fletcher, Nichola Shackleton, Diana Elbourne, Russell Viner et Chris Bonell. 2015. « The three stages of building and testing mid-level theories in a realist RCT: a theoretical and methodological case-example ». Trials, 16 (466) : 1-10 (Extraits). Traduction par Carine Gazier et Valéry Ridde. Article originellement publié en open access.]

La plupart des grands défis de santé publique actuels sont complexes et nécessitent des interventions pour faire face à de multiples déterminants aux niveaux individuel et socioécologique (Choksi et Farley, 2012; Craig et al., 2008). Les essais contrôlés randomisés (ECR, ou méthode expérimentale par assignation aléatoire), bien conçus et réalisés de manière appropriée, ont la meilleure validité interne pour estimer les effets d’interventions complexes afin de déterminer si des interventions spécifiques sont efficaces ou non dans leur ensemble. Cependant, on reproche souvent aux méthodes expérimentales par assignation aléatoire de ne pas ouvrir la « boîte noire » – c’est-à-dire d’examiner à gros traits « ce qui fonctionne » sans expliquer les processus sous-jacents et les mécanismes d’action, et comment ils varient selon le contexte et les caractéristiques de la personne et du lieu.

Bien que certain-e-s auteurs et autrices aient affirmé que des effets de traitement de faibles ampleurs, mais importants pour l’évaluation seraient assez extrapolables dans tous les contextes (Peto, Collins, et Gray, 1995), cela ne concerne que les essais pharmaceutiques. Les interventions de santé publique, en revanche, sont loin d’être directement extrapolables, car elles impliquent l’interaction complexe de la structure et de l’agencéité (agency), façonnant la mise en œuvre des interventions et la manière dont les gens y réagissent, laquelle variera considérablement selon les contextes nationaux et locaux. Ainsi, elles peuvent être conceptualisées comme des « interruptions » de systèmes sociaux complexes (Hawe, Shiell, et Riley, 2009). Pour que les résultats des évaluations en santé publique soient utiles pour décider si les interventions doivent être déployées ailleurs, il faut davantage tenir compte de la validité externe des résultats de l’évaluation. Pour cela, il faut, non seulement déterminer si les interventions peuvent être mises en œuvre dans un nouveau cadre, mais aussi comprendre clairement les mécanismes de mise en œuvre et de causalité des interventions et la manière dont chacun de ces mécanismes peut varier en fonction du contexte (Cartwright et Hardie, 2012).

Une approche réaliste de l’expérimentation par assignation aléatoire

Des essais contrôlés randomisés  réalistes ont été proposés comme approche d’évaluation scientifique permettant de combler ces lacunes tout en préservant les points forts des méthodes expérimentales par assignation aléatoire, qui fournissent des données probantes ayant une grande validité interne dans l’estimation des effets (Bonell et al., 2012; Jamal et al., 2013). Les évaluateurs et évaluatrices réalistes ont considéré que les interventions « fonctionnent » en introduisant des mécanismes qui interagissent avec les caractéristiques de leur contexte pour produire des résultats, et ils posent et répondent à des questions, non seulement sur ce qui fonctionne à un niveau global, mais aussi sur ce qui fonctionne pour qui et dans quelles circonstances (Pawson et Tilley, 1997).

Un aspect essentiel de l’évaluation réaliste consiste à comprendre le fonctionnement de l’intervention en anticipant la diversité des mécanismes d’intervention potentiels, en les présentant dans le cadre d’une théorie du changement, et en évaluant empiriquement, si et comment ces mécanismes sont « activés » ou « entravés » dans les différents contextes dans lesquels l’intervention est réalisée, et comment cela peut varier selon les groupes. Le contexte fait référence à l’ensemble préexistant de situations sociales, de normes, de valeurs et d’interdépendances (par exemple, structure organisationnelle, situation géographique, caractéristiques démographiques des participantes et participants) au sein duquel une intervention est mise en œuvre. L’évaluateur ou l’évaluatrice doit donc émettre des hypothèses et vérifier comment la théorie du changement portée par l’intervention interagit avec le contexte pour permettre (ou empêcher) la mise en œuvre, les mécanismes causaux et, en fin de compte, les résultats. Pawson et Tilley (1997) décrivent ce processus d’élaboration d’hypothèses comme le développement de « configurations contexte-mécanisme-résultat (CMR) ». Traditionnellement, les évaluateurs et évaluatrices réalistes examinent ces hypothèses à l’aide de données d’observation, rejetant l’utilisation de groupes de répartition aléatoire et de groupes témoins comme étant l’incarnation d’une épistémologie positiviste aux antipodes de leur propre orientation réaliste.

Les partisanes et partisans des essais randomisés réalistes partagent l’idée que les évaluations traditionnelles ont été trop axées sur des questions d’effets globaux, ainsi que la nécessité de théoriser et d’évaluer empiriquement la façon dont les mécanismes d’intervention interagissent avec le contexte pour produire des résultats. Cependant, elles et ils reconnaissent également qu’un groupe de comparaison réparti de façon aléatoire est le moyen le moins biaisé pour déterminer l’orientation et l’ampleur des effets d’une intervention et la façon dont ils sont modérés par le contexte, en soulignant que les études observationnelles sont souvent entravées par l’absence de point de comparaison au départ. Les méthodes expérimentales par assignation aléatoire réalistes sont donc un protocole de recherche qui permet de centrer les évaluations sur le perfectionnement de la théorie d’intervention extrapolable, tout en évaluant si des interventions particulières ont été efficaces ou non, puisque les deux questions peuvent être examinées dans le cadre de modèles de méthodes expérimentales par assignation aléatoire modifiés (Bonell et al., 2012; Jamal et al., 2013; Moore et al., 2015). Les partisan-e-s de l’approche réaliste de la méthode expérimentale par assignation aléatoire rejettent l’idée que la méthode expérimentale par assignation aléatoire serait nécessairement positiviste, en invoquant les écrits scientifiques selon lesquels la recherche ne peut, en pratique, être réduite à des paradigmes discrets et incommensurables et que les méthodes n’impliquent pas nécessairement des épistémologies (Bonell et al., 2013). Les méthodes expérimentales par assignation aléatoire réalistes se distinguent également des évaluations réalistes imbriquées au sein des méthodes expérimentales par assignation aléatoire, mais qui se déroulent en parallèle sans utiliser les comparaisons assignées aléatoirement comme ressource analytique (Byng et al., 2008).

Alors que certains initiateurs et certaines initiatrices de l’évaluation réaliste rejettent l’argument selon lequel l’analyse réaliste peut s’appuyer sur des données expérimentales (Marchal et al., 2013), la nouvelle décision du Conseil de la recherche médicale (CRM) sur l’évaluation des processus (Moore et al., 2014, 2015) a reconnu la valeur des méthodes expérimentales par assignation aléatoire réalistes pour poser une série de questions sur la mise en œuvre, le contexte, les mécanismes, les résultats et la normalisation. Toutefois, l’approche réaliste de la méthode expérimentale par assignation aléatoire n’a jusqu’à présent été décrite que dans la théorie (Bonell et al., 2012, 2013) et aucun exemple détaillé n’a été fourni. Dans le contexte de l’intérêt croissant porté à la conception et à la conduite de méthodes expérimentales par assignation aléatoire réalistes, il est urgent de fournir des conseils pratiques sur la manière dont une telle approche peut être mise en œuvre.

Cet article fournit un exemple concret du processus théorique et méthodologique de réalisation d’une méthode expérimentale par assignation aléatoire réaliste s’appuyant sur l’évaluation de l’intervention « apprendre ensemble » (AE). Il s’agit d’un regroupement de méthodes expérimentales par assignation aléatoire de trois ans en « phase III » (Craig et al., 2008) portant sur 40 établissements (20 dans le groupe d’intervention et 20 dans le groupe témoin) en Angleterre, afin d’évaluer une approche visant, à l’échelle de l’établissement, à réduire les situations de harcèlement et de violences (Bonell et al., 2014). En s’appuyant sur un essai pilote réalisé dans huit établissements au cours d’une année scolaire (2011-2012) (Bonell et al., 2015), la phase III de la méthode expérimentale par assignation aléatoire a débuté en septembre 2014 et est en cours (en 2015). Le protocole a déjà été publié (Bonell et al., 2014).

À partir de cet exemple, cet article décrit les étapes par lesquelles une méthode expérimentale par assignation aléatoire réaliste développe et teste des hypothèses sur la façon dont les mécanismes d’intervention interagissent avec divers contextes pour produire des résultats. Le protocole d’essai publié n’aborde pas ces questions et est axé sur les méthodes d’évaluation des effets globaux et de la fidélité des interventions. Le présent article ne s’écarte pas de ce protocole (Bonell et al., 2014), mais l’étend afin de fournir un exemple concret aux chercheurs et chercheuses, aux praticien-ne-s et aux décideurs et décideuses politiques qui cherchent à concevoir des méthodes expérimentales par assignation aléatoire réalistes, bien qu’il ne fournisse pas de résultats d’études puisqu’ils ne sont pas encore disponibles. Nous discutons également des conséquences importantes pour celles et ceux qui participent à l’établissement de rapports et à l’examen de méthodes expérimentales par assignation aléatoire réalistes, y compris les recommandations pour de nouveaux protocoles itératifs qui pourraient être mis à jour en ligne aux différentes étapes de l’élaboration et de l’essai de la théorie de l’intervention.

Bibliographie

Bonell, Chris, Elizabeth Allen, Deborah Christie, Diana Elbourne et Adam Fletcher. 2014. « Initiating change locally in bullying and aggression through the school environment (INCLUSIVE): study protocol for cluster randomised controlled trial ». Trials 15(381).

Bonell, Chris, Adam Fletcher, Natasha Fitzgerald-Yau, Daniel Hale, Elizabeth Allen et Diana Elbourne. 2015. « Initiating change locally in bullying and aggression through the school environment (INCLUSIVE): pilot randomised controlled trial ». Health Technol Assess 19(53).

Bonell, Chris, Adam Fletcher, Matthew Morton, Theo Lorenc et Laurence Moore. 2012. « Realist randomised controlled trials: a new approach to evaluating complex public health interventions ». Social Science & Medicine-Journals 75(12) : 2299‑2306.

Bonell, Chris, Adam Fletcher, Matthew Morton, Theo Lorenc et Laurence Moore. 2013. « Methods don’t make assumptions, researchers do: a response to Marchal et al. ». Social Science & Medicine-Journals 94 : 81‑82.

Byng, Richard, Ian Norman, Sally Redfern et Roger Jones. 2008. « Exposing the key functions of a complex intervention for shared care in mental health case study of a process evaluation ». BMC Health Service Research 8(274). doi : https://doi.org/10.1186/1472-6963-8-274.

Cartwright, Nancy, et Jeremy Hardie. 2012. Evidence-based policy: a practical guide to doing it better. Oxford: Oxford University Press.

Choksi, Dave A., et Thomas A. Farley. 2012. « The cost-effectiveness of environmental approaches to disease prevention ». New England Journal of medicine 367(4) : 295‑97.

Craig, Peter, Paul Dieppe, Sally Macintyre, Susan Michie, Irwin Nazareth et Mark Petticrew. 2008. « Developing and evaluating complex interventions: the new Medical Research Council guidance ». BMJ 337(a1655). doi : https://doi.org/10.1136/bmj.a1655.

Hawe, Penelope, Alan Shiell et Therese Riley. 2009. « Theorising interventions as events in systems ». American Journal of Community Psychology 43(3‑4) : 267‑76. doi : https://doi.org/10.1007/s10464-009-9229-9.

Jamal, Farah, Adam Fletcher, Angela Harden, Helen Wells, James Thomas et Chris Bonell. 2013. « The school environment and student health: a meta-ethnography of qualitative research ». BMC Public Health 13(798).

Marchal, Bruno, Gill Westhorp, Geoff Wong, Sara Van Belle et Trisha Greenhalgh. 2013. « Realist RCTs of complex interventions – an oxymoron ». Social Science & Medicine-Journals 94 : 124‑28. doi : https://doi.org/10.1016/j.socscimed.2013.06.025.

Moore, Graham F., Suzanne Audrey, Mary Barker, Lyndal Bond, Chris Bonell, et Wendy Hardeman. 2014. Process evaluation of complex interventions: Medical Research Council guidance. London: MRC Population Health Science Research Network.

Moore, Laurence, Suzanne Audrey, Mary Barker, Lyndal Bond, Chris Bonell et Wendy Hardeman. 2015. « Process evaluation of complex interventions: Medical Research Council guidance ». BMJ 350(h1258).

Pawson, Ray, et Nicholas Tilley. 1997. Realistic evaluation. London: Sage Publications.

Peto, Richard, Rory Collins et Richard Gray. 1995. « Large-scale randomised evidence: large and simple trials and overviews of trials ». Journal of Clinical Epidemiology 48 : 23‑40.