6. Les essais randomisés réalistes peuvent-ils être authentiquement réalistes?

[Traduit de : Van Belle, Sara, Geoff Wong, Gill Westhorp, Mark Pearson, Nick Emmel, Ana Manzano & Bruno Marchal. 2016. « Can « realist » randomised controlled trials be genuinely realist? ». Trials 17 (313) : 1-6 (Extraits). Traduction par Carine Gazier et Valéry Ridde. Article originellement publié en open access.]

Jamal et al. (2015) proposent essentiellement des « méthodes expérimentales par assignation aléatoire réalistes » qui utilisent un processus technique (analyse statistique modératrice et médiatrice) pour tester des hypothèses sur les phénomènes observables. Toutefois, le réalisme part de l’hypothèse que tout ce qui a une importance significative ne peut être observé. La recherche réaliste a vocation à s’intéresser particulièrement aux processus causaux sous-jacents qui mènent aux résultats – ce que l’on appelle des mécanismes. Bien qu’ils ne soient pas directement observables, ni facilement mesurables, ils sont essentiels. D’un point de vue réaliste, ils sont nécessaires à l’explication du lien de causalité.

Qu’est-ce qu’un mécanisme?

La notion de mécanisme est essentielle pour comprendre l’étiologie et le traitement des maladies. Les mécanismes jouent également un rôle central dans la pensée réaliste. Ils y sont néanmoins conceptualisés différemment. Les interventions déclenchent des mécanismes dans des contextes spécifiques, ce qui aboutit à certains types de résultats. La nature des mécanismes a longtemps fait l’objet de discussions dans les milieux réalistes (Marchal et al., 2012; Pawson, 1989), mais il existe un large consensus sur le fait que la « réaction aux ressources » est la caractéristique déterminante des mécanismes dans les travaux de Pawson et Tilley (Pawson et Tilley, 1997). D’un point de vue scientifique réaliste, les résultats de l’intervention peuvent être imputables aux ressources offertes et à la façon dont les intervenant-e-s et les participant-e-s y réagissent. En d’autres termes, faire et maintenir des choix différents nécessite un changement dans le raisonnement d’un-e participant-e (par exemple dans ses valeurs, ses croyances, ses attitudes ou la logique qu’il applique à une situation particulière) et/ou un changement dans les ressources (par exemple, informations, compétences, ressources matérielles ou soutiens) dont il ou elle dispose. Le réalisme affirme que c’est l’interaction entre le « raisonnement et les ressources » qui sous-tend les résultats de l’intervention (Greenhalgh et al., 2015). En conséquence, les interventions fonctionnent de différentes manières pour différentes personnes car celles-ci réagissent différemment aux ressources fournies par l’intervention.

Du fait de leur nature, les mécanismes sont latents, invisibles et sensibles aux variations du contexte (Pawson, 2008). Les mécanismes peuvent se jouer au niveau des individus, des groupes, des organisations et de la société. On peut trouver des idées sur les mécanismes dans les théories psychologiques, sociales, culturelles, politiques et économiques (Astbury et Leeuw, 2010). Ainsi, le « mécanisme » au sens réaliste n’est pas assimilé à des composantes de l’intervention, mais plutôt à la manière dont les ressources et les opportunités créées par l’intervention sont utilisées (ou non) par des personnes dans des contextes différents.

Jamal et al. (2015) définissent les mécanismes comme des aspects des interventions. Par exemple, à la page 2, Jamal et al. écrivent que « l’évaluateur ou l’évaluatrice doit poser des hypothèses et tester la manière dont la théorie de d’intervention du changement interagit avec le contexte pour permettre (ou empêcher) la mise en œuvre, les mécanismes causaux et, en fin de compte, les résultats ». Cependant, ce n’est pas la « théorie du changement » de d’intervention qui interagit avec le contexte. Le réalisme scientifique soutient plutôt que les interventions s’effectuent dans des contextes spécifiques et s’adressent aux acteurs et actrices qui décident (ou non) de modifier leur comportement, leurs choix ou leurs décisions en fonction des ressources et des opportunités offertes par l’intervention.

Les mécanismes sont également caractérisés par Jamal et al. (2015) comme des traitements externes. Les auteurs et autrices écrivent que « les évaluateurs et évaluatrices réalistes ont considéré que les interventions « fonctionnent » en introduisant des mécanismes qui interagissent avec les caractéristiques de leur contexte pour produire des résultats ». Cela implique, à tort, que les mécanismes peuvent être introduits dans une situation et donc être externes. Le réalisme scientifique soutient que les mécanismes ne sont pas des facteurs externes mais des aptitudes latentes, qui sont une fonction de l’interaction, entre les ressources d’intervention et les réponses des participant-e-s.

Tous les « mécanismes » présentés par Jamal et ses collègues (p. 8), sauf un, sont des activités ou la mise en œuvre d’actions. […] Cette confusion entre le concept de mécanisme et celui d’intervention (stratégie) est une erreur courante qui néglige les mécanismes réels en jeu (Marchal et al., 2012; Pawson et Manzano, 2012).

Médiateurs et modérateurs ou configurations?

La conceptualisation du « mécanisme » est liée à l’approche analytique visant à identifier les mécanismes et à leur attribuer des effets. Dans plusieurs cas, Jamal et al. (2015) proposent d’utiliser des techniques d’analyse de la médiation pour identifier les mécanismes en jeu. Par exemple, ils et elles écrivent : « à ce stade, nous testerons les hypothèses dérivées des étapes 1 et 2 au moyen d’analyses quantitatives de la médiation des effets (pour examiner les mécanismes) et de la modération (pour examiner les conjonctures contextuelles) ». Ces auteurs et autrices écrivent également que « l’analyse de la médiation causale aide à identifier les variables de processus ou de médiation qui se trouvent dans les voies causales entre le traitement et le résultat… Les médiateurs sont des mesures post-intervention d’effets intermédiaires qui peuvent ou non tenir compte des effets de l’intervention sur les résultats finaux ».

Cette explication révèle la stratégie analytique des auteurs et autrices. Pour clarifier la manière dont leur approche contraste, voire s’oppose, à l’approche scientifique réaliste, nous nous tournons vers Mahoney (Mahoney, 2001). Cet auteur présente trois grandes façons de définir le « mécanisme » dans le domaine de la science. Premièrement, lorsque le terme « mécanisme causal » est utilisé dans les protocoles expérimentaux, il est généralement compris comme un (ensemble) de variable(s) intervenante(s) qui explique pourquoi il existe une corrélation entre une variable indépendante et une variable dépendante. Les mécanismes sont donc situés dans la boîte noire entre les variables indépendantes et dépendantes et s’expriment comme une variable. « Cependant, si la notion de mécanisme en tant que processus d’intervention est utile, cette définition ne va malheureusement pas au-delà des hypothèses de corrélation » (Mahoney, 2001) et, par conséquent, elle n’apporte que peu, ou pas, de preuves sur la causalité.

Mahoney identifie une deuxième définition du mécanisme qui « conçoit les mécanismes causaux comme des théories ou des variables de niveau intermédiaire qui peuvent être utilisées pour expliquer un éventail assez large de résultats » (Mahoney, 2001). Les mécanismes causaux ont été définis ici comme des « modèles causaux fréquents et facilement reconnaissables qui sont déclenchés dans des conditions généralement inconnues ou avec des conséquences indéterminées » (Elster, 1989), cité par Mahoney (2001). Cette définition se concentre sur les théories sous-jacentes du changement et ne propose pas de stratégie analytique spécifique pour démontrer l’effet du mécanisme. La première et la deuxième définition du mécanisme partagent une approche d’analyse corrélative de la causalité, qui met l’accent sur l’identification d’antécédents régulièrement associés aux résultats (mode d’explication causal successif).

Une troisième définition est utilisée par le réalisme scientifique. Elle considère un mécanisme causal comme « une entité non observée qui, une fois activée, génère un résultat d’intérêt » (Mahoney, 2001 : 581). C’est la conception de la causalité génératrice des mécanismes adoptés par la recherche réaliste, qui considère que les mécanismes sont des propriétés inhérentes à l’agencéité et aux structures.

Faire et maintenir des choix différents exige une modification du raisonnement d’un participant (par exemple dans ses valeurs, ses croyances, ses attitudes ou la logique qu’il applique à une situation particulière) et/ou des ressources (par exemple Informations, compétences, ressources matérielles, soutiens) dont il dispose. Cette combinaison de raisonnement et de ressources est ce qui permet au programme de « fonctionner » et est connu sous le nom de « mécanisme » (Greenhalgh et al., 2015).

Cette conceptualisation génératrice fait passer l’analyse de la causalité au-delà de l’analyse corrélative.

Jamal et al. (2015) semblent avoir adopté la première définition qui réduit les mécanismes (et aussi le « contexte ») à de simples variables – bien qu’ils et elles se dirigent peut-être vers la deuxième définition. En tout état de cause, leur utilisation des termes « médiation » et « modération » implique une approche de l’analyse orientée vers les variables, contrairement à la perspective orientée vers la configuration qui reconnaît la causalité complexe adoptée dans le réalisme scientifique. Jamal et al. (2015) étendent l’approche axée sur les variables à la formulation des hypothèses. Les auteurs et autrices présentent la façon dont ils et elles ont développé un ensemble de mécanismes d’intervention, dits pré-hypothèses (qu’ils et elles qualifient également d’hypothèses de médiation), séparément d’un ensemble d’obstacles et médiateurs contextuels. Nous ne pouvons que supposer que les auteurs et autrices ont suivi cette voie, car il serait plus facile de tester statistiquement les différentes hypothèses en tant que volets distincts. Cependant, le développement de configurations contexte-mécanisme-résultat va au-delà de la « segmentation » de la théorie du programme en une série de variables sur le contexte et une autre sur le traitement de ce qu’ils appellent les « mécanismes d’intervention ». Dans le réalisme scientifique, l’explication repose sur la démonstration de la relation entre le contexte et le mécanisme. Les hypothèses devraient présenter un ensemble de théories de programme qui expliquent comment les modèles de résultats peuvent être expliqués par une configuration d’interventions, d’acteurs, de contextes et de mécanismes. Cela reflète la reconnaissance d’une causalité complexe dans l’évaluation réaliste.

Cela ne signifie pas que la recherche réaliste s’oppose à l’utilisation de données quantitatives. La recherche réaliste ne conçoit pas les mesures quantitatives comme des « variables » (dans le sens de choses qui varient en quantité et provoquent une variation ultérieure dans l’élément suivant de l’équation) mais comme des « indicateurs » (dans le sens d’une mesure partielle d’un aspect d’une chose qui « indique » si elle est présente et/ou la mesure dans laquelle elle est présente). En utilisant cette dernière définition, il est tout à fait possible d’utiliser des mesures quantitatives pour n’importe quel contexte (C), mécanisme (M) ou résultat (R), en supposant bien sûr que le C, le M et le R ont été théorisés antérieurement et que les indicateurs utilisés sont « adaptés à l’objectif » de cette théorie. Il s’agit d’une utilisation configuratrice des indicateurs plutôt que d’une analyse basée sur des variables.

En résumé, dans le réalisme scientifique, l’analyse ne dépend pas de l’évaluation statistique de la corrélation entre les variables représentant l’intervention, l’effet, les modérateurs et les médiateurs. L’analyse utilise plutôt toutes les données et les méthodes d’analyse appropriées pour élaborer, soutenir, refaire ou affiner des explications plausibles qui intègrent l’intervention, les acteurs et actrices, les résultats, le contexte et les mécanismes. Cela nous amène à notre troisième façon de considérer le réalisme scientifique, distincte de la méthodologie proposée par Jamal et ses collègues.

Les méthodes expérimentales par assignation aléatoire peuvent-elles tenir compte des configurations dynamiques de la CMR?

La dernière différence avec l’article de Jamal et al. (2015) concerne la capacité de la méthode expérimentale par assignation aléatoire à donner un sens à l’interaction dynamique entre l’intervention, les acteurs et actrices, le contexte et les mécanismes qui, d’un point de vue réaliste, contribuent à certains types de résultats au sein d’une intervention complexe. Si l’on considère que les configurations de la CMR (comme proposé par Pawson et Tilley) peuvent être évaluées dans une méthode expérimentale par assignation aléatoire, alors ce protocole de recherche devrait être en mesure de démontrer comment et pourquoi, certains types de résultats sont causés par des mécanismes « déclenchés » dans des contextes spécifiques. Là encore, les mécanismes doivent être compris dans une perspective réaliste et non pas comme une chaîne de facteurs entre l’intervention et le résultat. Le protocole de recherche devrait également être en mesure de démontrer comment et pourquoi ces configurations de la CMR varient selon les personnes ou les contextes et évoluent dans le temps. Compte tenu de la nécessité d’une assignation aléatoire et d’un contrôle dans la méthode expérimentale par assignation aléatoire, seules des configurations de la CMR simples et relativement peu nombreuses peuvent être testées simultanément. Dans le meilleur des cas, la méthode expérimentale par assignation aléatoire pourrait nous aider à évaluer la contribution relative des mécanismes à certains types de résultats si la configuration causale est uniforme, mais pas lorsqu’il est probable que des mécanismes différents généreront des résultats différents dans des circonstances différentes, comme c’est la règle plutôt que l’exception dans toute intervention sanitaire.

Bibliographie

Astbury, Brad, et Frans L. Leeuw. 2010. « Unpacking black boxes: mechanisms and theory building in evaluation ». American Journal of Evaluation 31(3) : 363‑81. doi : https://doi.org/10.1177%2F1098214010371972.

Elster, Jon. 1989. Nuts and bolts for the social sciences. Cambridge: Cambridge University Press.

Greenhalgh, Trisha, Geoff Wong, Joanne Greenhalgh, Justin Jagosh, Ana Manzano et Ray Pawson. 2015. « Protocol—the RAMESES II study: developing guidance and reporting standards for realist evaluation ». BMJ Open.

Jamal, Farah, Adam Fletcher, Nichola Shackleton, Diana Elbourne, Russell Viner et Chris Bonell. 2015. « The three stages of building and testing mid-level theories in a realist RCT: a theoretical and methodological case-example ». Trials 16(466). doi : https://doi.org/10.1186/s13063-015-0980-y.

Mahoney, Joseph L. 2001. « Beyond correlational analysis: recent innovations in theory and method ». Sociological Forum 16(3) : 575‑93.

Marchal, Bruno, Sara Van Belle, Josefien Van Olmen, Tom Hoerée et Guy Kegels. 2012. « Is realist evaluation keeping its promise? A literature review of methodological practice in health systems research ». Evaluation 18(2) : 192‑212. doi : https://doi.org/10.1177%2F1356389012442444.

Pawson, Ray. 1989. A measure for measures: a manifesto for empirical sociology. London: Routledge.

Pawson, Ray. 2008. « Invisible mechanisms ». Australasian Evaluation Society 8(2).

Pawson, Ray, et Ana Manzano. 2012. « A realist diagnostic workshop ». Evaluation 18(2) : 176‑91.

Pawson, Ray, et Nicholas Tilley. 1997. Realistic evaluation. London: Sage Publications.