V. La diversité des approches paradigmatiques
3. Une évaluation sommative de la méthode expérimentale par assignation aléatoire, et une approche alternative de l’imputation causale
Michael Scriven
[Traduit de[1] : Scriven, Michael. 2008. « A Summative Evaluation of RCT Methodology & An Alternative Approach to Causal Research ». Journal of Multidisciplinary Evaluation, 5(9) : 11-24 (Extraits). Traduction par Carine Gazier et Valéry Ridde. Article originellement publié en open access.]
A. Le protocole expérimental par assignation aléatoire est une construction théorique d’un intérêt considérable. Cependant, il n’a essentiellement aucune application pratique lorsque cela concerne des êtres humains. Il est important de préciser qu’une véritable étude expérimentale par assignation aléatoire doit être (au moins) en double aveugle, comme le sont toutes les bonnes études pharmacologiques, alors que les applications en matière de santé publique, d’éducation, de services sociaux, d’application de la loi, etc., qui sont actuellement préconisées dans les méthodes expérimentales par assignation aléatoire ne sont ni en double aveugle ni en simple aveugle, mais en « zéro-aveugle ». Les résultats de telles études sont donc susceptibles de s’expliquer en partie par un effet Hawthorne ou par son antithèse, puisqu’il est généralement facile pour les membres des groupes expérimentaux et témoins de déterminer dans quel groupe ils et elles sont. Par conséquent, l’argument commun selon lequel les modèles de la méthode expérimentale par assignation aléatoire préconisés dans des domaines tels que l’éducation, la santé publique, l’aide internationale, l’application de la loi, etc., ont l’avantage (unique) « d’éliminer toutes les explications fallacieuses » est totalement invalide. Il était imprudent de supposer que l’assignation aléatoire des individus compenserait leur absence d’aveuglement (comme dans les études en simple aveugle), et encore moins l’absence de l’aveuglement des organisateurs et organisatrices des traitements, c’est-à-dire des prestataires de services (exigence qui distingue l’étude en double aveugle). Dans les sciences humaines appliquées, le label de méthode expérimentale par assignation aléatoire est en fait brandi par des pseudo-méthodes expérimentales par assignation aléatoire. Cet échec n’est pas dû à la négligence, mais à l’impossibilité presque totale, du moins dans les limites des protocoles habituels régissant l’expérimentation sur des sujets humains, d’organiser des conditions d’aveuglement, même en simple aveugle.
B. Même les meilleures études en double aveugle sur les médicaments n’ont pas le pouvoir explicatif à caractère unique revendiqué par les partisanes et partisans de la méthode expérimentale par assignation aléatoire pour leurs études en zéro-aveugle. Ces études, généralement considérées comme des exemples paradigmatiques du protocole expérimental par assignation aléatoire, sont elles-mêmes susceptibles d’être remises en question, car elles ne répondent pas aux exigences du protocole de recherche de la méthode expérimentale par assignation aléatoire. Cela a conduit à une demande pour ce que l’on appelle des études « triple aveugle ». Ce terme est défini de diverses manières et a été utilisé pour désigner l’aveuglement (ou l’exclusion par le biais d’expériences contrôlées par ordinateur) du/de la statisticien-ne qui analyse des résultats, du/de la pharmacien-ne lorsqu’il/elle administre des médicaments, ou encore du/de la radiologue ou pathologiste qui effectue la première étape de l’interprétation des données. […] J’utiliserai ici le terme « totalement aveugle » pour traiter de tels cas. De plus, je le définirai comme une étude dans laquelle aucune personne impliquée dans la fourniture, l’obtention ou la réception du traitement, ou dans l’analyse des résultats, ne peut identifier l’appartenance d’un sujet à un groupe jusqu’à l’étape finale de décodage. […]
C. La difficulté de dissocier les effets « intrinsèques » d’un traitement, des effets psychologiques de l’administration du traitement, a deux résultats invalidants pour les inférences causales des protocoles de recherche expérimentaux. Le premier que nous venons d’évoquer – le problème selon lequel les effets distinctifs observés dans le groupe expérimental sont peut-être dus aux effets combinés de deux facteurs, et pas seulement aux effets du traitement. Le deuxième problème est qu’on ne peut pas dire quel sera l’effet du traitement expérimental s’il est administré en dehors du contexte expérimental, car on ne peut dire l’impact du contexte sur les effets. Par conséquent, il est dangereux de généraliser l’utilisation, même dans le monde réel, du traitement expérimental mis à l’essai dans le cadre de la méthode expérimentale par assignation aléatoire. Toute étude expérimentale par assignation aléatoire digne de ce nom doit être complétée par de nombreux rapports de terrain – de grande qualité – sur les usages en situation réelle [hors cadre expérimental].
D. Mais ce n’est pas tout. L’autre avantage logique revendiqué par les partisans de la méthode expérimentale par assignation aléatoire est qu’elle apporte la preuve de ce qu’on dit être la principale propriété logique des causes : le fait qu’elles résistent à l’épreuve du contrefactuel (c’est-à-dire qu’une cause est quelque chose sans laquelle l’effet ne se serait pas produit). Cependant, cette propriété de soutien contrefactuel n’est certainement pas une propriété logique des causes, […] et encore moins une propriété logique que possèdent les quasi-méthodes expérimentales par assignation aléatoire […]. Ce n’est pas une propriété logique des causes, en l’état, à cause du phénomène commun de la surdétermination, c’est-à-dire des situations où un effet E est causé par un événement C, mais où E se serait produit même si C ne s’était pas produit, à cause de la situation D, qui est « cachée dans le décor », prête à passer à l’acte si C ne le fait pas. Par exemple, lorsqu’un joueur de baseball – appelons-le Jaime Cortez – attrape facilement une balle dans un match professionnel (affirmation causale), le fait qu’un deuxième joueur se soit positionné derrière lui et aurait attrapé la balle si Cortez l’avait manquée, ne nous amène pas à dire que Cortez n’a pas attrapé la balle, bien qu’il soit clair que le contrefactuel ne tienne pas. […]
E. Les menaces que font peser les variables confondantes sur les protocoles expérimentaux par assignation aléatoire sont extrêmement graves et nombreuses, et leur traitement est coûteux. Elles exigent une attention continue et la mobilisation de compétences importantes, qui excèdent souvent les ressources disponibles dans le cadre de ces études. […]
F. Il ressort de l’examen des sections précédentes que : (i) le potentiel régulièrement revendiqué par les méthodes expérimentales par assignation aléatoire ne se retrouve pas dans les quasi-méthodes expérimentales par assignation aléatoire du monde réel; et que : (ii) ces protocoles de recherche du monde réel ont des handicaps sérieux qui leur sont propres. Est-ce que la démarche d’assignation aléatoire leur laisse malgré tout une supériorité générale résiduelle? En d’autres termes, est-ce que les quatre limites énumérées plus haut – les écarts entre elles et la méthode expérimentale par assignation aléatoire idéale – leur empêche d’exclure toute cause autre que le traitement expérimental? Fondamentalement, la réponse est à la fois oui – dans un sens (de « spécial ») – et non, dans un autre sens; et les deux sens s’annulent l’un l’autre, laissant la quasi-méthode expérimentale par assignation aléatoire sans avantage net. […]
G. La véritable « référence » pour les affirmations causales est la même norme ultime que pour toutes les affirmations scientifiques; il s’agit de l’observation critique. La causalité peut être observée directement, en laboratoire, à la maison ou sur le terrain, comme l’une des nombreuses observations que l’on peut faire, toujours indexées à un contexte, à l’instar de la fonte du plomb obtenue en chauffant un creuset, la friture des œufs dans une poêle ou le faucon emmenant un pigeon. La causalité peut aussi être déduite d’observations directes non causales, sans expérimentation, comme par exemple un médecin légiste qui effectue une autopsie pour déterminer la cause du décès. […]
H. La première implication [de ce qui précède] est que l’étude de cas réalisée par des professionnel-le-s, dans la mesure où elle est souvent imprégnée d’affirmations causales fondées sur l’observation, peut à nouveau prétendre à une capacité honorable de démonstration de la causalité. Soyons clairs sur un point, nous ne faisons référence qu’aux meilleurs exemples de ce genre. Par le passé, un grand nombre de travaux désespérément peu scientifiques ont été présentés sous le nom de « méthodes qualitatives », y compris de nombreux rapports anecdotiques décrits comme des études de cas, et le présent argument ne les réhabilite pas. Nous voulons simplement éviter la culpabilité par association, et permettre qu’il y ait des études de cas réalisées dans la tradition critique du bon travail scientifique où ce qui est rapporté est vérifié et inclut des affirmations causales. […]
I. Le point essentiel à ce stade de la discussion est le suivant : suggérer qu’on ne pourrait établir de causalité en évaluation sans la démarche expérimentale par assignation aléatoire est aussi farfelu que de suggérer qu’on ne pourrait établir de causalité en Histoire sans ce type de méthode (on ne pourrait alors, faute d’expérimentation, établir par exemple que la guerre en Irak a causé la mort de nombreux citoyens États-Uniens) […]. Presque toutes les affirmations causales formulées dans le monde réel, qui sont hors de tout doute raisonnable, sont fondées sur l’observation ou l’inférence directe de l’observation, que ce soit dans le contexte d’un laboratoire scientifique, d’une clinique ou d’un travail de terrain, ou dans la pratique du droit ou de l’histoire, ou dans les affaires courantes ou le journalisme. Elles peuvent être rassemblées et analysées statistiquement, qu’il s’agisse de la focale microscopique des études de cas ou du regard plus surplombant des études à grande échelle […].
J. Bien sûr, il existe des programmes, dans le cadre de l’aide internationale et dans d’autres domaines, pour lesquels il n’est pas si facile d’établir qu’ils produisent des avantages ni de déterminer l’ampleur de ceux-ci. Comme indiqué précédemment, il s’agit probablement de programmes dont les effets sont moins importants, moins immédiats et moins évidents, en particulier des programmes dont les effets nets ne sont tout simplement pas observables dans chaque cas. Pour certains d’entre eux, mais pas tous, un protocole expérimental par assignation aléatoire peut être approprié. Pour d’autres – probablement la majorité, mais personne n’a fait le compte – d’autres protocoles de recherche sont plus pertinents. Il est maintenant temps de se demander s’il existe une méthode sous-jacente qui peut être utilisée ou qui sous-tend logiquement toutes les affirmations causales légitimes, puisqu’il ne s’agit manifestement pas de l’expérimentation par assignation aléatoire. Cela nous servira non seulement pour choisir des protocoles de recherche plus spécifiques, mais dans de nombreux cas où il n’est pas nécessaire de concevoir des protocoles plus spécifiques, et dans ceux où aucun d’entre eux ne fonctionne. […]
K. Le coup de grâce contre la méthode expérimentale par assignation aléatoire, dans les guerres causales, vient d’un contrôle d’authenticité. Le critère ultime de l’authenticité est l’auto-application, le cas échéant. Par exemple, il est souvent pertinent que les évaluateurs ou évaluatrices fassent évaluer leur propre travail, et un test d’authenticité consiste à voir à quelle fréquence ils ou elles le font et à s’assurer que cela est fait avec le soin qu’ils ou elles demandent dans leurs propres appels aux autres pour que leurs programmes soient évalués. À présent, si la cause de la méthode expérimentale par assignation aléatoire est légitime, ne serait-ce pas une bonne pratique, pour celles et ceux qui en font un usage exclusif, que de vérifier si leur politique définie sur cette base fonctionne? En d’autres termes, d’évaluer leur propre politique. S’ils et elles ne le font pas, ne peut-on pas conclure qu’ils et elles échouent à un test crucial de leur propre doctrine?
- NdT : Cet article se concentre sur ce que l'on pourrait appeler un réexamen des références de la conception de la méthode expérimentale par assignation aléatoire, et propose quelques perspectives radicalement nouvelles à son égard. Sa lecture suppose une connaissance raisonnable des concepts de l’approche expérimentale. Les notes de bas de page ont été supprimées pour alléger le texte. ↵
