2. La méthode qualitative d’analyse d’impact

[Traduit de : Mohr, Lawrence B. 1999. « The qualitative method of impact analysis », American Journal of Evaluation, 20(1) : 69-84 (Extraits). Traduction par Carine Gazier et Valéry Ridde; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

Le raisonnement causal

Il existe deux conceptualisations de la causalité, l’une factuelle et l’autre physique. Lorsque la recherche se déroule comme expliqué ci-dessus, l’inférence causale se fondera sur un argument qui justifie la raison opératoire et qui la lie au comportement, peut-être avec quelques réserves. Le type d’argument utilisé dans ce cas, de même que celui qui est utilisé dans des exemples qualitatifs antérieurs tels que l’établissement du lien entre la température des tuyaux et la surchauffe d’une voiture, sera appelé « raisonnement causal physique ». Lorsque l’inférence causale est une inférence de causalité factuelle, un autre type de processus de recherche est demandé, un processus de recherche aboutissant à la possibilité de faire valoir, encore peut-être avec des réserves, que la causalité factuelle a été établie. La forme de cet argument particulier serait appelée « raisonnement causal factuel ».

Le raisonnement causal factuel doit nécessairement s’appuyer sur une allégation contrefactuelle. Une bonne partie de l’énergie et de l’ingéniosité du protocole de recherche sera consacrée au fait de pouvoir argumenter de façon convaincante que si X ne s’était pas produit, Y non plus. Cela peut en réalité se faire dans le cadre d’une seule étude de cas, ou lorsque l’on parle d’un seul événement qui n’est qu’une partie mineure d’une histoire plus vaste. En d’autres termes, on peut démontrer que X et Y se sont produits et soutenir autant que faire se peut, en se basant sur la connaissance des événements passés, en plus d’un examen minutieux et détaillé du contexte et des circonstances entourant l’événement en cours, que si X ne s’était pas produit ici, Y non plus. On ne pourrait pas faire délibérément une ou plusieurs observations empiriques d’un « groupe témoin » – impliquant un sujet et un contexte similaires dans lesquels X ne s’est pas produit. Néanmoins, il s’agirait d’un raisonnement causal factuel, d’un protocole de recherche quantitatif. Ou bien, comme le souligne le livre de King et al. (1994), on pourrait étudier en profondeur un ou deux cas dans lesquels X était présent et un ou deux cas où il ne l’était pas. Les auteurs ont tendance à considérer ces études à « petits N » comme qualitatives en raison de la profondeur de l’exploration et du mode de collecte et de mesure des données, mais dans la perspective du protocole de recherche, elles sont encore quantitatives. Toutefois, dans la plupart des cas, le raisonnement causal factuel est fondé sur des protocoles et des tailles d’échantillons pour lesquels des méthodes d’analyse statistique deviennent appropriées. Dans ce genre de cas, il est important de se rappeler, d’après la définition contrefactuelle, que le groupe témoin ou le groupe de comparaison ou la mesure « avant », par exemple, ne présente pas d’intérêt en soi. Il ne s’agit pas de comparer ce qui se passe (au temps présent) lorsque X se produit et ne se produit pas. Le groupe témoin ou de comparaison n’a d’intérêt que pour estimer ce qui se serait passé dans le groupe expérimental si X ne s’y était pas produit. C’est l’essence même du raisonnement causal factuel.

Prenons par exemple l’évaluation d’initiatives d’éducation à la santé. Il existe des protocoles de recherche statistiques de diverses sortes dans lesquels les chercheurs ont conclu que la connaissance de certains facteurs de risque entraîne (i.e. provoque) certains comportements liés à la santé, tels que des pratiques alimentaires plus saines sur le plan nutritionnel (Edwards, Acock, et Johnston, 1985). Souvent, on ne pense pas que cette connaissance des facteurs de risque puisse être une cause physique. Le fait d’être exposé-e à des informations sur une alimentation correcte, par exemple, n’est pas considéré comme ce qui a fait manger correctement les individus, mais on constate plutôt que les gens suffisamment motivés (c’est ici qu’intervient la causalité physique) sont beaucoup plus susceptibles de manger correctement s’ils savent vraiment ce qui est correct que s’ils ne le savent pas – la connaissance précise est plus indiquée que l’ignorance ou la fausse idée. Quoi qu’il en soit, le raisonnement consiste à dire que celles et ceux qui ont reçu et absorbé le matériel d’éducation à la santé ont tendance à manger correctement. Cependant, celles et ceux qui ne l’ont pas reçu, qui ne l’ont pas compris ou qui ne s’en souvenaient pas ont eu tendance à ne pas manger correctement, ce qui signifie que la connaissance, au sein du premier groupe, était une condition nécessaire. (Mohr, 1995 : 267).

Le raisonnement causal physique, d’autre part, vise à démontrer de façon convaincante qu’un type particulier de lien physique s’est opéré entre deux événements dans le monde réel, essentiellement le lien entre une force et un mouvement. Il y a lieu de penser que c’est ce genre de raisonnement, par contradiction avec le raisonnement causal factuel, qui cible les causes réelles. En d’autres termes, fréquemment, nous ne sommes pas satisfait-e-s des preuves provenant d’études observationnelles ou même d’expériences aléatoires parce que le réel, c’est-à-dire le mécanisme causal physique, reste un mystère. Les preuves matérielles peuvent souvent être nécessaires à l’appui de la statistique, et elles contribueront presque toujours à un ensemble de données plus convaincantes si elles peuvent être obtenues.

Un exemple excellent est l’intérêt long et persistant porté à la question de savoir comment, physiologiquement, le tabagisme provoque le cancer du poumon. Nous avons été troublé-e-s, en d’autres termes, par le fait que la signature du tabac soit restée obscure. En revanche, il nous a fallu moins de temps pour nous convaincre de l’effet des fluorocarbures sur la couche d’ozone parce que nous disposions, non seulement des séries chronologiques statistiques reliant les deux, mais aussi d’un compte rendu des processus chimiques impliqués.

Pour revenir à l’évaluation de programme, considérons que nous pourrions essayer d’établir, s’il convient d’attribuer une baisse de la mortalité liée aux accidents de la route à une répression policière médiatisée des excès de vitesse dans une communauté donnée. Appliquer la méthode avant-après ou la méthode des séries chronologiques interrompues au taux de mortalité est une option. La comparaison avec une communauté qui est similaire et qui n’a pas fait l’objet d’une répression en est une autre. Ces deux méthodes sont classiques, quantitatives ou factuelles-causales, et toutes deux sont affaiblies par les menaces classiques pesant sur la validité des quasi-expériences. Une alternative à creuser à la place, ou peut-être mieux encore, en complément, nous amènerait à limiter notre attention à une seule communauté et à une seule période de préoccupation – une étude de cas en ce qui concerne cet aspect particulier du protocole. Nous pourrions utiliser une enquête pour déterminer, non seulement si et dans quelle mesure, mais aussi comment les citoyennes et citoyens ont pris conscience de l’existence de la répression. En d’autres termes, nous n’essaierions pas de montrer qu’elles et ils n’auraient jamais entendu parler de la répression sans ce projet médiatisant l’action policière (raisonnement causal factuel), mais plutôt de rendre compte du fait qu’elles et ils en ont effectivement pris connaissance par la lecture ou la télévision, ou qu’elles et ils en ont été informés par un policier, ou par un ami ou une amie qui a prétendu avoir vu le spot TV, et ainsi de suite – autant de processus physiques. De plus, nous chercherions à comprendre le comportement lui-même – pas seulement si les citoyen‑ne‑s conduisaient consciemment plus lentement, mais pourquoi – était-ce une perception accrue des dangers de l’excès de vitesse, par exemple, ou une probabilité subjective accrue de se faire prendre? Notez que la quantification de ces deux liens dans le projet, compte tenu de l’enquête en question, ne serait qu’une question de compter les citoyen‑ne‑s pour se faire une idée de la prévalence des processus causals découverts. La quantification ne ferait pas partie d’un protocole de recherche permettant d’en déduire la causalité. Le protocole de recherche est alors indubitablement qualitatif. Aucune preuve du contrefactuel ne serait présentée, car l’enquête n’en contiendrait aucune. Au contraire, qu’un-e citoyen-ne ou qu’une centaine soit interrogé, le protocole de recherche dépend fondamentalement de la capacité à établir de manière convaincante l’existence des deux processus physiques de causalité chez les individus concernés – la connaissance de la répression en raison des activités du projet et la modification du comportement en raison des fortes motivations suscitées par le message du projet.

Un autre bref exemple pourrait être utile pour suggérer les types de rôles disponibles pour le raisonnement causal physique. Dans le type de recherche illustré ci-dessus par les pratiques alimentaires et la connaissance de la bonne nutrition, les efforts visant à accroître les connaissances seraient nécessairement évalués par le seul raisonnement causal factuel. Les connaissances nutritionnelles ne sont tout simplement pas une cause physique. Comme nous l’avons suggéré, il faudrait qu’interviennent des motivations ou des raisons distinctes, impulsant l’adoption du comportement alimentaire sain préconisé par le programme. Un programme plus approfondi chercherait également à inculquer ces motivations. Une analyse d’impact du programme pourrait alors être effectuée soit par un raisonnement factuel, soit par un raisonnement causal physique, soit par les deux. En d’autres termes, il n’y a aucune raison pour que les deux formes de logique ou de protocole de recherche ne puissent être prises en compte (a) dans le cadre d’une même évaluation, comme dans l’évaluation de l’initiative de diffusion de la connaissance par un raisonnement causal factuel, et des motivations par un raisonnement causal physique; ou (b) sur le même résultat, tant que nous nous soucions d’une cause physique, comme dans l’utilisation de deux protocoles de recherche différents pour déterminer si les individus ont changé ou non leurs habitudes alimentaires en raison des efforts déployés par le programme pour les convaincre des avantages qu’ils et elles pouvaient attendre de ce changement.

Cette contribution vise principalement à mettre en évidence l’idée d’un raisonnement causal physique et à suggérer ses fonctions. Les détails de la mise en œuvre réussie de ce raisonnement dans le cadre de l’évaluation et d’autres recherches dépassent la portée de nos efforts ici, et ne se préciseront sans doute que grâce au cumul de plusieurs essais. Cependant, une idée importante concernant la mise en œuvre émerge de la logique définitionnelle de la causalité physique elle-même. Cette conception de la causalité repose sur la relation entre une force et un mouvement. Dans le comportement humain, ces éléments renvoient respectivement à la raison opérationnelle et au comportement lui-même, comme dans le rapport entre la peur de se faire prendre par la police et le respect de la limitation de vitesse.

Pour établir cette relation de façon convaincante, quatre éléments semblent importants. Il faut d’abord montrer que la personne ou le groupe étudié doit avoir eu la raison à laquelle nous voulons attribuer la causalité – qu’ils la revendiquent eux-mêmes ou non. Deuxièmement, il est important de démontrer que cette raison était très forte par rapport à d’autres considérations qui auraient pu être actives à l’époque. Troisièmement, il est généralement crucial de montrer par diverses autres manifestations que c’est effectivement cette raison qui opérait – en traçant la « signature » de la raison, dans le style de l’approche du modus operandi. Enfin, il sera généralement utile d’établir que l’on peut légitimement interpréter le comportement des personnes comme ayant pour intention de rester en dessous de la limite de vitesse, par exemple, ou de suivre une bonne pratique nutritionnelle, et pas seulement, au-delà du fait de simplement constater une conduite à une certaine vitesse ou la consommation certains aliments, comme le fait habituellement la recherche quantitative.

Ce serait une digression que de discuter longuement des divers autres points de vue sur la causalité et le raisonnement causal qui ont été suggérés par rapport à la recherche qualitative, comme le constructivisme, le néoréalisme, etc. Toutefois, il est peut-être bon de souligner un point, à savoir que ce qui est proposé ici, ce sont des définitions de la causalité, qui doivent normalement soutenir toutes ces perspectives. Que l’on adopte une vision constructiviste de la « causalité », ou que l’on mette l’accent sur les « réseaux de causalité » plutôt que sur les dyades simples, linéaires, et de cause à effet, ou encore que l’on cherche avec le néoréaliste à découvrir des « mécanismes causaux » plutôt que des causes, on pourra toujours être confronté au défi de préciser ce qu’on entend réellement par « causalité » ou « causal » dans le contexte de l’approche choisie. Tout comme la méthode du modus operandi, ces autres perspectives ne dispensent pas de la nécessité de conceptualiser la causalité ni ne fournissent automatiquement elles-mêmes la définition conceptuelle requise. Elles ont tendance à utiliser le terme « cause » comme s’il avait été défini auparavant. Il est suggéré ici que la réponse à cette difficulté à définir puisse toujours être donnée en fonction de l’une des deux conceptualisations proposées ci-dessus. Il est donc suggéré, en outre, que les deux types de raisonnement causal, physique et factuel, seront en ce sens toujours pertinents, quel que soit le cadre philosophique, bien qu’ils ne soient peut-être pas toujours suffisamment importants pour l’argument de l’auteur pour mériter un intérêt. Enfin, bien que la recherche qualitative soit fermement établie comme une approche savante en sciences sociales et en évaluation de programmes, la prise en compte de la notion de causalité semble être régie par la définition contrefactuelle qui, du point de départ du protocole de recherche, est essentiellement quantitative. Ainsi, la possibilité de raisonner du point de vue de la causalité physique devrait ouvrir des perspectives de réflexion nettement plus larges, notamment dans le cadre des approches qualitatives.

Bibliographie

Edwards, Patricia K., Alan C. Acock, et Robert L. Johnston. 1985. « Nutrition behavior change: Outcomes of an educational approach ». Evaluation Review 9(4) : 441‑60. doi : https://psycnet.apa.org/doi/10.1177/0193841X8500900404.

King, Gary, Robert O. Keohane et Sidney Verba. 1994. Designing social inquiry: Scientific inference in qualitative research. Princeton: Princeton University Press.

Mohr, Lawrence B. 1995. Impact analysis for program evaluation. 2e éd. Newbury Park: Sage Publications.