19 L’analyse qualitative comparée

Résumé

L’analyse qualitative comparée (AQC ou QCA pour qualitative comparative analysis) est une méthode mixte qui traduit des données qualitatives en un format numérique afin d’analyser systématiquement quelles configurations de facteurs produisent un résultat donné. L’AQC repose en effet sur une conception configurationnelle de la causalité, selon laquelle les résultats découlent de combinaisons de conditions. Elle est très utile pour l’évaluation d’impact ex post, plus précisément pour comprendre pourquoi une même politique peut entraîner certains changements dans certaines circonstances et pas dans d’autres.

Mots-clés : Configurations, combinaisons de conditions, complexité causale, identification systématique de modèles de cas croisés, équifinalité, causalité conjoncturelle, causalité asymétrique

I. En quoi consiste cette méthode?

Pourquoi une même politique entraîne-t-elle certains changements dans certaines circonstances et pas dans d’autres? Prenons l’exemple d’un programme de subventions destiné à aider les entreprises à dispenser une formation interne sur les compétences managériales. Comment se fait-il qu’une telle formation soit efficace pour certains employés et pas pour d’autres? Ou, autrement dit, dans quelles conditions l’efficacité du transfert de la formation est-elle assurée ou non? L’analyse qualitative comparée (AQC) est une méthode permettant de répondre à une telle question.

L’AQC part du principe que des configurations — c’est-à-dire des combinaisons de conditions — sont nécessaires et/ou suffisantes pour obtenir un résultat donné. Les conditions peuvent être conçues comme des variables causales, des déterminants ou des facteurs (Rihoux et Ragin, 2009 : xix). Un résultat, dans un contexte d’évaluation, est généralement un effet politique intentionnel ou non intentionnel bien défini qui peut être présent ou absent. Dans l’exemple ci-dessus, le résultat est l’occurrence ou la non-occurrence de « l’efficacité du transfert de la formation ».

Contrairement à d’autres méthodes basées sur des études de cas (voir le chapitre séparé sur les études de cas), l’AQC permet de comparer systématiquement des informations basées sur des cas, et permet donc une généralisation modeste. En même temps, contrairement aux méthodes statistiques, elle nous permet de conserver des informations contextuelles riches et une certaine complexité. En raison de ce double potentiel, la méthode est souvent décrite comme une passerelle entre les méthodes qualitatives et quantitatives. La méthode a été développée à l’origine pour les équipes de recherche confrontées à un nombre intermédiaire de cas (entre 10 et 50), mais elle est de plus en plus souvent appliquée dans des contextes comportant un grand nombre de cas (voir Thomann, et Maggetti 2020).

Il est important de noter que l’AQC n’est pas seulement une technique analytique, mais qu’elle s’accompagne également d’une approche spécifique de la causalité, appelée causalité conjoncturelle multiple, qui est très compatible avec les hypothèses qui sous-tendent l’évaluation réaliste (voir le chapitre séparé sur l’évaluation réaliste). En particulier, cette approche implique que :

• Les effets des politiques publiques sont souvent le résultat de combinaisons de conditions plutôt que le résultat d’une seule condition (« causalité conjoncturelle »).

• Différentes configurations possibles peuvent conduire aux mêmes effets ou résultats observés : c’est ce que l’AQC appelle « l’équifinalité ».

• La causalité est comprise de manière asymétrique : si, dans un cas donné, une certaine condition est pertinente pour le résultat, son absence n’entraîne pas nécessairement l’absence du résultat.

L’AQC appartient à la famille des méthodes de la théorie des ensembles (set theory). Un cas peut faire partie d’un ou plusieurs ensembles. Les ensembles articulent les caractéristiques que certains cas peuvent avoir en commun. Dans notre exemple, un employé ou une employée qui participe à une formation en entreprise peut faire partie de l’ensemble des cas des « employé·e·s autonomes dans leur travail et leur prise de décision » et/ou de l’ensemble des « employé·e·s qui ont reçu le soutien de leurs responsables hiérarchiques pour suivre la formation ». En identifiant la mesure dans laquelle un cas fait partie d’un certain ensemble et en le comparant systématiquement à d’autres cas présentant des variations dans l’occurrence d’un certain résultat (c’est-à-dire l’efficacité du transfert de la formation), on peut découvrir quels (combinaisons de) facteurs sont nécessaires et/ou suffisants pour ce résultat :

• Une (combinaison de) condition·s jugée·s nécessaire·s implique qu’elle sera toujours présente/absente chaque fois que le résultat est présent/absent. Ou pour le dire en termes de théorie des ensembles, X est une condition nécessaire pour Y, si Y est un sous-ensemble de X (X ← Y). Par exemple, si nous constatons que toutes les formations en entreprise menant à l’efficacité du transfert de formation ont été dispensées par des instructeurs ou instructrices ayant une grande expérience de l’enseignement, cette dernière peut être qualifiée de condition nécessaire.

• Pour qu’une condition (ou une combinaison de conditions, c’est-à-dire une configuration) soit suffisante, le résultat doit apparaître chaque fois que la condition est présente. En théorie des ensembles, une condition (X) est qualifiée de suffisante si elle constitue un sous-ensemble de l’issue (X → Y). Par exemple, une formation suivie par un·e employé·e ayant une grande autonomie dans son travail et fortement motivé·e peut constituer un chemin suffisant pour l’efficacité du transfert de la formation.

Les cas peuvent prendre différentes formes en AQC. Dans le cadre d’une évaluation, les cas sont généralement des contextes dans lesquels une intervention a été appliquée. Dans l’exemple mentionné précédemment, les cas concernent les employé·e·s qui ont suivi une formation subventionnée. Les cas peuvent également être des organisations ou des entreprises, ou être situés au niveau macro (c’est-à-dire des pays).

Comment alors comparer systématiquement de tels cas? Pour cela, on peut recourir à différentes techniques d’AQC. Dans l’AQC crisp set (AQCcs), la version originale de l’AQC, les conditions et les résultats doivent être traduits en termes binaires, 1 ou 0. C’est ce qu’on appelle la calibration. Les conditions ou les résultats auxquels est attribué un score de 1 doivent être lus comme présents (ou élevés, ou importants), tandis que ceux dont le score est de 0 sont considérés comme absents (ou faibles, ou petits). Les scores binaires expriment des différences qualitatives de nature. Dans la variante de l’AQC basée sur un ensemble flou (fuzzy set, AQCfs), les cas peuvent avoir une appartenance partielle à un ensemble et un score compris entre 0 et 1, ce qui tient compte du fait que de nombreux phénomènes sociaux sont dichotomiques « en principe » mais que les manifestations empiriques de ces phénomènes dans la pratique diffèrent souvent en degré (Schneider et Wagemann 2012, 14).

Quelle que soit la technique utilisée, le cycle de recherche de l’AQC passe par des étapes similaires :

Premièrement, les données étant calibrées, on peut construire une matrice de données qui présente essentiellement les données observées empiriquement sous la forme d’une liste de configurations.

Deuxièmement, la matrice de données calibrée peut, dans une étape ultérieure, être transformée en une table dite de vérité (truth table), qui énumère toutes les configurations possibles menant à un résultat particulier. Comme une seule configuration peut correspondre à plusieurs cas empiriques, la table de vérité résume donc le tableau des données empiriques. Le nombre total de configurations théoriquement possibles dans la table de vérité est déterminé par le nombre de conditions incluses dans la recherche. Il s’agit de trouver un bon équilibre entre le nombre de cas et de conditions. Les configurations non couvertes par les observations empiriques peuvent être considérées comme des restes logiques, c’est-à-dire qu’elles sont logiquement possibles, mais non observées. L’AQC offre l’opportunité intéressante d’inclure des hypothèses plausibles sur le résultat de (ou d’une sélection de) restes logiques pour tirer des inférences plus parcimonieuses (Schneider, et Wagemann 2012).

Troisièmement, la table de vérité ouvre la voie au moment analytique de l’AQC, appelé minimisation booléenne. Dans ce processus, on peut s’appuyer sur différents logiciels. La minimisation repose sur l’hypothèse que si deux combinaisons ne diffèrent que sur une seule condition, mais présentent le même résultat, cette condition particulière est redondante. Elle peut donc être éliminée pour obtenir une représentation plus simple du cas (ou du groupe de cas). En appliquant cette règle de manière itérative à toutes les paires de combinaisons possibles jusqu’à ce qu’aucune autre simplification ne soit possible, on obtient une série de chemins suffisants vers le résultat. Le type de résultats (c’est-à-dire les formules de solution) résultant généralement de l’analyse AQC seront des expressions sur « la (combinaison de) conditions qui sont nécessaires et/ou suffisantes pour l’occurrence ou la non-occurrence d’un résultat particulier ».

Quatrièmement, et c’est le point le plus important, une étude AQC ne s’arrête pas après l’application du logiciel. Il est essentiel que le chercheur ou la chercheuse explique ensuite le lien de causalité de manière narrative (Schneider et Wagemann 2010), en revenant sur les cas individuels et en reliant les résultats à des connaissances théoriques et conceptuelles plus larges. Cette méthode a en commun sa nature itérative : on peut faire des allers-retours entre l’analyse préliminaire des données et l’ensemble des données ou la théorie du changement. Ce processus est également un moyen utile pour apprendre à connaître les cas plus en profondeur.

II. En quoi cette méthode est-elle utile pour l’évaluation des politiques publiques?

L’AQC peut être utilisée à des fins explicatives, ce qui permet de tester les théories du programme (ou théories du changement) de manière systématique, ou à des fins exploratoires pour développer des théories à partir de connaissances basées sur des cas. Comme le résultat (les effets) doit être connu avant l’évaluation, la méthode ne peut en principe être appliquée que pour des évaluations ex post et in itinere dans lesquelles une intervention a entraîné une variation du succès.

De par son objectif, l’AQC convient principalement aux évaluations axées sur l’apprentissage plutôt que sur la reddition de comptes. En particulier, on dit souvent qu’elle peut contribuer à l’apprentissage en double et triple boucle : non seulement elle met en lumière les conditions dans lesquelles les interventions politiques fonctionnent, mais elle offre également la possibilité d’impliquer activement les parties prenantes dans le processus de sélection des résultats, des conditions et dans le calibrage de celles-ci. En conséquence, les parties prenantes et les commanditaires peuvent mieux comprendre ce que signifie un « changement réussi » dans le contexte de l’intervention, et ce qui fait la différence.

III. Un exemple d’utilisation de cette méthode dans la politique de formation

Nous avons déjà fait allusion à une évaluation de l’efficacité de la formation aux compétences non techniques (telles que les compétences managériales). Cette évaluation a été menée dans des entreprises flamandes (belges), à la demande de l’agence flamande du Fonds social européen (FSE), qui a également subventionné la formation. Bien que des recherches contrefactuelles antérieures aient démontré l’impact positif des subventions à la formation, elles ont également révélé qu’il n’y a pas toujours de transfert de ce qui est appris dans l’environnement de travail. Cette observation a constitué la principale raison d’être de l’évaluation et a incité le commanditaire à se concentrer non plus sur la question de savoir si les formations subventionnées fonctionnent, mais sur les conditions dans lesquelles les programmes de formation fonctionnent. L’étude a porté sur 50 cas, dont 15 cas réussis dans lesquels les compétences sociales ont été transférées et 35 cas d’échecs, dans lesquels l’efficacité du transfert de formation n’était pas atteinte au moment de l’évaluation.

Sur la base de la littérature pertinente en sciences de l’éducation, 8 conditions ont été identifiées comme ayant un pouvoir explicatif potentiel et incluses dans notre modèle AQC : (1) soutien des pairs; (2) soutien du responsable hiérarchique; (3) sentiment d’urgence; (4) prévention des rechutes et fixation d’objectifs; et les conditions contextuelles suivantes; (5) éléments identiques; (6) programme de formation en tant que méthode d’apprentissage active; (7) autonomie et (8) charge de travail équilibrée. Parmi ces conditions, aucune ne s’est avérée nécessaire à la réussite du transfert de la formation. Cependant, nous avons identifié plusieurs voies consistant en des combinaisons de conditions qui étaient suffisantes pour réussir : chaque fois que ces voies étaient présentes, le contenu de la formation était retenu et appliqué avec succès sur le lieu de travail. Le tableau 1 ci-dessous présente les huit parcours identifiés.

L’analyse AQC s’est avérée utile pour savoir quelles conditions surveiller dans les futurs programmes subventionnés. L’évaluation était une composante d’une évaluation multiméthode : elle a été suivie d’un traçage de processus (voir le chapitre séparé sur le traçage de processus) qui s’est concentré sur une sélection de cas pour identifier les mécanismes par lesquels les programmes de formation font une différence dans l’environnement de travail. L’analyse AQC a également permis d’identifier systématiquement les cas pour lesquels une analyse plus approfondie au sein du cas était la plus pertinente.

IV. Quels sont les critères permettant de juger de la qualité de la mobilisation de cette méthode?

Plusieurs checklists circulent avec des aperçus de ce qu’impliquent les bonnes pratiques en matière d’AQC (Schneider, et Wagemann 2010; Befani 2016 : 183-185), et cela dépasserait le cadre de cette fiche méthodologique d’élaborer sur tous les critères de qualité. Il est impératif que l’AQC, en tant que technique d’analyse des données, soit appliquée de manière cohérente avec « l’esprit » de l’AQC en tant qu’approche de recherche, ce qui implique que l’AQC ne doit pas être réduite à un « processus à boutons » mécaniste. En outre, il importe d’être transparent·e sur tous les choix effectués dans le processus de recherche, et idéalement de recourir à des tests de robustesse pour toutes les décisions prises. Ce dernier point est particulièrement important, étant donné la forte sensibilité de la méthode au cas par cas.

L’analyse AQC générera différents paramètres d’ajustement qui aideront à évaluer les analyses de nécessité et de suffisance. En termes simples, la cohérence décrit la mesure dans laquelle une relation empirique entre une (combinaison de) condition(s) et le résultat se rapproche de la nécessité et/ou de la suffisance en théorie des ensembles. La couverture décrit l’importance empirique ou la pertinence d’une combinaison de conditions. Pour les conditions nécessaires, la cohérence est généralement fixée à un niveau très élevé, à savoir 0,9, alors que pour les conditions suffisantes, des valeurs de cohérence plus faibles (par exemple 0,75) sont relativement courantes. Les valeurs de couverture doivent généralement être de 0,60 ou plus. Il est toutefois important de noter que les seuils de ce qui est considéré comme « bon » peuvent varier en fonction de la conception et de l’objectif de la recherche (Schneider et Wagemann 2010).

V. Quels sont les atouts et les limites de cette méthode par rapport à d’autres?

L’AQC présente l’avantage unique de tenir compte de la complexité causale, tout en permettant une généralisation modeste par l’identification systématique de schémas croisés. Les procédures rigoureuses sur lesquelles elle s’appuie rendent également les résultats parfaitement reproductibles. Un autre avantage est qu’elle ne nécessite pas un grand nombre de cas pour être appliquée.

Toutefois, à proprement parler, l’AQC ne permet de mettre en évidence que des « associations » entre une condition et un résultat. L’interprétation causale réelle est du ressort des personnes qui mènent l’évaluation. Une limitation similaire s’applique à l’élément temps. Bien que l’on travaille actuellement sur différentes manières d’inclure le « temps » dans une analyse AQC (voir Verweij et Vis, 2021), le type de résultats obtenus est de nature statique plutôt que dynamique.

Pour ces raisons, il est conseillé de combiner l’AQC avec d’autres méthodes intra-cas qui ont la capacité d’ouvrir la boîte noire causale. En particulier, la combinaison de l’AQC et du traçage de processus est de plus en plus utilisée à cette fin. L’évaluation mentionnée dans cette fiche méthodologique en est un exemple.

Quelques références bibliographiques pour aller plus loin

Befani, Barbara. 2016. « Pathways to change: Evaluating development interventions with Qualitative Comparative Analysis (QCA). » Sztokholm: Expertgruppen för biståndsanalys (the Expert Group for Aid Studies). Pobrane: http://eba.se/en/pathways-to-change-evaluating-development-interventions-with-qualitative-comparative-analysis-qca

Rihoux, Benoît. et Ragin, Charles C.. 2008. Configurational comparative methods: Qualitative comparative analysis (QCA) and related techniques. Sage Publications.

Schneider, Carsten. et Wagemann, Claudius. 2010. « Standards of good practice in qualitative comparative analysis (QCA) and fuzzy-sets. » Comparative sociology 9, no.3: 397-418.

Schneider, Carsten. et Wagemann, Claudius. 2012. Set-theoretic methods for the social sciences: A guide to qualitative comparative analysis. Cambridge University Press.

Thomann, Eva. et Maggetti, Martino. 2020. « Designing research with qualitative comparative analysis (QCA): Approaches, challenges, and tools. » Sociological Methods & Research 49, no.2: 356-386.

Verweij, Stefan. et Vis, Barbara. 2021. « Three strategies to track configurations over time with Qualitative Comparative Analysis. » European Political Science Review 13, no.1: 95-111.

Une excellente source est également http://www.compasss.org, qui comprend une vaste bibliographie, un aperçu des logiciels, des tutoriels et des directives sur l’AQC.