2. La recherche évaluative : principes et pratiques applicables aux services publics et aux programmes sociaux

[Traduit de : Suchman, Edward A. 1967. Evaluative Research. Principles and Practice in Public Service and Social Action Programs. New York:  Russell Sage Foundation, extraits des chapitres 1, 2, 3 et 5. Traduction par Carine Gazier et Anne Revillard; traduction et reproduction du texte avec l’autorisation de Russel Sage Foundation.]

Extrait du chapitre 1, p. 7-8 :

Notre approche distinguera « l’évaluation » de la « recherche évaluative ». Nous utiliserons la notion d’évaluation pour désigner de façon générale le processus social consistant à émettre des jugements sur la valeur. Ce processus est fondamental dans pratiquement toutes les activités sociales, qu’elles soient le fait d’individus ou d’organisations complexes. Bien que ce processus implique toujours une forme ou une autre de logique ou de rationalité qui le guide, il ne requiert pas de procédures systématiques visant à réunir et présenter des preuves objectives à l’appui du jugement émis. Dès lors, nous conserverons le terme « évaluation » pour désigner cette évaluation dans son acception courante, renvoyant au processus général d’appréciation et d’évaluation de la valeur.

L’expression « recherche évaluative », en revanche, sera utilisée pour désigner la démarche plus spécifique consistant à utiliser les méthodes et techniques de recherche scientifique à des fins d’évaluation. En ce sens, l’adjectif « évaluative » vient spécifier un type de recherche. L’accent est d’abord placé sur le nom « recherche », et la recherche évaluative renvoie aux procédures de collecte et d’analyse des données qui augmentent les chances de pouvoir « prouver » plutôt que simplement « affirmer » qu’une activité sociale a telle ou telle valeur.

Extrait du chapitre 2, p. 20-23 :

[…] La recherche évaluative représente une tentative d’utiliser des méthodes scientifiques afin de déterminer l’utilité d’une activité. Dans la définition du protocole de recherche comme dans les procédures de collecte et d’analyse des données, la recherche évaluative doit s’efforcer d’adhérer le plus possible aux canons de la méthode scientifique. […] En adoptant une méthode scientifique, on espère que les résultats de l’étude évaluative seront plus objectifs, et qu’on se donnera la possibilité d’en vérifier la fiabilité et la validité.

Il ne fait aucun doute que plus une étude évaluative sera conçue et mise en œuvre en suivant les règles de la méthode scientifique, plus on pourra être confiant quant à l’objectivité des résultats produits. Toutefois, il ne faut pas oublier que la recherche fondamentale (basic research) a un objectif différent de celui de la recherche évaluative. […] La recherche fondamentale a pour objectif premier l’établissement d’un savoir, le fait de prouver ou d’invalider une hypothèse. Il n’est généralement pas attendu qu’elle soit suivie d’une action particulière de la part d’une administration. Le critère essentiel de détermination du « succès » d’un projet de recherche fondamentale réside dans la validité scientifique des résultats auxquels il aboutit, validité qui est évaluée sur la base des règles de la méthode scientifique.

La recherche évaluative, en revanche, est généralement une recherche de type appliqué ou administratif (administrative research), dont l’objectif premier est de déterminer le degré auquel un programme ou une procédure donné-e aboutit à tel ou tel résultat souhaité. Le « succès » d’un projet d’évaluation dépendra alors largement de son utilité pour favoriser, pour l’administration concernée, une amélioration du service fourni. Dès lors, même si des critères scientifiques entrent en jeu pour déterminer le degré de confiance que l’on peut accorder aux résultats d’une étude évaluative, l’utilité de cette dernière dépendra surtout de critères d’ordre administratif. Contrairement au chercheur en recherche fondamentale, le chercheur en recherche appliquée doit constamment garder à l’esprit la question de l’utilité potentielle de ses résultats. Il est rare qu’il puisse se satisfaire de l’idée selon laquelle « l’opération a été un succès même si le patient est décédé ».

C’est précisément ce qui rend la recherche évaluative « difficile ». En théorie, la définition du protocole de la recherche pose généralement moins problème que dans la recherche non-évaluative. Les « hypothèses » découlent largement des objectifs et des procédures mis en avant par le programme ou le service que l’on cherche à évaluer (même si, comme nous le verrons, en pratique leur identification ne va souvent pas de soi). De plus, le protocole de recherche essaie pratiquement toujours de se conformer à un modèle de type expérimental, impliquant des mesures avant et après sur un groupe expérimental et un groupe de contrôle (même si, là aussi, des adaptations sont possibles). Concevoir un dispositif « idéal » d’évaluation est probablement un des exercices de recherche les plus simples que l’on puisse imaginer.

Ce ne sont pas tant les principes de la recherche qui rendent les études évaluatives difficiles, que la difficulté pratique à rester fidèle à ces principes face à des considérations administratives. De façon beaucoup plus nette que pour le chercheur ou pour la chercheuse en recherche fondamentale, l’évaluateur ou l’évaluatrice perd le contrôle de la situation de recherche. Les objectifs du programme à évaluer ont déjà été définis par quelqu’un d’autre, le plus souvent par un administrateur ou une administratrice de ce programme qui a un intérêt direct dans celui-ci. Il est à la fois difficile et pénible de le forcer à remettre en question les hypothèses sous-jacentes à ces objectifs. Le fait de diviser ces objectifs en plusieurs étapes intermédiaires en vue d’un objectif de plus long terme paraîtra souvent à l’administrateur ou à l’administratrice du programme comme une tentative de limiter la portée de ce programme, voire de le détruire. L’introduction d’un critère de performance plutôt que d’effort, ainsi que de critères d’effectivité et d’efficacité, pourront lui paraître comme une remise en cause de sa compétence. La présence de ce tiers biaisé entre l’évaluateur ou l’évaluatrice et son objet de recherche induit des difficultés largement inévitables, que ne rencontre généralement pas le chercheur ou la chercheuse en recherche fondamentale.

À la suspicion naturelle et à l’opposition de l’administrateur ou de l’administratrice du programme, il faut ajouter le fait que la plupart des études évaluatives supposent un certain degré d’interférence avec les activités en cours, ce qui induit des motifs supplémentaires de critiques et de refus de coopération. L’évaluateur ou l’évaluatrice ne se limite généralement pas à l’observation et à la mesure comme le fait le chercheur ou la chercheuse en recherche fondamentale; il ou elle doit souvent demander une modification des procédures voire une interruption complète du service, afin de garantir l’existence d’une forme de groupe de contrôle ou de comparaison. Il ou elle peut solliciter la collecte et l’enregistrement d’informations supplémentaires non nécessaires au fonctionnement du programme mais essentiels pour l’évaluation. Et tout cela, pour faire sens, doit généralement être fait au fil du fonctionnement courant du programme. En effet il fait peu sens, dans le cadre d’une évaluation, de mettre en place une situation expérimentale complètement artificielle.

Du point de vue de l’évaluateur ou de l’évaluatrice, l’évaluation doit être « simple et pratique », alors même que les prérequis méthodologiques de la recherche évaluative se complexifient et se spécialisent. […] Il s’agit pour la recherche évaluative de trouver un équilibre entre les limites administratives et les exigences méthodologiques. Toutes les évaluations ne requièrent pas le même niveau de rigueur scientifique, et beaucoup de décisions administratives se prennent sur la base d’évaluations limitées. Il s’agira, à l’avenir, de mieux comprendre les différentes formes que peut prendre l’évaluation, et quand chacune est adaptée.

Finalement, l’évaluation souffre aujourd’hui d’un manque général de financements, de structures, de temps et de personnel. Les services publics et les associations chargées de l’action sociale^[1] s’activent à développer des interventions visant à répondre aux besoins les plus criants des populations locales. La plupart de ces programmes ont une validité apparente et semblent avoir rarement besoin de la recherche évaluative pour prouver leur efficacité. Ce n’est que récemment qu’une plus grande priorité a été donnée à la recherche évaluative […]. Mais si on les compare aux ressources dédiées aux interventions elles-mêmes, et même à la recherche fondamentale, la quantité de temps, d’argent et de personnel allouée à l’évaluation est tristement inadéquate. Comme toute recherche, la recherche évaluative coûte de l’argent, et pas plus que la recherche fondamentale, on ne peut en faire une activité adjacente ou à temps partiel des personnels chargés des programmes. Même si on peut intégrer dans les services existants quelques collectes d’informations supplémentaires fournissant des données de base pour l’évaluation, cela ne suffit pas en soi à fournir des évaluations de programmes valides. Des personnels de recherche formés, utilisant des fonds d’évaluation spécifiques, sont la condition sine qua non du développement d’une recherche évaluative « scientifique ». Tant que ce prérequis de base n’est pas rempli, on peut douter que la recherche évaluative du futur soit de meilleure qualité que celle du passé.

On peut légitimement se demander si le champ actuel de la recherche évaluative est prêt à occuper une place plus conséquente. On manque d’analyses critiques sur la place souhaitable de l’évaluation, et on manque encore plus de discussions méthodologiques sur les adaptations des protocoles de recherche qui permettraient de rendre les études évaluatives plus productives. Difficile de dire qui est la poule et qui est l’œuf. Est-ce que la recherche évaluative reste sous-investie parce que nous n’en savons pas encore assez sur les façons de faire de bonnes études évaluatives, ou est-ce que nous n’avons pas assez appris justement parce que la recherche évaluative a été tant négligée? Il manque encore à l’évaluation, nous en sommes convaincus, une analyse systématique des principes théoriques, méthodologiques et administratifs qui sous-tendent ses objectifs et ses procédures. Une des raisons essentielles du discrédit qui pèse aujourd’hui sur les études évaluatives est l’absence de principes et de normes clairs pour leur conduite.

Extrait du chapitre 3, p. 31 :

L’évaluation [peut être définie] comme la détermination (qu’elle soit basée sur des opinions, des documents, des données subjectives ou objectives) des résultats (qu’ils soient désirables ou indésirables, éphémères ou durables, immédiats ou tardifs) produits par une activité (qu’il s’agisse d’un programme ou d’une partie d’un programme, d’un médicament, d’un traitement, d’une action récurrente ou ponctuelle) conçue pour réaliser un objectif valorisé (qu’il soit large ou précis, de long, moyen ou court terme, qu’il soit formulé en termes d’effort ou de performance). Cette définition comprend quatre dimensions clés : 1) un processus – la « détermination », 2) un critère – les « résultats », 3) un stimulus – « l’activité », et 4) une valeur – « l’objectif ». La méthode scientifique, avec ses techniques de recherche spécifiques, fournit le moyen le plus prometteur de « déterminer » la relation entre le « stimulus » et « l’objectif », selon des « critères » mesurables.

Cela ne revient pas à exclure les méthodes « non-scientifiques » d’évaluation, même si l’utilisation d’une méthodologie « scientifique » est plus valorisée. L’accent est ici placé sur le processus d’évaluation en général en tant que but, et non sur la recherche évaluative qui ne constitue qu’un des moyens d’atteindre ce but. La conception, le développement et la mise en œuvre des programmes soulève de nombreuses questions de type évaluatif auxquelles on peut répondre sans avoir recours à la recherche, et beaucoup de questions auxquelles, en l’état de nos connaissances, même les meilleures techniques de recherche ne permettent pas de répondre. La recherche évaluative est un outil, et comme tout outil, pour être pleinement utile, elle doit être conçue pour une fonction spécifique. La dernière recommandation que nous ajouterons est la suivante : l’évaluateur ou l’évaluatrice doit être conscient-e du type d’outil qu’il ou elle utilise, et si l’évaluation requiert une approche de recherche scientifique, il ou elle doit veiller à ne pas lui substituer une appréciation subjective. Nous sommes convaincus de la nécessité actuelle de développer une recherche évaluative plus scientifique, et que le progrès en évaluation passera d’abord par un examen plus approfondi des objectifs de chaque programme en incluant les hypothèses sous-jacentes, ensuite par le développement de critères mesurables correspondant à chacun de ces objectifs, et enfin par la mise en place d’une situation de contrôle pour déterminer le degré auquel ces objectifs sont atteints et identifier les effets secondaires éventuels. Ce sont là les trois conditions sine qua non d’une recherche évaluative qui relève vraiment de la recherche et pas simplement du jugement subjectif.

Extrait du chapitre 5, p. 84 :

[…] Les différences entre recherche fondamentale et recherche appliquée ont fait couler beaucoup d’encre; on les représente souvent comme les pôles opposés d’un continuum allant de la recherche « pure » à la recherche « d’ingénierie ». Certes, cette controverse est plus polémique que productive, et une grande partie sinon la majorité de la recherche a des éléments à la fois fondamentaux et appliqués. Pour autant, il existe bien une différence essentielle entre les deux démarches, notamment aux deux extrémités du continuum. La confusion entre les deux sous-tend l’essentiel des accusations dénonçant la recherche évaluative comme « non valide » ou la recherche fondamentale comme « inutile ».

De façon générale, la recherche évaluative et la recherche non-évaluative se distinguent par l’accent différent qu’elles placent sur les objectifs et les méthodes. En termes d’objectifs, la recherche évaluative est plus susceptible de viser un but pratique – elle est particulièrement préoccupée par son utilité. Cette recherche, si elle atteint son but, devrait permettre de fournir des informations utiles à la conception, au développement et à la mise en œuvre des programmes. Comme l’indique Fleck, « Le trait caractéristique qui transforme une quête de savoir en un projet d’évaluation est la présence d’un objectif selon lequel le savoir produit doit servir de guide à une action pratique » (Fleck, 1963 : 717).

Par contraste, la recherche non-évaluative, bien qu’elle puisse avoir des implications pratiques, vise d’abord une meilleure compréhension, plutôt que la manipulation du réel ou l’action. Un projet de recherche fondamentale a pour objectif essentiel la quête d’un savoir nouveau, indépendamment de la valeur de ce savoir pour produire un changement social. L’accent est mis sur l’étude les relations entre variables plutôt que sur la capacité humaine d’influencer ces relations par des interventions contrôlées.

Un corollaire de cette distinction entre compréhension et manipulation renvoie à des degrés contrastés d’abstraction ou de spécificité. La recherche fondamentale vise la formulation de généralisations théoriques ou de prévisions abstraites, alors que la recherche appliquée met l’accent sur l’action, dans une situation très spécifique impliquant des prévisions concrètes.

Bibliographie 

Fleck, Andrew C. 1963. « Evaluation research programs in public health practice ». Annals of the New York Academy of Sciences 107. doi : 10.1111/j.1749-6632.1963.tb13314.x.