5. Au-delà des usages : comprendre l’influence de l’évaluation sur les attitudes et les actions

[Traduit de : Henry, Gary T., Melvin M. 2003. « Beyond Use: Understanding Evaluation’s Influence on Attitudes and Actions ». American Journal of Evaluation 24(3) : 293-314 (Extraits). Traduction par Carine Gazier et Agathe Devaux-Spatarakis; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

Vers une théorie de l’influence de l’évaluation : cheminements et mécanismes multiples

Dans cette partie, nous présentons un cadre permettant de mieux comprendre l’influence de l’évaluation. Dans ce cadre, nous classons les processus de changement et les résultats que les évaluations peuvent influencer en fonction de trois niveaux : individuel, interpersonnel et collectif. Les niveaux indiquent le lieu du processus de changement. Par exemple, un processus de niveau individuel ne concerne qu’une seule personne, tandis qu’un processus de niveau interpersonnel se déroule dans le cadre d’un échange entre deux personnes ou plus, et qu’un processus de niveau collectif se déroule au sein d’une organisation ou d’une institution. À titre d’exemple, la lecture des conclusions d’une évaluation pourrait entraîner un changement : dans la pensée de Susan (individuel), dans les interactions entre Susan et Juan alors qu’elle tente de le persuader de quelque chose lié à l’évaluation (interpersonnel), ou dans une décision législative reflétée dans un vote majoritaire (collectif).

Après avoir décrit diverses formes d’influence de l’évaluation à ces trois niveaux, nous examinons la façon dont un processus ou un résultat peut en déclencher un autre, en passant parfois d’un niveau d’analyse à un autre (de l’individuel à l’interpersonnel au collectif). En d’autres termes, nous discutons des multiples cheminements alternatifs par lesquels les évaluations peuvent produire leurs effets.

Trois niveaux d’influence de l’évaluation

Ces trois niveaux correspondent à différents types de processus de changement qui ont été étudiés dans les sciences sociales et comportementales. Le premier niveau, individuel, désigne les cas où le processus ou les résultats de l’évaluation provoquent directement un changement dans les pensées ou les actions d’un ou de plusieurs individus, ou, plus précisément, lorsque le processus de changement ou les différences en question se produisent principalement au sein d’une personne. Par exemple, les évaluateurs et évaluatrices s’attendent souvent à ce que la prise de connaissance des résultats de l’évaluation change les croyances et les opinions des gens. Par ailleurs, la notion d’usage du processus suggère qu’un individu peut apprendre quelque chose ou changer ses croyances en fonction de sa participation à une évaluation (notez que la différence entre les conclusions de l’évaluation et le processus d’évaluation en tant que stimulateur du changement correspond à ce que Kirkhart (2000) désigne comme la source d’influence, et non pas au processus de changement lui-même. En prévision de notre discussion ultérieure sur les cheminements de l’évaluation, il est important de garder à l’esprit qu’un élément du cadre que nous présentons peut en stimuler un autre, que ce soit au sein des niveaux d’analyse, ou entre ces derniers. Par exemple, les évaluateurs et évaluatrices peuvent souvent supposer que le changement des attitudes individuelles entraînera des changements dans les comportements interpersonnels ou au niveau collectif.

Le deuxième niveau de notre cadre, l’interpersonnel, fait référence à un changement apporté dans les interactions entre les individus ou, plus précisément, à un processus ou un résultat qui se produit principalement dans le cadre des interactions entre les individus. Par exemple, les résultats d’une évaluation peuvent constituer une source faisant autorité, sur laquelle un intervenant ou une intervenante s’appuie pour tenter de changer les attitudes et les comportements d’autrui. Dans le contexte des programmes et de l’évaluation, le processus de persuasion est le plus souvent interpersonnel, un (ou plusieurs) individu s’efforçant d’influencer les autres. Le troisième niveau, le collectif, fait référence à l’influence directe ou indirecte de l’évaluation sur les décisions et les pratiques des organisations, qu’elles soient publiques ou privées. Plus précisément, le niveau collectif intervient lorsqu’un processus de changement ou un résultat opère principalement au sein d’un organisme social global. Par exemple, un changement de politique officielle pourrait être influencé par les conclusions d’une évaluation.

Pour orienter le lecteur ou la lectrice dans cette typologie, ces trois niveaux, ainsi que les formes spécifiques d’influence au sein de chaque niveau, sont résumés dans la figure 1. Pour chacun de ces niveaux, nous avons énuméré entre quatre et six types spécifiques de processus de changement ou de résultats qui pourraient vraisemblablement être déclenchés par une évaluation. Chacun de ces effets est issu de la littérature de recherche en sciences sociales et en sciences comportementales qui a examiné les processus de changement. En effet, la plupart des formes d’influence dont nous discutons ont des racines profondes dans les sciences sociales et se sont avérées fructueuses pour la recherche et les théories relatives aux les processus de changement. En spécifiant les différentes formes d’influence, nous avons largement emprunté à la recherche en psychologie, en science politique, en comportement organisationnel et dans d’autres domaines. L’un des facteurs qui a peut-être freiné la recherche et la théorisation des usages de l’évaluation est le fait que la littérature sur les usages a développé une terminologie qui entrave plutôt qu’elle ne facilite l’intégration des connaissances provenant d’autres domaines qui examinent des processus de changement similaires.

Figure 1. Mécanismes par lesquels l’évaluation peut exercer une influence

Tableau 1. Processus de changement pour l’influence de l’évaluation au niveau individuel

Plusieurs points concernant la figure 1 méritent d’être soulignés.

Premièrement, nous ne nous attendons pas à ce que chaque étude sur l’influence tienne compte de tous les processus et résultats énumérés dans la figure 1, ni à ce que le plan de chaque praticien ou praticienne aborde tous les cheminements d’influence. La figure 1 propose plutôt un menu aux chercheurs et aux chercheuses, en utilisant des conceptions pré-ordonnées ou émergentes, et que les praticien-ne-s peuvent prendre en considération.

Deuxièmement, la liste des processus et des résultats de la figure 1, associée aux publications de sciences sociales pertinentes, devrait s’ajouter à ce qui est connu de la recherche et des savoirs courants sur les usages, avec des tests supplémentaires des facteurs liés à l’influence de l’évaluation.

Troisièmement, la prise en compte des processus de changement social que nous avons identifiés pourrait alimenter les discussions futures sur la formation en évaluation et les compétences des évaluateurs et évaluatrices.

Quatrièmement, il est vrai que nous avons fait des choix dans la sélection des éléments énumérés à la figure 1. Toutefois, nous pensons que le cadre résumé dans la figure pourrait stimuler les travaux susceptibles d’aboutir à de nouveaux développements et améliorations. Notre traitement des processus de changement est bref et est conçu pour appuyer notre discussion sur la façon dont ces résultats distincts peuvent être reliés en chaînes qui constituent des cheminements par lesquels les évaluations exercent une influence.

[…]

Les multiples cheminements d’influence de l’évaluation

Dans la pratique, des résultats spécifiques (tels que le changement d’attitude d’un individu et la persuasion interpersonnelle) seront souvent liés les uns aux autres comme les maillons d’une chaîne causale. Étant donné que l’influence d’une seule évaluation peut se manifester à travers de nombreuses chaînes de résultats, il existe de multiples cheminements d’influence possibles. Pour ne prendre qu’un exemple, un cheminement d’influence pourrait commencer par une personne qui apprend d’une évaluation multi site que le programme local ne produit pas les résultats escomptés et qui, par conséquent, change d’attitude à l’égard du programme local. Cette influence portant sur l’attitude au niveau individuel pourrait ensuite amener la personne à jouer le rôle d’agent de changement. À son tour, ce type spécifique de comportement interpersonnel pourrait, après un certain temps, conduire à l’adoption d’un modèle de programme plus efficace à partir d’un autre site de l’évaluation, c’est-à-dire à la diffusion. Mais il se pourrait qu’une fenêtre d’opportunité ait été ouverte dans l’agenda politique par d’autres évènements non liés, sans lesquels la politique n’aurait pas été prise en considération. L’évaluation est une influence potentielle à tous ces niveaux, mais l’objectif d’amélioration sociale peut être contrecarré par d’autres éléments de l’environnement qui neutralisent l’influence de l’évaluation ou, de façon plus bénigne, ne parviennent pas à créer un environnement propice à la progression de l’évaluation le long de la chaîne souhaitée.

Nous pourrions imaginer un cas où les résultats d’une évaluation arment un groupe dont les attitudes sont initialement minoritaires à l’égard d’un problème social existant et où le groupe fait connaître les résultats par l’intermédiaire des médias et lors de réunions avec des législateurs individuels, ce qui augmente par la suite l’importance perçue du problème social (c’est-à-dire sa mise à l’agenda). Notez que ce cheminement particulier ne commence pas par un changement d’attitude. La chaîne de causalité commence plutôt par les conclusions de l’évaluation qui dynamisent le groupe d’opinion minoritaire et lui donnent un outil à utiliser dans ses efforts pour faire valoir ses préoccupations comme « problème public » (en faisant connaître les conclusions de l’évaluation pour tenter de susciter une préoccupation chez le public). Lorsque la question est inscrite comme « problème public », les membres du public peuvent commencer à réfléchir davantage à la question et commencer à élaborer leurs opinions, ce qui peut entraîner un changement d’attitude quant à l’opportunité d’une action publique sur la question. Enfin, une action collective se produit, sous la forme d’un changement de politique, qui, selon certaines recherches, peut en fait résulter de la mise à l’agenda d’un problème public et de l’élaboration d’une posture (Monroe, 1998; Page et Shapiro, 1992).

Pour emprunter un exemple légèrement en dehors de la sphère de l’évaluation, ce cheminement correspond approximativement à la façon dont des groupes tels que Mothers Against Drunk Driving [Les Mères contre l’alcool au volant] ont exercé une influence sur le changement de politique. À partir d’une position minoritaire (sur les activités d’application de la loi et les sanctions pénales applicables à la conduite en état d’ivresse), les membres du MADD se sont armées de statistiques (ainsi que d’exemples déchirants de décès). Leurs efforts en tant que groupe d’opinion minoritaire ont contribué à placer la question de la conduite en état d’ivresse au premier plan de l’opinion publique. Il est probable qu’en raison de la réflexion que cela a suscitée sur la question (voir la catégorie « élaboration »), un changement d’attitude s’est produit. Alors que le public considérait autrefois que la question de l’alcool au volant était un problème privé, le risque étant encouru par un individu, les opinions ont changé lorsque le comportement a été perçu comme mettant d’autres personnes en danger. Un changement de politique a suivi, sous la forme de lois plus sévères sur la conduite en état d’ivresse.

Remarquez que ce récit fournit beaucoup de détails et ne se contente pas de dire que « les statistiques sur les décès des accidents de la circulation liés à l’alcool ont été utilisées de façon instrumentale ». Ce genre d’analyse peut également permettre de comprendre pourquoi une évaluation particulière (ou, plus généralement, tout autre effort de changement) ne parvient pas à produire un type de changement. Imaginez, par exemple, que peu de temps après les efforts de MADD pour inscrire la conduite en état d’ivresse comme problème public, les États-Unis aient été impliqués dans une guerre. Cela aurait pu couper tout l’oxygène de la couverture médiatique et du discours public sur la conduite en état d’ivresse. Cela aurait-il été la faute de l’équipe d’évaluation, ou une lacune de l’évaluation? Nous pensons que non, bien que cela puisse sembler être le cas à partir d’un point de vue normatif sur les usages. Imaginez encore que la question ait fait partie de l’agenda médiatique pendant un certain temps, mais que les gens n’aient pas développé leurs réflexions à ce sujet ou n’aient pas changé d’attitude, comme cela semble s’être produit avec la question de la maltraitance des personnes âgées dans les programmes de soins de santé à domicile financés par le gouvernement fédéral (Cook et al., 1983). Bref, la réflexion sur les cheminements d’influence de l’évaluation permet de comprendre et d’étudier quand et pourquoi une certaine utilisation finale se produit et quand et pourquoi elle ne se produit pas. La modélisation de la chaîne de causalité d’un processus de changement planifié, comme l’élaboration d’une théorie de programme pour un nouveau programme, peut aussi permettre aux évaluateurs et aux autres participants au processus d’évaluation d’évaluer la plausibilité du plan en premier lieu.

Dans l’exemple précédent, nous avons présenté une chaîne qui découle des résultats de l’évaluation plutôt que du processus d’évaluation (Patton, 1997), bien que les deux soient des points de départ viables pour l’influence de l’évaluation. L’influence liée au processus d’évaluation a initialement une portée plus limitée que l’influence initiale potentielle des conclusions de l’évaluation, car l’accès au processus est souvent plus limité que l’accès aux rapports d’évaluation. Autrement dit, une chaîne déclenchée par le processus d’évaluation doit nécessairement commencer par les participant-e-s à l’évaluation, plutôt que par le public qui pourrait éventuellement lire ou entendre parler des conclusions de l’évaluation. Néanmoins, une chaîne déclenchée par le processus peut toujours être puissante, surtout lorsque des meneurs d’opinions ou des décideurs clés sont inclus. Par exemple, dans le cadre d’une évaluation participative, les enseignant-e-s pourraient apprendre à appliquer de nouvelles méthodes d’évaluation à la suite de leur décision d’évaluer les portfolios de travaux d’étudiant-e-s. Les enseignant-e-s pourraient décider d’appliquer leurs nouvelles compétences pour évaluer plus fréquemment le travail de leurs élèves et modifier en conséquence leurs pratiques pédagogiques. Si ces pratiques se traduisent par une plus grande réussite des élèves, ces pratiques d’évaluation pourraient faire partie des normes sociales de l’école et être adoptées par d’autres, notamment par les enseignant-e-s débutant-e-s qui arrivent dans l’école, avec une pression normative subtile encourageant ces mêmes pratiques. […]

Bibliographie

Cook, Fay L. et al. 1983. « Media and agenda setting: Effects on the public, interest group leaders, policy makers, and policy ». Public Opinion Quarterly 47 : 16‑35.

Greenberg, David, Marvin Mandell et Matthew Onstott. 2000. « The dissemination and utilization of welfare-to-work experiments in state policymaking ». Journal of Policy Analysis & Management 19(3) : 367‑82. doi : 10.1002/1520.

Henry, Gary T., et Craig S. Gordon. 2001. « Tracking issue attention: Specifying the dynamics of the public agenda ». Public Opinion Quarterly 65(2) : 157‑77. doi : https://doi.org/10.1086/322198.

King, Jean A. 2002. « Building the evaluation capacity of a school district ». in The art, craft, and science of evaluation capacity building, édité par D. W. Compton, M. L. Baizerman et S. H. Stackdill. San Francisco: Jossey-Bass, p. 63-80.

Kirkhart, Karen. 2000. « Reconceptualizing evaluation use: An integrated theory of influence ». in The expanding scope of evaluation use, édité par V. J. Caracelli et H. S. Preskill. San Francisco: Jossey-Bass, p. 5‑24.

Krosnick, Jon A., et Laura A. Brannon. 1993. « The impact of the gulf war on the ingredients of presidential evaluations: Multidimensional effects of political involvement ». American Political Science Review 87(4) : 963‑75.

Monroe, Alan D. 1998. « Public opinion and public policy: 1980-1993 ». Public Opinion Quarterly 62(1) : 6‑27.

Page, Benjamin, et Robert Y. Shapiro. 1992. The rational public. Chicago: University of Chicago Press.

Patton, Michael Q. 1997. Utilization-focused evaluation: The new century text. 3e éd. Thousand Oaks: Sage Publications.

Petty, Richard, et John Cacioppo. 1986. Communication and persuasion: Central and peripheral routes to attitude change. New York: Springer-Verlag.