1. Démêler les usages de l’évaluation

[Traduit de : Alkin, Marvin C., Sandy M. Taut. 2003. « Unbundling evaluation use ». Studies in Educational Evaluation, 29 : 1-12 (Extraits). Traduction de Carine Gazier et Agathe Devaux-Spatarakis; traduction et reproduction du texte avec l’autorisation d’Elsevier.]

[…] De toute évidence, les connaissances issues d’une évaluation sont le produit de la manière dont cette évaluation a été conduite. Celles-ci peuvent être générées non seulement à la fin de l’évaluation, mais aussi à de nombreux moments au fil de son déroulement. Par exemple, l’évaluation d’un programme de prévention du VIH/SIDA chez les jeunes peut produire des connaissances non seulement en diffusant un rapport à la fin de la première année de mise en œuvre du programme, mais aussi en amenant les opérateurs et opératrices du programme à réfléchir à leurs pratiques par exemple en sollicitant leurs avis dans l’élaboration d’un questionnaire d’enquête, ou lors de conversations informelles sur la théorie sous-jacente du programme.

En outre, les connaissances issues de l’évaluation sont produites en relation avec un programme particulier. Ainsi, bien que l’évaluation en tant que telle détermine la nature des connaissances produites en matière d’évaluation, d’autres facteurs entrent également en jeu – et tous ces facteurs interagissent les uns avec les autres. Les caractéristiques des utilisatrices et utilisateurs (les personnes impliquées) et les facteurs contextuels (la situation ou le contexte environnant le programme évalué) ont également un impact sur les connaissances produites par l’évaluation.  Des recherches antérieures ont montré que ces mêmes caractéristiques influencent l’utilisation des résultats de l’évaluation. Dans un examen systématique des facteurs affectant l’utilisation de l’évaluation, Alkin (1985) établit une distinction entre les « facteurs d’évaluation », les « facteurs humains » et les « facteurs contextuels ».

Voyons d’abord comment les caractéristiques de l’évaluation en tant que telles (facteurs d’évaluation) façonnent la production de connaissances issues d’une évaluation. Tout d’abord, il faut s’intéresser à la démarche d’évaluation. Quelle approche générale a été mobilisée? Y a-t-il eu une approche comparative? Quels types d’outils ont été utilisés pour la collecte des données? Quelles logiques d’analyse ou d’agrégation ont été utilisées? Deuxièmement, il faut s’intéresser à la transmission d’informations, pendant la conduite de l’évaluation et une fois qu’elle est finalisée. Troisièmement, il existe plusieurs niveaux d’intensité d’échanges d’informations qui peuvent avoir lieu au cours de l’évaluation entre l’évaluateur et les utilisateurs potentiels (parties prenantes). Quatrièmement, la manière dont les connaissances issues de l’évaluation sont présentées détermine également la nature des connaissances produites. Enfin, les caractéristiques personnelles et les actions de l’évaluateur ou évaluatrice sont également à prendre en compte. Notamment son engagement pour favoriser l’utilisation, sa volonté d’impliquer les potentiels utilisateurs, sa connaissance du champ politique, sa crédibilité, sa relation avec les potentiel-le-s utilisateurs et utilisatrices, etc.

Le type de connaissances qu’une évaluation produit et la façon dont ces connaissances sont utilisées dépendent également du contexte particulier du programme (facteurs contextuels). Les facteurs contextuels regroupent des caractéristiques relatives aux contraintes de l’évaluation, qu’elles soient contractuelles ou budgétaires, des caractéristiques inter et intra-organisationnelles, ainsi que les facteurs relatifs à la communauté environnante du programme. Les caractéristiques du projet ou du programme, par exemple sa maturité ou son ancienneté, relèvent aussi des facteurs contextuels.

Les facteurs humains sont caractérisés par Alkin (1985) comme relevant à la fois des caractéristiques de l’évaluateur/-trice et de l’utilisateur/-trice. Nous avons choisi ici de considérer les caractéristiques de l’équipe d’évaluation comme faisant partie des facteurs d’évaluation et nous nous concentrerons sur les caractéristiques de l’utilisateur ou de l’utilisatrice comme troisième élément majeur. Les caractéristiques de l’utilisateur/-trice recouvrent des éléments tels que son identité, sa responsabilité organisationnelle et diverses caractéristiques personnelles et professionnelles. La caractéristique la plus importante restant l’intérêt des utilisateurs et utilisatrices potentiel-le-s pour l’évaluation en général (et pour cette évaluation en particulier), ainsi que leur engagement à en utiliser les enseignements.

Des synthèses de recherches sur les facteurs associés à l’utilisation de l’évaluation ont été réalisées par Cousins et Leithwood (1986), Shulha et Cousins (1997) ainsi qu’Hofstetter et Alkin (2003). Toutefois, ce vaste corpus de recherches s’est concentré sur l’utilisation des résultats de l’évaluation et n’a pas examiné de manière approfondie la façon dont le processus d’évaluation peut aussi être utilisé. Ainsi, les principales recherches sur l’utilisation de l’évaluation ont essentiellement porté sur la question suivante : comment la connaissance produite par l’évaluation (ses conclusions) a-t-elle été convertie en ce que l’on appelle une utilisation instrumentale ou conceptuelle?

Cette distinction entre l’utilisation instrumentale ou conceptuelle des résultats a été suggérée pour la première fois par Rich (1977). L’utilisation instrumentale désigne les cas où les connaissances ont été utilisées pour influer de manière directe sur une action, comme la prise de décisions particulières au sujet d’un programme. L’utilisation conceptuelle (parfois appelée « utilisation éclairée » (enlighted)) décrit des cas où les résultats de l’évaluation n’ont pas directement été utilisés pour une prise de décision, mais ont contribué à modifier la manière dont les utilisatrices et utilisateurs appréhendent ou conceptualisent certains aspects du programme évalué. Le concept d’utilisation symbolique, également répandu dans la littérature sur l’évaluation, décrit des situations où l’évaluation est utilisée pour justifier une décision préalable ou pour démontrer qu’un programme est prêt à être évalué afin d’améliorer la réputation d’un gestionnaire de programme ou d’un décideur. Owen (1999) distingue ces deux types d’utilisation d’évaluation, celle de la justification d’une décision préalable d’une part et celle de l’amélioration de la réputation d’autre part, en qualifiant la première de « légitimatrice ». Le terme « d’évaluation symbolique » est réservé aux cas où l’évaluation est conduite uniquement au service d’un renforcement de statut d’une personne ou comme acte symbolique.

Plus récemment, le concept d’utilisation du processus d’évaluation a pris de l’importance, déplaçant la focale de l’utilisation des résultats de l’évaluation à la façon dont la conduite de l’évaluation (le processus de l’évaluation) a des répercussions sur les personnes ou les organisations. Patton (1997 : 90) définit l’utilisation du processus d’évaluation comme « des changements individuels dans la pensée et le comportement, ainsi que des changements de programme ou d’organisation dans les procédures et la culture, qui surviennent chez les personnes qui participent à l’évaluation à la suite de l’apprentissage qui se produit au cours du processus d’évaluation » (Patton, 1997 : 90).

Par exemple, on est en présence d’utilisation du processus d’évaluation si le programme est modifié en raison du processus de réflexion que l’évaluation organise, plutôt que comme une conséquence des conclusions qu’elle a produite. D’autres, comme Preskill et Torres (2000), se concentrent plus particulièrement sur l’étude des effets d’apprentissage que le processus d’évaluation est susceptible de générer au niveau tant individuel qu’organisationnel.

Le processus d’évaluation produit-il des connaissances? Le cas échéant, en quoi l’utilisation de connaissances produites par le processus d’évaluation se distingue-t-elle de l’utilisation de connaissances issues des résultats de l’évaluation? L’utilisation du processus de l’évaluation, contrairement à l’utilisation des résultats de l’évaluation, ne se limite pas à un apprentissage basé sur l’utilisation (ou non) des connaissances produites par l’évaluation. En consultant la littérature relative à la psychologie sociale (Fischer et Wiswede 1997; Aronson, Wilson et Akert 1999), nous avons constaté que l’apprentissage comporte deux composantes qui interagissent entre elles : l’acquisition et l’accumulation de connaissances, d’une part, l’acquisition et la modification du comportement, d’autre part. Dans le cas de l’utilisation des résultats, le premier type d’apprentissage domine. Cependant, dans le cas de l’utilisation du processus, la conduite de l’évaluation en tant que telle permet également aux utilisateurs potentiels d’acquérir de nouvelles compétences et de modifier leur comportement. Par exemple, le personnel d’un programme de lutte contre la toxicomanie pourrait, au cours de l’évaluation (en raison des questions posées par l’évaluateur ou l’évaluatrice et de la prise de recul introduite par l’évaluation), avoir l’occasion de réfléchir à ses interactions avec ses publics. Ils et elles pourraient détecter certains modèles de comportement qui s’avèrent inefficaces, ce qui entraînerait un remodelage de ces schémas d’interaction au cours du déploiement de l’évaluation. Nous supposons que la manière dont l’évaluation est menée, le contexte et les utilisateurs/-trices (tel-le-s que décrit-e-s ci-dessus) ont un impact sur la possibilité et la manière dont l’utilisation du processus d’évaluation peut advenir.

Clarifier les types d’utilisations d’évaluation

Nous avons déjà évoqué les distinctions entre l’utilisation des résultats et l’utilisation du processus d’évaluation. En général, l’utilisation des résultats a été examinée en fonction des catégories instrumentale, conceptuelle et symbolique (ou légitimatrice). Ces concepts sont assez bien compris lorsque l’on considère l’utilisation des résultats (voir ci-dessus). Nous maintenons que l’utilisation du processus d’évaluation n’est pas une autre catégorie au même titre que ces types d’utilisation, mais plutôt un autre domaine d’utilisation. Autrement dit, les résultats peuvent être utilisés, ou le processus peut être utilisé (voir la figure 3). En outre, l’utilisation du processus peut se faire de façon instrumentale ou conceptuelle. Ainsi, un changement instrumental peut être effectué, ou une décision peut être prise en s’appuyant sur un processus d’évaluation. Par exemple, les questions posées par l’évaluateur ou l’évaluatrice sur la nature du programme peuvent conduire à des reconsidérations, des réexamens et des modifications du programme. Nous pensons qu’il s’agit là d’une utilisation instrumentale du processus d’évaluation. L’utilisation du processus d’évaluation peut également se faire sur le plan conceptuel. Le processus d’évaluation peut contribuer à modifier l’attitude des utilisateurs et utilisatrices à l’égard de l’importance de l’évaluation ou du rôle potentiel de différentes parties prenantes dans la prise de décision. Greene (1988 : 111) décrit ces « utilisations conceptuelles du processus d’évaluation ». Elle estime qu’un processus participatif d’évaluation accroît la probabilité d’utilisation des résultats de l’évaluation via une utilisation conceptuelle du processus d’évaluation qui contribue en tant que telle à favoriser « les dispositions pour l’utilisation » des parties prenantes.

L’utilisation symbolique et l’utilisation légitimatrice suggérée par Owen (1999), constituent une autre distinction intéressante. L’utilisation légitimatrice, comme suggérée, fait référence à la légitimation de décisions préalables. On peut supposer qu’il s’agit de résultats d’évaluation démontrant qu’une décision prise antérieurement était bien fondée. Par conséquent, l’utilisation légitimatrice fait clairement partie de la catégorie d’utilisation des résultats. D’autre part, l’utilisation symbolique fait référence aux processus d’évaluation en tant qu’actes symboliques qui pourraient renforcer la position du décideur, du programme ou autre entité. L’utilisation symbolique fait donc spécifiquement référence à un type de légitimation par l’engagement dans un processus sans particulièrement tenir compte des résultats. Il nous semble donc raisonnable de différencier l’utilisation légitimatrice ayant trait à l’utilisation des résultats et l’utilisation symbolique ayant trait à l’utilisation des processus.

La figure suivante résume ces distinctions :

[…]

Bibliographie

Alkin, Marvin C. 1985. A guide for evaluation decision makers. Beverly Hills: Sage Publications.

Aronson, Elliott, Timothy D. Wilson et Robin M. Akert. 1999. Social psychology. 3e éd. Englewood Cliffs: Prentice-Hall.

Cousins, J. Bradley, et Kenneth A. Leithwood. 1986. « Current Empirical Research on Evaluation Utilization ». Review of Educational Research 56(3) : 331‑64.

Fischer, Lorenz, et Günter Wiswede. 1997. Grundlagen der Sozialpsychologie [Foundations of Social Psychology]. Munich : Oldenbourg.

Greene, Jennifer G. 1988. « Stakeholder participation and utilization in program evaluation ». Evaluation Review 12 (2) : 91‑116. doi : https://doi.org/10.1177/0193841X8801200201

Hofstetter, Carolyn H. et Marvin C. Alkin. 2003. « Evaluation use revisited ». in International handbook of educational evaluation, édité par D. L. Stufflebeam, T. Kellaghan et L. Wingate. Boston: Kluwer International Handbooks of Education, p. 197‑222.

Owen, John M. 1999. Program evaluation: Forms and approaches. 2e éd. Londres : Sage Publications.

Patton, Michael Q. 1997. Utilization-focused evaluation: The new century text. 3e éd. Thousand Oaks: Sage Publications.

Preskill, Hallie, et Rosalie T. Torres. 2000. « The learning dimension of evaluation use ». New directions for evaluation 88 : 25‑37.

Rich, Robert F. 1977. « Use of Social Sciences Information by Federal bureaucrats: Knowledge for Action Versus Knowledge for Understanding ». in Using Social Research in Public Policy Making, édité par C. H. Weiss. Lexington, Mass: Heath.

Shulha, Lyn M., et J. Bradley Cousins. 1997. « Evaluation use: Theory, research, and practice since 1986 ». Evaluation Practice 18(3) : 195‑208. doi : https ://doi.org/10.1177%2F109821409701800302