Introduction : qui évalue et comment?

À partir du moment où l’évaluation est devenue un champ à part (partie Science), deux questions se sont posées : Qui évalue? Quel est le rôle de celles et ceux qui évaluent?

Qui évalue?

Pendant longtemps, les évaluations ont été le fait de chercheurs et de chercheuses, considérant l’évaluation comme une activité de recherche parmi d’autres, et appliquant leurs méthodes à des terrains d’investigation nouveaux (voir partie Science).

À partir des années 1970, l’activité évaluative s’élargit au-delà du monde académique. Aux États-Unis d’abord, puis dans le monde entier, fonctionnaires, consultant-e-s, personnels associatifs, etc. sont amené-e-s à évaluer. Concomitamment, les figures de l’évaluateur et de l’évaluatrice s’autonomisent. Les administrations créent des postes de chargé-e-s d’évaluation internes, dont le rôle et les missions sont proches, mais distincts de celles des évaluateurs et des évaluatrices externes^[1]. Progressivement, être évaluateur ou évaluatrice devient un métier nécessitant des compétences et des approches particulières, et on voit apparaître des sociétés professionnelles, des cursus de formation initiale ou continue, voire des certifications spécifiques comme au Canada (Gauthier, 2020).

Sagesse pratique et posture évaluative

Aujourd’hui, les deux visions cohabitent. D’une part, celle de l’évaluation comme une activité parmi d’autres, dans laquelle celles et ceux qui font les évaluations font appel aux principes, à l’expertise, aux savoir-faire propres à leur profession. D’autre part, celle de l’évaluation comme métier spécifique.

Une question se pose toutefois : dans une optique de professionnalisation, la pratique évaluative peut-elle se limiter à une liste de compétences et d’aptitudes particulières? Ce qui caractérise l’évaluateur et l’évaluatrice n’est pas tant l’emploi de méthodes ou leur capacité à animer des ateliers, que leur posture évaluative (evaluative thinking). Celle-ci est d’abord « une application de la pensée critique dans le contexte de l’action publique. Elle se caractérise par une attitude curieuse, et la volonté de fonder sa démarche sur des éléments de preuve. Rentrer dans une posture évaluative, c’est identifier des hypothèses et poser les bonnes questions de façon à mieux comprendre, à travers une réflexion approfondie et la prise de recul, les phénomènes observés, et ainsi éclairer l’action et la prise de décision » (Buckley et al., 2014, notre traduction). Notons ici qu’il existe un texte en français sur ce sujet (Archibald et Moussavou, 2016).

De leur côté, Thomas Schwandt et Ernest House à sa suite ont emprunté à Aristote le concept de sagesse pratique (phronesis) pour rendre compte de ce qui, au-delà des compétences, singularise les évaluateurs et les évaluatrices. Comment mener une évaluation à bien, la rendre utile, faire en sorte qu’elle contribue au bien commun? Certainement pas en employant des solutions toutes faites.

La sagesse pratique s’oppose notamment à toute application mécanique de règles trop abstraites […], de procédures formalisées, de savoirs scientifiques ou de routines. Elle requiert donc notamment une attention particulière aux caractéristiques concrètes de ces cas ou situations, en sorte [d’en] saisir la complexité et la singularité. Mais l’observation et l’analyse approfondies ne permettent pas de lever toute incertitude. C’est pourquoi la sagesse pratique est aussi conjecturale. Pour pouvoir agir, l’homme prudent doit parfois accepter de faire des paris.  (Champy, 2017)

Arnold Love le résume ainsi : la sagesse pratique est ce qui permet de « faire les bons choix, au bon moment, pour les bonnes raisons » (Love, 2018). Un livre en français explore largement cette idée (Hurteau, Bourgeois, et Houle, 2018). Mais la sagesse pratique ne s’acquiert-elle que par l’expérience et la réflexivité? Ne devrait-elle pas, au contraire, être au cœur de l’enseignement de l’évaluation?

Quelle responsabilité pour les évaluateurs et les évaluatrices?

Les évaluateurs et les évaluatrices des années 1950 et 1960 pensaient qu’il était possible de résoudre les problèmes sociaux en découvrant « la vérité » sur ce qui fonctionne (ou dysfonctionne), et se voyaient avant tout comme des garant-e-s de la méthodologie. Il s’agissait de choisir la bonne approche, de mener au mieux les opérations techniques et de retranscrire fidèlement les résultats de la démarche pour tendre à l’objectivité scientifique (voir partie Science). Il revenait ensuite à la sphère de la décision de retenir ce qui leur paraissait utile à l’amélioration des politiques.

Dès les années 70 (voir partie Utilité), l’idée qu’il suffit d’établir la vérité pour que les évaluations soient utilisées fait toutefois long feu; il en va de même de la capacité des évaluateurs et des évaluatrices à déterminer seul-e-s ce qui est bon pour la société. La question qui est alors posée est d’abord celle de leur responsabilité dans la conduite de l’évaluation. Cela implique notamment de : i) concevoir et mettre en œuvre des évaluations robustes, en fonction du moment où une décision doit être prise (ce qui entraîne des contraintes fortes de données, de budget et de temps disponible); ii) savoir repérer ce que les parties prenantes cherchent à évaluer et les aider à l’établir précisément; iii) enfin, cerner les conditions d’utilisation de l’évaluation (par qui, pour quoi, comment).

Bien entendu, la façon dont les évaluateurs et les évaluatrices ordonnent ces trois dimensions (méthode, valeur, utilité) est aussi l’objet de controverses multiples, qui témoignent de visions distinctes de leur métier. Mertens et Wilson (2012) ont regroupé les différents points de vue en quatre « paradigmes » de l’évaluateur/-trice : positiviste (privilégiant les méthodes et l’apport de connaissances et de concepts); pragmatique (recherchant d’abord l’utilité des travaux et la contribution à la prise de décision); constructiviste (se voyant comme maïeuticien-ne et médiateur/-trice, permettant à chacun-e d’expliciter ses propres valeurs au service des échanges entre parties prenantes); transformationnel (visant avant tout à changer le monde au service du bien commun, aux côtés des groupes dominés). Dans les trois parties ci-dessous, nous revenons sur les controverses qui ont ainsi agité la communauté évaluative au sujet du rôle de l’évaluateur/-trice.

Fondements : vers un métier évaluatif

Dès les années 1960, Edward Suchman (voir partie Science) met en évidence une différence majeure entre les chercheurs/-euses dans leurs activités d’évaluation et les évaluateurs/-trices. En effet, le plus souvent, ces dernier-e-s ne maîtrisent pas les conditions dans lesquelles va s’effectuer l’évaluation, laquelle doit pourtant respecter des critères de rigueur et de crédibilité. Or, les équipes d’évaluation sont généralement sollicitées à un moment donné du déroulé d’une intervention. Elles ne sont pas présentes lors de sa conception, ne peuvent agir sur la mise en place du système de suivi et d’évaluation, ni s’assurer de la qualité ou de la pertinence des données produites au fur et à mesure. La commande évaluative arrive tardivement et le budget qui lui est consacré est souvent réduit (en particulier eu égard aux enjeux relatifs aux données ou au temps disponibles évoqués plus haut).

C’est cet aspect consubstantiel du métier qu’abordent Michael Bamberger et al. dans un texte de 2004 (texte 1). Les auteurs et autrices y proposent une certaine approche, celle de l’évaluation « en situation réelle » (shoestring evaluation), une démarche heuristique pour résoudre la quadrature du cercle dans laquelle se trouve l’équipe d’évaluation. Un des aspects essentiels qui y est présenté, est qu’il est rare de pouvoir partir de la méthode idéale et de l’adapter, car alors, les arrangements effectués risqueraient de compromettre l’évaluation tout entière. Il est donc nécessaire d’élaborer à chaque fois une stratégie ad hoc, répondant aux besoins effectifs d’information du ou de la commanditaire, et réalisable dans les conditions (de temps, de budget) imparties.

Au-delà des questions de méthode, les évaluateurs et les évaluatrices construisent aussi progressivement une vision de ce que « bien faire » son métier signifie. À partir des cinq « principes directeurs » de l’Association américaine d’évaluation (AEA) : l’investigation systématique, la compétence, l’intégrité/l’honnêteté, le respect pour les personnes et les responsabilités vis-à-vis du bien commun, Michael Morris (texte 2) rend compte des débats relatifs à l’éthique qui ont agité la communauté évaluative à travers deux de ses journaux, Evaluation Practice et American Journal of Evaluation. Comment réagir aux pressions politiques, qu’elles prennent la forme de contraintes, ou d’une connivence tout au long de la démarche d’évaluation? L’équipe d’évaluation est-elle à même d’éviter le mauvais usage qui peut être fait de son travail? Comment gérer par exemple le dilemme entre la possibilité d’avoir un meilleur taux de réponse à une enquête et s’assurer du consentement explicite et éclairé de chacun-e? Entre l’utilisation d’une méthode innovante et le risque de divulguer des données privées? Pour Morris, la capacité à traiter ces enjeux éthiques en situation devrait faire partie des compétences nécessaires à la pratique évaluative.

Controverses : quel rôle pour l’évaluateur ou l’évaluatrice?

Dans les années 1990 et 2000 s’est largement posée la question du rôle des évaluateurs et des évaluatrices dans l’action publique. Doit-on se satisfaire de ce rôle « canonique » d’une évaluation extérieure qui se veut détachée des considérations politiques, et vise d’abord à répondre à la demande des commanditaires – ou bien doit-on au contraire, embrasser pleinement la dimension politique de l’évaluation?

Les débats se cristallisent sur la question de savoir si les évaluateurs et les évaluatrices doivent prendre la défense d’une des parties prenantes au détriment d’une autre. Ernest House et Kenneth Howe (texte 3) rejettent l’idée que les équipes d’évaluation devraient soutenir des solutions ou des points de vue particuliers, au motif que cela ruinerait leur crédibilité. Pour autant, il relève de leur responsabilité que les utilisateurs et utilisatrices des évaluations aient accès à toutes les données pertinentes sur un sujet, en particulier lorsque celles-ci sont contradictoires, et que tous les éléments de preuve présentés par chaque partie soient rigoureusement contre-expertisés. De plus, il ne suffit pas d’exposer les points de vue de chacun-e : encore faut-il créer, entre les parties prenantes, les conditions du dialogue et de la délibération tout au long du processus évaluatif. Les auteurs nous avertissent : si cette « évaluation démocratique délibérative » constitue un idéal plus qu’une méthode, il revient aux évaluateurs et aux évaluatrices de faire de leur mieux pour l’atteindre.

Faut-il aller plus loin? Est-ce à l’équipe d’évaluation de prendre la décision d’orienter son travail en défense de certaines parties prenantes, notamment les plus marginalisées? En se plaçant au sein du paradigme transformationnel, Donna Mertens répond par l’affirmative (texte 4). Pour elle, House et Howe ont certes proposé une approche incluant les parties prenantes les moins bien représentées, mais sans désigner l’origine des discriminations qu’elles subissent, telles que le racisme ou le sexisme. Les évaluateurs et les évaluatrices ont le devoir de nommer ces fléaux, mais aussi de reconnaître que leurs pratiques et la communauté qu’ils forment font partie du problème. Autrement dit, comment faire en sorte que les groupes traditionnellement discriminés soient représentés parmi les évaluateurs et les évaluatrices (Mertens, 2002)? Donna Mertens décrit ici ce que signifie la posture transformationnelle en repartant de son parcours personnel, notamment auprès des personnes sourdes et malentendantes.

Perspectives : l’évaluation en défense du bien commun

Sandra Mathison enfonce le clou de la remise en cause collective. Dans son introduction aux débats des Journées de la société australienne d’évaluation en 2017, elle pose la question : « L’évaluation contribue-t-elle au bien commun? » (texte 5). Les évaluateurs et les évaluatrices sont pénétré-e-s de l’utilité de leur profession pour la société. En rendant compte des conséquences des interventions sur leurs destinataires, ne permettent-ils et elles pas de les améliorer au bénéfice de tou-te-s?

Or, pour l’autrice, ce n’est pas dans l’atteinte des résultats que se situe l’enjeu fondamental du métier évaluatif, mais plutôt dans la mise en lumière de l’idéologie sous-tendant les interventions évaluées, des choix qui sont faits des problèmes à résoudre, ou encore dans l’interconnexion entre les principaux maux (environnementaux, économiques, sociaux) qui affectent la société. Or les évaluateurs et les évaluatrices se contentent de répondre aux questions qui leur sont posées par leurs commanditaires. Pour Mathison, l’évaluation, telle qu’elle se fait aujourd’hui, manque ainsi fondamentalement d’indépendance : elle se glorifie de « dire la vérité au pouvoir », qui la connaît déjà ou s’en désintéresse, sans faire l’effort d’apporter des « vérités qui dérangent », ou de battre en brèche les évidences de l’idéologie libérale – par exemple, la soi-disant responsabilité des pauvres dans leur situation.

Pour Mathison, la contribution de l’évaluation au bien commun ne va pas de soi : charge aux évaluateurs et aux évaluatrices d’en faire une réalité.

Bibliographie

Archibald, Thomas, et Laurent Ogoueli Moussavou. 2016. « La “pensée évaluative” : une activité mystérieuse et quotidienne ». Éducation permanente (208) : 33‑40.

Buckley, Jane, Thomas Archibald, Monica Hargraves et William M. Trochim. 2014. « Defining and Teaching Evaluative Thinking ». American Journal of Evaluation 36(3) : 375‑388. doi : https://doi.org/10.1177/1098214015581706.

Champy, Florent. 2017. « Décrire des activités prudentielles pour aider à les réhabiliter? Enjeux théoriques et pratiques d’enquêtes qualitatives sur la prise en charge de malades précaires dans les permanences d’accès aux soins de santé en France ». Recherches qualitatives 36(2) : 153‑172.

Gauthier, Benoît. 2020. « Une analyse engagée de la professionnalisation des pratiques d’évaluation ». The Canadian Journal of Program Evaluation 35(1). doi : https://doi.org/10.3138/cjpe.69364.

Hurteau, Marthe, Isabelle Bourgeois et Sylvain Houle. 2018. L’évaluation de programme axée sur la rencontre des acteurs : une sagesse pratique. Québec : Presses de l’Université de Québec.

Love, Arnold J. 1991. Internal evaluation: building organizations from within. Newbury Park: Sage Publications.

Love, Arnold J. 2018. « 5. De la sagesse pratique à une pratique empreinte de sagesse ». in L’évaluation axée sur la rencontre des acteurs une sagesse pratique. M. Hurteau, I. Bourgeois, S. Houlle (éds). Québec : PUQ.

Mertens, Donna M. 2002. « The evaluator’s role in the transformative context ». in Exploring evaluator role and identity, Ryan K.E. & Schwandt T. eds. IAP, p. 103‑18.

Mertens, Donna M., et Amy T. Wilson. 2012. Program Evaluation Theory and Practice: A Comprehensive Guide. Guilford Press.