Le regard de Marthe Hurteau

J’ai acquis une formation en évaluation de programme dans le cadre de mon doctorat, ce qui m’a permis d’envisager une carrière axée sur l’enseignement et la recherche. À cela, se sont superposées des activités de consultante qui ont été l’occasion de me familiariser avec des organismes communautaires, comme avec des ministères. Cet éventail d’expériences m’a permis de réaliser qu’il n’y a pas une telle chose que « one size fits all ». Ces expériences ont enrichi tant mon enseignement que ma recherche dans le domaine. Je suis professeure à l’Université du Québec à Montréal depuis 2004 et j’ai mis sur pied un programme en évaluation de programme. Je développe ce cheminement et les constats qui s’en dégagent dans mon livre L’évaluation de programme axée sur le jugement crédible (2012) et en particulier dans son introduction (p. 1-12).

En ce qui concerne le choix des textes ici présentés, mis à part celui de Bamberger et al. (2004), qui date d’ailleurs, il m’apparaît intéressant dans le sens qu’il permet d’aller au-delà du simple processus évaluatif pour aborder des thèmes tels que l’éthique, les modèles, l’apport des contextes et la contribution de la démarche évaluative au bien commun. Cette distanciation du traitement strictement méthodologique me semble aussi essentielle que salutaire au développement de l’évaluation. En effet, si plusieurs écrits ont été publiés sur le sujet au cours des 25 dernières années et ont ainsi contribué à distinguer l’évaluation de la recherche en lui fournissant un cadre de référence qui lui est propre, il est urgent de passer à autre chose. Cependant, pour revenir au choix des textes, s’ils traitent des aspects importants de la pratique, je ne suis pas certaine qu’ils reflètent ce qu’elle est devenue et vers où elle s’en va. C’est le défi des prochaines années d’ailleurs et les thèmes des colloques tant canadiens qu’américains semblent aller dans ce sens : tout est à construire. Il n’en demeure pas moins que j’ai été particulièrement interpelée par le commentaire de Chelimsky, rapporté par Morris (2010), voulant qu’il soit nécessaire de faire preuve de courage face aux défis auxquels l’évaluateur ou l’évaluatrice est confronté-e. Si cette citation était pertinente en 1995, elle m’apparaît encore plus d’actualité.

Pourquoi faut-il que les évaluateurs et les évaluatrices soient encore plus courageux et courageuses? Il est évident que nous devons considérer le contexte dans lequel nous vivons et je pense que cette citation en fait foi :

Nicolletta Stame (2018) introduit son propos de la façon suivante : Il est nécessaire de renforcer la contribution éthique des évaluateurs dans le monde tumultueux actuel. Nous ne pouvons faire autrement que de souscrire à ce constat alors que la situation actuelle continue à se dégrader. En effet, de récents événements tels que la gestion mondiale de la pandémie de COVID-19 et la distribution des vaccins, les élections américaines et les changements climatiques nous ont amenés à réfléchir sur le monde dans lequel nous vivons. Dans son livre 21 Lessons for the 21st Century, Yuval Noah Harari (2018) note que les humains appuient largement leurs jugements et leurs décisions importantes sur leurs émotions et leurs préjugés. Le manque d’information et l’incapacité à distinguer le faux du vrai (pour ne citer que les fausses nouvelles), incitent le subconscient à générer une analyse réductionniste des problèmes et à envisager des solutions aussi faciles que rassurantes. De plus en plus, le monde se divise en « bon » et « mauvais » et la réalité se résume à quelques faits ou histoires touchantes qui en viennent à incarner La Vérité. Celle-ci se décline en différentes versions, ce qui est d’autant plus troublant que la responsabilité de l’évaluateur consiste à générer un jugement sain, éthique, s’appuyant sur des faits, et ce, dans le but d’éclairer la prise de décision. De plus, l’évaluateur est parfois appelé à adopter une posture éthique et à la soutenir. Cela se révèle encore plus vrai en temps de crise et de catastrophe (Jakubik, 2020) (traduction libre, Hurteau et Gagnon, soumis)

Mais il y a plus. Des voix s’élèvent au niveau de communautés, pour ne citer que les Afro-Américain-e-s et les Premières Nations, pour avoir un traitement qu’elles jugent équitable et cela se traduit au niveau de leur participation à des activités professionnelles ainsi que de leur acceptation à collaborer avec des personnes à l’extérieur de leur communauté.

Cela m’amène à aborder la thématique des parties prenantes avec lesquelles les évaluateurs et les évaluatrices sont appelé-e-s à transiger. Comme le soutient M-P Marchand (2020) dans le cadre de sa thèse de doctorat, elles sont de plus en plus éduquées. En effet, elles ont acquis des connaissances et de l’expérience à travers les années. Elles sont ainsi en mesure de confronter les évaluateurs et les évaluatrices tant au niveau des choix stratégiques qu’au niveau des choix méthodologiques proposés. Il est surtout important de souligner l’enjeu qui se dégage de cette recherche. En effet, pour les parties prenantes, l’évaluation sera crédible si elle est utile, sous-entendant utile à obtenir du financement ou à ne pas le perdre. En effet, comme de plus en plus d’évaluations s’inscrivent dans une démarche de reddition de comptes, la survie des programmes est directement reliée à leur capacité à générer les résultats annoncés (efficacité du programme). Les évaluateurs et les évaluatrices sont interpelé-é-s pour livrer une évaluation qui va dans ce sens et ils et elles sont parfois confronté-e-s à de fortes pressions lorsque les résultats ne sont pas au rendez-vous. Ils et elles interpellent à leur tour les associations professionnelles et les théoriciens et les théoriciennes pour les soutenir dans cette situation, mais le code d’éthique ou tout document du genre n’est pas encore écrit. Et s’il existait un jour, il sera aussi volumineux que la Bible, et encore, afin de prendre en considération toutes les situations qui peuvent se présenter.

En effet, j’ai été aux premières loges pour recevoir ces demandes dans le cadre de ma participation aux travaux de révision des lignes directrices en éthique au sein de la Société canadienne d’évaluation (SCÉ). Alors que les évaluateurs et les évaluatrices, et surtout les novices, requièrent des balises claires, une éthique axée sur la déontologie (fais ce que dois), les travaux réalisés par le groupe de travail nous amènent plutôt à recommander – compte tenu de ce qui vient d’être mentionné – une approche éthique axée sur la sagesse pratique : l’écart est grand! Pourquoi? Parce qu’elle va dans le sens opposé aux demandes, la sagesse pratique visant à faire la bonne chose dans un contexte particulier afin d’atteindre un but ou, dit différemment, à régler un problème (House, 2015). La SCÉ semble s’orienter dans ce sens et nous sommes conscients que cela devra s’accompagner d’activités de formation et de soutien aux membres.

Pourquoi ce choix qui semble irrationnel puisqu’à l’encontre des demandes ? Des théoriciens tels que Ernest House (2015, 2018), Thomas Schwandt (2015, 2017a, 2017b, 2018), Arnold Love (2018) et James McDavid (2019) sont d’avis qu’il n’existe pas un « meilleur » modèle d’éthique et que le jugement professionnel implique d’être conscient-e des divers types de pressions éthiques qui peuvent être en jeu dans un contexte précis et d’être capable de naviguer de manière réfléchie dans la situation. Dans cette perspective, la sagesse pratique constitue une option valable qui rehausse la légitimité et la valeur de la démarche au titre du bien social, tout en favorisant l’autonomie professionnelle.

Plusieurs types d’intervenants, pour ne citer que les médecins, les infirmiers et infirmières, les gestionnaires, les agent-e-s de première ligne, etc. – ont compris qu’une pratique professionnelle efficace et empreinte d’éthique va bien au-delà de la simple application de méthodes et de techniques. En effet, ils et elles doivent improviser, prendre en considération des objectifs contradictoires et interpréter des règles à la lumière des particularités de chaque contexte. Mais avant toute chose, ils et elles doivent souvent faire preuve de perspicacité et de courage, comme l’indique Chelimski.

Un nombre impressionnant de publications scientifiques documentent la contribution de la sagesse pratique à l’acte professionnel dans de nombreux métiers (Hurteau et Gagnon, soumis). J’illustrerai mon propos par un exemple qui n’est pas directement relié à l’évaluation de programme – parce que cela peut devenir délicat, mais d’actualité. En décembre dernier, le Canada ne disposait que de très peu de vaccins COVID-19. Les autorités du Québec ont décidé, compte tenu de la situation, d’administrer une première dose à plus de personnes plutôt que de respecter le protocole suggéré et d’espacer les doses de 21 jours. Elles se basaient sur le principe de la science des vaccins qui suggère de permettre au corps de développer ses anticorps, ainsi que sur des valeurs profondes : sauver le plus de vies possibles. Cette décision s’est appuyée sur la science (des vaccins), sur une intuition (et si c’était comme les autres vaccins), sur une grande dose de courage parce que cette décision a été fortement contestée et… sur un peu de chance. Il s’est avéré que ce choix fut judicieux : le Québec a traversé la troisième vague sans trop de problèmes et bien des provinces canadiennes, comme des pays, ont finalement adopté cette posture. Nous comprenons que la sagesse pratique est mise à contribution parce qu’il y avait un problème. En effet, contrairement à la situation aux États-Unis, l’approvisionnement était limité au Canada. Cela s’avérait la meilleure décision dans les circonstances. Les évaluateurs et les évaluatrices sont constamment confronté-e-s à ce genre de décision : la meilleure dans les circonstances. En effet, la pratique évaluative éclate, tout en devenant de plus en plus politisée : le « one size fits all » n’est plus de mise! La situation est problématique : manque de ressources et de temps; des client-e-s qui interpellent les choix stratégiques et méthodologiques ainsi que les résultats générés. Bref, de nombreux enjeux dont la solution ne peut être clairement dictée dans des normes professionnelles ou des lignes directrices en éthique.J’ai aussi participé à la révision du référentiel de compétences élaboré par le SCÉ dans le cadre de son programme d’accréditation des évaluateurs et des évaluatrices, et le changement le plus essentiel réside dans la place qui est maintenant accordée à la pensée réflexive. En effet, elle s’ajoute aux compétences requises pour effectuer une évaluation – connaissance des normes et compétences techniques, interpersonnelles, de gestion et situationnelles. Pourquoi? Parce que l’évaluateur ou l’évaluatrice doit réfléchir à ce qu’il ou elle fait, et non pas seulement mettre en application une méthodologie, et qu’il ou elle doit revenir sur ses expériences afin d’en tirer les leçons qui s’imposent.Ainsi, quelques conseils pour les évaluateurs et les évaluatrices, qui sont d’ailleurs abordés par Love (2018) : prendre connaissance des récents écrits; mettre sur pied des groupes de réflexion qui leur permettent de revenir sur leurs « bons et moins bons » coups et d’envisager les apprentissages qu’ils et elles peuvent faire. Finalement : demeurer humble parce que la tâche est complexe.

Bamberger, Michael, Jim Rugh, Mary Church et Lucia Fort. 2004. « Shoestring evaluation: Designing impact evaluations under budget, time, and data constraints ». American Journal of Evaluation 25(1) : 5‑37. doi : https://doi.org/10.1177%2F109821400402500102.

House, Ernest R. 2015. Evaluating: Values, Biases, and Practical Wisdom. Charlotte: Information Age Publishing Inc.

House, Ernest R. 2018. « L’apport de la sagesse pratique ». in L’évaluation de programme axée sur la rencontre des acteurs, édité par M. Hurteau, I. Bourgeois et S. Houle. Québec : Presses de l’Université du Québec, p. 25‑34.

Hurteau, Marthe, et Caroline Gagnon. Soumis. « Can Practical Wisdom Contribute to an Ethical Evaluation Practice? ». Evaluation, The International Journal of Theory, Research and Practice.

Hurteau, Marthe, Sylvain Houle et François Guillemette, éd. 2012. L’évaluation de programme axée sur le jugement crédible. Québec : Presses de l’Université du Québec.

Love, Arnold. 2018. « De la sagesse pratique à une pratique empreinte de sagesse ». in L’évaluation de programme axée sur la rencontre des acteurs. Québec : Presses de l’Université du Québec, p. 71‑91.

Marchand, Marie-Pier. 2020. « Vers une meilleure contextualisation de l’évaluation crédible : identification des facteurs d’influence de la crédibilité à partir d’expériences évaluatives de parties prenantes ». Thèse ou essai doctoral accepté, Université du Québec, Montréal.

McDavid, James C., Irene Huse et Laura R. L. Hawthorn. 2019. Program Evaluation and Performance measurement. An Introduction to Practice. 3e éd. New York: Sage Publications.

Moris, Michael. 2011. « The good, the bad and the evaluation: 25 years of AJE Ethics ». American Journal of Evaluation 32(1) : 134-151

Schwandt, Thomas A. 2015. Evaluation Foundations Revisited: Cultivating a Life of the Mind for Practice. Stanford: Stanford University Press.

Schwandt, Thomas A. 2017a. « Becoming better evaluators through reflective practice: adventures & insights from diverse evaluators working in academic, government, & consulting contexts ». Washington.

Schwandt, Thomas A. 2017b. « Professionalization, Ethics, and Fidelity to an Evaluation Ethos ». American Journal of Evaluation 20(10) : 1‑8. doi : https://doi.org/10.1177/1098214017728578.

Schwandt, Thomas A. 2018. « Evaluative thinking as a collaborative social practice: The case of boundary judgment making ». New Directions for Evaluation 2018(158) : 125‑37. doi : https://doi.org/10.1002/ev.20318.