2. La responsabilité de l’évaluateur quant à l’utilisation de l’évaluation

[Traduit de : Patton, Michael Q. 1988. « Reports on Topic Areas: The Evaluator’s Responsibility for Utilization ». American Journal of Evaluation, 9(2) : 5-24 (Extraits). Traduction par Carine Gazier et Agathe Devaux-Spatarakis; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

[…] L’évaluation a vocation à améliorer les programmes, à accroître leur efficacité et à fournir des informations utiles à la prise de décision. Telle est l’utilisation de l’évaluation. Telle est notre responsabilité.

L’utilisation escomptée par les utilisateurs et utilisatrices ciblé-e-s

Permettez-moi de définir ce que j’entends par utilisation du point de vue de la responsabilité. Ceux et celles d’entre vous qui connaissent la première édition d’Utilisation-Focused Evaluation (Patton, 1978) savent qu’une des faiblesses de ce livre a été mon échec à définir véritablement ce qu’est l’utilisation. La deuxième édition (Patton, 1986) corrige cette lacune. Par utilisation, j’entends l’utilisation escomptée de la part des utilisateurs et utilisatrices ciblé-e-s. Si vous y réfléchissez, cela ressemble fortement à la manière de formuler un objectif de programme, mais ici pour une évaluation. L’utilisation ainsi escomptée s’inscrit dans une approche par les résultats. Cela signifie que nous négocions en amont avec les utilisatrices et utilisateurs ciblé-e-s ce qu’une évaluation doit réaliser pour qu’elle apporte plus qu’elle ne coûte. Ensuite, on attend de nous que nous soyons à la hauteur, ou que nous soyons jugé-e-s comme n’ayant pas atteint notre objectif d’utilisation.

L’approche par les résultats est à la mode aujourd’hui dans le domaine du management, de l’élaboration de programmes et nous devrions l’appliquer – et je crois que nous sommes en train de le faire – à l’évaluation.

[…] Il ne suffit pas d’avoir les méthodes d’évaluation, les attributs d’un-e évaluateur/-trice, d’avoir des institutions dédiées, d’écrire et de publier à ce sujet. J’estime que l’on n’est pas évaluateur/-trice tant que l’on n’a pas obtenu que ses résultats soient utilisés, [au sens de] l’utilisation escomptée par les utilisateurs et utilisatrices ciblé-e-s.

Cela peut sembler effrayant pour celles et ceux d’entre vous qui n’ont pas eu affaire sérieusement à la question de la responsabilité en matière d’utilisation. Mais la bonne nouvelle est que nous savons comment atteindre des niveaux élevés d’utilisation et […] beaucoup y parviennent.

L’atteinte d’un niveau d’utilisation satisfaisant découle de notre connaissance de la manière dont fonctionnent les politiques publiques. Cette connaissance comprend la capacité à proposer une approche adaptée pour interagir avec les utilisateurs et utilisatrices ciblé-e-s et les principales parties prenantes afin de les former en tant qu’utilisateurs et utilisatrices de l’information, et de travailler avec elles et eux sur un engagement mutuel pour l’utilisation du processus d’évaluation et de ses résultats. […]. Je voudrais discuter [ci-dessous] de certaines stratégies que j’ai trouvées utiles pour assumer notre responsabilité en veillant à ce que les utilisateurs et utilisatrices ciblé-e-s utilisent l’évaluation de la façon escomptée.

Lever les appréhensions

Parfois, accroître l’utilisation passe d’abord par lever les appréhensions qui l’entourent.  Je fais ici allusion à une situation, que je rencontre souvent, où les équipes sont hostiles à l’évaluation et/ou en ont peur. La peur est très présente dans notre travail. (Vous pouvez ressentir une partie de cette peur vous-même lorsque vous pensez à ce que cela signifie d’être évalué-e sur la base de ce que vous faites en tant qu’évaluateur/-trice, d’être tenu-e responsable de l’utilisation selon les lignes décrites ci-dessus.)

Je m’efforce, pour ma part, de faire face à cette peur de l’évaluation dès le départ. Je réunis les principaux utilisateurs et principales utilisatrices, et des représentant-e-s de l’administration, des financeurs/-ceuses, de l’équipe et des client-e-s pour une première réunion au cours de laquelle nous présentons la forme que prendra le processus d’évaluation, et où nous commençons à susciter un engagement à l’utilisation. Cela me donne l’occasion d’évoquer leur image de l’évaluation et des évaluateurs/-trices. Je trouve que c’est une discussion essentielle pour comprendre leurs points de vue.

Au cours d’une telle discussion, nous avons l’occasion et la responsabilité de contrôler l’image que nous projetons de l’évaluation. Chaque fois que nous faisons une évaluation, nous projetons une image de la profession. Chacun-e d’entre vous^[1] représente la profession et projette une image de la profession et de ce que nous avons à offrir. Nous établissons qui nous sommes par ce que nous faisons et par les résultats que nous obtenons. Ainsi, une approche en vue d’accroître l’utilisation consiste à créer dès le début d’un processus d’évaluation une attente positive quant au fait que cette évaluation sera utile. Une telle perspective positive quant à l’utilité peut nécessiter une rupture avec les expériences passées des membres de l’équipe en matière d’évaluation, de sorte qu’ils et elles peuvent être sceptiques, et ont le droit de l’être jusqu’à ce que nous leur prouvions le contraire. Mais il est important que nous placions en nous-mêmes et ces personnes une attente positive et responsable quant au fait que l’évaluation devrait être et peut effectivement être utile.

Poser les bonnes questions

Un deuxième élément à prendre en considération au moment où nous entamons ce dialogue avec les utilisatrices et utilisateurs ciblé-e-s est de poser les bonnes questions. Cela demande beaucoup d’habileté. Qu’il s’agisse de procéder à une étude d’évaluabilité – ce qui est un moyen de comprendre ce qu’il est possible de faire dans le cadre de l’évaluation – ou d’interagir avec une ou plusieurs parties prenantes, je pense que poser les bonnes questions c’est notamment s’interroger sur l’utilisation escomptée par les utilisateurs et utilisatrices ciblé-e-s et les éléments qui pourraient en témoigner. Comment pourrions-nous observer l’utilité d’une évaluation pour améliorer un programme et la prise de décision dans un contexte en particulier?

Apprendre à poser des questions et à réellement écouter ce que disent les commanditaires est une compétence essentielle. Jeri Nowakowsi me parlait de son article dans le prochain volume de New Directions consacré aux perceptions des commanditaires. Elle a dit que si elle devait le réduire à un seul argument ultime, ce serait que les relations les plus efficaces entre évaluateurs/-trices et commanditaires ont été celles où les évaluateurs/-trices ont vraiment écouté leurs commanditaires et travaillé avec elles et eux pour faciliter l’utilisation.

Dans les formations à la conduite d’entretien que je réalise, poser les bonnes questions est un élément majeur pour les activités de conseil ou de collecte de données. Poser de bonnes questions n’est pas toujours facile. L’une des façons dont j’aime former les enquêteurs et enquêtrices à poser de bonnes questions est de leur faire mener des entretiens avec des enfants. Ce qui est merveilleux avec les enfants, c’est qu’ils et elles n’ont pas appris toutes les subtilités pour prétendre que votre question n’était pas idiote alors qu’elle l’est. Les enfants ont tendance à répondre à tout ce qui leur est demandé, ce qui peut être assez embarrassant.

L’une des premières évaluations que j’ai faites concernait des programmes d’éducation alternative (open education) dans le Dakota du Nord. Les défenseurs et défenseuses de l’éducation alternative affirmaient que l’apprentissage était très amusant pour les élèves parce qu’il les plaçait en son centre. Ils ont même laissé entendre que l’apprentissage était tellement amusant que les enfants ne s’occupaient pas de choses comme la récréation, car aller jouer à l’extérieur n’était pas mieux que ce qui se passait en classe. Les enfants continuaient donc à faire ce qu’ils et elles faisaient en classe. Par conséquent, nous avons inclus dans nos entretiens avec les enfants une question sur ce qu’ils et elles faisaient pendant la récréation.

Lors de mon troisième ou quatrième entretien, j’interrogeais une petite fille de première année, et j’en suis arrivé à cette question cinq à dix minutes après le début de l’entretien.

Je lui ai demandé : « Que fais-tu pendant la récréation? » Elle m’a répondu : « Je vais dehors et je joue sur les balançoires de la cour de récréation ». Je lui ai dit : « Pourquoi vas-tu dehors? » Elle m’a regardé d’un air perplexe et m’a répondu : « Parce que c’est là que sont les balançoires ». Et je pouvais voir qu’elle savait qu’elle avait sur les bras un de ces adultes qui ne comprenait pas vraiment comment les choses fonctionnent, que si vous voulez vous balancer sur les balançoires, vous devez aller dehors, là où sont les balançoires. Elle m’a donc très patiemment expliqué la nature du monde, puis nous avons pu passer à autre chose.

Il y a des moments où nous devons poser des questions qui semblent stupides. Peter Drucker, le conseiller en gestion, dit que c’est ce qu’il fait. Il rencontre des conseils d’administration d’entreprises et commence par leur demander : « Quel est votre secteur d’activité? ». Il rapporte que ses clients et clientes sont souvent agacé-e-s, si elles et ils n’ont pas été prévenu-e-s, parce qu’ils et elles pensent qu’il n’a pas fait ses devoirs. « Comment ce consultant onéreux peut-il se présenter et nous demander quel est notre secteur d’activité? ». Drucker travaille ensuite avec eux pendant plusieurs jours, les aidant à comprendre ce qu’est réellement leur entreprise, car ils et elles ne le savent généralement pas. Et le fait de le découvrir est source de changement pour cette entreprise.

C’est en grande partie ce que nous faisons : poser des questions pour aider l’action publique à comprendre ce qu’elle fait réellement, vérifier si elle l’a bien fait afin de faire mieux. Dans ce processus, ce sont à la fois les acteurs et actrices de l’action publique et nous-mêmes qui sommes responsables.

S’adapter à la situation en tant qu’évaluateur expert

En plus de poser les bonnes questions, il faut apprendre à analyser à la situation et à reconnaître les variations dans les situations et les personnes afin d’adapter son processus à celles-ci. Les évaluateurs et évaluatrices expérimenté-e-s se sont perfectionné-e-s dans la reconnaissance des situations. Le partage d’expertise est l’un des objectifs de la présente réunion de l’AEA (American Evaluation Association). Je voudrais consacrer quelques minutes à présenter ma vision de ce que cela signifie d’être un évaluateur ou une évaluatrice expert-e, pour réfléchir à ce que vous pouvez accomplir grâce à votre expertise.

Il faut d’abord reconnaître que l’expertise ne vient pas du jour au lendemain et qu’elle ne résulte pas de la seule formation. L’expertise est le fruit d’heures de travail d’évaluation, mais cela vaut la peine de savoir ce que ces heures peuvent donner si vous êtes prêt-e à travailler pour devenir un évaluateur ou une évaluatrice expert-e. Pour développer cette vision de l’expertise, je m’appuierai sur d’autres domaines qui se sont penchés plus en détail sur ce que signifie l’expertise, pour réfléchir aux implications pour l’évaluation.

J’ai trouvé un article intéressant qui fait état d’études sur l’expertise dans différents jeux – les jeux d’échecs de classe mondiale, le sommet du domaine. Permettez-moi de lire un extrait du travail d’Etheredge (1979) sur l’expertise. Il dit :

Il faut au moins 15 ans de dur labeur pour que même les individus les plus talentueux et talentueuses deviennent des grands maîtres d’échecs internationaux : ce qu’ils et elles semblent apprendre est un répertoire pour reconnaître les types de situations ou de scénarios ou les sensibilités intuitives et comprendre comment ces situations vont se dérouler. Simon estime un répertoire différentiel de 50 000 reconnaissances de situations pour des échecs de classe mondiale. Il y a également une certaine augmentation de la capacité globale de planification stratégique à long terme – les débutantes et débutants ont généralement du mal à aller au-delà d’un coup d’avance; les grands maîtres d’échecs internationaux anticipent souvent 3 ou parfois 5 coups futurs en fonction des différentes réactions possibles à leurs coups (p.40).

Je suggère qu’il y ait un parallèle ici avec le fait d’anticiper l’utilisation et de savoir comment la faire advenir.

Des données provenant de joueurs et joueuses d’échecs, de poker, de tennis et d’autres professionnel-le-s expérimenté-e-s et couronné-e-s de succès, suggèrent la théorie générale selon laquelle un autre enseignement de l’expérience est la capacité de diagnostiquer non seulement des situations de jeu spécifiques, mais aussi de modéliser différents adversaires (Etheredge, 1979 : 40).

Etheredge rapporte également qu’il est probable que les joueurs et joueuses expérimenté-e-s aient développé une analyse plus efficace et la capacité d’écarter les informations inutiles, et qu’ils et elles aient un sens approximatif, qui semble intuitif, mais qui est en fait un sens pratique, de ce sur quoi ils et elles doivent porter leur attention. À mon avis, vous aurez du mal à trouver une meilleure définition de ce qu’implique l’expertise en matière d’évaluation : c’est-à-dire l’identification d’une situation, de la réactivité, de l’anticipation et la capacité d’analyser les gens – en sachant où, quand et comment centrer son attention.

[…]

Réflexivité et évaluation

L’engagement à atteindre un niveau d’expert implique de réfléchir à notre propre pratique, d’appliquer nos compétences en matière d’évaluation à ce que nous faisons, comme le font le GAO (General Accounting Office), l’unité d’évaluation du FBI, ou encore de nombreux évaluateurs internes. Cela implique de prendre le temps d’étudier notre propre travail pour découvrir ce qui a fonctionné et ce qui n’a pas fonctionné, et de procéder à une évaluation formative de nos propres processus pour tirer des enseignements de ce que nous faisons.

Il est triste de constater que nous appliquons si peu nos propres compétences en matière d’évaluation à notre propre pratique. Fritz Steele, qui est consultant auprès des consultant-e-s, appelle cela « le dilemme action-réflexion ». Il dit que l’action pour les consultant-e-s consiste habituellement à aider les commanditaires à prendre le temps de réfléchir. Mais quand le ou la consultant-e prend-il ou elle le temps de conduire un travail réflexif sur ses expériences personnelles? Ce dilemme action-réflexion résulte, selon Steele (1975) de

l’attractivité, sur le plan émotionnel, du volet ’action’. Il y a toujours la tentation de passer à une nouvelle action sans avoir complètement analysé ce qui s’est passé dans le cadre d’un projet terminé, sans avoir recueilli les commentaires des clients, examiné les notes et discuté de façon analytique de l’expérience avec les collègues. Prendre le temps d’évaluer un processus d’évaluation, d’examiner une expérience de conseil ou d’assurer le suivi de l’utilisation des résultats d’une étude sont des moyens de poursuivre l’apprentissage (p.19).

Tirer des leçons de votre apprentissage fait partie de l’engagement à devenir un professionnel ou une professionnelle compétent-e, et cela fait partie de ce que ce forum, et les réunions de l’Association Américaine d’Évaluation, sont censés faciliter. C’est une partie importante de la raison pour laquelle nous sommes ici : apprendre les uns des autres et apprendre à partir de cette réflexivité sur nos propres processus.

Défendre l’évaluation

Un dernier espoir que je voudrais vous laisser dans le cadre de cette discussion sur notre ambition et notre responsabilité est que nous devons être des défenseurs et défenseuses de l’évaluation. Nous pouvons et devons défendre l’évaluation, à partir du constat qu’il s’agit d’un produit et d’un processus de qualité qui peuvent améliorer les programmes.

Je voudrais utiliser ici une métaphore qui ne plaira peut-être pas à tous et toutes, compte tenu notre appétence pour la recherche et de certaines façons dont nous percevons notre rôle.

Lorsque je cherche à accroître mon expertise, je fais feu de tout bois. J’essaie de m’inspirer d’un certain nombre de domaines différents et des compréhensions que les gens ont développées dans des domaines plus anciens que le nôtre. La vente est l’un des domaines auxquels je me suis intéressé. De très nombreuses recherches ont été menées sur ce qui fait d’une personne un vendeur ou une vendeuse efficace. Une grande partie de la formation à la vente n’est que du battage publicitaire, mais j’ai écouté des cassettes et lu ce que les meilleur-e-s vendeurs et vendeuses ont à dire sur l’efficacité. Je pense que nous pouvons en tirer des leçons. Je n’ai le temps d’en mentionner que deux d’entre elles.

L’une des leçons est tirée d’un consensus apparent dans la littérature sur la vente, à savoir qu’une condition préalable pour être un vendeur ou une vendeuse efficace est d’avoir un produit de qualité qui inspire la confiance et l’engagement. J’espère que mes remarques d’aujourd’hui vous auront fait comprendre que je crois fermement à l’évaluation en tant que processus et produit utile pour l’amélioration des programmes. Lorsque je parle aux responsables de programmes, je peux leur dire avec conviction que l’évaluation peut être une source de changement dans leur programme. Je peux leur assurer qu’un processus d’évaluation axé sur l’utilisation, entrepris avec délibération et sérieux, peut faire la différence dans ce qu’ils font. C’est ce que je crois. Je crois qu’il existe des preuves de cette affirmation, y compris des preuves provenant de nos réunions, de sorte que je puisse ainsi « vendre » l’évaluation et son utilité.

Toutefois, un produit de qualité ne semble pas suffire. L’habileté à vendre est nécessaire pour communiquer les vertus du produit. Cette compétence commerciale que je trouve particulièrement intrigante est apparemment un vrai problème pour les vendeurs et vendeuses en ce sens qu’elle est l’une des choses qu’ils et elles doivent travailler encore et encore pour la maîtriser. Le défi que cette compétence représente et constitue, je pense, une analogie intéressante avec nos propres difficultés à vendre l’évaluation. En ce qui concerne cette compétence, je voudrais citer l’un des meilleurs vendeurs, l’un des plus grands prestidigitateurs dans ce domaine, mais aussi un homme qui a une réelle connaissance de la vente et qui a les chiffres pour soutenir ses affirmations – Zig Ziglar. Laissez-moi vous dire ce que Zig Ziglar a dit dans un récent bulletin national destiné à sa profession. On lui a demandé des conseils pour augmenter les ventes et il a répondu que la plus grande faiblesse de la plupart des vendeurs et vendeuses se situe au moment de conclure une vente. Il cite des études montrant que 63 % des entretiens de ventes se terminent sans que le vendeur demande explicitement au client ou à la cliente s’il ou elle souhaite passer commande. Il poursuit en notant que Herb True, de l’Université Notre Dame, a constaté que 46 % des vendeurs et vendeuses qu’il a interrogé-e-s ne posent la question qu’une seule fois, puis abandonnent; 24 % la posent deux fois; 14 % trois fois; et 12 % abandonnent après la quatrième tentative. Pourtant, ses recherches sur les ventes efficaces montrent que 60 % de toutes les ventes sont réalisées après la cinquième tentative de clôture (Ziglar, 1987).

Dès lors, celles et ceux d’entre vous qui, avec douceur, suggèrent une fois à un utilisateur ou une utilisatrice potentiel-le qu’il y a peut-être quelque chose d’important à faire avec l’évaluation, voient les implications de ma comparaison avec la vente. « Conclure » l’utilisation de l’évaluation, comme conclure une vente, est une chose à laquelle on travaille. Avoir la conclusion en tête, c’est avoir une vision claire de ce que signifie l’utilisation d’une évaluation, et ensuite rechercher cette utilisation, pas une fois, pas deux fois, pas trois fois, pas quatre fois, mais proposer cette utilisation aussi longtemps qu’il le faut pour vous acquitter de votre responsabilité et atteindre l’utilisation escomptée par les utilisateurs et utilisatrices ciblé-e-s.

L’une des façons d’y parvenir est de visualiser la « clôture » de l’évaluation dès le début, de négocier une compréhension commune de ce que cela signifie de clore l’évaluation, c’est-à-dire d’atteindre une utilisation effective. Vous devez communiquer sur votre engagement envers l’utilité à chaque étape de l’évaluation.

L’une des façons dont je porte cet engagement envers l’utilisation au cours des premières négociations est de demander s’ils s’attendent à un rapport final. Cette question semble attirer l’attention des gens. « Voulez-vous un rapport final? ». Ils me regardent et disent : « Pardon? ». Et je dis : « Voulez-vous un rapport final? ». Ils disent : « Bien sûr, c’est pour cela que nous faisons ça, pour obtenir un rapport. ».

Et je réponds : « Non, nous faisons cela pour obtenir des informations qui vous permettront d’améliorer la conception de votre programme et votre prise de décision. Un rapport écrit final est un moyen de communiquer les informations que nous obtenons. Mais il y a des preuves substantielles montrant que ce n’est pas toujours le moyen le plus efficace. Il est très coûteux de rédiger des rapports finaux. Il existe d’autres façons de traiter ces informations. Parlons donc de ce que vous souhaitez obtenir pour votre argent, en termes d’utilisation. C’est ce que nous essayons vraiment d’obtenir ici. Pas un rapport, mais l’utilisation. Parlons des moyens les plus efficaces d’obtenir une utilisation et voyons si un rapport final, écrit et coûteux est le moyen d’y parvenir ».

Je constate souvent que c’est à ce moment-là qu’ils commencent enfin à comprendre que ce dont je parle diffère de la simple production d’un épais rapport d’évaluation pour pouvoir classer le programme sous la rubrique « a été évalué ».

Une mission et une vision

Je pense donc que nous avons devant nous, dans les standards de l’évaluation, dans le travail de cette réunion, et dans les exemples que j’ai cités, la vision d’une approche positive et proactive de l’évaluation axée sur l’utilisation qui soit source de changement et qui soit responsable. Le processus d’évaluation est source de changement au fur et à mesure de son déroulement. Les résultats de l’évaluation sont source de changement lorsqu’ils sont utilisés de la manière escomptée par les utilisateurs et les utilisatrices ciblé-e-s.

Les nouveaux objectifs de l’Association Américaine d’Évaluation incluent d’accroître l’utilisation de l’évaluation et de promouvoir l’évaluation en tant que profession. Pour promouvoir l’évaluation en tant que profession, il me semble que nous avons besoin d’une vision de notre profession comme étant source de changement, non pas dans un futur vague, éloigné du domaine de l’évaluation, mais dans le sens plus immédiat de la réalisation des utilisations escomptées (qui sont les objectifs de l’évaluation) afin que les gens en aient pour leur argent.

J’ai pour l’évaluation la vision d’une profession qui s’acquitte de sa promesse de faire advenir les utilisations escomptées par les utilisateurs et utilisatrices ciblé-e-s – et qui documente par le biais d’études de suivi, les changements suscités par l’évaluation. Une telle profession aurait suffisamment confiance en son produit et ses processus, pour « vendre » l’évaluation (ou du moins la promouvoir avec enthousiasme). Une telle profession serait source de changement démontrable sur le plan de la qualité des programmes évalués et, par conséquent, de la qualité de vie des bénéficiaires de l’action publique.

Je crois qu’une telle profession existe aujourd’hui. Ma vision n’est pas celle d’un avenir lointain, mais une description de ce qui, selon moi, existe actuellement dans la plupart des pratiques d’évaluation. C’est pourquoi je vous ai invité-e-s aujourd’hui à vous joindre à moi pour célébrer l’évaluation.

Bibliographie

Etheredge, Lloyd S. 1979. « Government learning: an overview ». in Handbook of Political Behavior. New York: Plenum, p. 73‑161.

Patton, Michael Q. 1978. Utilization-Focused Evaluation. 1re éd. Beverly Hills: Sage Publications.

Patton, Michael Q. 1986. Utilization-Focused Evaluation. 2e éd. Beverly Hills: Sage Publications.

Steele, Fritz. 1975. Consulting for Organizational Change. Amherst: University of Massachusetts Press.

Ziglar, Zig. 1987. « Closing skills ». Podcast Personal Selling Power, Episode 6.