5. L’évaluation contribue-t-elle au bien commun?

[Traduit de Mathison, Sandra. 2018. « Does Evaluation Contribute to the Public Good? », Evaluation, 24(1) : 113‑119 (Extraits). Traduction par Carine Gazier et Thomas Delahais; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

Introduction

Si nous voulons que l’évaluation apporte une contribution positive au monde social, physique et environnemental, il faut commencer par analyser notre théorie et notre pratique d’un point de vue sociologique. Les idéologies sociopolitiques dominantes façonnent la conceptualisation de l’évaluation, les méthodes et les modèles utilisés, comment et par qui elle est financée, ainsi que son efficacité à promouvoir un changement social positif. La plupart des évaluations se tiennent dans un contexte micro, un héritage de la pratique évaluative qui se considère au service d’autres disciplines, des décideurs, des politiques, des bailleurs ou des bénéficiaires des programmes. La pratique de l’évaluation est locale (même lorsque le contexte est géographiquement vaste) et surtout attentive à répondre à des préoccupations portant sur l’efficacité des programmes évalués.

Les évaluateurs, tout en continuant à travailler dans le cadre des programmes, devraient examiner les cadres eux-mêmes. Nous devons nous demander comment ces cadres tiennent pour acquis et soutiennent une certaine façon de définir les problèmes, les solutions apportées et les indicateurs de succès. Ces cadres s’inscrivent dans des idéologies qui structurent les relations humaines et les pratiques sociales au-delà de l’évaluation, mais également en son sein.

Je retracerai l’évolution de la théorie et de la pratique de l’évaluation sous l’influence d’idéologies mondiales, du progressisme initial (caractérisé par le financement public d’une grande partie des évaluations de programme) à un néolibéralisme peut-être en déclin (caractérisé par un financement accru par les organisations philanthropiques, les ONG et les entrepreneurs) jusqu’à un populisme en plein essor, et je réfléchirai à la contribution de l’évaluation au bien commun à travers ces changements.

Bien qu’il s’agisse peut-être d’une remarque déplaisante, nous devons nous demander si l’évaluation, telle qu’encadrée par ces idéologies sociopolitiques dominantes, contribue au bien commun, si elle contribue à un changement positif. De l’avis général, le travail des évaluateurs et des évaluatrices ne contribue pas suffisamment à la réduction de la pauvreté, aux droits humains, à l’accès à la nourriture, à l’eau, à l’éducation et aux soins de santé. Nous devons également nous demander si la pratique de l’évaluation classique ne risque pas d’entraver et de freiner le changement social. Je conclurai par quelques pistes de réflexion sur ce que nous (évaluateurs/-trices, bailleurs/-euses de fonds et utilisateurs/-trices de l’évaluation de programme) pourrions faire pour apporter une contribution positive au bien commun par le biais de l’évaluation.

Je fais des évaluations, essentiellement dans le domaine de l’éducation, depuis plus de 40 ans. J’aimerais pouvoir dire que l’évaluation a rempli sa promesse d’amélioration [de l’action publique]. Que la pratique comme la théorie en évaluation ont amélioré les choses. Mais au lieu de cela, il se trouve que je suis pessimiste, peut-être même cynique quant à la contribution de l’évaluation au bien commun, que je définis comme le bien-être de tous, dans le monde entier, et qui se manifeste par des choses telles que la sécurité alimentaire, l’accès aux soins, à l’éducation, à l’eau potable et au logement. Même si je ne présume pas que l’évaluation ainsi que les évaluateurs et les évaluatrices seraient seul-e-s responsables du bien commun, en tant qu’évaluateurs et évaluatrices nous suggérons que le travail que nous faisons améliorera les choses, mènera à de meilleurs résultats, résoudra des problèmes sociaux et environnementaux. Nous devons donc prendre nos responsabilités en conséquence. Même si je suis assez pessimiste, je terminerai par quelques idées auxquelles nous pourrions réfléchir si nous croyons toujours à la promesse dont l’évaluation est porteuse.

Examinons un certain nombre de conditions actuelles dans le monde :

Je vais mettre en avant trois raisons pour lesquelles je crois que l’évaluation n’a pas contribué et ne contribue pas assez au bien commun.

Premièrement, la théorie et la pratique évaluative (comme de nombreuses autres pratiques sociales) reflètent les valeurs, les croyances et les préférences de l’époque. À ce titre, l’évaluation est contrainte par les idéologies sociales et politiques dominantes.

Deuxièmement, l’évaluation manque fondamentalement d’indépendance : c’est une prestation de service fournie à ceux qui ont le pouvoir et l’argent, et dans cette relation, elle devient une pratique limitée dans sa capacité à contribuer au bien commun.

Troisièmement, l’évaluation est fondamentalement une pratique conservatrice, s’inscrivant au sein de domaines [disciplinaires] établis par d’autres et, le plus souvent, maintenant le statu quo.

L’influence des idéologies sociopolitiques

La façon que nous avons de porter des jugements sur la valeur et la qualité des programmes, des politiques, des interventions et des réformes est en fonction d’idéologies sociopolitiques. Les idéologies sociopolitiques dominantes façonnent la façon dont l’évaluation est menée, conceptualisée, les méthodes et modèles utilisés, comment et par qui elle est financée, et sa capacité à promouvoir un changement social positif. Toute évaluation nécessite de définir les qualités souhaitables de ce qui est évalué. Et ces qualités sont socialement construites; par conséquent, les approches dominantes de l’évaluation reflètent l’esprit sociopolitique de notre époque.

Dans notre histoire récente, deux idéologies sociopolitiques dominantes ont façonné la manière dont une évaluation est conceptualisée et réalisée : le progressisme (progressivism) ou social-démocratie, et le néolibéralisme. Et, nous sommes potentiellement au bord d’une autre idéologie dominante : le populisme.

J’utilise le terme progressisme pour cette première phase même si, en réalité, l’ère sociopolitique progressiste a une histoire beaucoup plus longue. J’aurais aussi pu utiliser le terme de social-démocratie. L’idée principale à laquelle je me rattache est le plaidoyer en faveur de la réforme sociale, en particulier la réduction des inégalités de revenus, l’élargissement des libertés et des droits, et des expressions diverses de l’action collective et humanitaire l’idée que la condition humaine s’améliorerait grâce à la science, à la technologie et à l’organisation sociale.

À ses débuts, la pratique de l’évaluation portait la marque du progressisme. Notre travail était souvent mené sur fonds publics et se définissait comme un bien commun, au service de l’intérêt général. L’évaluation reflétait des valeurs progressistes… y compris l’efficacité, la justice sociale et la démocratie. La fin des années 1960 et le début des années 1980 ont été pour l’évaluation l’équivalent de la Ruée vers l’Or. À cette époque, les approches évaluatives se sont multipliées et un travail intellectuel passionnant a été effectué dans un certain nombre de disciplines. Les évaluateurs et les évaluatrices ont emprunté à d’autres disciplines (comme le journalisme, la jurisprudence, l’art) pour explorer comment nous pouvions et devrions émettre des jugements sur la valeur [des interventions évaluées]; les évaluateurs et les évaluatrices ont exploré le potentiel de l’évaluation pour contribuer à la démocratie, à la justice sociale et à l’équité; les évaluateurs et les évaluatrices étaient convaincu-e-s que leur métier les aiderait à rendre le monde meilleur.

Cela fait maintenant plusieurs décennies que l’évaluation peine sous l’ère néolibérale, et dans l’état actuel du néolibéralisme, l’évaluation reflète de plus en plus ses valeurs, y compris la marchandisation, la concurrence et la privatisation. Le néolibéralisme est une idéologie sociopolitique mondiale sans pareil… Il rejette les débats politiques partisans traditionnels et ignore les frontières nationales.

Notre époque est celle où le capitalisme éclipse la démocratie, et où l’interdépendance entre capital et gouvernement devient patente. Un principe fondamental du néolibéralisme est le rôle central que les gouvernements des États jouent dans la facilitation et la promotion des intérêts des élites économiques.

Et l’évaluation est une pratique qui, d’une part, est un outil pour rationaliser et normaliser l’action de l’État et les valeurs néolibérales. C’est manifeste, par exemple, dans le Nouveau management public… la gestion de la performance… la mesure de l’impact. Nous le voyons dans la montée du philanthrocapitalisme, qui apporte ses stratégies agressives, ses mesures de performance, et met l’accent sur l’efficacité [à court terme] dans le secteur à but non lucratif. Nous voyons cela dans la montée de l’investissement social, une confusion délibérée entre « faire le bien », et réaliser un profit.

D’autre part, l’évaluation est devenue l’outil de l’État qui surveille et évalue constamment les politiques publiques, la conduite des organisations, des agences et des individus, devenant même le juge ultime. Et de fait, l’évaluation est le fournisseur privilégié de connaissances pour l’individu, l’organisation ou l’État rationnels qui cherchent des données impartiales, comparables et arrivant juste à temps pour faire des choix rationnels parmi des solutions concurrentes. Enfin, la prise de décision basée sur des faits, plutôt que sur l’habitude, la préférence, la communauté ou la magie.

Un bon exemple de l’État comme évaluateur est le Centre d’information Clearinghouse sur « ce qui marche » (What works Clearinghouse) créé par le ministère de l’Éducation américain pour dire aux enseignants et aux parents quels programmes, produits, pratiques et politiques éducatifs marchent et lesquels ne marchent pas. Ce qui marche est directement connecté à des conceptions étroites de la façon dont on sait ce qui fonctionne (dans ce cas, les seules preuves qui comptent sont celles qui sont issues d’études contrefactuelles, avec une préférence pour l’approche expérimentale).

Le néolibéralisme crée donc à la fois un État évalué et un État évaluateur.

Malgré des réflexions sincères, bien argumentées et convaincantes défendant une vision de l’évaluation de programmes comme démocratisante, émancipatrice, inclusive et transformatrice, et/ou participative, la pratique de l’évaluation reflète souvent (peut-être généralement) l’accent mis sur l’efficience, l’efficacité et des résultats mesurables à court terme typiquement reflétés dans une logique d’intervention ou une théorie du changement. L’évaluation adopte la « langue du marché » et mesure le succès des programmes en termes de profit; les programmes sont en compétition; les résultats sont conceptualisés en termes économiques; et si c’est un échec, ce sont les individus qui sont à blâmer.

Les évaluateurs et les évaluatrices parlent d’un bon programme comme présentant un bon retour sur investissement ou un bon rapport qualité-prix, qui réduit les coûts (que l’on parle de santé, de logement ou de la sécurité sociale) ou permet de faire des économies, et qui est le meilleur en son genre. Et lorsque les programmes ne fonctionnent pas ou échouent, c’est que des prestataires de services n’ont pas su mettre en œuvre fidèlement les consignes qui leur sont données, ou que les bénéficiaires n’étaient pas suffisamment volontaires ou motivés. Même lorsque l’évaluation est formative, le rôle de l’évaluation reste souvent de mettre en avant ce qui doit être fait pour qu’une intervention soit généralisée ou reproduite ou pour qu’elle touche plus de gens.

Bien qu’une grande partie du monde soit toujours sous l’emprise du néolibéralisme, une idéologie émerge, même si nous ne savons pas bien ce que seront sa portée et sa puissance dans l’avenir. Ce que les grands médias appellent le populisme de droite, mais qu’il conviendrait plus précisément d’appeler l’autoritarisme ou même le néofascisme, traverse les sociétés démocratiques, notamment la Grande-Bretagne, la France, la Turquie et les États-Unis.

Tout populisme, qu’il soit de droite ou de gauche, a en commun l’idée de rassembler des gens qui se sentent mal ou sous-représentés, autour d’une vision du « nous » contre « eux ». Le populisme peut être une réponse au néo-libéralisme et en même temps un appel au centralisme et l’espoir que le compromis, le développement d’un consensus au centre, l’emportera.

Je ne sais pas ce à quoi l’évaluation ressemblera dans un monde où le populisme de droite serait dominant. Mais ce que j’ai pu constater au cours de mes 40 années d’évaluation, c’est que nous pouvons être assurés que l’évaluation sera modelée au sein de cette idéologie sociopolitique d’une manière qui serve ses principes et ses valeurs centrales.

L’évaluation manque fondamentalement d’indépendance

L’évaluation elle-même est une marchandise, une prestation de service, et ceci est particulièrement exacerbé dans un cadre capitaliste néolibéral. L’évaluation est un service acheté et vendu et bien que de nombreux évaluateurs et de nombreuses évaluatrices encadrent leur pratique dans les grands principes [déontologiques] de nos organisations professionnelles, l’évaluation et les évaluateurs/-trices sont néanmoins sensibles [aux attentes de] ceux et celles qui paient pour leurs services. Je crois qu’il est difficile pour la plupart des évaluateurs et des évaluatrices qui pratiquent de réellement imaginer que celui ou celle qui a commandé l’évaluation n’a pas le dernier mot sur les questions d’évaluation et les effets à évaluer.

Ceux et celles qui ont l’argent dominent la définition de ce qui est important, de ce qui compte comme succès et de la façon dont cela est démontré. Le mode de fonctionnement dans une grande partie de la pratique évaluative est descendant, ce que Michael Scriven a appelé l’« idéologie managériale ». En élargissant la focale, les gestionnaires des programmes / projets servent leurs bailleurs et bailleuses de fonds et les évaluateurs/-trices servent les gestionnaires de programme / projet et/ou leurs bailleurs/-euses de fonds.

Il est à noter que l’un des sujets qui a fait l’objet du plus grand nombre de recherches, dont on a le plus discuté et dont on s’est le plus inquiété dans l’évaluation c’est son UTILISATION, ou plus précisément son absence d’utilisation. Nous nous sommes interrogés sans relâche pendant des dizaines d’années sur les raisons pour lesquelles nos évaluations ne sont pas utilisées, comment nous pouvons amener les gens à les utiliser, comment nous pouvons faire une évaluation pour que les décideurs et les décideuses voient l’utilité de notre travail. Carol Weiss nous a d’abord libérés de l’idée que les résultats de l’évaluation mèneraient directement, de façon instrumentale, aux décisions et aux changements. Mais, ce faisant, elle nous a aussi laissé la désagréable sensation que notre travail était une petite partie d’un grand tout, ou pire encore, un pion dans un jeu joué selon des règles complètement différentes [des nôtres]. Récemment, nous avons même créé un nouveau type d’utilisation, l’utilisation processuelle, pour nous convaincre, nous et les autres, que ce que nous faisons est vraiment important.

Toute profession qui dépense tant d’énergie, tant de temps, tant de ressources sur les raisons pour lesquelles les gens ne s’intéressent pas à ce que nous faisons et disons est par nature une profession qui ne fait sans doute pas autant de bien qu’on pourrait le croire.

Parce que nous sommes pris au piège de cette idéologie managériale, nous sommes fier-e-s de fournir des données probantes sur ce qui marche et ce qui ne marche pas, que nous défendons souvent face à des soutiens irrationnels ou du moins idéologiques envers [certaines] politiques et programmes.

On entend l’expression « dire la vérité au pouvoir », utilisée pour exprimer ce que nous considérons comme notre contribution à faire ce qui est juste, à contribuer au bien commun. Un acte courageux, mais le plus souvent futile. « Dire la vérité au pouvoir » est un cliché, utilisé souvent par les gauchistes et les progressistes, et qui laisse de côté la possibilité que les puissants et les puissantes sachent déjà la vérité et choisissent de l’ignorer (ou de la modifier) pour soutenir leurs intérêts et leurs idéologies déjà bien développées. Malheureusement, notre dépendance à l’égard des autres dans notre rôle de prestataire de service et notre longue expérience visant à traduire ce que nous avons appris dans les compréhensions, les préférences et les présupposés des autres font que dire la vérité au pouvoir n’est vraiment pas la bonne approche, ou du moins une approche pas très efficace.

L’évaluation est conservatrice

La plupart des évaluateurs pensent dans un microcontexte : c’est là l’héritage d’une pratique évaluative […] au service des décideurs/-euses, des politiques, des bailleurs/-euses et des bénéficiaires. La pratique de l’évaluation est locale (même lorsque le contexte est géographiquement vaste) et répond principalement à des préoccupations particulières portant sur l’efficacité des programmes évalués. L’apport de l’évaluation pour réduire la pauvreté et ses conséquences sur la population serait typiquement d’identifier des stratégies efficaces, ou d’améliorer les stratégies existantes de réduction de la pauvreté. Bien qu’il soit tout à fait approprié que les praticiens et les praticiennes de l’évaluation travaillent de cette manière, cela détourne notre attention des grandes questions sur pourquoi cette intervention, pourquoi cette stratégie, pourquoi ces personnes et non pas d’autres.

Prenez cet exemple simple : la sécurité alimentaire, un concept fondamental en matière de réduction de la pauvreté, une contribution essentielle au bien commun. Les programmes visant à accroître la sécurité alimentaire sont créés par des organismes (comme Save the Children) ou les gouvernements (comme USAID [L’agence bilatérale d’aide au développement américaine]) qui à leur tour sont les architectes des critères de succès de leurs programmes. USAID déclare que les évaluations devraient mettre l’accent sur la gestion axée sur la performance pour « renforcer l’impact de ces programmes sur le bien-être de leurs bénéficiaires ». Bien qu’il existe de nombreux types de programmes de sécurité alimentaire, l’un d’entre eux est le programme « Nourriture contre travail » (food for work), une stratégie dans laquelle le paiement de l’aide alimentaire est échangé contre du travail dans les programmes de travaux publics conçus pour construire et entretenir l’infrastructure locale (comme les routes, les puits, les latrines ou les écoles).

Ce type de programme (une approche d’échange de marchandises contre un besoin humain fondamental, dans ce cas la nourriture) privilégie la croissance économique locale comme résultat principal, et la sécurité alimentaire est un moyen vers cette fin. Les bénéficiaires sont à la fois des capitalistes et des personnes qui ont besoin de nourriture. Une réponse à la sécurité alimentaire qui mettrait l’accent sur la valeur d’usage (plutôt que sur la valeur d’échange) [de la nourriture] conduirait à différentes stratégies et indicateurs de succès; par exemple, la valeur d’usage de la nourriture contribue à maintenir les liens familiaux, l’amour, l’esthétique, le bonheur, le bon voisinage et le développement communautaire.

Mais le travail de l’évaluateur ou de l’évaluatrice est pris dans ce genre de système fermé et il faudrait un effort herculéen pour mettre plutôt l’accent de l’évaluation sur les hypothèses sous-jacentes d’un programme. Par conséquent, la pratique de l’évaluation est une réaction aux idées des autres et n’a qu’une portée limitée pour contester l’idée de la politique ou du programme.

Ajoutez à cela la probabilité que nous fassions des évaluations de programmes dont les hypothèses et les intentions sont en accord avec nos propres systèmes de valeurs, et les chances de remettre sérieusement en cause les intentions sous-jacentes des programmes sont encore diminuées.

Notre travail a donc tendance à conserver ce qui est déjà là.

Quelques réflexions pour aller de l’avant

Nous avons besoin d’évaluations réellement indépendantes

L’évaluation externe est souvent considérée comme plus indépendante et susceptible de fournir un diagnostic sans préjugés sur les programmes, les interventions et les stratégies. La question de savoir si cela est vrai a fait l’objet de nombreux débats, mais a minima, les évaluations payées par quelqu’un ayant un intérêt dans le programme seront influencées par ces intérêts. Je suggère que des évaluations plus indépendantes, effectuées sans intérêt monétaire dans le programme (mais avec des intérêts intellectuels ou moraux) puissent fournir des informations sur la valeur et les conséquences des programmes et des interventions. Et qu’ainsi, le financement indépendant de ces évaluations permette aux évaluateurs d’intervenir en dehors des cadres du néo-libéralisme, de regarder les résultats à long et à court terme, et d’enquêter sur les résultats non planifiés et non anticipés. J’ai utilisé précédemment l’exemple des programmes de sécurité alimentaire conçus comme un échange de produits et montré que la façon dont à la fois le problème (la faim, la famine) et la solution (la nourriture en échange du travail) étaient envisagés n’était pas a-idéologiques, mais basés sur les principes du capitalisme. Une évaluation indépendante qui interrogerait les fondements de ces programmes serait une contribution substantielle à la remise en question d’hypothèses considérées comme acquises et qui définissent la sécurité alimentaire en termes capitalistes.

Nous ferions mieux de dire la vérité aux sans-pouvoirs

Dire la vérité à ceux qui n’ont aucun pouvoir pourrait être beaucoup plus utile que le cliché qui consiste à « dire la vérité au pouvoir ». Peut-être que les sans-pouvoirs ne savent pas la vérité ou ont une vision confuse de la situation, ce qui contribue à les rendre inactifs, incapable de poursuivre leurs propres intérêts, incapables de voir que d’autres qu’eux partagent les mêmes intérêts.

Nous avons une masse énorme d’approches évaluatives qui promettent la participation, l’émancipation, la transformation… Je fais partie de la communauté évaluative qui fait ces promesses. Je ne dis pas simplement que ce type d’évaluation est meilleur. Mais plutôt, que c’est à nous de nous demander comment l’évaluation pourrait contribuer au bien commun si les pauvres, les sans-abris, ou encore les malades étaient nos clients. Les sans-pouvoirs ont besoin de données probantes et d’analyses qui leur permettront de comprendre [des processus à l’œuvre comme le fait de] blâmer la victime, la privatisation, l’antisyndicalisme et les principes libre-échangistes qui soutiennent les politiques et les idéologies préjudiciables à leur bien-être. Nous avons besoin de plus de vérité pour les impuissants, et non pas pour les puissant-e-s, et nous devons permettre aux impuissant-e-s de parler pour eux-mêmes… Les évaluateurs et les évaluatrices devraient réfléchir à la façon dont nous pourrions faire cela.

Ce sont des idées pour lesquelles je n’ai aucun plan précis, aucune procédure ou processus nécessaires à leur mise en œuvre. Mais, après une vie de travail, je ne suis pas prête à abandonner le potentiel de l’évaluation. Et donc même si notre travail a contribué trop peu au bien commun, a parfois maintenu un statu quo préjudiciable, a parfois même contribué à des pratiques sociales néfastes… Je crois que nous pouvons faire mieux. Je crois que nous devrions essayer de faire mieux.