7. L’évaluation est-elle obsolète dans un monde de post-vérité?

[Traduit de : Picciotto, Robert. 2018 « Is evaluation obsolete in a post-truth world? ». Evaluation and program planning, 73 : 88-96 (Extraits). Traduction de Carine Gazier et Agathe Devaux-Spatarakis; traduction et reproduction du texte avec l’autorisation de Elsevier. La traduction de ce texte en français a été révisée par son auteur.]

L’évaluation entre en scène

Il est certain que les démagogues exploiteront toujours la colère et la frustration populaire dans leurs efforts pour tromper les électrices et électeurs. Mais on peut leur résister. Les biais cognitifs peuvent être surmontés. La déconstruction peut être déconstruite. L’analyse objective des politiques publiques peut orienter les prises de décisions. Plutôt que de déplorer l’avènement de l’ère de post-vérité, il est temps de s’attaquer à ses causes profondes :  malheureusement, les décideurs et décideuses sont bien conscient-e-s du fait que, dans une démocratie libérale, les électrices et électeurs peuvent être induit-e-s à juger les politicien-ne-s en fonction des objectifs qu’ils et elles poursuivent et des résultats qu’ils et elles promettent, plutôt qu’en fonction de la véracité de leurs déclarations.

Les évaluateurs et évaluatrices peuvent rectifier cette situation en exposant les contradictions et les effets néfastes des décisions motivées par des intérêts particuliers. L’évaluation est tout à fait en mesure de responsabiliser l’autorité et de renforcer la transparence des processus de décision. Elle peut confronter les mensonges et les absurdités endémiques et dévoiler la fourberie des communications astucieuses utilisées par les politicien-ne-s pour manipuler et contrôler les électeurs et électrices en faisant appel à leurs émotions et à leurs préjugés. De cette façon, en temps voulu, le bon sens et la réalité pourraient bien reprendre le dessus (Davis, 2017).

L’évaluation peut contribuer à accélérer ce processus. Elle a pour mission de guider les décideurs et décideuses vers des solutions basées sur des faits et des analyses objectives de l’expérience. Les évaluations indépendantes, sans retenue, disent la vérité au pouvoir. Certes, les évaluateurs et évaluatrices ne peuvent pas à eux et elles seul-le-s s’attaquer à tous les problèmes qui ont donné naissance au phénomène de la post-vérité, mais ils et elles ont le devoir de lui résister. Ils et elles peuvent faire équipe avec les chercheurs et chercheuses en sciences sociales pour exposer et contester le discours hégémonique des spécialistes de la post-vérité. À cette fin, ils et elles peuvent contribuer à la promotion de politiques publiques plus efficaces sur la base de données factuelles.

Ainsi, plutôt que d’être obsolète, l’évaluation est plus nécessaire que jamais dans un environnement opérationnel particulièrement exigeant. Toutefois, pour s’acquitter de sa mission et accroître sa portée, elle doit améliorer sa pratique, raffiner ses outils et faire face aux défis sociaux les plus urgents de notre époque.  À cette fin, les objectifs, les commanditaires et les objets de l’évaluation devraient être réexaminés afin de relever le défi de la post-vérité et la communauté de l’évaluation devrait réviser ses orientations stratégiques. Enfin, elle devrait faire le nécessaire pour devenir une profession.

Nouveaux objectifs

La plupart des évaluations font le bilan des interventions par rapport aux objectifs visés. Elles négligent souvent les objectifs de développement durable (ODD) universellement approuvés qui pourtant nécessitent une évaluation systématique. Il s’agit notamment de l’éradication de la pauvreté, de l’autonomisation des femmes, de la qualité de l’éducation, de la sécurité alimentaire, de l’accès universel à l’eau potable et à l’assainissement, de l’énergie durable, de la gestion efficace des ressources naturelles, de la bonne gouvernance, de la paix sociale, de la réduction des inégalités et de la création d’un environnement mondial propice à un développement équitable et inclusif. Compte tenu de la multiplicité des menaces qui pèsent sur le bien-être des populations, des injustices sociales, et de la prévalence des conflits transfrontaliers, des catastrophes naturelles, du changement climatique, etc., il faudra adopter une large gamme d’approches évaluatives au niveau des politiques globales.

Nouveaux commanditaires

Les processus d’évaluation devraient être conçus de manière à relier et à informer une grande diversité d’acteurs et d’actrices économiques et sociaux. La discipline de l’évaluation, trop attachée à l’évaluation des interventions publiques traditionnelles, n’a pas suivi le rythme des transformations profondes du monde social et doit désormais s’adapter au rythme dynamique des nouveaux protagonistes de tous les secteurs sociaux.

Une révolution néo-libérale sans précédent a déferlé sur l’économie internationale depuis le début du siècle. Le nombre d’entreprises multinationales est passé de 7 300 à la fin des années 1960 à 65 000 au début du siècle et à au moins 100 000 à la fin de l’année 2010. Avec l’expansion du nombre de milliardaires, la mobilisation des ressources financières privées à des fins sociales s’est intensifiée.

Les fondations caritatives sont devenues actives dans l’aide internationale et le secteur public a cédé une bonne partie de son pouvoir à la « révolution associative ». Les organisations non gouvernementales sont maintenant profondément impliquées dans la prestation de services sociaux, tandis que des activistes interconnectés à l’échelle mondiale sont de plus en plus en mesure de façonner les règles du jeu de la vie économique et sociale. La conséquence est un déficit d’évaluation lié au rôle accru du secteur privé et de la société civile dans la sphère sociale.

Nouveaux objets

Des cocktails de méthodes d’évaluation sur mesure devront être mobilisés pour décortiquer les effets sociaux complexes des instruments d’action publique contemporains :

• Le financement de l’impact social mobilise des capitaux et des compétences privées dans la poursuite de l’inclusion sociale et de l’environnement. Comment vérifier que faire le bien et le faire bien sont compatibles?
• Les partenariats public-privé ont mis en lumière la négligence de l’intérêt public dans la répartition contractuelle des risques et des bénéfices entre les entreprises privées et les citoyen-ne-s.
• Investissements à impact social : les indicateurs souvent simplistes incorporés dans les systèmes de gestion des entreprises devraient être remplacés par des objectifs triples qui intègrent les coûts et les bénéfices économiques, sociaux et environnementaux.
• L’organisation de compétitions pour susciter des initiatives sociales innovatrices augmente rapidement, mais leur évaluation laisse beaucoup à désirer.
• L’éventail complexe de produits d’assurance, des garanties de marché, d’initiatives financées par la « diaspora » et des transferts de fonds des migrant-e-s nécessitent une évaluation systématique.
• La responsabilité sociale des entreprises : l’augmentation des investissements directs étrangers génère une demande croissante d’évaluation objective.

Nouvelles orientations de la politique d’évaluation

Trois réorientations politiques caractérisent le paradigme d’une évaluation conçue pour réagir plus efficacement contre un monde de « post-vérité ». Premièrement, une internationalisation de l’évaluation. Deuxièmement, la diversification des utilisateurs et utilisatrices et des produits. Troisièmement, des méthodes et des processus d’évaluation plus souples, plus réactifs, et plus numériques.

Internationalisation

Au fur et à mesure que le centre de gravité de l’économie mondiale continue d’évoluer vers le Sud et l’Est, l’évaluation devra opérer au-delà des frontières. Elle devra devenir plus « internationale dans le sens où elle sera à la fois plus indigène, plus globale et plus transnationale » (Chelimsky et Shadish, 1997). Le processus est en cours. Au tournant du siècle, il n’existait que 20 associations d’évaluation mais, depuis, le nombre a explosé. EvalPartners, sous les auspices de l’Organisation Internationale de Coopération en Évaluation (OICE), a recensé un total 158 associations ou réseaux, dont 135 au niveau national.

Par conséquent, l’évaluation devra s’adapter à une grande variété d’environnements opérationnels. Le processus devrait être accéléré. L’évaluation aujourd’hui n’est qu’une industrie naissante. À l’échelle mondiale, toutes les associations et tous les réseaux d’évaluation étudiés par EvalPartners ont totalisé 32 000 membres, en incluant le double comptage des membres qui appartiennent à plus d’une association. Cela représente moins d’un cinquième des membres d’une seule association d’auditeurs internes (par exemple, l’Institut des Auditeurs Internes compte 175 000 membres). Rien qu’aux États-Unis, il y a environ 1,2 million de comptables et d’auditeurs et auditrices.

Diversification

À mesure que l’évaluation franchira les frontières, elle devra s’étendre au-delà du secteur public, atteindre les entreprises privées et les fondations philanthropiques, ces nouveaux acteurs de la sphère publique, ainsi que les programmes de responsabilité sociale et environnementale des multinationales, et la croissance explosive des ONG. L’évaluation devra donc subir une révolution culturelle pour s’adapter aux nouvelles parties prenantes. Il faudra, en effet, faire preuve d’une plus grande agilité et les intégrer dans les pratiques.

Les évaluatrices et évaluateurs devraient se mettre au service de coalitions multisectorielles axées sur la réalisation d’objectifs mondiaux et régionaux précis, notamment en matière de santé publique, d’éducation et de protection de l’environnement. Alors que la pratique actuelle met l’accent sur les programmes au niveau des projets et des pays, l’accent devrait être mis progressivement sur l’évaluation de la capacité à générer des biens publics mondiaux et régionaux par des réseaux d’acteurs et d’actrices qui partagent les mêmes objectifs. Ces évaluations axées sur les réseaux devront mettre l’accent sur les mesures de l’impact collectif des coalitions et des partenariats (Liebenthal, Feinstein, et Ingram, 2004).

Numérisation

Les évaluateurs et évaluatrices doivent accepter le fait que nous vivons dans un monde « connecté ». Nous sommes inextricablement liés sur le plan social, financier et culturel au-delà les frontières, et le retour en arrière est impossible. Nous sommes en plein milieu d’une transformation mondiale de la société, silencieuse, progressive et irréversible.

Il faudra donc faire preuve de plus de rapidité et de réactivité dans la prestation des services d’évaluation. L’abandon du rythme statique des processus d’évaluation du secteur public sera accéléré par un autre courant sismique et omniprésent résultant de l’impact explosif des nouvelles technologies de l’information et des communications. Après l’époque de l’ordinateur central et du PC, il combine les énergies sociales déclenchées par le Web 2.0 et le potentiel analytique des big data associées à Web 3.0.

Le terme Web 2.0 évoque l’utilisation systématique de logiciels sociaux à toutes les étapes du processus d’évaluation. Il implique l’utilisation croissante d’applications informatiques et de smartphones pour faciliter les évaluations. Il s’appuie sur elles pour créer et publier le contenu de l’évaluation. Il permet de rapprocher les évaluateurs et évaluatrices, les gestionnaires de programme et les bénéficiaires et il offre de nouvelles façons de présenter les résultats. Au lieu de rapports longs et volumineux, les commanditaires se verront présenter des présentations virtuelles de textes brefs résumant des perspectives comparatives, des images vivantes et des vidéos, y compris des hyperliens qui permettront d’accéder aux contenus techniques et aux preuves à l’appui.

Le terme Web 3.0 est toujours contesté, mais toutes ses définitions font état du potentiel des moteurs de recherche qui compilent et passent au crible les torrents de données qui circulent actuellement sur le web mondial. D’énormes quantités de données numériques sont constamment créées. Des millions de capteurs sont incorporés dans les téléphones portables, les distributeurs automatiques, les ordinateurs personnels, les tablettes, les véhicules de transport et les machines industrielles. Un volume phénoménal et croissant de données émerge lorsque les individus se déplacent, effectuent des transactions commerciales ou communiquent avec d’autres personnes par courriel, Skype, ou sur les réseaux sociaux. La révolution des Big Data va donc rendre l’évaluation plus agile et plus puissante.

Nouvelles méthodes et normes

L’évolution du contexte opérationnel et les nouvelles orientations politiques esquissées ci-dessus impliquent des ajustements dans les méthodes et les normes. Trois autres défis majeurs doivent également être relevés : le rééquipement pour répondre aux besoins des nouveaux commanditaires, la professionnalisation pour être compétitif sur le marché de l’évaluation et renforcer son indépendance, et la démocratisation pour promouvoir l’intérêt public.

Remise à neuf des outils

Les méthodes traditionnelles d’évaluation du développement reposent souvent sur des chaînes de résultats et des méthodes expérimentales qui évoquent des phénomènes sociaux linéaires, statiques et prévisibles. Elles sont mal adaptées à des contextes dynamiques caractérisés par la complexité, la non-linéarité et l’émergence. Pourtant, le marché de l’évaluation est dominé par des interventions qui sont vulnérables aux changements rapides de l’environnement opérationnel et aux pressions imprévisibles et parfois contradictoires d’un large éventail de parties prenantes.

Lorsque le changement est la seule constante, les valeurs éthiques, plus que les résultats prédéterminés, sont le moteur de l’évaluation. Par conséquent, dans le domaine de l’innovation sociale, le nouveau programme d’évaluation du développement devra être axé sur la valeur sociale et des boucles d’apprentissage plus courtes. La clarification des valeurs humaines permettra d’identifier des objectifs pertinents et de déterminer comment les atteindre, ce qui devrait aider à la prise de décisions idoines, et de définir quelles responsabilités distinctives et obligations réciproques devraient être adoptées.

Compte tenu d’un environnement opérationnel caractérisé par la volatilité et le changement, les essais contrôlés par assignation aléatoire ne seront plus considérés comme l’étalon d’or. Ils seront enfin reconnus comme n’étant qu’un des moyens d’évaluer l’inférence causale (Pearl et MacKenzie, 2018). L’évaluation d’impact partagera la vedette avec les analyses comparatives qualitatives, le suivi des processus, les réseaux bayésiens, etc. Des méthodes qualitatives seront adoptées, notamment les enquêtes, les focus group, les entretiens, les données de suivi, l’analyse comparative et les panels d’experts. La diversité méthodologique mettra les méthodes mixtes au service d’une évaluation sur mesure. Elle adoptera divers modèles d’évaluation – y compris des modèles réalistes, des études de cas, des modèles expérimentaux et quasi-expérimentaux – qui s’appuieront sur des données quantitatives et qualitatives.

Cela sera facilité par une méthode systémique axée sur les perspectives, les limites et les interrelations (Hummelbrunner et Reynolds, 2013). L’analyse des réseaux sociaux s’appuiera sur la sociologie, l’économie, les mathématiques et l’informatique pour cartographier, mesurer, évaluer et représenter les relations entre les individus et les groupes. Enfin, certains utilisateurs de l’évaluation exigeront des connaissances livrées juste à temps pour la prise de décision et rejetteront le rôle distant de l’évaluateur traditionnel du développement. Ce modèle réunira le suivi et l’évaluation, incorporera l’évaluation dans les processus de gestion et répondra à l’évolution des besoins conformément à l’approche de l’évaluation évolutive [developmental evaluation] (Patton, 2011).

L’impératif démocratique

Des forces puissantes ont façonné le monde de la post-vérité. L’évaluation ne constituera pas un contrepoids efficace aux intérêts égoïstes tant qu’elle reste éloignée du modèle démocratique. Selon House (2013), « la confiscation de l’évaluation par ses commanditaires est la plus grande menace que la communauté de l’évaluation ait connue depuis un certain temps. En fait, la crédibilité du domaine est menacée ». Sans éthique, l’institution d’évaluation est construite sur un terrain mouvant et ne peut pas survivre aux inévitables déluges.  L’évaluation fondée sur l’équité deviendra la norme, et les évaluatrices et évaluateurs devront faire preuve de sens politique dans un contexte où la démocratie est menacée.

Les trois approches qui dominent l’évaluation aujourd’hui sont insuffisantes. La première, qui met l’accent sur la responsabilité et la conformité, examine comment les ressources publiques sont utilisées pour atteindre des objectifs qui sont presque toujours fixés par la structure du pouvoir en place. La deuxième est axée sur la recherche en sciences sociales. Elle met l’accent sur les évaluations axées sur l’attribution qui évoquent une approche scientifique objective, mais manque de conscience sociale. La troisième, l’évaluation axée sur l’utilisation, et qui s’apparente au conseil de gestion, a connu un succès remarquable, mais elle souffre souvent d’un manque d’indépendance (Patton, 2008).

Un autre modèle, l’évaluation démocratique, était plein de promesses lorsqu’il est apparu (Simons, 2010). Conçu par feu le professeur Barry MacDonald de l’Université d’East Anglia, il représente un service d’information à la communauté, qui confie aux évaluateurs et évaluatrices le rôle d’intermédiaire entre différents groupes. Il offre la confidentialité aux informateurs et informatrices et leur permet de contrôler l’information. Il ne tire pas de recommandations de ses conclusions (MacDonald, 1979). Cette méthode fonctionne bien dans les environnements où la rationalité de la communication prévaut et où le discours éthique influence la prise de décision. Mais, compte tenu de sa position neutre de courtage, elle est mal adaptée aux contextes où elle est la plus nécessaire, dont notamment le monde de la post-vérité.

Pour promouvoir les intérêts des moins fortunés, House a affiné le modèle de MacDonald. Son modèle met l’accent sur trois principes : l’inclusion (travailler avec des groupes sous-représentés et impuissants), le dialogue (amener les parties prenantes à se comprendre) et la délibération (débat rationnel sur les questions, les valeurs et les conclusions). Dans cette incarnation révisée, « l’évaluateur ou l’évaluatrice n’est pas un-e spectateur/-trice passif/-ve, un-e facilitateur/-trice innocent-e ou un-e philosophe qui prend des décisions pour les autres, mais plutôt un-e professionnel-le consciencieux/-cieuse qui adhère à des principes mûrement réfléchis » (House et Howe, 1999). Il ne fait aucun doute que cette position militante est mieux adaptée aux environnements qui sont partiellement démocratiques.

Toutes les approches d’évaluation démocratique existantes sont entravées dans des contextes de post-vérité qui ne tolèrent pas la dissidence et qui sont donc étroitement contrôlés par les commanditaires de l’évaluation. Dans de telles situations, les progrès vers des idéaux démocratiques libéraux exigent un autre modèle : l’évaluation démocratique indépendante (Picciotto, 2015). Les évaluateurs et évaluatrices opérant selon ce modèle tireraient parti de l’influence croissante des parlementaires et de la société civile.

Ils et elles s’approprieraient les produits de l’évaluation et refuseraient les missions destinées à informer des responsables de l’intervention évaluée, rendant plutôt compte à une autorité suprême, comme un conseil d’administration ou un parlement, ou à des entités indépendantes de l’intervention, comme une ONG.

Professionnaliser l’évaluation

À l’heure actuelle, le grand public est mal informé de ce que représente l’évaluation. Les évaluateurs et évaluatrices sont régulièrement confondu-e-s avec les auditeurs/-trices et les chercheurs et chercheuses en sciences sociales. L’éducation et la formation en matière d’évaluation sont rares. La discipline n’est pas encore parvenue à un accord universel sur les principes directeurs, les directives éthiques et les compétences requises. Les évaluateurs et évaluatrices ne contrôlent pas l’accès à ce titre. Par conséquent, la qualité du travail d’évaluation est très variable. N’importe qui peut se présenter comme évaluateur ou évaluatrice.

En un mot, les évaluateurs et évaluatrices n’ont toujours pas le statut, le prestige et l’autonomie d’une profession. À l’avenir, les associations d’évaluation auront fort à faire pour accroître leur influence dans l’environnement opérationnel de la post-vérité. Elles devront plaider et œuvrer à la création d’un plus grand nombre d’évaluateurs et d’évaluatrices compétent-e-s en élargissant l’accès à des programmes d’éducation et de formation de grande qualité, tout en concevant et en mettant en œuvre des systèmes de certification d’évaluation, et en défendant la marque de l’évaluation en s’engageant dans des actions de plaidoyer auprès d’un plus grand nombre de client-e-s.

L’amélioration de la connectivité des évaluateurs et évaluatrices du développement au-delà des frontières ne sera possible que si des liens systématiques sont établis entre les groupes d’intérêt thématiques hébergés par les associations d’évaluation. À leur tour, les communautés épistémiques qui en résultent devront sortir de leurs cloisonnements disciplinaires, s’ouvrir aux professions connexes (comme l’administration publique, le conseil en gestion et l’audit) et contribuer à combler le fossé entre la théorie des sciences sociales et la recherche comportementale (Vaessen et Leeuw, 2010). […]

Bibliographie

Chelimsky, Eleanor, et William R. Shadish. 1997. Evaluation for the 21st century. London and Thousand Oaks: Sage Publications.

Davis, Evan. 2017. Post truth: Peak bullshit and what We can Do about It. London: Little Brown.

House, Ernest R. 2013. « Evaluation’s conflicted future ». P. 64 in The future of evaluation in society: A tribute to Michael Scriven, édité par S. I. Donaldson.

House, Ernest R., et Kenneth R. Howe. 1999. Values in Evaluation and Social Research. 1re éd. Thousand Oaks: Sage Publications.

Hummelbrunner, Richard, et Martin Reynolds. 2013. « Systems thinking, Learning and values in evaluation ». Evaluation connections: The European Evaluation Society Newsletter 9‑10.

Liebenthal, Andrès, Osvaldo N. Feinstein et Gregory K. Ingram. 2004. « Evaluation and development: The partnership dimension ». in World Bank series on evaluation and development. New Brunswick and London: Transaction Publishers.

MacDonald, Barry. 1979. Democracy and evaluation. Mimeo, Centre for applied research in evaluation. University of Anglia.

Patton, Michael Q. 2008. Utilization-focused evaluation. 4e éd. Los Angeles: Sage Publications.

Patton, Michael Q. 2011. Developmental evaluation, applying complexity concepts to enhance innovation and us. New York and London: The Guilford Press.

Pearl, Judea, et Dana MacKenzie. 2018. The book of why: The New science of cause and effect. UK: Allen Lane, Penguin Random House.

Picciotto, Robert. 2015. « Democratic evaluation for the 21st century ». Evaluation 21(2) : 150‑66.

Simons, Helen. 2010. Democratic evaluation: Theory and practice. Virtual Evaluation Conference.

Vaessen, Jos, et Frans L. Leeuw. 2010. Mind the gap: Perspectives on policy evaluation and the social sciences. 1re éd. New Brunswick: Transaction Publishers.