6. Vers une évaluation post-normale?

[Traduit de : Schwandt, Thomas A. 2019. « Post-normal evaluation? ». Evaluation, 25(3) : 317-329 (Extraits). Traduction de Carine Gazier et Agathe Devaux-Spatarakis; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

[…] Je suis conscient du danger d’affirmer que l’on peut parler d’évaluation normale ou typique, étant donné la prolifération des démarches et pratiques d’évaluation dans le monde entier. Pourtant, les définitions officielles et les énoncés de mission des associations et sociétés d’évaluation, ainsi que les politiques et les cadres d’évaluation tels qu’ils ont été définis par les grandes organisations, notamment la Commission Européenne, la Banque mondiale, l’Agence des États-Unis pour le Développement International (USAID), le Ministère du Développement International du Royaume-Uni et le Groupe des Nations Unies pour l’Évaluation, font preuve d’une remarquable cohérence dans la définition de l’évaluation et du rôle qu’elle joue dans la société.

Du point de vue de la gouvernance, l’évaluation normale est une pratique qui s’intègre dans et qui promeut un mode de gouvernance axé sur l’intervention auprès des citoyens (delivery mode of governance) : les citoyennes et citoyens sont les destinataires, les bénéficiaires des interventions sociales, économiques et environnementales que leur adresse le gouvernement. L’évaluation vise à évaluer le succès de ces interventions en tant que solutions aux problèmes de la société. Stame et Furubo (2019) ont récemment décrit trois hypothèses centrales de l’évaluation normale, bien qu’ils n’aient pas utilisé cette appellation : (1) l’élaboration des politiques publiques se fait par le biais d’interventions ciblant des problèmes sociaux spécifiques (par opposition à la vision de la gouvernance comme une lutte continue avec des problèmes complexes interdépendants) et l’évaluation est un outil permettant d’améliorer les interventions existantes, (2) l’environnement politique est supposé être relativement stable, et (3) l’évaluation des interventions passées est un atout clé pour acquérir des connaissances en vue d’interventions futures. Dans le cadre de son alliance avec les mécanismes de gouvernance, la pratique de l’évaluation s’est généralement engagée directement ou indirectement dans les idées du libéralisme ou du néolibéralisme, en établissant la valeur des solutions étatiques ou marchandes visant à résoudre des problèmes sociaux, économiques et environnementaux.

L’évaluation normale est liée aux notions de rationalité scientifique, de progrès social, d’efficacité et d’efficience des programmes sociaux, ainsi qu’à l’idéologie générale de la modernisation. Comme l’a souligné Peter Dahler-Larsen (2012), l’évaluation est véritablement moderne dans son ambition, dans sa croyance optimiste en la possibilité d’améliorer la société par la collecte de données et la prise de décisions rationnelles. Depuis ses débuts, l’évaluation normale s’est préoccupée des questions de rigueur, d’indépendance, de responsabilité, de cadres logiques (et leur raffinement connu sous le nom de théorie du changement), de résultats mesurables et d’aide à la minimisation des risques. Plus précisément, l’évaluation a généralement été considérée comme un moyen fiable d’assurer une certaine certitude dans l’appréciation de la valeur. Elle s’est enorgueillie de sa capacité à fournir des déterminations indépendantes, externes et expertes de la valeur en utilisant la logique unique de l’évaluation. Il s’agit d’établir une base de données probantes sur les meilleures pratiques qui aident à atteindre les buts et les cibles fixés tout en prenant en compte les effets intentionnels et non intentionnels des programmes et des politiques (bien que, entre parenthèses, je pourrais noter que les effets les plus importants de nos choix et de nos décisions sont précisément ceux qui sont considérés comme non intentionnels ou secondaires dans le langage d’Ulrich Beck).

Au risque de caricaturer (et en empruntant une métaphore utilisée récemment par l’un de mes collègues), l’évaluation normale a cherché à jouer le rôle de chien de garde et de chien-guide scientifique, en veillant à ce que la prise de décision démocratique prenne en compte des résultats valides et fiables quant à la valeur des politiques publiques et en produisant ces mêmes résultats. Elle a eu pour souci d’éviter de jouer le rôle de chien « à la botte », c’est-à-dire en résistant à la pression d’agir comme un partenaire soumis à la direction et aux commanditaires en ne leur apportant que des bonnes nouvelles sous un vernis scientifique.

L’évaluation normale est également, à quelques exceptions près, institutionnalisée et a acquis le statut d’industrie dirigée par de grands commissaires et prestataires (par exemple, le Groupe Indépendant d’Évaluation de la Banque Mondiale, l’Unité Indépendante d’Évaluation du Fonds vert pour le Climat, le Bureau Indépendant d’Évaluation du Programme des Nations Unis pour le Développement (PNUD), l’Unité Indépendante d’Évaluation de la Banque Asiatique de Développement, le Bureau Indépendant d’Évaluation du Fonds International pour le Développement Agricole). Cette institutionnalisation est également évidente dans le dispositif d’évaluation de la Commission Européenne, dans une variété d’efforts de renforcement des capacités d’évaluation parrainés par des fondations, des agences des Nations Unies et d’autres organisations; ainsi que dans le cadre des efforts visant à formuler des politiques d’évaluation gouvernementales, comme le préconisent, par exemple, l’American Evaluation Association’s Evaluation Policy Initiative [Initiative sur les politiques d’évaluation de l’Association américaine d’évaluation] et le Global Parliamentarian Forum for Evaluation [Forum parlementaire mondial pour l’évaluation].

Une évaluation post-normale?

Les caractéristiques du zeitgeist (esprit du temps) identifiées précédemment remettent en question cette conception normale de l’évaluation. En d’autres termes, ma question est la suivante : « Les schémas directeurs de la modernité pour la théorie et la pratique de l’évaluation sont-ils épuisés? ». Assistons-nous peut-être à l’émergence d’une « évaluation post-normale? ». J’ai emprunté l’idée d’évaluation post-normale à la littérature sur la science post-normale : le concept de post-normal a été introduit pour la première fois par Jerôme Ravetz, le célèbre philosophe des sciences britannique, et le mathématicien argentin Silvio Funtowicz (Funtowicz et Ravetz, 1993). Ils ont fait valoir que l’ancienne image de la science, où les données empiriques aboutissaient à des conclusions incontestables et où le raisonnement scientifique aboutissait à corriger les politiques publiques, n’était plus plausible. En d’autres termes, la science ne fonctionnait plus de manière « normale ». Ils notent « chaque fois qu’un enjeu de politique publique implique la science, nous découvrons que les faits sont incertains, que la complexité est la norme, que les valeurs sont contestées, que les enjeux sont élevés, que les décisions sont urgentes et qu’il existe un réel danger que les risques causés par l’homme échappent à tout contrôle » (p. 737).

Ils ont décrit ces développements émergents en termes de « science post-normale », désormais un domaine d’étude établi. Les philosophes et spécialistes des sciences sociales ont étendu la science post-normale à l’ensemble de la société en utilisant l’expression « époque post-normale » et en soulignant la complexité, le chaos et les contradictions comme caractéristiques de cette époque (voir Sardar, 2010).

Avant de spéculer sur les grandes lignes de la théorie et de la pratique de l’évaluation post-normale, je propose quelques mises en garde : premièrement, je ne parle pas d’une révolution dans la théorie et la pratique de l’évaluation. Plus simplement, je suggère qu’un remaniement important de la théorie et de la pratique de l’évaluation pourrait être en cours, et que d’autres pourraient encore survenir. Comme l’a souvent dit Sherlock Holmes (en citant Shakespeare), « le jeu est en marche ». Le terrain montre déjà quelques signes de pensée post-normale, pour ainsi dire. L’intérêt croissant pour l’évaluation du développement en est un exemple, tout comme l’influence des idées issues de la pensée systémique et de la science de la complexité sur la pratique de l’évaluation, comme en témoignent le nombre croissant de publications consacrées à ce sujet, en particulier dans cette revue (par exemple Gerrits et Verweij, 2015; Larson, 2018). Le document récemment publié « Principles for Effective Use of Systems Thinking in Evaluation Practice »^[1] [Principes pour une utilisation efficace de la réflexion en termes de systèmes dans les pratiques d’évaluation] du Systems in Evaluation Topical Interest Group [Groupe d’intérêt thématique sur les systèmes en évaluation] de l’American Evaluation Association en est un autre exemple. D’autres signes de la pensée post-normale incluent l’initiative d’évaluation Sud-Sud lancée en 2017 qui vise à remédier aux asymétries de longue date dans les pratiques mondiales d’évaluation, ainsi que l’initiative du Comité d’aide au développement (CAD) de l’Organisation de coopération et de développement économiques (OCDE), qui parraine un examen des critères du CAD en vigueur depuis longtemps, bien que l’on puisse se demander si cette dernière évolution mène à une pensée post-normale (voir, par exemple, le blog de Zenda Ofir « Evaluation for Development »^[2][l’évaluation pour le développement].

Deuxièmement, il existe de multiples communautés d’évaluation, par exemple l’évaluation en matière de développement, l’évaluation environnementale, l’évaluation axée sur la gouvernance, l’évaluation engagée vis-à-vis des savoirs autochtones, etc. Chacune de ces communautés pourrait bien trouver une importance ou un intérêt différent dans les aspects de l’évaluation post-normale, comme nous le verrons plus loin.

Enfin, il est peu probable que l’évaluation post-normale marque une rupture radicale avec l’évaluation normale. En empruntant et en étendant l’idée de Baumann (2000) selon laquelle la modernité a une nature ambivalente et double, je crois que nous pourrions dire la même chose de la pratique de l’évaluation. D’une part, elle se caractérise en grande partie par un besoin d’ordre, pour définir, apprécier et rationaliser le monde pour qu’il soit contrôlable, prévisible et compréhensible. Cette tendance à l’ordre et à la rationalisation est la force caractéristique de la modernisation. D’autre part, l’évaluation normale est, depuis un certain temps, également caractérisée par le changement, par de nouvelles façons de penser qui remettent en question cette tendance de rationalisation et qui critiquent fortement et cherchent à renverser les pratiques et les formes traditionnelles d’évaluation, comme cela est peut-être plus évident dans certaines formes d’évaluations transformatives et sensibles aux différences culturelles.

Indices d’une évaluation post-normale

La première indication est vraiment une question sur l’idée même d’innovation en évaluation, à savoir : « la stratégie a-t-elle remplacé la substance dans le discours en évaluation? ». C’est-à-dire, les principales préoccupations du domaine de l’évaluation portent-elles vraiment sur la manière dont les évaluateurs font leur travail, ou bien plutôt sur ce en quoi ce travail consiste? La justification centrale de l’évaluation – l’établissement de la valeur – ne devrait-elle pas signifier quelque chose qui ne soit pas seulement quantitatif et instrumental, mais qui soit qualitatif et substantiel? Définir la valeur ne devrait-il pas contribuer de manière significative et directe aux débats sur l’avenir de la société, plutôt que de se résumer à une question de contrôle et de jugement de la performance des interventions? L’innovation en matière d’évaluation se limite-t-elle vraiment à la façon dont le travail est effectué, à la méthode? Un récent webinaire sur les innovations en matière d’évaluation parrainé par Better Evaluation [Meilleure Évaluation], le Fonds des Nations Unies pour l’enfance (UNICEF) et EVALSDG en est un exemple. La promotion du webinaire affirmait :

Lorsque les outils, les processus, les méthodes et les systèmes d’évaluation existants ne suffisent pas, vous devez tirer parti des innovations en matière d’évaluation, et les innovations discutées étaient la théorie négative du programme [negative program theory], les modèles logiques à trois rangées, la répétition des données [data rehearsal], le big data, la collecte, la désagrégation et l’établissement de rapports par sous-groupes, et les rubriques.

Je ne dis pas que l’innovation technique n’est pas nécessaire, mais seulement qu’elle est loin d’être suffisante pour relever les défis actuels. Les deux indications suivantes concernent la façon dont nous comprenons la notion de résilience.

Penser une gouvernance fondée sur la résilience

La résilience est généralement définie comme la capacité des individus et des sociétés à se rétablir, à s’adapter et à prospérer face aux difficultés. Mais David Chandler (2014b) dans son livre Resilience: The Governance of Complexity [Résilience : La Gouvernance de la Complexité], et dans des articles connexes (Chandler, 2014a) conçoit la résilience comme un mode de pensée et d’action fondé sur une ontologie de la complexité émergente.  L’idée que la vie, le fait d’exister, est un phénomène complexe, relationnel, intégré et contextuel.

Cette perspective sur le monde est en contradiction avec une ontologie moderniste qui cherche à le comprendre au regard de ses entités, de leurs propriétés et de leurs relations. Sans complexité émergente, pour Chandler (2014a), il n’y a pas besoin de résilience. Selon lui,

le raisonnement en termes de résilience ne devrait pas être compris de manière étroite, comme un simple renforcement des capacités des individus et des sociétés… mais, plus largement, comme une conception de la gouvernance qui s’éloigne de la compréhension moderniste d’un gouvernement agissant de manière instrumentale dans un monde où les politiques publiques pourraient se réduire à de simples relations de cause à effet » (p.58).

Selon cette conception de la résilience, la gouvernance passe d’un mode d’intervention (delivery mode) – avec des politiques instrumentales axées sur l’offre et les objectifs – à un mode relationnel – une gouvernance fondée sur la compréhension des processus et des capacités qui existent déjà et sur la manière dont ils peuvent être intégrés dans la conception des politiques publiques. Cela marque un passage de l’évaluation normale, fondée sur l’idée d’observations et de mesures  indépendantes, à l’évaluation en tant qu’intervention systémique : une action visant intentionnellement à produire du changement, en relation avec une réflexion sur les limites (Midgley, 2000). Ces limites déterminent quelles observations empiriques et quelles considérations de valeur peuvent être considérées comme pertinentes et lesquelles sont laissées de côté ou considérées comme moins importantes. L’évaluation post-normale génère des connaissances concrètes et pratiques et est donc plus proche d’une orientation de recherche-action que d’une évaluation indépendante générée par des experts (Chandler, 2014b).

Le retour de la politique au peuple

L’évaluation normale est associée à l’idée d’un discours démocratique se déroulant dans la sphère politique formelle de la prise de décision. Les savoirs issus de l’évaluation alimentent et informent le processus de prise de décision et la formation de la volonté démocratique collective (Chandler 2014b; voir aussi Dzur 2008). C’est l’hypothèse qui sous-tend l’objectif souvent cité de l’évaluation au service du progrès social, ainsi que les efforts visant à renforcer les capacités d’évaluation nationales, comme le font, par exemple, EvalPartners et le PNUD.

En revanche, dans une conception relationnelle de la gouvernance (par opposition à un mode d’intervention), la politique revient au peuple, à la sphère des pratiques, des interactions et des représentations quotidiennes (Chandler, 2014b). On bascule vers une conception de la démocratie comme un mode de vie – comme le disait John Dewey – plutôt que comme ensemble des caractéristiques de la politique formelle. C’est le domaine du travail public. Il est « public » au sens où il est visible, ouvert à l’inspection, et son importance est largement reconnue. Il s’agit d’un travail civique coopératif d’« un public : un mélange de personnes dont les intérêts, les origines et les ressources peuvent être très différents » (Dzur, 2008). La notion de travail public va au-delà de l’idée de délibération publique. Il suscite l’espoir que les citoyen-ne-s agissent en tant que co-créateurs et co-créatrices d’un monde public, en produisant ensemble une vie publique (Dzur, 2008). À mesure que la politique revient au peuple, la position professionnelle indépendante caractéristique de l’évaluation normale cède la place à un rôle d’évaluateur/-trice en tant que facilitateur/-trice du débat public de manière à partager le pouvoir et la responsabilité avec les citoyens (Schwandt 2017, 2018). Le politiste Albert Dzur (2008 : 130) définit ce rôle en termes de « professionnalisme démocratique » : [il s’agit de] « Partager des tâches auparavant professionnalisées et encourager la participation des profanes de manière à améliorer et à permettre un engagement public plus large et une délibération sur les grandes questions sociales à l’intérieur et à l’extérieur des domaines professionnels ».

Retrouver un raisonnement pratique

Le retour de la politique au peuple a pour corollaire le retour de l’importance du raisonnement pratique comme antidote à l’acceptation inébranlable du raisonnement scientifique dans l’élaboration des politiques publiques. Une des caractéristiques de notre époque est l’acceptation d’une rationalité qui s’appuie sur les sciences naturelles et l’économie, à l’exclusion de l’histoire, de la culture et de la politique, en bref, une rationalité scientifique « déconnectée de l’expérience, de l’empathie et de tout fondement moral » (Sarewitzd, 2011). Lorsque le raisonnement pratique est compris comme étant situé au sein des communautés politiques, lorsque le raisonnement n’est pas considéré en termes de rationalité technocratique et bureaucratique, mais comme étant inséparable de la façon dont nous considérons les gens et ce qu’ils font dans la vie quotidienne et dans la vie publique (Edmonson et Hüsler, 2012), nous comprenons alors comment le raisonnement scientifique doit intégrer la rationalité telle qu’elle est comprise dans les contextes sociaux, moraux et historiques. Le raisonnement pratique est précisément ce qui est nécessaire dans les situations où des décisions ou des actions sont requises, mais les connaissances sont en constante évolution et insuffisantes, et où les attentes des experts et de la vie quotidienne ne sont pas en mesure de fournir une orientation claire. Les problèmes que l’évaluation tente d’aborder à sa manière unique n’ont pas de solutions toutes faites et exigent des réponses combinant des capacités cognitives, émotionnelles, sociales, politiques et morales (Edmonson, 2012). L’évaluation post-normale alimente le raisonnement pratique plutôt que la rationalité scientifique. L’évaluation post-normale ne vise pas à devenir une science ou une technologie encore plus forte, mais un exercice de phronesis – c’est-à-dire un moyen moral et pratique de délibérer et d’agir en rapport avec des questions de fond dans la vie quotidienne.

Coproduction

Un cinquième indice d’une évolution vers l’évaluation post-normale, étroitement lié aux deux précédentes, est la prise de conscience de l’importance du phénomène connu sous le nom de coproduction, introduit initialement par la regrettée Eleanor Ostrom (1996). Certes, ce terme a de multiples significations dans l’élaboration des politiques publiques, la gouvernance et la recherche dans différents domaines. Dans le domaine des soins de santé, par exemple, la coproduction est décrite comme un moyen de travailler ensemble à l’amélioration de la santé et de créer des services de santé pilotés par les utilisateurs et centrés sur les personnes. Au Royaume-Uni, la coproduction est devenue un terme courant dans le discours du gouvernement et des politiques publiques. Je m’intéresse à la coproduction en tant que moyen de redéfinir la relation entre les professionnels du service public et les citoyens. La mutualité et la réciprocité remplacent la relation de dépendance du bénéficiaire ou de l’usager-e vis-à-vis de l’expert-e. Les citoyen-ne-s ne sont pas de simples bénéficiaires de services fournis par des expert-e-s, mais aussi des collaborateurs et collaboratrices qui apportent leurs connaissances, leur expérience, leurs compétences et leurs capacités à la création d’innovations sociales. Elle s’oppose à une méthode de prestation de services dans laquelle les citoyen-ne-s consomment des services publics conçus et fournis par les pouvoirs publics. La coproduction est également un espace d’exploration et un processus génératif qui conduit à des formes différentes, et parfois inattendues, de connaissances, de valeurs et de relations sociales. Ces processus dynamiques prennent la forme d’interactions entre les individus et les services, et impliquent des interactions entre les différentes logiques de participation et d’agendas politiques, entre  différents modes de production de connaissances et entre différents types de valeurs (par exemple, l’économie, l’équité, la justice sociale; Filipe, Renedo, et Marston, 2017).

Responsabilité éthique

Le dernier marqueur de l’évaluation post-normale est la découverte du rôle central de l’éthique dans l’action et la production de connaissances. Il ne s’agit pas ici de l’interrelation bien connue entre la politique et l’éthique, que l’on retrouve dans le sens de l’obligation démocratique de la profession « de mener des évaluations défendables, justes et équitables dans des contextes politiques où les valeurs et les intérêts des différentes parties prenantes sont souvent en conflit » (Simons, 2006 : 255), ni de l’accent habituel sur les vertus éthiques dont le professionnel doit faire preuve (l’honnêteté, l’intégrité, etc.). Je ne m’intéresse pas non plus ici à la question familière de savoir si la production de connaissances scientifiques est, de quelque manière que ce soit, soumise à des jugements de valeur morale, sociale ou politique. Cela renvoie essentiellement à la question de longue date de la neutralité des valeurs et du problème qui se pose lorsque les pratiques se revendiquant de l’évaluation et de la science deviennent des formes d’activisme politique ou de défense des intérêts. Ce qui m’intéresse, ce sont les considérations éthiques inhérentes à la production de connaissances en évaluation.

Pour reprendre une idée défendue par feu Paul Cillers (2005) et par d’autres, accepter une ontologie de la complexité émergente transforme la façon dont nous pensons la connaissance. La considération éthique liée à la production de connaissances est la suivante : le fait de ne pas reconnaître l’incertitude et la complexité n’est pas simplement une erreur technique, c’est aussi une erreur éthique. C’est un échec éthique lorsque nous n’assumons pas la responsabilité de notre savoir. L’éthique n’est pas quelque chose qui vient s’ajouter à notre compréhension du monde. L’éthique fait déjà partie intégrante de ce que nous faisons.

Les partisans et partisanes de l’analyse en termes de systèmes l’ont dit à maintes reprises, mais il convient de le répéter : on ne peut pas étudier une situation dans son intégralité. Il faut choisir ce qui est inclus et ce qui est exclu, ce qui est important et ce qui ne l’est pas. Nous « cadrons » (frame) une situation d’une certaine façon afin de la comprendre. Un cadre est une perspective qui permet d’aborder une situation d’une manière particulière. Le cadrage implique de fixer des limites et donc d’imposer des limites à notre compréhension. Et lorsque nous avons affaire aux limites de notre compréhension, nous avons affaire à l’éthique (Cillers, 2005 : 261). Puisque des limites doivent être fixées, l’évaluateur ou l’évaluatrice, en tant que professionnel-le, assume la responsabilité des conséquences de l’établissement de limites d’une manière particulière. Comme l’a expliqué Werner Ulrich, les évaluatrices et évaluateurs professionnel-le-s et les chercheurs et chercheuses en sciences sociales ne peuvent justifier leurs affirmations sur le cadrage et la fixation de limites sur la base de leur expertise théorique et méthodologique.  En effet, si tel était le cas, nous céderions l’autorité à ces professionnel-le-s, car ils et elles doivent certainement savoir mieux que les gens ordinaires ce qui est le mieux pour tout le monde. Pour ce qui est d’obtenir et d’offrir des jugements sur les limites, les évaluateurs et évaluatrices n’ont aucun avantage de principe sur les citoyen-ne-s ordinaires. Ce qu’ils et elles ont, c’est une obligation éthique, en tant que professionnel-le-s, de poursuivre une « approche autoréflexive, autocorrective et auto-limitative de l’enquête… qui remet en question toutes les sources imaginables de tromperie », par exemple, dans ses présuppositions, ses méthodes et ses procédures, ses résultats et la traduction de ces résultats en affirmations évaluatives (Ulrich, 2017). […]

Bibliographie

Baumann, Zygmunt. 2000. Liquid Modernity. Cambridge: Policy Press.

Chandler, David. 2014a. « Beyond neoliberalism: Resilience, the new art of governing complexity ». Resilience: International Policies, Practices and Discourses 2:47‑63. doi : https://doi.org/10.1080/21693293.2013.878544.

Chandler, David. 2014b. Resilience: The Governance of Complexity. London: Routledge.

Cillers, Paul. 2005. « Complexity, deconstruction and relativism ». Theory, Culture & Society 22(5):255‑67. doi : https://doi.org/10.1177%2F0263276405058052.

Dahler-Larsen, Peter. 2012. The Evaluation Society. Stanford: Stanford University Press.

Dzur, Albert W. 2008. Democratic Professionalism. University Park: University of Pennsylvania Press.

Edmonson, Ricca. 2012. « Practical reasoning in place tracing “wise” inferences in everyday life ». in Politics of Practical Reasoning, édité par R. Edmonson et K. Hüsler. Lanham: Lexington Books, p. 111‑30.

Edmonson, Ricca, et Karlheinz Hüsler, éd. 2012. Politics of practical reasoning. Lanham: Lexington Books.

Filipe, Angela, Alicia Renedo et Cicely Marston. 2017. « The co-production of what? Knowledge, values, and social relations in health care ». PLoS Biology 15(5). doi : https://doi.org/10.1371/journal.pbio.2001403.

Funtowicz, Silvio O., et Jerome R. Ravetz. 1993. « Science for the post-normal age ». Futures 31 : 735‑55.

Gerrits, Lasse, et Stephan Verweij. 2015. « Taking stock of complexity in evaluation: A discussion of three recent publications ». Evaluation 21(4) : 4821‑4491. doi : https://doi.org/10.1177%2F1356389015605204.

Larson, Ann. 2018. « Evaluation amidst complexity: Eight evaluation questions to explain how complex adaptive systems affect program impact ». Evaluation 24(3) : 353‑62. doi : https://doi.org/10.1177/1356389018781357.

Midgley, Gerald. 2000. Systemic Intervention. New York: Springer.

Ostrom, Elinor. 1996. « Crossing the great divide: Coproduction, synergy, and development ». World Development 24(6) : 1073‑87. doi : https://doi.org/10.1016/0305-750X(96)00023-X.

Sardar, Ziauddin. 2010. « Welcome to postnormal times ». Futures 42 : 435‑44.

Sarewitzd, Daniel. 2011. « Liberalism’s modest proposal or, the tyranny of scientific rationality ». Breakthrough Journal.

Schwandt, Thomas A. 2017. « Professionalization, Ethics, and Fidelity to an Evaluation Ethos ». American Journal of Evaluation 20(10) : 1‑8. doi : https://doi.org/10.1177/1098214017728578.

Schwandt, Thomas A. 2018. « Acting together in determining value: A professional ethical responsibility of evaluators ». Evaluation 24(3) : 306‑17. doi : https://doi.org/10.1177%2F1356389018781362.

Simons, Helen. 2006. « Ethics in evaluation ». in The SAGE handbook of evaluation, édité par I. F. Shaw, J. C. Greene et M. M. Mark. Thousand Oaks: Sage Publications, p. 243‑65.

Stame, Nicoletta, et Jan Eric Furubo. 2019. « Preface ». in The Evaluation Enterprise, édité par J. E. Furubo et N. Stame. New York: Routledge, p. 14‑25.

Ulrich, Werner. 2017. « If systems thinking is the answer, what is the question? Discussions on research competence (Expanded and updated version of Working Paper No.22, Lincoln School of Management, University of Lincoln, Lincoln, UK, 1998) ».