2. Le bon, la bête et l’évaluateur : 25 ans d’éthique dans l’American Journal of Evaluation

[Traduit de : Morris, Michael. 2010. « The Good, the Bad, and the Evaluator: 25 Years of AJE Ethics ». American Journal of Evaluation, 32(1) : 134-151 (Extraits). Traduction par Carine Gazier et Thomas Delahais; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

Au cours du dernier quart de siècle, d’importants progrès ont été accomplis dans le domaine de l’éthique de l’évaluation. Il s’agit notamment de la publication des versions originales et révisées des « Principes directeurs » à l’intention des évaluateurs et des évaluatrices (American Evaluation Association, 1995, 2004), des deuxième et troisième éditions des Normes d’évaluation des programmes (Joint Committee on Standards for Educational Evaluation 1994; Yarbrough et al., 2011), le premier (et jusqu’à présent le seul) texte consacré à l’éthique de l’évaluation des programmes (Newman et Brown, 1996), de chapitres sur l’éthique dans les principaux manuels dans le champ de l’évaluation (par exemple Morris, 2003; Simons, 2006; Wolf, Turne, et Toms, 2009), ainsi que le lancement de la section Défis éthiques de l’American Journal of Evaluation (Morris, 1998) et l’ajout d’un module de formation à l’éthique sur le site Web de l’American Evaluation Association. Depuis 2000, chaque numéro de l’American Journal of Evaluation contient, sous une forme abrégée, les « Principes directeurs » pour les évaluateurs et les évaluatrices. Cet essai explore, d’un point de vue thématique, les contributions des auteurs de l’AJE à notre compréhension de l’éthique de l’évaluation. Cette revue porte sur tous les numéros d’Evaluation Practice (EP) de 1986 à 1997, et de l’American Journal of Evaluation (AJE) de 1998 à juin 2010, avec d’autres sources citées le cas échéant. C’est un voyage intéressant.

S’orienter

Le terme « éthique » a au moins trois significations pertinentes pour cet article (Newman et Brown, 1996 : 20). Au niveau le plus général, l’éthique se réfère aux principes de base du comportement moral – « ce qui est bon et ce qui est mauvais » – qui sont considérés comme s’appliquant largement. Un deuxième sens porte sur les « principes de conduite élaborés par et pour les membres d’une profession particulière » (Morris, 2008 : 2). Enfin, l’étude des valeurs, des croyances et des actions des individus en rapport avec les préoccupations morales représente un troisième sens de l’éthique.

L’étude de l’EP/AJE fournit des exemples des trois utilisations. De temps en temps, un auteur ou une autrice présente un commentaire ou un paragraphe sur l’éthique dans un article qui, autrement, ne vise pas explicitement ce domaine. Par exemple, dans ses recommandations pour les relations avec les médias lors de la diffusion des résultats, Mangano (1991) insiste sur le fait de « ne jamais mentir à un journaliste » (p.119). Hurwith et Sweeney (1995), en discutant de l’utilisation d’images visuelles dans l’évaluation, demandent « Quelles questions éthiques faut-il prendre en considération en ce qui concerne les photographies? » (p.163). Et Morabito (2002), en proposant le rôle de « conseiller organisationnel » comme moyen d’élargir l’influence du processus d’évaluation, note que « l’évaluateur ne devrait pas « conseiller » des individus au sein de l’organisation; c’est le travail de professionnels certifiés…. Le fait d’assumer le rôle de conseiller organisationnel en soi crée des problèmes d’éthique et de frontières » (p.329). De brèves références comme celles-ci avertissent le lecteur ou la lectrice que « quelque chose se trame » dans le domaine du bien et du mal, mais qu’il n’y aura pas d’exploration approfondie, souvent parce que la question morale en cause est considérée comme évidente (par exemple, mentir est mal), ou que la préoccupation éthique est perçue comme tangente à l’essentiel de l’article.

Il n’est pas surprenant que les questions d’éthique apparaissent le plus souvent dans EP/AJE lorsque les auteurs et autrices utilisent des principes et des normes professionnels particuliers dans leur analyse ou soulèvent des questions qui ont des implications majeures pour ces principes et normes (deuxième sens de l’éthique). Dans la première catégorie rentrent la plupart des essais de la série Défis éthiques, dans lesquels les commentateurs et commentatrices sont prié-e-s d’examiner un scénario d’évaluation du point de vue des principes directeurs à l’intention des évaluateurs et des évaluatrices et/ou des standards de l’évaluation de programme. Les articles qui examinent l’évaluation dans des environnements hautement politisés comme le gouvernement fédéral (Chelimsky, 2008), soutiennent que les évaluateurs et les évaluatrices ont la responsabilité de servir de critiques moraux des programmes sociaux (Schwandt, 1992) ou de démontrer que l’évaluation devrait faire progresser la cause de la justice sociale en incluant de façon proactive les intervenants et intervenantes marginalisé-e-s (Mertens, 1999, 2001).

Enfin, un petit nombre d’enquêtes empiriques menées dans PE/AJE ont porté sur des questions importantes en matière d’éthique de l’évaluation. Walker, Hoggart et Hamilton (2008) se sont servis d’observations, d’entretiens en face-à-face et téléphoniques et de groupes de discussion pour explorer les perceptions que les usagers et usagères ainsi que le personnel avaient de la mise en œuvre du consentement éclairé dans le cadre de l’expérimentation d’une politique sociale à grande échelle au Royaume-Uni. Un autre exemple est Penuel, Sussex, Korbak et Hoadley (2006), qui ont interviewé des directeurs/-trices d’école, des enseignant-e-s et des chef-fe-s d’établissement pour recueillir leurs réactions à l’utilisation potentielle de l’analyse des réseaux sociaux comme méthode d’évaluation des données dans les écoles. La protection de la vie privée est apparue comme une préoccupation importante, ce qui, à son tour, pose un défi éthique aux évaluateurs et évaluatrices qui souhaitent utiliser cette méthodologie dans leur travail.

La rareté des recherches sur l’éthique signalées dans l’EP/AJE au fil des ans ne signifie pas nécessairement que ce sujet soit négligé. En général, on manque dans la littérature évaluative d’études empiriques du champ, bien que la situation s’améliore. Comme l’ont fait remarquer Henry et Mark (2003), « il y a une grave pénurie de preuves rigoureuses et systématiques qui peuvent guider l’évaluation ou que les évaluateurs et les évaluatrices puissent utiliser pour renforcer leur réflexivité ou améliorer leur prochaine évaluation » (p.63). À cet égard, du moins, l’éthique de l’évaluation voyage en bonne compagnie.

Bien entendu, de nombreux articles de l’EP/AJE ne traitent pas explicitement de l’éthique en fonction de ses trois significations. À part Penuel et al. (2006), cela est particulièrement vrai pour les articles mettant l’accent sur la méthodologie et les techniques d’analyse des données. Seule la crainte de relancer les guerres qualitatives-quantitatives m’empêchent de proposer la Loi des développements incompatibles de Morris : « Les coefficients de régression et les analyses éthiques fleurissent rarement dans le même jardin. » Cela dit, la pépinière EP/AJE a cultivé assez de contenu éthique pour justifier un passage en revue des grands thèmes abordés. Cette analyse sera organisée en fonction des cinq domaines définis dans les « Principes directeurs » de l’AEA pour les évaluateurs et évaluatrices : investigation systématique, compétence, intégrité/honnêteté, respect des personnes et responsabilités en matière de bien-être général et public. Bien que ces domaines se chevauchent de multiples façons (par exemple, les évaluateurs/-trices compétent-e-s sont plus susceptibles de mener un examen systématique valide que les évaluateurs/-trices incompétent-e-s), ils sont suffisamment distincts pour en faire un cadre utile à des fins d’analyse. L’examen se terminera par quelques conclusions et recommandations modestes qui, dans l’esprit des bonnes pratiques d’évaluation, sont destinées à s’inspirer, dans une large mesure, des données qui ont été examinées.

Investigation systématique

Le premier principe directeur stipule que « les évaluateurs et les évaluatrices mènent des investigations systématiques fondées sur des données ». Au cœur de ce principe se trouve l’idée que « les évaluateurs et les évaluatrices ont la responsabilité de concevoir et de mener des études qui sont techniquement solides et qui répondent adéquatement aux questions d’évaluation qui sous-tendent le projet » (Morris 2008 : 8‑9). Parmi les cinq « Principes directeurs », celui-ci porte le plus directement sur les décisions méthodologiques prises lors de l’évaluation, bien que ce principe ne rende aucun jugement particulier favorisant certaines méthodes par rapport à d’autres.

L’importance éthique de la responsabilité méthodologique est clairement illustrée dans un premier article de Lipsey (1988). Dans sa critique de la rigueur des recherches expérimentales et quasi expérimentales, très quantitatives dans leur orientation, il a conclu que « nous ne pratiquons pas l’évaluation, nous la pratiquons mal » (p.22) et que « ce que nous faisons actuellement…. est souvent pire que simplement inutile, c’est activement nuisible » (p.6). Son essai a suscité une vive réponse de la part de Hennessy et Sullivan (1989), qui se sont penchés sur les contraintes pratiques auxquelles les évaluateurs et les évaluatrices doivent s’adapter lorsqu’ils et elles effectuent des recherches dans des environnements organisationnels réels qui englobent différents styles décisionnels. Au fur et à mesure que le débat se poursuivait, il est devenu évident que, dans une large mesure, les auteurs/-ices se parlaient sans se comprendre (comme c’est souvent le cas dans de tels litiges). Le principal objectif de Lipsey était d’attirer l’attention sur l’application erronée de méthodes prestigieuses, tandis que Hennessy et Sullivan s’intéressaient principalement à expliquer les circonstances qui pouvaient conduire à une telle application (Hennessy et Sullivan, 1990; Lipsey, 1990). Finalement, Hennessy et Sullivan semblent plaider « non coupable », au nom de la plupart des évaluateurs et évaluatrices, à l’accusation de faute professionnelle. Mais le message de Lipsey reste un message puissant; à savoir que les évaluateurs et les évaluatrices ne peuvent échapper à l’examen éthique en se cachant derrière des méthodologies de haut niveau, une vérité qui nous a été rappelée par les controverses récentes entourant les commandes d’évaluations randomisées.

On peut également trouver des cas où les auteurs de l’EP/AJE portent leur attention sur la pertinence méthodologique d’évaluations spécifiques (ou de composantes d’évaluation); […] Dans l’ensemble, ces analyses soulignent que les méthodologies ne se choisissent pas elles-mêmes; les évaluateurs et les évaluatrices ainsi que  les autres intervenantes et intervenants prennent des décisions qui ont des conséquences sur la qualité et l’utilité de la recherche menée et dont il est rendu compte. Dans certains cas, les auteurs et les autrices critiquent fortement ces choix. Dans leur examen de 12 grandes évaluations fédérales de programmes au sein du ministère de la Santé et des Services sociaux des États-Unis, par exemple, Howell et Yemane (2006) affirment que « le plus grand défaut des évaluations examinées a été l’absence d’une étude de l’impact et des problèmes liés au choix de groupes de comparaison appropriés pour celles qui utilisaient des approches quasi-expérimentales » (p.232), et ils concluent que « malgré les investissements importants dans ces programmes, les évaluations n’ont à ce jour donné aucune preuve solide quant à savoir si ces programmes valaient ce qu’ils avaient coûté en financements fédéraux » (p.234). Dans un autre examen au niveau fédéral, Renger (2006) a abordé l’utilisation des modèles logiques par le Bureau des professions de la santé. Il a constaté que « l’agence n’a pas utilisé au mieux le processus de modélisation logique et n’a pas observé les meilleures pratiques dans la création de ces modèles » (p.461) et se demande si « peut-être le monde [de l’évaluation] devrait exercer un plus grand contrôle sur l’application et la mise en œuvre de ses méthodes afin d’améliorer la probabilité de produire des évaluations de la qualité. Le fait de ne pas le faire pourrait saper la crédibilité et l’intégrité du champ de l’évaluation » (p.462, c’est moi qui souligne).

Contrairement aux articles relatifs à la bonne application des méthodes conventionnelles, certain-e-s soulèvent des questions quant à la capacité des approches évaluatives de rendre justice au principe d’examen systématique. L’une des cibles les plus importantes dans ce contexte a été l’évaluation émancipatrice (empowering evaluation), qui met l’accent sur « (1) la fourniture aux parties prenantes du programme d’outils d’évaluation de la planification, de la mise en œuvre et de l’auto-évaluation de leur programme, et (2) l’évaluation de l’intégration dans le cadre de la planification et de la gestion du programme ou de l’organisation » (Wandersman, Snell-Johns et al., 2005 : 28). Depuis la formulation initiale par Fetterman de l’évaluation émancipatrice dans son discours présidentiel de 1993 de l’AEA (Fetterman, 1994), l’approche a été critiquée depuis de multiples perspectives. Stufflebeam (1994) a affirmé que « l’évaluation émancipatrice ignore essentiellement les Standards [de l’évaluation de programme] et…. va dans le sens de faire de l’évaluation un exercice massif de relations publiques et de processus de groupe » (p.333, italiques présentes dans l’original; voir aussi Lackey, Moberg, et Balistrieri, 1997). Au fil des ans, les critiques de Scriven ont probablement été les plus énergiques et les plus persistantes et sont directement liées au principe de l’examen systématique. Il affirme que l’évaluation émancipatrice « manque de crédibilité parce qu’il s’agit d’une auto-évaluation, et tout le monde sait que l’auto-évaluation est sujette au biais majeur de la surévaluation de soi-même et de son travail » (2005 : 415). Il conclut que l’approche « ne répond pas aux principales normes minimales…. de la validité, de la crédibilité et de l’éthique » et qu’il constitue « une auto-évaluation amatrice », ce qui représente « un modèle absurde pour une évaluation sérieuse » (p.431; voir aussi Scriven, 1997). En réponse, Fetterman et Wandersman (2007) soutiennent qu’ils ont constaté que « de nombreuses évaluations émancipatrices étaient hautement critiques à l’égard de leurs propres opérations [de programme] » (p.184) et Wandersman et Snell-Johns (2005) soulignent qu’« un rôle crucial d’un évaluateur émancipateur consiste à s’assurer que le système d’auto-évaluation recueille des renseignements exacts » (p.424).

[…]

Des études expérimentales sur la prise de décision des évaluateurs et des évaluatrices peuvent également éclairer les dimensions éthiques de l’examen systématique. Dans un excellent exemple de cette approche, Azzam (2010) a désigné au hasard des évaluateurs et des évaluatrices pour qu’ils et elles reçoivent une réponse acceptant ou rejetant l’approche qu’elles et ils proposaient pour l’étude d’un programme scolaire fictif. Les commentaires ont été formulés par trois parties prenantes différentes : le chef d’établissement (le décideur du programme), les tuteurs-enseignants et les tutrices-enseignantes (les exécutants du programme) et les parents (les bénéficiaires du programme). On a ensuite demandé aux évaluateurs et aux évaluatrices s’ils et elles souhaitaient modifier leur proposition. Les résultats indiquent que les évaluateurs et les évaluatrices étaient plus susceptibles de la modifier lorsque des objections étaient soulevées par des parties prenantes ayant plus de pouvoir ou d’influence sur les facteurs logistiques ayant une incidence sur l’évaluation (c’est-à-dire les chefs d’établissement). Certes, on peut changer une approche ou un modèle suite à un réexamen de bonne foi de la qualité de l’approche ou du modèle original. Toutefois, il peut aussi s’agir d’une capitulation par laquelle un modèle plus faible est choisi en réponse à la pression perçue de parties prenantes puissantes. Cette dernière circonstance pourrait menacer la capacité de l’évaluation à atteindre un niveau d’adéquation technique conforme au principe de l’examen systématique. En effet, dans son analyse des raisons professionnelles justifiant le refus d’un contrat d’évaluation, Smith (1998) recommande qu’un contrat soit refusé si le travail souhaité n’est pas possible à un niveau de qualité acceptable (p.179). Il serait difficile de trouver un énoncé plus succinct de la responsabilité éthique de l’évaluateur à l’égard de la méthodologie. Un jour, lorsque l’utopie évaluatrice adviendra, les termes « qualité » et « niveau acceptable » seront définis de la même manière par toutes les parties prenantes. D’ici là, les évaluateurs et les évaluatrices doivent continuer de faire les vérifications nécessaires dans la négociation d’un terrain méthodologique contesté avec les client-e-s, les autres parties prenantes et leurs collègues évaluateurs/-trices.

Compétence

Selon le principe de compétence, « les évaluateurs et les évaluatrices fournissent une performance compétente aux parties prenantes ». Cette déclaration préliminaire minimaliste est suivie de détails portant sur des questions d’éducation, d’expérience, de compétence culturelle, d’expertise pertinente et de perfectionnement professionnel. […]

Vues ensemble, que nous disent ces analyses?

Le message général qui se dégage ici est que les principes et les standards professionnels constituent un cadre précieux pour identifier et conceptualiser les questions d’éthique dans l’évaluation, mais qu’ils ne se traduisent pas facilement en un manuel pratique pour prendre des décisions et des mesures précises. Ce n’est pas une idée nouvelle; House (1995) et Rossi (1995) ont présenté des observations similaires lorsque la version originale des « Principes directeurs » a été publiée, et Mabry (1999) a exploré cette question en profondeur dans son article influent de l’AJE « Éthique circonstancielle », dans lequel elle a observé que « les couches de complexité et de nuance dans le comportement humain et l’organisation sociale submergent les déclarations formelles [de normes et de principes] avec des situations imprévues » (p.201).[…]

Bien entendu, la compétence de l’évaluateur ou de l’évaluatrice ne se limite pas au simple fait de relever les défis éthiques spécifiques que l’on rencontre dans son travail. L’identification des multiples éléments de connaissances et de savoir-faire qui sous-tendent cette compétence est une tâche qui a fait l’objet d’une attention beaucoup plus soutenue ces dernières années, ce qui a conduit à l’élaboration d’une taxonomie détaillée et empiriquement formulée en 2005 (Stevahn et al., 2005). Les principales catégories de cette taxonomie sont la pratique professionnelle (qui comprend les normes et l’éthique), l’examen systématique, l’analyse de la situation, la gestion de projet, la pratique réflexive et la compétence interpersonnelle. On peut soutenir qu’une telle taxonomie est inhérente à une « pensée » éthique, c’est-à-dire que les personnes qui se disent évaluateurs ou évaluatrices devraient posséder des niveaux de compétence minimaux dans tous les domaines précis identifiés ou, du moins aux fins d’un projet donné, s’associer à d’autres évaluateurs ou évaluatrices qui possèdent les compétences dont ils ne disposent pas. Au niveau formel, toutefois, l’AEA n’a pas officiellement approuvé cette taxonomie ou aucune autre taxonomie, et n’a pas non plus adopté de procédure de certification ou de certification des évaluateurs et des évaluatrices, bien que cette dernière question ait fait l’objet d’un débat approfondi (Altschuld, 1999a, 1999b; Bickman, 1999; Smith, 1999; Worthen, 1999). Ainsi, Caveat Emptor (que l’acheteur soit vigilant) demeure le meilleur conseil que le domaine puisse offrir aux parties prenantes à la recherche d’évaluateurs et d’évaluatrices compétent-e-s, éthiques ou autres. Dans ce contexte, il n’est pas choquant que Dewey, Montrosse, Schroëter, Sullins et Mattox (2008) aient constaté que certaines compétences souhaitées par les employeurs et employeuses d’évaluateurs et d’évaluatrices (par exemple, les compétences en gestion interpersonnelle et de projet) ne correspondent pas aux compétences que les demandeurs et demandeuses d’emploi acquièrent en troisième cycle ou que dans l’étude de Taut et Alkin (2003) sur les perceptions du personnel de programme quant aux obstacles à la mise en œuvre de l’évaluation, la compétence sociale de l’évaluateur ou de l’évaluatrice soit apparue comme un enjeu essentiel.

Le domaine spécifique lié aux compétences dont l’importance a probablement le plus augmenté au cours des deux dernières décennies et demie est celui de la compétence culturelle. Les « Principes directeurs » initiaux ne mentionnent même pas la culture dans la définition du principe de compétence. Dans la version révisée, la compétence culturelle figure en bonne place. De même, dans l’édition de 1994 des Standards d’évaluation de programme, on cherche en vain dans le glossaire une mention sur la « culture ». Dans la troisième édition, les définitions de « compétence culturelle » et d’« évaluation attentive à la culture » (culturally responsive evaluation) sont parmi les plus détaillées dans l’ouvrage (Yarbrough et al., 2011 : 286). De plus, les auteurs et les autrices notent qu’un changement majeur dans la troisième édition est le traitement explicite des [thèmes] de la culture et du contexte et observent que ces facteurs « ont de profondes influences sur la façon dont les évaluateurs se préoccupent de et renforcent l’utilité, la pertinence, l’exactitude et la redevabilité » (p.xiii-xiv). Avec la publication en 2009 de la revue de littérature sur l’évaluation interculturelle de Chouinard et Cousins, nous pouvons conclure en toute sécurité que la compétence culturelle est désormais un membre en bonne et due forme –et influent qui plus est– de l’actuel zeitgeist de l’évaluation. […]

EP/AJE a publié sa part d’articles sur les facteurs culturels dans l’évaluation, dont l’examen détaillé dépasse le cadre de cet essai (Birman, 2007; Botcheva, Shih, et Huffman, 2009; Botcheva, White, et Huffman, 2002; Clayson et al., 2002; Cooksy, 2007; Fitzpatrick, 2007; Hopson ,1999, 2001; House, 1999; Jaycox et al., 2006; Kirkhart, 1995; Mertens, 2007; Patton, 1999; Slaughter, 1991; Stanfield, 1999; Williams, 1991). Pour nos besoins, le point crucial est que la réceptivité culturelle est considérée comme un impératif éthique pour les évaluateurs et les évaluatrices. Cette réactivité est importante non seulement parce qu’elle peut améliorer la qualité de la recherche menée (examen systématique), mais aussi parce qu’elle honore la dignité des intervenants et intervenantes avec lesquels l’évaluateur ou l’évaluatrice interagit (Respect pour les personnes) et qu’elle est pertinente pour l’intérêt public (Responsabilités pour le bien-être général et le bien-être public). Toutefois, la littérature pertinente indique également que la compétence culturelle n’est pas facile à atteindre et qu’elle exige un niveau de réflexivité qui peut être difficile à maîtriser sans orientation structurée (Jewiss et Clark-Keefe, 2007). En d’autres termes, le travail des évaluateurs et des évaluatrices qui prennent au sérieux les compétences culturelles ne peut être « simplement expliqué ».

Intégrité/honnêteté

Le principe directeur de l’intégrité et de l’honnêteté stipule que « les évaluateurs et les évaluatrices font preuve d’honnêteté et d’intégrité dans leur propre comportement et s’efforcent d’assurer l’honnêteté et l’intégrité de l’ensemble du processus d’évaluation ». Les évaluatrices et les évaluateurs doivent être proactifs-ves dans la création d’un environnement qui permet aux parties prenantes une compréhension complète de la planification, des opérations et des résultats de l’évaluation. Les conflits d’intérêts, les changements apportés à la conception de l’évaluation au cours de la mise en œuvre et le fait de rendre fidèlement compte des constats effectués figurent parmi les questions abordées dans le principe de l’intégrité et de l’honnêteté.

Compte tenu de l’importance de ces questions, il est curieux qu’une plus grande attention n’ait pas été accordée à ces questions dans la littérature sur l’évaluation, y compris l’EP/AJE. Bien entendu, les évaluateurs et les évaluatrices peuvent avoir l’impression que, dans l’ensemble, elles et ils s’acquittent plutôt bien des tâches liées à ce principe, évitant ainsi la nécessité d’un grand nombre de discussions explicites. Les recherches indiquent toutefois que l’un des problèmes éthiques les plus fréquents rencontrés par les évaluatrices et les évaluateurs est d’être soumis à des pressions de la part d’une partie prenante afin de dénaturer les résultats d’une étude (Morris et Clark, 2009; Morris et Cohn, 1993; Turner, 2003). Dans ce contexte, Chelimsky a vigoureusement, éloquemment et constamment souligné combien il est important que les évaluatrices et les évaluateurs ne se plient pas aux pressions politiques qui peuvent saper leur crédibilité et leur indépendance au cours des phases de conception, de mise en œuvre, de l’établissement des constats et de diffusion de l’étude (par exemple Chelimsky, 1995, 2008; Chelimsky, Cordray, et Datta, 1989; voir aussi Hedrick, 1988). Elle fait remarquer que « toutes les choses ne peuvent pas être équilibrées et sujettes à compromis dans l’évaluation. Les constats sont des constats, et le fait qu’ils soient soutenus par les données signifie qu’ils sont soutenus par les données. L’intégrité de notre travail doit toujours être défendable – et défendue avec force – dans un environnement toujours politique » (2008 : 412). Chelimsky insiste sur la nécessité de faire preuve de courage face à ces défis : « il faut du courage pour refuser aux commanditaires les réponses qu’ils ou elles veulent entendre, pour résister à l’idée de devenir « un-e membre de l’équipe », pour contester les mythes avec lesquels tout le monde est à l’aise, pour lutter contre les intrusions inappropriées dans le processus d’évaluation » (1995 : 220). L’implication est claire : parfois, la seule raison de faire une bonne chose c’est parce que c’est la bonne chose à faire. C’est dangereux, et de puissantes rationalisations sont souvent facilement disponibles pour justifier la poursuite d’une voie de moindre résistance… et de risque. Les évaluateurs et évaluatrices internes, qui sont intégré-e-s dans des réseaux de dynamiques politiques et hiérarchiques transversales au sein de l’organisation, sont particulièrement vulnérables à ces forces et à ces rationalisations. Heureusement, Chelimsky et d’autres ont offert pléthore de conseils sur la façon de conceptualiser et de gérer le processus d’évaluation d’une manière qui maximise la probabilité que des études honnêtes et crédibles puissent être produites sans avoir à compter sur l’héroïsme personnel (Chelimsky, 2008; Datta, 2000; Iriti, Bickel et Nelson, 2005).

Le mésusage des évaluations est l’autre grand sujet relevant du principe de l’intégrité et de l’honnêteté, qui n’a pas fait l’objet d’une attention particulière dans l’EP/AJE. Le principe stipule que « dans des limites raisonnables, ils [les évaluateurs et les évaluatrices] devraient tenter de prévenir ou de corriger l’utilisation abusive de leur travail par d’autres ». Il est certain que l’utilisation abusive a souvent lieu à un moment où la capacité de l’évaluateur ou de l’évaluatrice d’influencer les événements est au mieux modeste. Des enquêtes indiquent qu’environ un quart des évaluatrices et des évaluateurs ont connu des problèmes majeurs d’utilisation abusive intentionnelle (Fleischer et Christie, 2009; Preskill et Caracelli, 1997; Torres, Preskill, et Piontek, 1997), proportion qui semble être restée relativement stable au fil du temps. Comme c’est le cas pour les pressions exercées pour déformer les conclusions, il est préférable d’empêcher la tentative d’utilisation abusive plutôt que d’avoir à faire face au problème une fois qu’il s’est produit (voir Stevens et Dial, 1994). Néanmoins, il serait utile d’étudier plus systématiquement la façon dont les évaluateurs et les évaluatrices réagissent aux épisodes d’utilisation abusive lorsqu’ils se produisent. Par exemple, à quelle fréquence les évaluateurs et les évaluatrices prennent-ils et elles des mesures pour s’attaquer réellement aux mauvais usages? Quels sont les facteurs qui influent sur leur décision d’intervenir ou non? Lorsque les évaluatrices et les évaluateurs réagissent à l’utilisation abusive, quelles sont les formes que prennent leurs actions? Des typologies d’utilisation, de non-utilisation, d’utilisation abusive et d’utilisation légitime sont disponibles pour aider à encadrer ces recherches (Cousins, 2004; Patton, 1988). Pour sûr, il y a bien quelques thèses de doctorat qui attendent d’être menées à ce sujet.

Le respect des personnes

Selon le principe directeur du respect des personnes, « les évaluatrices et les évaluateurs respectent la sécurité, la dignité et l’estime de soi des répondant-e-s, des participant-e-s au programme, des client-e-s et des autres parties prenantes de l’évaluation ». Bien que ce principe englobe l’éventail des sujets traditionnellement associés au traitement éthique des sujets humains (par exemple le consentement éclairé, la confidentialité/anonymat, les incitations à la participation, l’analyse des risques et avantages et la justification de la randomisation), le terrain éthique est compliqué par la multitude de groupes de parties prenantes qui peuvent être pertinents pour une évaluation donnée. Faire preuve de respect envers toutes les personnes dans ces circonstances peut être une tâche redoutable. L’évaluation a énormément bénéficié du travail effectué dans d’autres domaines (par exemple, la médecine et la psychologie) sur ces questions. Un défi constant consiste à adapter les connaissances générées par cette recherche au terrain distinctif de l’évaluation de programme, tout en s’appuyant sur celles-ci (Barkdoll, 1992).

Diverses contributions à EP/AJE examinent des questions spécifiques dans le domaine du respect pour les personnes. Les analyses qui, explicitement ou implicitement, abordent certains aspects de la notion de « ne pas nuire » dans des contextes d’évaluation complexe sont particulièrement intéressantes. Par exemple, que se passe-t-il lorsque les évaluateurs ou les évaluatrices définissent de façon étroite le fait d’être sans-abri, ce qui donne lieu à des constats qui concordent avec les perceptions stéréotypées de cette population? Comme l’affirment Johnson, Mitra, Newman et Horm (1993), une conséquence est que les politiques sociales fondées sur cette définition pourraient causer plus de dommages que de bien, les besoins de certains sous-groupes fortement marginalisés n’étant pas pris en compte. English (1997) met l’accent sur les limites du consentement éclairé pour protéger les intérêts des groupes de parties prenantes défavorisées et minoritaires dans l’évaluation des services destinés aux personnes handicapées. Ferris (2000) fait état des difficultés rencontrées par les évaluateurs et par les évaluatrices pour protéger la confidentialité et obtenir le consentement éclairé dans une étude sur les fournisseurs de services d’avortement au Canada, qui peuvent être victimes de harcèlement. Et dans l’étude exemplaire réalisée par Walker et al. (2008) sur le programme de maintien et d’avancement dans l’emploi (Employment Advancement & Retention, ERA) au Royaume-Uni, ils ont constaté que « le personnel surestimait assez fréquemment la mesure dans laquelle les clients et les clientes comprenaient quels étaient les services et les soutiens fournis au titre de l’ERA, la nature de la recherche et l’importance de l’assignation aléatoire » (p.170), résultat qui était au moins partiellement attribuable à la « pression exercée sur le personnel pour maximiser le nombre de volontaires pour participer à l’expérimentation » (p.165). Il est difficile d’imaginer que des études aussi approfondies sur le consentement éclairé dans d’autres évaluations ne trouveraient pas de preuves des types de dynamiques identifiées par Walker et ses collègues.

L’un des principaux thèmes de la plupart de ces études est la vulnérabilité des parties prenantes qui ont peu de pouvoir dans les évaluations, ainsi que les mesures proactives, souvent créatives, nécessaires pour prévenir ou minimiser les dommages et promouvoir une implication qui ait du sens (voir aussi Alexander et Richman, 2008; Balch et Mertens, 1999; Campbell, Adams, et Patterson, 2008; Gill, 1999; Mertens, 1999). En effet, la sensibilité accrue du champ de l’évaluation aux aspects de la pratique professionnelle dans ce domaine au cours des deux dernières décennies a été remarquable.

Les répercussions éthiques des méthodes nouvelles ou nouvellement appliquées sont également examinées, et une attention soutenue continue d’être accordée à des sujets classiques tels que les comités d’éthique (Institutional Review Boards) (Cooksy, 2005) et le consentement actif par opposition au consentement passif (Johnson et al., 1999; Leakey et al., 2004). Par exemple, les données des entreprises (Spicer et al., 2004), l’évaluation des praticiennes et des praticiens (Shaw et Faulkner, 2006), l’analyse des réseaux sociaux (Penuel et al., 2006) et les systèmes d’information géographique (Renger et al., 2002) contiennent toutes des caractéristiques qui peuvent compromettre la vie privée des parties prenantes si elles sont utilisées sans précautions appropriées.

Un domaine important qui n’a guère été exploré dans EP/AJE est celui de l’analyse risques-avantages, où les risques encourus par les divers intervenants de l’évaluation sont comparés aux avantages qu’ils sont susceptibles de tirer de l’évaluation. Des études de cas d’évaluations controversées (et non controversées) du point de vue du risque et des avantages amélioreraient notre compréhension des compromis parfois complexes dont les évaluateurs et les évaluatrices devraient tenir compte lorsqu’ils et elles conçoivent des études qui respectent le principe du respect des personnes.

Responsabilités en matière d’intérêt général et intérêt public (General and public welfare)

Le cinquième principe directeur indique que « les évaluatrices et les évaluateurs expriment et tiennent compte de la diversité des intérêts et des valeurs généraux et publics qui peuvent être liés à l’évaluation ». Il s’agit à bien des égards du principe directeur le plus intrigant, étant donné qu’il implique, sans le définir, des concepts idéologiques aussi lourds de sens que « le bien public », « l’intérêt public » et « ce qui est bon pour le public » (public good). Voyez, par exemple, les politiques sociales et économiques soutenues par ceux qui se trouvent à divers endroits du continuum politique gauche-droite. Ou, comme le dit Smith (1998), « alors que tous les évaluateurs et toutes les évaluatrices accepteraient de ne pas faire de mal », il y a sans doute moins d’accords sur la façon de « promouvoir le bien public » (p.184). Par conséquent, il n’est pas surprenant que, dans son examen des commentaires sur les défis éthiques, Datta (2002) fasse remarquer que « les désaccords les plus manifestes ont tendance à porter sur le rôle de l’évaluateur ou de l’évaluatrice, particulièrement [dans] des situations où les évaluateurs et les évaluatrices pourraient se considérer comme des justiciers ou des justicières (social avengers) » (p.196). Implicitement, le principe des responsabilités encourage les évaluatrices et les évaluateurs à réfléchir à leur vision du bien public et à tenir compte des répercussions de cette vision sur les évaluations qu’elles et ils mènent. […]

Dans l’ensemble, ces constats suggèrent que de nombreux évaluateurs et de nombreuses évaluatrices considèrent avec ambivalence les questions soulevées par le principe de responsabilité, même au niveau le plus général et le plus abstrait, où l’on peut s’attendre à ce que l’approbation soit élevée. Toutefois, l’ambivalence n’a en aucune façon entraîné un manque de contributions à l’EP/AJE directement liées à ce principe. Une grande partie de cette analyse reflète les différences de compréhension à l’égard du concept de plaidoyer. […]

Sur le plan conceptuel, le plaidoyer pour des recommandations issues de l’évaluation n’est pas la même chose que d’agir en tant que défenseur ou défenseuse des programmes. La grande majorité de la communauté de l’évaluation semble rejeter ce dernier rôle. En se fondant sur son examen sélectif de la littérature, Datta (1999) conclut que « des évaluateurs et des évaluatrices différent-e-s conviennent que l’évaluateur/-trice ne devrait pas être un-e défenseur/-euse (ou vraisemblablement un-e adversaire) d’un programme particulier, c’est-à-dire prendre parti, ou d’une position préconçue de soutien (ou de suppression) » (p.84). Dans l’étude de Fleischer et Christie (2009), 17 % seulement de leur échantillon d’évaluateurs et d’évaluatrices étaient d’avis que « devenir défenseurs ou défenseuses de programmes » était un atout approprié pour les évaluateurs et les évaluatrices. Si des recommandations d’amélioration d’un programme découlent d’une évaluation, à quels égards la défense de ces recommandations diffère-t-elle de la défense de l’existence du programme lui-même? Ou examinez l’analyse d’Eddy et Berry (2009), qui prétend que, dans certains cas, le respect du principe des responsabilités obligerait l’évaluateur ou l’évaluatrice à recommander la suppression d’un programme insatisfaisant, une mesure que l’évaluateur ou l’évaluatrice devrait considérer comme « une occasion d’exercer sa responsabilité professionnelle à l’égard de la profession d’évaluation et du bien public » (p.375). Cela représente-t-il un plaidoyer? Ou ne parlerait-on de plaidoyer que si l’évaluatrice ou l’évaluateur faisait pression pour que le programme soit arrêté d’une manière qui irait au-delà du simple partage de recommandations avec les principales parties prenantes à travers des habituels rapports et réunions?

[…]

[La] perspective défendue par Schwandt (1992, 2008), est que l’évaluatrice ou l’évaluateur a un rôle central à jouer en tant que critique social. Dans la pratique d’évaluation « moralement engagée » (Schwandt, 1992), l’évaluateur ou l’évaluatrice est chargé-e d’examiner, en collaboration avec les intervenant-e-s, « l’intérêt social des divers résultats et effets des politiques et des programmes » (2008 : 146). En d’autres termes, il ne suffit pas d’accomplir simplement la tâche technique de déterminer ce qu’un programme a accompli ou n’a pas réalisé. Il faut également tenir compte de la légitimité sociale et morale fondamentale des objectifs recherchés. Cette exploration repose sur une vision du bien public qui n’est pas élaborée isolément par l’évaluateur ou l’évaluatrice; il est plus probable qu’elle résulte du genre de processus de réflexion que House et Howe (1999) ont proposé pour l’évaluation démocratique délibérative. En théorie, cette conceptualisation de l’évaluation honore le principe des responsabilités en articulant une notion de société juste suffisamment détaillée pour s’appliquer au programme en question. L’évaluateur ou l’évaluatrice ne se contente plus de demander : « Le programme fonctionne-t-il bien? » Au contraire, « Le programme fait-il X suffisamment bien? » devient une requête légitime et nécessaire.

Il est difficile de déterminer dans quelle mesure cette vision du rôle de l’évaluatrice ou de l’évaluateur a eu une incidence directe sur les pratiques d’évaluation. Compte tenu des travaux précédemment cités sur l’opinion des évaluatrices et des évaluateurs vis-à-vis d’un agenda de justice sociale pour le champ de l’évaluation, on ne s’attendrait pas à ce que cette influence soit nécessairement grande. Toutefois, il existe des récits dans lesquels les évaluatrices et les évaluateurs jouent ce rôle de critiques sociaux (parfois frustré-e-s). Greene et Lee (2006), par exemple, décrivent les difficultés qu’il et elle ont rencontrées dans l’évaluation d’une initiative globale de réforme scolaire dans une école primaire, où il et elle ont conclu que la réforme elle-même était mal conçue et qu’elle aurait probablement dû aborder d’autres questions. L’auteur et l’autrice ont eu du mal à faire face à cette réalité, à savoir s’il et elle devaient tenter de recentrer l’évaluation sur ces autres questions et par qui une telle réorientation serait légitimée. Le fait de proposer une nouvelle orientation pour l’évaluation représenterait, dans un sens important, un changement de rôle pour les évaluateurs. Et comme le font remarquer Greene et Lee, le changement de rôle dans l’évaluation n’est pas quelque chose que vous faites sans permission. Sur le plan logistique et éthique, vous ne pouvez pas simplement vous déclarer critique social et passer ensuite à l’étape 2 de l’évaluation.

Ryan (2002) puis Lee et Walsh (2004) se sont également montrés sensibles à cette question dans leurs critiques, respectivement, sur les systèmes de responsabilisation en matière d’éducation et sur les définitions de la qualité dans les programmes visant la petite enfance. Dans les deux cas, elles et ils examinent les conséquences sociales de l’utilisation des critères de performance prédominants dans l’évaluation. Et dans les deux cas, elles et ils demandent l’inclusion de diverses parties prenantes dans les délibérations portant sur ces critères. De même, Friedman, Rothman et Withers (2006) encouragent l’utilisation de « Why Dialogues » pour examiner les valeurs qui sous-tendent les objectifs des parties prenantes en matière de programmes. L’accent n’est pas principalement mis sur ce que sont les objectifs, mais sur les raisons qui les sous-tendent. Plus l’enquête sera approfondie, plus il y aura de chances que les valeurs fondamentales pertinentes pour le bien public seront mises en évidence et que l’évaluateur ou l’évaluatrice pourra s’appuyer dessus de façon productive.

L’inconfort avec un modèle d’évaluation moralement engagée vers la critique sociale est peut-être résumé de façon très succincte dans l’affirmation de Shadish (1994) selon laquelle « la justice sociale est mieux servie…. en permettant aux parties prenantes elles-mêmes d’orienter la sélection des critères de mérite dans l’évaluation » (p.357). Une telle position de « courtier/-ère honnête » ne laisse pas beaucoup de place (le cas échéant) à l’évaluateur ou à l’évaluatrice pour défendre sa propre vision du bien public. Il est intéressant de se demander si des données pourraient résoudre la question soulevée par l’énoncé de Shadish (c’est-à-dire « Quelle approche sert le mieux la justice sociale? »), tant cette notion de justice sociale est chargée de valeurs, mais pour l’instant la question implicite est sans objet, tant que nous n’avons pas beaucoup plus d’évaluateurs qu’aujourd’hui qui fonctionnent en tant que critiques sociaux.

Conclusions et souhaits

[…]

Les évaluatrices et les évaluateurs conçoivent-elles et ils des évaluations plus éthiques qu’il y a 25 ans? Sont-elles et ils plus compétent-e-s pour relever les défis éthiques qui se posent dans leur travail? La réponse courte, et probablement la plus longue aussi, c’est que nous ne le savons pas. Mais on peut dire sans risque que les évaluateurs et les évaluatrices sont mieux équipé-e-s pour faire ces choses qu’ils et elles ne l’étaient auparavant, en supposant qu’ils et elles restent au courant de la littérature du domaine. Notre inventaire d’analyses éthiques fondées sur des cas, dans lequel les principes directeurs et les normes d’évaluation des programmes sont appliqués, est substantiel et grandissant. Les articles dans lesquels les questions éthiques sont référencées et explorées sont devenus monnaie courante. Des recherches empiriques permettant d’identifier et d’explorer les problèmes d’éthique rencontrés par les évaluatrices et les évaluateurs au cours des différentes phases d’une évaluation (par exemple, conflits d’intérêts, pressions visant à déformer les résultats et suppression des résultats) sont maintenant disponibles (Morris et Clark, 2009; Morris et Cohn, 1993; Morris et Jacobs, 2000; Turner, 2003).

Un thème crucial qui se dégage de toute cette littérature est l’importance de l’étape de la négociation initiale du contrat d’évaluation pour établir le ton éthique de celle-ci. La base des connaissances dans le champ de l’évaluation s’est développée à un point tel que les évaluatrices et les évaluateurs peuvent compter davantage que sur la simple spéculation lorsqu’elles et ils envisagent les questions éthiques clés qui sont susceptibles d’être abordées dans le cadre d’un projet d’évaluation particulier, y compris celles qui impliquent le rôle de l’évaluateur ou de l’évaluatrice. Le fait de traiter ces questions avec les parties prenantes au début d’un projet peut aider à prévenir de graves problèmes plus tard dans l’évaluation. Tous les problèmes éthiques peuvent-ils être anticipés de cette manière? Non, mais beaucoup peuvent l’être. Les conflits qui se manifestent aux étapes ultérieures d’une évaluation (par exemple, les différends au sujet de la diffusion d’un rapport final) ont souvent leur origine dans des hypothèses ou des malentendus qui n’ont pas été examinés dans les conversations initiales. Il serait vain de faire des prédictions sur l’avenir de l’éthique dans le domaine de l’évaluation dans son ensemble; c’est pourquoi, dans cet essai, je préfère partager des souhaits plutôt que de faire des prévisions. Il est plus facile d’anticiper le terrain éthique qu’un évaluateur ou qu’une évaluatrice devra parcourir dans un projet précis. Les évaluateurs et les évaluatrices sont bien mieux à même d’anticiper aujourd’hui qu’ils ne l’étaient en 1986, et c’est une bonne chose, même si la discussion se poursuit sur la façon dont les évaluateurs et les évaluatrices pourraient au mieux remplir les responsabilités du champ de l’évaluation à l’égard de l’intérêt public.

Bibliographie

Alexander, Leslie B. et Kenneth A. Richman. 2008. « Ethical dilemmas in evaluations using indigenous research workers ». American Journal of Evaluation 29(1) : 73‑85.

Altschuld, James W. 1999a. « The case for a voluntary system for credentialing evaluators ». American Journal of Evaluation 20(3) : 507‑17.

Altschuld, James W. 1999b. « The certification of evaluators: Highlights from a report submitted to the board of directors of the American Evaluation Association ». American Journal of Evaluation 20(3) : 481‑93.

American Evaluation Association. 1995. « Guiding principles for evaluators ». in Guiding principles for evaluators. New directions for evaluation. N°66, édité par W. R. Shadish, D. L. Newman, M. A. Scheirer et C. Wye. San Francisco: Jossey-Bass, p. 19‑26.

American Evaluation Association. 2004. « Guiding principles for evaluators ». En ligne : http://www.eval.org/Publications/GuidingPrinciples.asp

Azzam, Tarek. 2010. « Evaluator responsiveness to stakeholders ». American Journal of Evaluation 31(1) : 45‑65. doi : https://doi.org/10.1177%2F1098214009354917.

Balch, George I., et Donna M. Mertens. 1999. « Focus group design and dynamics: Lessons from deaf and hard of hearing participants ». American Journal of Evaluation 20(2) : 265‑77.

Barkdoll, Gerald L. 1992. « Strong medicine and unintended consequences ». Evaluation Practice 13(1) : 53‑57.

Bickman, Leonard. 1999. « AEA, bold or timid? » American Journal of Evaluation 20(3) : 519‑20. doi : https://doi.org/10.1177%2F109821409902000310

Birman, Dina. 2007. « Sins of omission and commission: To proceed, decline, or alter? » American Journal of Evaluation 28(1) : 79‑85. doi : https://doi.org/10.1177%2F1098214006298059

Botcheva, Luba, Johanna Shih et Lynne C. Huffman. 2009. « Emphasizing cultural competence in evaluation: A process-oriented approach ». American Journal of Evaluation 30 : 176‑88.

Botcheva, Luba, Catherine R. White et Lynne C. Huffman. 2002. « Learning cultures and outcomes measurement practices in community agencies ». American Journal of Evaluation 23(4) : 421‑34. doi : https://doi.org/10.1177%2F109821400202300404

Campbell, Rebecca, Adrienne E. Adams et Debra Patterson. 2008. « Methodological challenges of collecting data from traumatized clients/consumers: A comparison of three methods ». American Journal of Evaluation 29 : 369‑81. doi : https://doi.org/10.1177%2F1098214008320736

Chelimsky, Eleanor. 1995. « The political environment of evaluation and what it means for the development of the field ». Evaluation Practice 16(3) : 215‑25. doi : https://doi.org/10.1177%2F109821409501600301

Chelimsky, Eleanor. 2008. « A clash of cultures : Improving the ‘‘fit’’ between evaluative independence and the political requirements of a democratic society ». American Journal of Evaluation 29(4) : 400‑415. doi : https://doi.org/10.1177%2F1098214008324465

Chelimsky, Eleanor, David Cordray, et Lois-Ellin Datta. 1989. « Federal evaluation: The pendulum has swung too far ». Evaluation Practice 10 : 25‑30.

Clayson, Zoe C., Xóchitl Castaneda, Emma Sanchez et Claire Brindis. 2002. « Unequal power-Changing landscapes: Negotiations between evaluation stakeholders in Latino communities ». American Journal of Evaluation 23(1) : 33‑44. doi : https://doi.org/10.1177%2F109821400202300104

Cooksy, Leslie J. 2005. « The complexity of the IRB process: Some of the things you wanted to know about IRBs but were afraid to ask ». American Journal of Evaluation 26(3) : 352‑61. doi : https://doi.org/10.1177%2F109821400502600307

Cooksy, Leslie J. 2007. « Should we call the whole thing off? » American Journal of Evaluation 28 : 77‑78.

Cousins, J. Bradley. 2004. « Commentary: Minimizing evaluation misuse as principled practice ». American Journal of Evaluation 25(3) : 391‑97. doi : https://doi.org/10.1177%2F109821400402500311

Datta, Lois-Ellin. 1999. « CIRCE’s demonstration of a close-to-ideal evaluation in a less-than-ideal world ». American Journal of Evaluation 20(2) : 345‑54. doi : https://doi.org/10.1177%2F109821409902000215

Datta, Lois-Ellin. 2000. « Seriously seeking fairness: Strategies for crafting non-partisan evaluations in a partisan world ». American Journal of Evaluation 21(1) : 1‑14. doi : https://doi.org/10.1177%2F109821400002100101

Datta, Lois-Ellin. 2002. « The case of the uncertain bridge ». American Journal of Evaluation 23(2) : 187‑206. doi : https://doi.org/10.1177%2F109821400202300207

Dewey, Jennifer D., Bianca E. Montrosse, Daniela C. Schröter, Carolyn D. Sullins et John R. Mattox. 2008. « Evaluator competencies: What’s taught versus what’s sought ». American Journal of Evaluation 29 : 268‑87.

Eddy, Rebecca M., et Tiffany Berry. 2009. « The evaluator’s role in recommending program closure: A model for decision making and professional responsibility ». American Journal of Evaluation 30(3) : 363‑76. doi : https://doi.org/10.1177%2F1098214009339931

English, Brian. 1997. « Conducting ethical evaluations with disadvantaged and minority target groups ». Evaluation Practice 18(1) : 49‑54. doi : https://doi.org/10.1177%2F109821409701800105

Ferris, Lori E. 2000. « Legal and ethical issues in evaluating abortion services ». American Journal of Evaluation 21(3) : 329‑40. doi : https://doi.org/10.1177%2F109821400002100304

Fetterman, David M. 1994. « Empowerment evaluation ». Evaluation Practice 15(1) : 1‑15. doi : https://doi.org/10.1177%2F109821409401500101

Fetterman, David M., et Abraham Wandersman. 2007. « Empowerment evaluation: Yesterday, today, and tomorrow ». American Journal of Evaluation 28(2) : 179‑98. doi : http://dx.doi.org/10.1177/1098214007301350

Fitzpatrick, Jody L. 2007. « Evaluation of the Fun with Books program: An interview with Katrina Bledsoe ». American Journal of Evaluation 28 : 522‑35.

Fleischer, Dreolin N., et Christina A. Christie. 2009. « Evaluation use: Results from a survey of U.S. American Evaluation Association members ». American Journal of Evaluation 30(2) : 158‑75. doi : https://doi.org/10.1177%2F1098214008331009

Friedman, Victor J., Jay Rothman et Bill Withers. 2006. « The power of why: Engaging the goal paradox in program evaluation ». American Journal of Evaluation 27 : 201‑18.

Gill, Joan C. 1999. « Invisible ubiquity: The surprising relevance of disability issues in evaluation ». American Journal of Evaluation 20 : 279‑87.

Greene, Jennifer C., et Jin-Hee Lee. 2006. « Quieting educational reform… with educational reform ». American Journal of Evaluation 27(3) : 337‑52. doi : 10.1177/1098214006291103

Hedrick, Terry E. 1988. « The interaction of politics and evaluation ». Evaluation Practice 9(3) : 5‑14.

Hennessy, Michael, et Martin J. Sullivan. 1989. « Good organizational reasons for bad evaluation research ». Evaluation Practice 10 : 41‑50.

Hennessy, Michael, et Martin J. Sullivan. 1990. « Academic vs client critique: A response to Lipsey ». Evaluation Practice 11 : 165‑66.

Henry, Gary T., et Melvin M. Mark. 2003. « Toward an agenda for research on evaluation ». in The practice-theory relationship in evaluation. New directions for evaluation N°97, édité par C. A. Christie. San Francisco: Jossey-Bass, p. 69‑80.

Hopson, Rodney K. 1999. « Minority issues in evaluation revisited: Reconceptualizing and creating opportunities for institutional change ». American Journal of Evaluation 20(3) : 445‑51.

Hopson, Rodney K. 2001. « Global and local conversations on culture, diversity, and social justice in evaluation: Issues to consider in a 9/11 era ». American Journal of Evaluation 22 : 375‑80.

House, Ernest R. 1995. « Principled evaluation: A critique of the AEA guiding principles ». in Guiding principles for evaluators. New directions for evaluation N°66, édité par W. R. Shadish, D. Newman, M. A. Scheirer et C. Wye. San Francisco: Jossey-Bass, p. 27‑34.

House, Ernest R. 1999. « Evaluation and people of color: A response to Professor Stanfield ». American Journal of Evaluation 20(3) : 433‑35.

House, Ernest R., et Kenneth R. Howe. 1999. Values in Evaluation and Social Research. 1re éd. Thousand Oaks: Sage Publications.

Howell, Embry M., et Alshadye Yemane. 2006. « An assessment of evaluation designs : Case studies of 12 large federal evaluations ». American Journal of Evaluation 27 : 219‑36.

Hurwith, Rosalind, et Martin Sweeney. 1995. « The use of the visual image in a variety of Australasian evaluations ». Evaluation Practice 16(2) : 153‑64.

Iriti, Jennifer E., William E. Bickel, et Catherine A. Nelson. 2005. « Using recommendations in evaluation : A decision-making framework for evaluators ». American Journal of Evaluation 26(4) : 464‑79.

Jaycox, Lisa et al. 2006. « Challenges in the evaluation and implementation of school-based prevention and intervention programs on sensitive topics ». American Journal of Evaluation 27 : 320‑36.

Jewiss, Jennifer, et Kelly Clark-Keefe. 2007. « On a personal note: Practical pedagogical activities to foster the development of ‘‘reflective practitioners’’ ». American Journal of Evaluation 28(3) : 334‑47. doi: https://doi.org/10.1177%2F1098214007304130

Johnson, Knowlton, Denise Bryant, Dward Rockwell, et al. 1999. « Obtaining active parental consent for evaluation research: A case study ». American Journal of Evaluation 20(2) : 239‑49. doi : https://doi.org/10.1177%2F109821409902000206

Johnson, Timothy P., Ananda Mitra, Ramona Newman et John Horm. 1993. « Problems of definition in sampling special populations: The case of homeless persons ». Evaluation Practice 14(2) : 119‑26. doi : https://doi.org/10.1177%2F109821409301400201

Joint Committee on Standards for Educational Evaluation. 1994. The program evaluation standards: How to assess evaluations of educational programs. 2e éd. Thousand Oaks: Sage Publications.

Kirkhart, Karen E. 1995. « Seeking multicultural validity: A postcard from the road ». Evaluation Practice 16(1) : 1‑12.

Lackey, Jill F., D. Paul Moberg, et Matt Balistrieri. 1997. « By whose standards? Reflections on empowerment evaluation and grassroots groups ». Evaluation Practice 18 : 137‑46.

Leakey, Tricia, Kevin B. Lunde, Karin Koga, et Karen Glanz. 2004. « Written parental consent and the use of incentives in a youth smoking prevention trial: A case study from Project SPLASH ». American Journal of Evaluation 25(4) : 509‑23.

Lee, Jin-Hee, et Daniel J. Walsh. 2004. « Quality in early childhood programs: Reflections from program evaluation practices ». American Journal of Evaluation 25(3) : 351‑73. doi : https://doi.org/10.1177%2F109821400402500306

Lipsey, Mark W. 1988. « Practice and malpractice in evaluation research ». Evaluation Practice 9 : 5‑24.

Lipsey, Mark W. 1990. « The experimental paradigm ». Evaluation Practice 11(1) : 99‑100. doi : https://doi.org/10.1177%2F109821409001100118

Mabry, Linda. 1999. « Circumstantial ethics ». American Journal of Evaluation 20(2) : 199‑212. doi : https://doi.org/10.1177%2F109821409902000203

Mangano. 1991. « Using the media to disseminate evaluation results ». Evaluation Practice 12(2) : 115‑20.

Mertens, Donna M. 1999. « Inclusive evaluation: Implications of transformative theory for evaluation ». American Journal of Evaluation 20(1) : 1‑14. doi : https://doi.org/10.1177%2F109821409902000102

Mertens, Donna M. 2001. « Inclusivity and transformation: Evaluation in 2010 ». American Journal of Evaluation 22(3) : 367‑74. doi : https://doi.org/10.1177%2F109821400102200313

Mertens, Donna M. 2007. « Transformative considerations: Inclusion and social justice ». American Journal of Evaluation 28(1) : 86‑90. doi : https://doi.org/10.1177%2F1098214006298058

Morabito, Stephen M. 2002. « Evaluator roles and strategies for expanding evaluation process influence ». American Journal of Evaluation 23(3) : 321‑30.

Morris. 1998. « The Downside report ». American Journal of Evaluation 19(1) : 73.

Morris, Michael. 2003. « Ethical considerations in evaluation ». in International handbook of educational evaluation: Part one. Perspectives, édité par T. Kellaghan et D. L. Stufflebeam. Dordrecht: Kluwer Academic, p. 303‑28.

Morris, Michael, éd. 2008. Evaluation ethics for best practice: Cases and commentaries. New York: Guilford Press.

Morris, Michael, et B. Clark. 2009. « You want me to do WHAT? Evaluators and the pressure to misrepresent findings ». Orlando, FL, USA.

Morris, Michael, et Robin Cohn. 1993. « Program evaluators and ethical challenges: A national survey ». Evaluation Review 17(6) : 621‑42. doi : https://doi.org/10.1177%2F0193841X9301700603

Morris, Michael, et Lynette R. Jacobs. 2000. « You got a problem with that? Exploring evaluators’ disagreements about ethics ». Evaluation Review 24(4) : 384‑406.

Newman, Dianna L., et Robert D. Brown. 1996. Applied ethics for program evaluation. Thousand Oaks: Sage Publications.

Patton, Michael Q. 1988. « Six honest serving men ». Studies in Educational Evaluation 14(3) : 301‑30.

Patton, Michael Q. 1999. « Some framing questions about racism and evaluation: Thoughts stimulated by Professor Stanfield’s ‘‘Slipping through the front door’’ ». American Journal of Evaluation 20(3) : 437‑43. doi : https://doi.org/10.1177%2F109821409902000303

Penuel, William R., Willow Sussex, Christine Korbak, et Christopher Hoadley. 2006. « Investigating the potential of network analysis in educational evaluation ». American Journal of Evaluation 27(4) : 437‑51. doi : https://doi.org/10.1177%2F1098214006294307

Preskill, Hallie, et Valerie Caracelli. 1997. « Current and developing conceptions of use: Evaluation Use TIG survey results ». Evaluation Practice 18(1) : 209‑25. doi : https://doi.org/10.1177%2F109821409701800122

Renger, Ralph. 2006. « Consequences to federal programs when the logic-modeling process is not followed with fidelity ». American Journal of Evaluation 27(4) : 452‑63. doi : https://doi.org/10.1177%2F1098214006293666

Renger, Ralph, Adriana Cimetta, Sydney Pettygrove et Seumas Rogan. 2002. « Geographic Information Systems (GIS) as an evaluation tool ». American Journal of Evaluation 23(4) : 469‑79. doi : https://doi.org/10.1177%2F109821400202300407

Rossi, Peter H. 1995. « Doing good and getting it right ». in Guiding principles for evaluators. New directions for evaluation. N°66, édité par W. R. Shadish, D. L. Newman, M. A. Scheirer et C. Wye. San Francisco: Jossey-Bass, p. 55‑59.

Ryan, Katherine. 2002. « Shaping educational accountability systems ». American Journal of Evaluation 23(4) : 453‑68. doi : https://doi.org/10.1177%2F109821400202300406

Schwandt, Thomas A. 1992. « Better living through evaluation? Images of progress shaping evaluation practice ». Evaluation Practice 13(2) : 135‑44. doi : https://doi.org/10.1177%2F109821409201300206

Schwandt, Thomas A. 2008. « Educating for intelligent belief in evaluation ». American Journal of Evaluation 29(2) : 139‑50. doi : https://doi.org/10.1177%2F1098214008316889

Scriven, Michael. 1997. « Empowerment evaluation examined ». Evaluation Practice 18(1) : 165‑75. doi : https://doi.org/10.1177%2F109821409701800115

Scriven, Michael. 2005. « Review of Empowerment evaluation principles in practice ». American Journal of Evaluation 26 : 415‑17.

Shadish, William R. 1994. « Need-based evaluation: Good evaluation and what you need to know to do it ». Evaluation Practice 15(3) : 347‑58. doi : https://doi.org/10.1016/0886-1633(94)90029-9

Shaw, Ian, et Alex Faulkner. 2006. « Practitioner evaluation at work ». American Journal of Evaluation 27(1) : 44‑63. doi : https://doi.org/10.1177%2F1098214005284968

Simons, Helen. 2006. « Ethics in evaluation ». in The SAGE handbook of evaluation, édité par I. F. Shaw, J. C. Greene et M. M. Mark. Thousand Oaks: Sage Publications, p. 243‑65.

Slaughter, Helen B. 1991. « The participation of cultural informants on bilingual and cross-cultural evaluation teams ». Evaluation Practice 12(2) : 149‑57. doi : https://doi.org/10.1177%2F109821409101200205

Smith, M. F. 1999. « Should AEA begin a process for restricting membership in the profession of evaluation? » American Journal of Evaluation 20(3) : 521‑31. doi : https://doi.org/10.1177%2F109821409902000311

Smith, Nick L. 1998. « Professional reasons for declining an evaluation contract ». American Journal of Evaluation 19(2) : 177‑90.

Smith, Nick L. 2002. « An analysis of ethical challenges in evaluation ». American Journal of Evaluation 23(2) : 199‑205.

Spicer, Rebecca, Valerie Nelkin, Ted Miller, et Les Becker. 2004. « Using corporate data in workplace program evaluation ». American Journal of Evaluation 25 : 109‑19.

Stanfield, John H. 1999. « Slipping through the front door: Relevant social scientific evaluation in the people-of-color century ». American Journal of Evaluation 20 : 415‑31.

Stevahn, Laurie, Jean A. King, Gail Ghere, et Jane Minnema. 2005. « Establishing essential competencies for program evaluators ». American Journal of Evaluation 26(1) : 43‑59.

Stevens, Carla J., et Micah Dial. 1994. Preventing the misuse of evaluation. New directions for program evaluation, N°64. San Francisco: Jossey-Bass.

Stufflebeam, Daniel L. 1994. « Empowerment evaluation, objectivist evaluation, and evaluation standards: Where the future of evaluation should not go and where it needs to go ». Evaluation Practice 15(3) : 321‑38. doi : https://doi.org/10.1177%2F109821409401500313

Taut, Sandy M., et Marvin C. Alkin. 2003. « Program staff perceptions of barriers to evaluation implementation ». American Journal of Evaluation 24(2) : 213‑26.

Torres, Rosalie T., Hallie S. Preskill, et Mary E. Piontek. 1997. « Communicating and reporting : Practices and concerns of internal and external evaluators ». Evaluation Practice 18(2) : 105‑25. doi : https://doi.org/10.1177%2F109821409701800203

Turner, D. 2003. « Evaluation ethics and quality: Results of a survey of Australasian Evaluation Society members ».

Walker, Robert, Lesley Hoggart, et Gayle Hamilton. 2008. « Random assignment and informed consent: A case study of multiple perspectives ». American Journal of Evaluation 29(2) : 156‑74. doi : https://doi.org/10.1177%2F1098214008317206

Wandersman, Abraham, et Jessica Snell-Johns. 2005. « Empowerment evaluation: Clarity, dialogue, and growth ». American Journal of Evaluation 26(3):421‑28. doi : https://doi.org/10.1177%2F1098214005278774

Wandersman, Abraham, Jessica Snell-Johns, et al. 2005. « The principles of empowerment evaluation ». in Empowerment evaluation principles in practice, édité par D. Fetterman et A. Wandersman. New York: The Guilford Press, p. 27‑41.

Williams, David D. 1991. « Lessons learned: Introducing accreditation and program evaluations to a teachers college in Indonesia ». Evaluation Practice 12(1) : 23‑31.

Wolf, Amanda, David Turne et Kathleen Toms. 2009. « Ethical perspectives in program evaluation ». in The handbook of social research ethics, édité par D. M. Mertens et P. E. Ginsberg. Los Angeles: Sage Publications, p. 170‑83.

Worthen, Blaine R. 1999. « Critical challenges confronting certification of evaluators ». American Journal of Evaluation 20(3) : 533‑55. doi:  https://doi.org/10.1177%2F109821409902000312

Yarbrough, Donald B., Lyn M. Shulha, Rodney K. Hopson et Flora A. Caruthers. 2011. The program evaluation standards: A guide for evaluators and evaluation users. Los Angeles: Sage Publications.