3. La vision démocratique délibérative

[Traduit de House, Ernest R., Kenneth R. Howe. 1999, Values in Evaluation and Social Research, Thousand Oaks: Sage, chapitre 6 “The deliberative democratic view” p.91-103 (extraits). Traduction par Carine Gazier et Thomas Delahais; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

Au cours des années 1980, la Division de l’évaluation et de la méthodologie des programmes (Program evaluation and methodology division, ou PEMD) du General Accounting Office des États-Unis était l’unité d’évaluation la plus réputée de Washington. Sa directrice, Eleanor Chelimsky (1998), a fourni un précieux résumé de ce qu’elle a appris au cours de ses années à la tête de ce bureau. L’une de ses conclusions est que les conditions politiques spécifiques ont de fortes répercussions sur la façon dont les évaluations sont effectuées. Elle prend aussi cette position très ferme au sujet du plaidoyer :

Dans un environnement politique, il n’est pas nécessaire de faire entendre une autre voix revendicative, mais plutôt de rendre disponible pour un usage public une information robuste, honnête, et sans parti pris pour quelque cause que ce soit. Les responsables politiques du Congrès s’attendent à ce que les évaluateurs et les évaluatrices jouent exactement un tel rôle et apportent précisément ce genre d’informations…Pourtant, nous avons vu récemment des tentatives visant à justifier une posture revendicative de l’évaluateur ou de l’évaluatrice, et certaines théories appuient cette idée…Notre expérience au PEMD est que la défense d’intérêts de quelque nature que ce soit détruit la crédibilité de l’évaluateur ou de l’évaluatrice et n’a pas sa place dans l’évaluation (p.40).

Elle note en même temps que le Congrès remet rarement en question de façon sérieuse les programmes du Département de la Défense. Elle a trouvé cela particulièrement vrai pour les questions relatives à la guerre chimique^[1]. En 1981, lorsque Chelimsky entreprend des études sur les programmes de guerre chimique, elle découvre qu’il y a deux ensembles de publications. Le premier était classifié, favorable aux armes chimiques, et présenté par le Pentagone d’une manière unilatérale au Congrès. L’autre était critique, pro-paix, publique, et les responsables politiques du Congrès n’envisageaient même pas de le prendre en compte.

En découvrant cette situation, ses services ont réalisé une synthèse de toute la littérature, dit-elle, « qui a eu un effet électrisant sur les membres du Congrès qui affrontaient pour la première fois certains faits » (p.43). Ce document initial a donné lieu à davantage d’évaluations, de publicité et, à terme, a contribué aux accords internationaux sur les armes chimiques – une évaluation réussie selon presque toutes les normes en vigueur.

Ce travail sur la guerre chimique reposait sur l’analyse des tendances partisanes de la recherche existante, la compréhension des fondements politiques du programme et de l’évaluation, et la tentative d’« intégrer des valeurs contradictoires » à l’évaluation – ce que Chelimsky recommande pour toutes ces études. C’est une approche très intelligente, nous semble-t-il.

Notre question est : Quel cadre l’a amenée à mener l’étude de cette façon? Pourquoi a-t-elle posé des questions sérieuses sur les programmes du Pentagone alors que le Congrès ne l’a pas fait? Aucun groupe de parties prenantes ne l’a incitée à le faire. Le Pentagone a poussé ses propres informations, et les colombes anti-chimiques les leurs. Chelimsky devait avoir un cadre, aussi intuitif que cela ait pu être, pour la guider sur ce qu’il fallait faire.

Nous ne savons pas quel cadre elle a réellement utilisé, mais nous pensons qu’un cadre qui pourrait produire des résultats similaires prendrait la forme suivante : Inclure les valeurs contradictoires et les groupes de parties prenantes dans l’étude. S’assurer que tous les points de vue importants sont suffisamment inclus et représentés. Rassembler des points de vue contradictoires afin qu’il y ait des délibérations et un dialogue à leur sujet entre les parties concernées. Non seulement s’assurer qu’il y a suffisamment de place pour le dialogue pour résoudre les revendications contradictoires, mais aussi aider les décideuses et les décideurs et les médias à faire justice de ces revendications en triant les bonnes et les mauvaises informations. Mettre sur le devant de la scène les intérêts des bénéficiaires présumé-e-s s’ils et elles sont négligé-e-s.

Toute cette analyse et cette interprétation exigent de nombreux jugements et décisions de la part des évaluateurs et des évaluatrices quant à savoir ce qui est pertinent, ce qui est important, ce qui est une bonne information et ce qui est mauvais, comment gérer les délibérations des décideurs, comment gérer les médias, quelles sont les implications politiques, etc. Les évaluatrices et les évaluateurs sont inévitablement impliqué-e-s dans les constats qu’elles et ils font, même si elles et ils ne formulent pas elles/eux-mêmes les conclusions de l’étude. Leur empreinte intellectuelle est partout.

Il y a plusieurs constats à faire ici. Le premier est qu’un cadre est nécessaire pour guider l’évaluation, même s’il est implicite. Deuxièmement, ce cadre est une combinaison de faits et de valeurs. Les valeurs relatives à la guerre chimique des différents groupes impliqués ont été un élément important de l’évaluation. Les faits et les valeurs ont été réunis […]. De plus, l’évaluation sur la guerre chimique par Chelimsky est guidée par une conception particulière du rôle de l’évaluation dans les politiques publiques.

Peut-on alors parler d’une posture revendicative de la part des évaluateurs et des évaluatrices? Nous dirions que non, même si le travail mené est très chargé de valeurs et intègre une part considérable de jugement de la part des évaluateurs et des évaluatrices. Il ne s’agit pas de défendre le Pentagone ou les colombes au début de l’étude et de ne défendre qu’un seul côté ou l’autre. Après tout, si le Congrès est si fortement orienté vers le Pentagone, il serait politiquement logique de rester de leur bon côté, parce qu’ils sont les clients. C’est probablement ce que les évaluatrices et les évaluateurs qui cherchent à répondre aux besoins de leurs clients et leurs clientes (client-oriented evaluators) auraient fait. Ou il se peut qu’ils et elles auraient construit des résumés de valeur (value summaries) tels que ceux approuvés par Shadish, Cook, et Leviton (1995) : « Si vous êtes en faveur des armes chimiques, X est l’action à engager, mais si vous y êtes opposés, Y est l’action à prendre », et les auraient fournis aux décideurs et aux décideuses.

Mais les évaluateurs et les évaluatrices ont fait quelque chose de plus défendable – ils et elles ont impliqué toutes les parties dans l’étude et ont évalué la qualité des preuves de chaque côté en les comparant aux assertions critiques de l’autre côté. C’était ce qu’il fallait faire.

La conduite de cette étude est conforme au type de théorie de l’évaluation que nous voulons soutenir. L’approche démocratique délibérative que nous proposons intègre trois critères généraux pour que les évaluations soient correctement équilibrées sur les plans des valeurs, des parties prenantes et de la politique. Premièrement, l’étude devrait être inclusive de manière à représenter tous les points de vue, intérêts, valeurs, intervenants et intervenantes pertinent-e-s. Aucun élément important ne doit être omis. Dans le cas de la guerre chimique, les points de vue critiques des programmes de guerre chimique avaient été omis à l’origine et seuls les points de vue favorables au Pentagone avaient été inclus, ce qui a faussé les conclusions des études précédentes.

Deuxièmement, il devrait y avoir un dialogue suffisant avec les groupes concernés afin que les points de vue soient dûment et authentiquement représentés. Il n’est pas toujours facile de représenter ces points de vue de façon fidèle, mais c’est souvent essentiel. « Le fait de prêter attention à ce que pensent les bénéficiaires d’un programme est une caractéristique essentielle d’une étude crédible et n’a rien à voir avec la défense de ces bénéficiaires » (Chelimsky, 1998 : 47). De nombreuses études ont été menées sans tenir compte des intérêts des principaux et principales bénéficiaires (ou des victimes). Dans ce cas, les victimes potentielles de la guerre chimique ne peuvent guère être présentes. Quelqu’un doit représenter leurs intérêts. Sans doute, inclure les parties prenantes et leur parler dans la mesure du possible n’est pas un plaidoyer de l’avis de Chelimsky.

Troisièmement, il doit y avoir un niveau de délibération suffisante pour arriver à des constats de qualité. Dans ce cas, la délibération fut longue et productive, et a inclus les évaluateurs/-trices, les décideurs/-euses, et in fine les médias. La délibération peut inclure des moyens de protéger les évaluateurs et les évaluatrices et d’autres des pressions de puissantes parties prenantes, qui peuvent sérieusement entraver les discussions, comme le note Chelimsky. Une bonne délibération ne peut pas simplement être une discussion libre entre parties prenantes. Si c’est le cas, les parties prenantes puissantes gagnent.

La conception et la gestion de tout cela impliquent un effort considérable de jugement de la part des évaluateurs et des évaluatrices. Les évaluateurs et les évaluatrices peuvent être guidé-e-s par l’intuition, comme Chelimsky et ses collègues ont semblé l’être, ou ils et elles peuvent compter sur quelque chose de plus explicite. En fait, Chelimsky avance une conception particulière de l’intérêt public, c’est-à-dire que l’évaluation doit être jugée en fonction « de son succès à fournir des informations objectives dans l’intérêt public » (p.52). Et elle va plus loin : « Je suppose que le risque beaucoup plus grand pour notre domaine n’est pas le manque d’utilisation pour les bonnes raisons, mais plutôt le déclin de la capacité ou de la volonté de remettre en question le sens commun, ce qui est notre tâche la plus importante et la meilleure justification de notre travail » (p.51).

Ce faisant, n’est-elle pas en train de faire du plaidoyer pour sa conception particulière de l’intérêt public et du rôle de l’évaluation dans ce domaine? Si ce n’est pas le cas, en quoi sa vision diffère-t-elle d’une posture revendicative? La défense d’un point de vue implique de prendre les points de vue ou les intérêts d’un groupe et de toujours les défendre contre les autres, indépendamment des résultats de l’évaluation. Par exemple, Chelimsky et ses collègues auraient pu prendre soit le point de vue du Pentagone, soit celui des colombes sans équilibrer les deux. Ce serait une sorte de plaidoyer. Elle n’a pas fait cela.

D’un autre côté, si le plaidoyer signifie utiliser ou approuver des cadres ou des valeurs particuliers, Chelimsky pourrait être accusée de défendre sa conception particulière de l’intérêt public, avec laquelle tout le monde ne serait pas d’accord. Elle dit que tous les évaluateurs devraient procéder à des évaluations en tenant compte de l’intérêt public. Elle pourrait faire du plaidoyer en ce sens qu’elle soutient le recours à un cadre général. En fait, nous croyons que tous les évaluateurs et toutes les évaluatrices doivent adopter une certaine conception de l’intérêt public et de la démocratie, même si ces conceptions sont implicites.

En ce sens, les évaluatrices et les évaluateurs devraient faire du plaidoyer – en faveur de la démocratie et de l’intérêt public. La démocratie aspire à intégrer tous les intérêts légitimes. À notre avis, l’intérêt public n’est pas statique et, souvent, il n’est pas identifiable au départ, mais il émerge (ou devrait) de manière appropriée des processus démocratiques restreints dans lesquels l’évaluation joue un rôle. C’est précisément parce que les évaluateurs et les évaluatrices devraient être des défenseurs et les défenseuses de la démocratie et de l’intérêt public, qu’ils et elles ne devraient pas défendre des groupes spécifiques de parties prenantes dont les intérêts perçus résistent aux éléments de preuves et sont promus quoi qu’il arrive (Greene, 1997, utilise le terme plaidoyer dans un sens et Chelimsky, 1998, dans un autre, donc malheureusement leurs conceptions ne dialoguent pas). Les évaluateurs et les évaluatrices ne devraient pas non plus jouer le rôle de facilitateurs et de facilitatrices neutres parmi les défenseurs et les défenseuses de « résumés de valeur » concurrents ou des « constructions » des parties prenantes, de notre point de vue.

En quoi ce cas de la guerre chimique diffère-t-il de l’évaluation des programmes sociaux? Très peu. Dans leur évaluation des services de santé sur la côte du golfe du Texas, Madison et Martinez (1994) ont identifié comme principales parties prenantes les bénéficiaires des services (des Afro-Américain-e-s âgé-e-s) et les fournisseurs et les fournisseuses de services (surtout des médecins et infirmières blancs), ainsi que des représentant-e-s de groupes de défense des intérêts afro-américains. Chaque groupe avait un point de vue différent, les personnes âgées déclarant que les services n’étaient pas suffisamment accessibles et les professionnel-le-s de la santé déclarant que les personnes âgées n’étaient pas au courant de ces services.

Est-ce du plaidoyer que d’inclure des groupes particuliers, disons les Afro-Américain-e-s âgé-e-s dans ce cas, dans l’étude? Nous pensons qu’il ne s’agit pas d’un plaidoyer, mais plutôt d’un équilibre entre les valeurs et les intérêts de l’étude. Tous les points de vue devraient être représentés. Ce n’est pas non plus du plaidoyer que de rentrer dans cette étude en sachant que les opinions afro-américaines sont souvent exclues de ces études. C’est une histoire documentée, et les évaluateurs et les évaluatrices devraient être attentifs et attentives à de tels risques d’exclusion.

Dans une telle évaluation, on ne va pas établir pour de bon la légitimité des droits des personnes âgées afro-américaines par rapport à ceux des professionnel-le-s blanc-he-s dans la société en général. Cela dépasse le cadre de la plupart des évaluations. Les utilisateurs et les utilisatrices doivent déterminer ce qui se passe avec ces services à l’heure actuelle, une tâche plus modeste. Le plaidoyer, dans un sens erroné signifierait que les évaluateurs et les évaluatrices entrent déjà dans l’étude avec l’idée que les Afro-Américain-e-s ont raison et que les fournisseurs et les fournisseuses de services se trompent, ou vice versa, quels que soient les faits. Ce n’est pas la position qui convient aux évaluateurs et aux évaluatrices professionnel-le-s.

Notre conception de l’intérêt public dans l’évaluation est que l’évaluation informe objectivement l’opinion publique en incluant les points de vue et les intérêts, en favorisant le dialogue et en favorisant les délibérations visant à tirer des conclusions valables. L’objectivité est assurée par l’inclusion, le dialogue et les délibérations ainsi que par l’expertise d’évaluation que l’évaluateur ou l’évaluatrice professionnel-le met à contribution. Les évaluateurs et les évaluatrices ne peuvent échapper à l’attachement à une certaine notion de démocratie. La question est de savoir dans quelle mesure cette notion est explicite et défendable.

Dans le reste de ce chapitre, nous détaillons cette approche démocratique délibérative, l’opposons à d’autres points de vue et esquissons son lien avec la théorie politique. Cette approche n’est pas un modèle d’évaluation en ce sens qu’il s’agit d’un cadre permettant de déterminer si une évaluation est impartiale et objective du point de vue des allégations de valeur. De même que les évaluations peuvent être faussées par une mauvaise collecte de données et des erreurs d’omission ou de commission, elles peuvent aussi être faussées quand les mauvaises valeurs, parties prenantes ou intérêts y sont intégrés. Ce cadre milite contre de tels biais.

L’évaluation démocratique délibérative

La démocratie délibérative peut être considérée comme une véritable démocratie, c’est-à-dire ce que la démocratie exige lorsqu’elle est correctement analysée et comprise. En un sens, l’expression « démocratie délibérative » est redondante, parce que la démocratie au sens large exige, selon nous, une délibération. Mais la redondance mérite d’être préservée afin d’éviter toute confusion au sujet de ce sur quoi nous mettons l’accent. Nous utilisons ce terme pour focaliser l’attention sur les procédures de prise de décision que la démocratie exige et pour éviter la confusion avec d’autres conceptions de la démocratie.

Notre intention est de présenter un cadre général pour juger les évaluations sur la base de leur potentiel de délibération démocratique. Trois exigences s’appliquent à l’évaluation démocratique délibérative : l’évaluation doit être inclusive, dialogique et délibérative. Nous discutons tour à tour de chacune de ces exigences, bien qu’elles ne soient pas faciles à séparer complètement les unes des autres.

L’exigence d’inclusion

La première exigence de l’évaluation démocratique délibérative est l’inclusion de tous les intérêts pertinents. Il ne serait pas juste que des évaluatrices et des évaluateurs ne fournissent des évaluations qu’aux plus puissant-e-s ou ne les vendent qu’à ceux et celles qui enchérissent le plus pour leurs propres usages, biaisant ainsi l’évaluation en direction d’intérêts particuliers. Et il ne serait pas non plus juste que les commanditaires révisent les constats, effacent les parties de l’évaluation qu’ils et elles n’aiment pas ou renforcent les constats qui conviennent à leurs conceptions intéressées. Ce sont des conditions d’utilisation que les évaluateurs et les évaluatrices ne devraient pas tolérer.

Les études évaluatives aspirent à être des représentations exactes de la réalité, et non des instruments fictifs pour promouvoir les intérêts de certain-e-s par rapport à d’autres, comme dans la publicité ou les relations publiques, le prix étant attribué à ceux et celles qui paient le service. Les intérêts de tous les groupes de parties prenantes sont essentiels et les intérêts de toutes les parties concernées devraient être représentés, comme l’exige une véritable démocratie. Si tous les intérêts pertinents ne sont pas pris en compte, le résultat n’est qu’une fausse démocratie de laquelle certains ont été exclus.

Les déséquilibres de pouvoir figurent parmi les pires menaces à l’évaluation. De tels déséquilibres sont endémiques dans la société, et on peut aisément imaginer comment ils peuvent perturber et fausser une évaluation. Les plus puissant-e-s peuvent dominer la discussion, ou ceux et celles qui sont sans pouvoir ne pas être représentés. Il doit y avoir un certain équilibre et une égalité des pouvoirs pour qu’une délibération correcte ait lieu.

Les évaluateurs et les évaluatrices doivent concevoir des évaluations de telle façon que les intérêts pertinents soient représentés et de telle façon qu’il y ait un équilibre de pouvoir entre eux, ce qui veut souvent dire représenter les intérêts de ceux et celles qui pourraient être exclu-e-s de la discussion, parce que leurs intérêts ont des chances d’être négligés en leur absence. Et, bien sûr, la délibération devrait être basée sur une discussion sur les mérites, pas sur le statut des participant-e-s.

Déterminer et pondérer les intérêts est extrêmement complexe et incertain, et induit souvent des controverses. D’abord, tous les intérêts n’ont pas la même force morale. Bhaskar (1986) distingue les intérêts qui s’attachent aux besoins, qui ont le plus de poids moral, du large éventail d’intérêts qui suit :

Un intérêt est tout ce qui favorise la réalisation des désirs, des besoins et/ou des objectifs des agents et agentes; et un besoin est tout ce qui est (contingentement ou absolument) nécessaire à la survie ou au bien-être d’un-e agent-e, que celui-ci le possède ou non. La satisfaction d’un besoin, contrairement à la satisfaction d’une envie ou d’un but, ne peut jamais en soi aggraver la situation d’un individu ou un groupe (p.70).

Scriven (1991) fait valoir une distinction similaire dans le contexte spécifique de l’évaluation. Il distingue l’« évaluation de la valeur » (value assessment), dans laquelle les besoins, les désirs et les préférences de marché sont traités indifféremment, de l’« évaluation des besoins » bien compris. « Les besoins, dit-il, constituent la première priorité pour l’intervention…. juste parce qu’ils sont dans une certaine mesure nécessaires, alors que les envies sont (seulement) désirées » (p.241). Selon Scriven, les besoins sont associés à un « niveau d’urgence ou d’importance » que ne possèdent pas les désirs, les préférences du marché, etc.

Cela ne signifie pas qu’il soit facile, ni même toujours nécessaire, de distinguer les intérêts associés aux besoins des intérêts liés aux désirs dans la conduite des évaluations. Néanmoins, il s’agit d’une distinction à laquelle les évaluateurs et les évaluatrices devraient s’astreindre. Même si elle est floue ou controversée dans certains cas, elle n’en est pas moins tout à fait réelle. Dans de nombreux cas, il est facile de tracer la frontière – par exemple, les intérêts en matière de nourriture, de logement et de soins de santé par rapport aux intérêts en matière de retraite anticipée ou d’automobiles de luxe.

L’exigence dialogique

La deuxième exigence de l’évaluation démocratique délibérative est qu’elle soit dialogique. Ce qui complique la détermination et la hiérarchisation des intérêts, c’est que les individus et les groupes ne sont pas toujours en mesure de déterminer leurs propres intérêts lorsqu’ils sont laissés à leurs propres moyens. Ils peuvent être dupés ou induits en erreur par les médias, par de puissants groupes d’intérêt qui suppriment ou manipulent des preuves, ou parce qu’ils et elles ne disposent pas ou ne saisissent pas les opportunités d’obtenir des informations. Les intérêts réels d’un individu ou d’un groupe ne sont pas nécessairement les mêmes que les intérêts perçus. Les intérêts réels pourraient être définis de cette manière : La politique X est dans l’intérêt de A si A, connaissant les résultats de la politique X et de la politique Y, choisirait le résultat de la politique X plutôt que celui de la politique Y. Il est essentiel de déterminer les intérêts « réels ».

Découvrir des intérêts réels est une tâche importante de l’interaction dialogique. Les évaluateurs et les évaluatrices ne peuvent pas présumer automatiquement des intérêts des parties. Ils et elles peuvent se tromper. Il est préférable d’engager activement les participant-e-s par le biais de dialogues de divers types. Il se peut que, par le dialogue et les délibérations, les parties prenantes changent d’avis quant à leurs intérêts. Après avoir examiné les conclusions et engagé dans des débats et des discussions avec d’autres, ils et elles peuvent considérer leurs intérêts comme différents de ceux avec lesquels ils et elles ont commencé.

Le fait que l’évaluation soit totalement intégrée dans le tissu social rend le dialogue essentiel. Les participant-e-s et les évaluateurs ou évaluatrices doivent identifier les problèmes réels et même les créer dans de nombreux cas. Les constats de l’évaluation apparaissent au long de ces processus. Ils n’attendent pas d’être découverts, nécessairement, mais sont forgés dans l’évaluation et les discussions sur les résultats. […] Cela ne signifie pas que la conclusion de l’évaluation soit « irréelle » parce qu’elle est émergente et construite, pas plus qu’une voiture n’est irréelle parce qu’elle est construite.

Pour assurer que le dialogue ait lieu, les évaluateurs et les évaluatrices doivent représenter équitablement tous les intérêts, s’engager dans des processus dialogiques avec les participant-e-s et délibérer de manière approfondie sur les enjeux identifiés. Dans un certain sens, nous pouvons imaginer d’avancer le long du continuum valeur-fait depuis des assertions portant sur les préférences et les valeurs recueillies lors du dialogue initial, puis par des délibérations fondées sur des principes démocratiques, à des déclarations évaluatives sur les faits.

Il y a un risque que les évaluateurs et les évaluatrices soient indûment influencés par un dialogue approfondi avec divers groupes de parties prenantes, une menace que Scriven (1973) a relevée il y a longtemps dans son appel à une évaluation affranchie des objectifs (goal-free evaluation). Nous pensons que cette menace à l’impartialité est réelle, mais le réel danger est que les évaluateurs ou les évaluatrices ne comprennent pas pleinement les positions, les opinions et les intérêts des différents groupes de parties prenantes et représentent mal ces groupes dans l’évaluation. Nous sommes donc disposés à échanger la menace d’impartialité contre la possibilité que les évaluateurs ou les évaluatrices comprennent pleinement les positions des parties prenantes en engageant un dialogue approfondi avec elles. Et la menace d’impartialité est atténuée par l’inclusion de différents groupes et les délibérations.

Dans certaines situations, il se peut qu’il y ait peu de risque d’un malentendu de la part des évaluatrices et des évaluateurs. Dans certaines évaluations de produits [comme en font les associations de consommateurs, NdT], les évaluatrices et les évaluateurs peuvent peut-être présumer des intérêts de consommateurs ou de consommatrices typiques avec un minimum de dialogue parce que le contexte de ces études peut être défini avec précision à l’avance. Toutefois, dans la plupart des évaluations de programmes et de politiques complexes, il n’est pas facile de comprendre les parties prenantes et leurs positions. Les intérêts des différents groupes peuvent être conflictuels, et plus la situation est complexe, plus le dialogue est nécessaire pour la régler. En ce sens, les évaluations de produits peuvent être plus un cas particulier d’évaluation que le cas paradigmatique. Et nous pensons que le dialogue est non seulement souhaitable, mais nécessaire dans la plupart des cas.

L’exigence délibérative

La troisième exigence des évaluations est qu’elles soient délibératives. La délibération est fondamentalement un processus cognitif, fondé sur la raison, la preuve et les principes de l’argumentation valable, dont un sous-ensemble important est les canons méthodologiques de l’évaluation. Dans de nombreux cas, l’autorité des évaluatrices et des évaluateurs, fondée sur leur expertise particulière joue un rôle essentiel dans une démocratie délibérative.

Au contraire, on considère généralement que la démocratie « émotiviste » ou préférentielle accepte telles quelles les préférences, les valeurs, les goûts et les intérêts des citoyens et citoyennes et trouve des moyens de maximiser ces intérêts. Les évaluatrices et les évaluateurs ne pourraient remettre en question ces préférences – elles seraient simplement données. Les faits se prêteraient à la détermination des spécialistes, comme dans le domaine scientifique, mais les valeurs seraient choisies et ne pourraient être traitées rationnellement. Par conséquent, le mieux que les évaluateurs et les évaluatrices pourraient faire est de satisfaire les préférences (maximiser la satisfaction des préférences), peu importe ce qu’elles sont. Ce raisonnement conduit à une conception de la démocratie dans laquelle les préférences et les valeurs ne sont pas examinées.

Nous sommes d’avis que les valeurs ne peuvent être prises telles quelles, mais qu’elles doivent faire l’objet d’un examen dans le cadre de processus rationnels. L’évaluation est une procédure de détermination des valeurs, qui sont émergentes et transformées par des processus délibératifs en constats de l’évaluation. L’évaluation sert donc une démocratie délibérative, dans laquelle les intérêts et les valeurs sont rationnellement déterminés. Une discussion et une détermination minutieuses exigent l’expertise des évaluateurs et des évaluatrices.

Certes, l’évaluation ne doit pas se substituer au vote et à d’autres procédures de décision dans une démocratie. L’évaluation est plutôt une institution qui produit des constats évaluatifs utilisés dans les processus décisionnels démocratiques. L’évaluation informe le vote et les autres procédures de décision faisant autorité dans les sociétés démocratiques, elle ne doit pas les remplacer.

Après tout, l’évaluation est inextricablement liée à la notion de choix : quels choix faut-il faire, qui fait des choix et sur quelle base? L’évaluation des programmes, des politiques et du personnel publics repose sur la notion de choix collectif et sur l’idée de tirer des conclusions sur la base de leur mérite. Au contraire, nous pouvons considérer que des individus arrivent à des conclusions en faisant l’acte individuel de pondérer et mettre en balance divers facteurs. Il s’agit d’un modèle de choix du consommateur, essentiellement un modèle de marché, dans lequel de nombreuses personnes font leurs propres choix sur la base des informations disponibles, et dans lequel le choix collectif n’est que la somme des choix individuels.

Mais la plupart des évaluations publiques ne fonctionnent pas comme cela. Les intérêts pertinents et les parties prenantes doivent être déterminés dans le cadre de l’évaluation. Et le choix du consommateur ou de la consommatrice n’est pas le même que le choix collectif découlant d’une délibération collective. La délibération collective exige une réciprocité de la conscience entre les participant-e-s et l’égalité approximative des pouvoirs si l’on veut que les participant-e-s atteignent un état dans lequel ils et elles débattent efficacement de leurs propres finalités collectives.

Une note sur l’autorité de l’évaluateur ou de l’évaluatrice en la matière : il est utile de faire la distinction entre le pouvoir et l’autorité. Les évaluateurs et les évaluatrices devraient accepter l’autorité, mais pas le pouvoir. Par exemple, A a un pouvoir sur B quand A peut affecter le comportement B d’une façon contraire aux intérêts de B. Mais A a autorité sur B lorsque B s’y conforme parce qu’A a influencé B par de bonnes raisons liées aux intérêts de B. Il existe une délibération démocratique quand les délibérations sont des discussions sur le mérite qui mettent en jeu les intérêts de A et B ou leurs intérêts collectifs. Par conséquent, les évaluateurs et les évaluatrices ont autorité en ce sens que les gens sont persuadés par l’évaluation pour de bonnes raisons.

Les exigences d’inclusion, de dialogue et de délibération se chevauchent et se croisent de manière complexe. Par exemple, la qualité de la délibération n’est pas dissociable de la qualité du dialogue, ce qui, à son tour, influe sur la question de savoir si l’inclusion (par opposition à une participation symbolique [tokenism]) est obtenue. En général, les trois conditions d’inclusion, de dialogue et de délibération ne peuvent être clairement distinguées et appliquées indépendamment. Elles s’affectent et se renforcent mutuellement.

Néanmoins, les distinguer les unes des autres fournit des orientations. Si les exigences en matière d’inclusion et de dialogue sont satisfaites, mais que les délibérations ne le sont pas, tous les intérêts pertinents peuvent être représentés (provisoirement), mais ne pas être suffisamment pris en considération, ce qui donne lieu à des conclusions erronées (un problème pour les approches « constructivistes » et « postmodernistes »). Si les exigences d’inclusion et de délibération sont satisfaites, mais que le dialogue fait défaut, les intérêts et les positions peuvent être mal représentés, ce qui donne lieu à des évaluations inauthentiques fondées sur de faux intérêts et dominées par celles et ceux qui ont le plus de pouvoir […]. Enfin, si les exigences en matière de dialogue et de délibération sont respectées, mais que tou-te-s les intervenant-e-s ne sont pas inclus-es, l’évaluation peut être accusée d’être partiale à l’égard d’intérêts particuliers.

L’évaluation démocratique délibérative est un idéal qui mérite d’être poursuivi, pas quelque chose qui peut être réalisé une fois pour toutes dans n’importe quelle étude ou pleinement pris en compte. Mais encore une fois, la collecte, l’analyse et l’interprétation de données sans biais afin d’arriver à des résultats précis n’est jamais non plus parfaite. Ce n’est pas une raison pour les évaluateurs et les évaluatrices de cesser de faire de leur mieux. Il y a de meilleures et de pires façons de conduire les études du point de vue de la démocratie délibérative.

Bibliographie

Bhaskar, Roy. 1986. Scientific Realism and Human Emancipation. London: Verso.

Chelimsky, Eleanor. 1985. « L’évaluation de programmes aux États-Unis ». Politiques et management public 3(2) : 199‑214.

Chelimsky, Eleanor. 1998. « The role of experience in formulating theories of evaluation practice ». American Journal of Evaluation 19(1) : 35‑55.

Greene, Jennifer C. 1997. « Evaluation as advocacy ». Evaluation Practice 18(1) : 25‑35. doi : https://doi.org/10.1177%2F109821409701800103

Madison, A., et V. Martinez. 1994. « Client participation in health planning and evaluation: An empowerment evaluation strategy ». Boston.

Scriven, Michael. 1973. « Goal-free evaluation ». in School evaluation, édité par E. R. House. Berkeley: McCutchan Publishing.

Scriven, Michael. 1991. Evaluation Thesaurus. 4e éd. Thousand Oaks: Sage Publications.

Shadish, William R., Thomas D. Cook et Laura C. Leviton. 1995. Foundations of program evalution. Thousand Oaks: Sage Publications.