5. De quelques leçons durement acquises en évaluation de programme

[Traduit de^[1] : Scriven, Michael. 1993. « Hard-Won Lessons in Program Evaluation ». New Directions for Program Evaluation (58). Traduction par Carine Gazier et Anne Revillard; traduction et reproduction du texte avec l’autorisation de John Wiley & Sons-Books.]

Le point de vue transdisciplinaire

Le nom de ce point de vue est basé sur une distinction entre les disciplines académiques classiques […] et un ensemble de disciplines qui traitent de différents outils, méthodes et approches utilisés par les disciplines académiques classiques. Ces transdisciplines comprennent les statistiques, la mesure, la logique et, ainsi que je le suggère, l’évaluation. Chacune d’entre elles est reliée à un certain nombre de domaines appliqués. Ainsi, les statistiques sont reliées aux domaines appliqués tels que la biostatistique, la mécanique statistique et la démographie. La tâche des statistiques en tant qu’approche transdisciplinaire n’est pas l’étude des phénomènes relevant de ces domaines, mais plutôt l’étude des outils quantitatifs pour décrire ces phénomènes. Ses résultats s’appliquent à l’ensemble des disciplines qui utilisent ou devraient utiliser des statistiques, d’où le terme de transdiscipline. La logique, avec tous ses domaines d’application comme la logique des sciences sociales, est une transdiscipline extrêmement générale, mais l’évaluation est probablement la plus générale (contrairement à la logique, elle précède le langage); toutes deux sont beaucoup plus générales que la mesure ou les statistiques.

La conception de l’évaluation que je défends a trois caractéristiques fondamentales : l’une épistémologique, l’autre politique et la dernière, disciplinaire. Tout d’abord, il s’agit d’une conception objectiviste de l’évaluation. Elle défend l’idée que l’évaluation est un processus de détermination du mérite et de la valeur de programmes, de personnels ou de produits, par exemple; et qu’il s’agit-là de propriétés réelles, bien que complexes, de choses de la vie quotidienne enracinées dans un contexte complexe; et enfin qu’un degré acceptable d’objectivité et d’exhaustivité dans la recherche de ces propriétés est non seulement possible, mais souvent atteint. […]

Deuxièmement, mon approche de l’évaluation de programmes est axée sur le consommateur ou la consommatrice plutôt que sur les enjeux de gestion. Cela ne signifie pas qu’il s’agit d’une approche de défense des consommateurs et consommatrices au sens où elle prendrait systématiquement et seulement leur parti. Simplement, elle considère leur bien-être comme la principale justification de l’existence d’un programme et accorde par conséquent à ce bien-être la même place centrale dans l’évaluation du programme en question. Cela revient notamment à rejeter une conception de l’évaluation comme aide à la décision […], bien que l’évaluation puisse par ailleurs déboucher sur des connaissances utiles à la prise de décision. La fonction principale de l’évaluation consiste plutôt à déterminer le mérite et la valeur des programmes en fonction de l’efficacité et de l’efficience avec lesquelles ils servent les personnes touchées, en particulier celles qui reçoivent ou devraient recevoir les services fournis et celles qui financent ces programmes – généralement les contribuables ou leurs représentantes et représentants. Le bien-être et les intérêts des personnels chargés de la mise en œuvre des programmes comptent aussi; mais pour prendre un exemple, la fonction première des écoles n’est pas de fournir un emploi aux enseignantes et aux enseignants, si bien que leur bien-être ne peut être considéré comme d’une importance comparable à celle de l’éducation des élèves.

Dans la mesure où les gestionnaires considèrent le service aux consommateurs et consommatrices comme leur objectif premier, comme ils le devraient normalement s’ils gèrent des programmes dans le secteur public ou associatif, les informations sur le mérite ou la valeur des programmes sont utiles à la décision et à la gestion […]; et dans la mesure où les objectifs d’un programme reflètent les besoins réels des consommateurs et consommatrices, ces informations donnent une bonne indication du degré auquel le programme atteint ses objectifs […]. Mais l’évaluation ne doit jamais présupposer que ces deux conditions sont remplies : elle doit au contraire en faire un objet d’enquête, et en pratique, ces deux hypothèses sont souvent contredites par les faits.

L’orientation de l’approche transdisciplinaire vis-à-vis des consommateurs et consommatrices nous fait franchir une étape supplémentaire dans l’établissement de la légitimité de la démarche consistant à tirer des conclusions évaluatives^[2] : elle justifie la nécessité de le faire dans de nombreux cas. En d’autres termes, elle considère toute approche comme incomplète si elle ne permet pas de tirer des conclusions évaluatives. Des démonstrations pratiques de ce principe figurent dans chaque numéro du Consumer Reports^[3] : les produits évalués sont notés et classés de manière systématique de sorte que l’on puisse voir quels sont les meilleurs du groupe (classement) et si les meilleurs sont sûrs, s’ils sont de bons achats, et ainsi de suite (notation).

Troisièmement, l’approche adoptée ici est englobante. Elle considère l’évaluation de programmes comme l’un des nombreux domaines appliqués au sein d’une discipline globale de l’évaluation. (Ces domaines d’application peuvent correspondre à une partie d’une discipline au sens classique : par exemple l’évaluation du personnel fait partie de la psychologie industrielle et organisationnelle, la biostatistique relève de la biologie.) Cette perspective entraîne des changements importants dans l’éventail des considérations auxquelles l’évaluation de programmes doit prêter attention. Par exemple, elle doit examiner d’autres domaines d’application pour identifier des parallèles, tout en se référant à une discipline fondamentale pour les analyses théoriques. Une telle approche transversale enrichit considérablement le répertoire méthodologique de l’évaluation de programmes.

L’approche transdisciplinaire présente donc deux caractéristiques principales. La première est son caractère englobant. Celui-ci renvoie à plusieurs choses :

(1) La vaste gamme de domaines d’application de l’évaluation; par exemple, dans les sciences sociales, l’évaluation peut porter sur des programmes, des produits, du personnel, des politiques publiques, des performances, des propositions, ainsi que sur les évaluations elles-mêmes (méta-évaluation);

(2) Le large éventail de processus d’évaluation en jeu en dehors même des domaines d’application de l’évaluation, y compris dans toutes les disciplines (évaluation des méthodologies, des informations, des instruments, de la recherche, des théories, etc.), dans l’artisanat et les arts (évaluation des compétences artisanales, des compositions, des régimes, des instructions, etc.);

(3) Le large éventail de types d’enquêtes évaluatives, allant des niveaux pratiques d’évaluation (par exemple, juger de l’utilité des produits ou de la qualité des plongeons dans une compétition olympique), à l’analyse conceptuelle (par exemple l’évaluation des questions conceptuelles et théoriques dans la discipline de base de l’évaluation), en passant par l’évaluation des programmes sur le terrain;

(4) Le chevauchement entre les différents domaines d’application de l’évaluation, qui est rarement reconnu : par exemple, les méthodes d’un domaine résolvent souvent des problèmes dans d’autres domaines. L’évaluation de programmes telle qu’elle est habituellement conçue ne fait pas référence à l’évaluation du personnel, à l’évaluation des propositions ou à l’évaluation éthique, alors qu’elle peut avoir recours à ces démarches.

La deuxième caractéristique principale de l’approche transdisciplinaire est l’accent qu’elle place sur les aspects techniques. L’évaluation, comme les statistiques et la mesure, requiert une formation à la manipulation de savoirs et de compétences spécifiques. Elle s’en distingue toutefois par son caractère beaucoup plus multidisciplinaire. Par exemple, l’évaluation de programmes implique plus d’une douzaine de sous-disciplines, dont plus de la moitié ne sont pas couvertes par les formations doctorales courantes dans des disciplines telles que la sociologie, la psychologie, le droit ou la comptabilité.

[…] Si l’on reconnaît qu’il existe une logique commune à toutes les démarches d’évaluation, que l’on peut observer dans l’évaluation de produits par exemple, il faut conclure que la discipline de l’évaluation transcende les limites de certains domaines d’application, tels que l’évaluation de programmes. […] Même si certaines caractéristiques particulières de l’évaluation de programmes la font paraître moins évidente que la démarche plus simple d’évaluation de produits, ce n’est pas forcément le cas. L’opinion selon laquelle l’évaluation de programmes n’a rien à voir avec l’évaluation de produits n’est populaire que chez celles et ceux qui connaissent mal l’évaluation des produits. Par exemple, l’idée selon laquelle l’évaluation de programmes serait intrinsèquement beaucoup plus politique que l’évaluation de produits est courante, mais erronée; l’histoire du réseau routier interétatique et du ‘supercollisionneur’ ‘supraconducteur’ sont des contre-exemples, et c’est après tout « seulement » une évaluation de produit – commandée par le Congrès et effectuée sans faille – qui a conduit à la révocation du directeur du National Bureau of Standards [Bureau national des normes].