4. La malédiction de l’évaluation au sein des universités

[Traduit de : Cox, Gary B. 1990. « La malédiction de l’évaluation au sein des universités » « On the Demise of Academic Evaluation. » Evaluation and Program Planning 13(4) : 415–19 (extraits). Traduction par Carine Gazier et Anne Revillard; traduction et reproduction du texte avec l’autorisation d’Elsevier.]

Les départements universitaires n’ont pas historiquement apporté un grand soutien à l’évaluation de programmes. Premièrement, il n’y a jamais eu de base de financement solide pour l’évaluation en tant que telle dans les départements universitaires. Même lorsque l’évaluation était considérée comme une priorité majeure pour l’avenir (Wertheimer et al., 1978), il y avait peu de postes ouverts dans le domaine de l’évaluation au sens strict. Les départements universitaires ont pour fonction de développer un savoir théoriquement informé et généralisable. L’évaluation poursuit rarement une telle démarche, et ne le fait que dans des circonstances particulières (généralement dans le cadre de projets fédéraux de grande envergure). De plus, dans la mesure où l’évaluation et la recherche sont considérées comme des activités distinctes, les savoirs issus de l’évaluation ont tendance, dans l’ensemble, à devenir de moins en moins généralisables. Les départements universitaires ont été et continueront d’être réticents à confier des postes permanents à des professeurs dont l’activité n’est pas orientée vers la théorie.

Deuxièmement, non seulement l’évaluation ne dispose pas de certains des attributs nécessaires à la reconnaissance académique, mais elle présente aussi d’autres caractéristiques fort peu attrayantes dans la plupart des contextes universitaires, notamment l’exigence d’une interaction particulièrement intense avec la communauté des utilisateurs, et son caractère clairement politique. En outre, les bonnes évaluations s’appuient généralement sur de multiples domaines d’expertise, de sorte qu’avec le temps, les évaluateurs ont tendance à adopter une perspective interdisciplinaire. Étant donné que ces tendances sont probablement plus marquées dans les évaluations au niveau local qu’au niveau fédéral, et compte tenu du prestige différent de ces deux niveaux de gouvernement, les départements universitaires seront généralement mieux disposés vis-à-vis des démarches d’évaluation à l’échelon fédéral. Ceci étant, la réputation de l’évaluation dans son ensemble fait en sorte que même les projets d’évaluation relativement rigoureux peuvent souffrir d’un discrédit.

Ces facteurs se combinent pour rendre difficile l’obtention d’une titularisation pour des professeurs ou professeures de niveau débutant ayant un intérêt marqué pour l’évaluation de programmes. Il est très rare qu’une personne puisse réussir une carrière universitaire à partir de la seule démarche d’évaluation.

D’éminent-e-s chercheurs et chercheuses universitaires pratiquent toutefois l’évaluation. Ce groupe se caractérise par un haut niveau d’expertise méthodologique et/ou dans une spécialisation universitaire traditionnelle, et est souvent connu pour sa participation à des évaluations à grande échelle financées par le gouvernement fédéral, souvent des programmes fédéraux. Ce constat n’infirme pas la règle générale quant à la prévalence des critères académiques. C’est même là le modèle de l’évaluateur ou de l’évaluatrice universitaire accompli-e : soyez un véritable expert ou une véritable experte dans un domaine valorisé par votre discipline, et poursuivez des projets à grande échelle, bien financés, pour lesquels votre expertise est pertinente et qui, à leur tour, l’enrichissent. Une telle stratégie peut faire sens pour des universitaires en début de carrière; elle permet de générer de nouvelles connaissances en sciences sociales, et peut même enrichir sur certains points la pratique de l’évaluation.

Mais ce modèle d’évaluation académique a plusieurs implications importantes : tout d’abord, l’intérêt premier de cet-te universitaire sera de préserver sa crédibilité académique, et sera donc orienté vers sa thématique et sa discipline. Deuxièmement, la plupart des activités d’évaluation qui autorisent ce niveau de sophistication se dérouleront au niveau fédéral et, de façon plus marginale, au niveau des États. L’immense besoin d’évaluation des organismes locaux restera relativement délaissé. Troisièmement, en conséquence, cela fera peu avancer les connaissances et théories relevant spécifiquement de l’évaluation.

Une autre manière de formuler cette idée consiste à dire que l’évaluation peut être pratiquée en mettant l’accent soit sur la façon dont les savoirs sont utilisés, soit sur la façon dont ils permettent des montées en généralité. Il ne s’agit pas de dire qu’une de ces pratiques relèverait bien de l’évaluation et l’autre non, ou que l’une serait plus utile, voire plus vertueuse que l’autre. Simplement, leurs priorités et leurs valeurs de référence diffèrent, et ces différences ont des conséquences. Une de ces implications est que les différentes approches sont adaptées à des contextes et à des objectifs différents. Pour survivre dans leurs départements, les évaluateurs et évaluatrices académiques doivent généralement se concentrer davantage sur le potentiel de montée en généralité. Cette orientation est tendanciellement plus compatible avec les projets soutenus par le gouvernement fédéral et, dans une moindre mesure, par les États, et généralement incompatibles avec les projets locaux. Les études mettent plus l’accent sur le contenu et/ou la méthodologie que sur l’utilisation des résultats, le plus souvent limitée au domaine immédiat d’application. Au fur et à mesure que l’expérience provenant de ces études à grande échelle s’accumule, elles ont tendance à devenir de plus en plus rigoureuses et il semblerait qu’il y ait de moins en moins de raisons de les qualifier d’« évaluation » plutôt que de « recherche ».

La démarche des évaluateurs et évaluatrices est différente : ils et elles s’emploient à recueillir des données ou à rassembler les informations existantes afin de répondre aux besoins relativement clairs de leurs clients en termes de reddition de comptes, de prise de décision ou de planification. Lorsque des études spécifiques sont effectuées, elles sont rarement rigoureuses au point de pouvoir être qualifiées de « recherche », et bien que les méthodologies changent et s’améliorent avec le temps, et que l’amélioration de la fiabilité et de la validité des informations soit un objectif, ce n’est pas ce qui guide en premier lieu la démarche d’évaluation.

Les principales tendances semblent être, d’une part, une division croissante entre l’évaluation académique et l’évaluation non académique, dans laquelle la première ressemble davantage à la recherche tandis que la seconde reste une évaluation. Deuxièmement, on observe une partition similaire entre les évaluations menées au niveau fédéral et au niveau local, les évaluations fédérales ressemblant de plus en plus à de la recherche et les évaluateurs et évaluatrices fédéraux à des chercheurs et à des chercheuses, tandis que les évaluations et les évaluateurs et évaluatrices locaux restent plus axés sur l’évaluation. Troisièmement, les universitaires pratiquant l’évaluation continueront à se préoccuper principalement de l’établissement et du maintien de leur réputation dans une thématique universitaire donnée (y compris en méthodologie), mais très peu de démontrer leur compétence en évaluation en tant que telle. Les qualifications universitaires peuvent conduire à recommander une personne pour certains types de projets d’évaluation, mais la qualification en l’évaluation ne vaudra jamais beaucoup dans un cadre universitaire.

Aucune de ces tendances ne favorise le développement d’un ensemble de théories académiques sur l’évaluation, et sans une telle base théorique, on ne peut envisager de faire de l’évaluation en tant que telle une discipline ou une spécialité académique. On peut dès lors prédire que l’implication des universitaires dans l’évaluation va avoir tendance à diminuer.

[…] Toutefois, si nous voulons considérer l’évaluation comme une discipline académique, ou une spécialité disciplinaire ou interdisciplinaire, alors l’évaluation, telle qu’elle est actuellement pratiquée et promet de l’être à l’avenir, a un problème, à savoir qu’elle ne développe pas de fondement théorique ou empirique qui lui soit absolument spécifique.

Bien entendu, les projets d’évaluation mobilisent fréquemment des théories, mais il s’agit généralement de théories sur le sujet évalué ou de techniques méthodologiques ou statistiques spécifiques mobilisées dans le protocole d’enquête ou dans l’analyse des données. Les résultats, pour autant qu’ils soient généralisables, peuvent, à leur tour, venir alimenter des savoirs thématiques. Nous faisons appel à des domaines de recherche en sciences sociales autres que le contenu spécifique de l’évaluation afin d’améliorer la qualité du travail d’évaluation, notamment les recherches sur l’utilisation des connaissances et sur le changement organisationnel. Mais il est rare de voir des recherches menées sur l’évaluation, et encore plus rare de voir des recherches fondées sur un énoncé théorique relatif à l’évaluation en général, ou travaillant à l’élaboration d’un tel énoncé. Tant qu’une base théorique et empirique propre à l’évaluation ne sera pas développée, l’évaluation en tant que discipline ou spécialité académique distincte n’aura pas d’avenir, et sans une telle base académique, on ne peut espérer de développement théorique significatif.

L’évaluation en tant que spécialité académique

Se demander si l’évaluation a le potentiel de devenir une discipline ou une spécialité académique revient à se demander s’il existe des questions théoriques (ou des domaines de recherche) que l’évaluation pourrait définir ou revendiquer comme étant siennes. En définissant ces domaines de contenu, il ne suffit pas d’intégrer dans la pratique de l’évaluation les connaissances théoriques ou empiriques extraites de divers autres domaines. L’intégration dans la pratique est souhaitable et se fait déjà. L’enjeu est de produire des énoncés empiriques, théoriques et généralisables sur les principes de l’évaluation, qui seraient largement applicables aux projets d’évaluation dans divers domaines. Ce dont on a besoin, c’est de recherche et d’élaboration théorique en l’évaluation.

Sur quels thèmes cette activité de recherche pourrait-elle être axée? Flaherty et Morel (1978) ont énuméré plusieurs réalisations en recherche ou en technologie qu’ils estimaient être des acquis généralisables en matière d’évaluation. Depuis lors, peu d’entre eux ont porté beaucoup de fruits. Je désignerai la rubrique « Utilisation des données et de l’information » comme la question la plus développée sur le plan de la recherche en évaluation. Si on l’interprète au sens large, il s’agit d’une question complexe, riche et variée sur le plan conceptuel. Bien que de nombreuses autres disciplines s’intéressent à ce sujet à partir de leurs cadres conceptuels spécifiques, l’utilisation des données est de toute évidence en tant que telle une question pertinente pour l’évaluation et, à en juger par le volume des articles présentés lors de conférences et le volume de revues, elle constitue déjà une préoccupation pour les évaluateurs. De nombreuses variations sur ce thème général sont possibles.

Par exemple, en termes très généraux, nous devons savoir pourquoi, ou si ou quand, l’évaluation est souhaitable. Pour ce faire, il faut aller au-delà du jugement de valeur selon lequel la recherche et les connaissances sont toujours souhaitables et déterminer comment et à quelles fins l’évaluation est utile. Cela sera probablement important au niveau de l’État et des organismes locaux, où l’on ne manque pas de groupes mobilisés pour faire valoir que les fonds consacrés à l’évaluation seraient mieux utilisés en étant directement consacrés aux services.

[…] L’utilisation semble donc être un sujet prometteur pour des développements théoriques et, à en juger par les articles de revue et les documents de conférences, elle demeure une préoccupation pour les évaluateurs de tous types dans tous les domaines de contenu. D’autres sujets sont possibles, notamment ceux qui pourraient permettre l’élaboration d’une base théorique en évaluation. Il se peut aussi qu’aucun effort ne soit fait pour développer une théorie générale de l’évaluation, auquel cas l’évaluation aura tendance à se séparer en domaines de contenu et en factions plus ou moins orientées vers la recherche. […] Dans de telles circonstances, l’évaluation continuerait d’être de nature athéorique, perdrait son attrait pour les collègues universitaires orientés vers la théorie et/ou continuerait à ne les intéresser que de façon secondaire par rapport à leurs thématiques de recherche principales.

Bibliographie

Flaherty, Eugenie W., et Jonathan A. Morell. 1978. « Evaluation: Manifestations of a new field ». Journal of Evaluation and Program Planning 1(1) : 1‑10. doi : https://doi.org/10.1016/0149-7189(78)90002-2.

Wertheimer, Michael, Allan G. Barclay, Stuart W. Cook, Charles A. Kiesler, Sigmund Koch, Klaus F. Riegel, Leonard G. Rorer, Virginia L. Senders, M. Brewster Smith et Sally E. Sperling. 1978. « Psychology and the future ». American Psychologist 33(7) : 631‑47. doi : https://doi.org/10.1037/0003-066X.33.7.631.