Le regard de Nathalie Mons

Je ne me considère pas comme une professionnelle de l’évaluation. Ce sont mes activités de recherche qui m’ont conduite à m’ouvrir sur ce champ d’expertise. Sociologue spécialisée dans les politiques éducatives, mes recherches se sont dès le début orientées vers l’analyse des effets des réformes dans ce champ spécifique de l’action publique. Je maniais alors les analyses statistiques quantitatives et la comparaison internationale, notamment les grandes enquêtes de l’OCDE comme PISA pour mettre en évidence les pratiques et politiques éducatives qui pouvaient sembler les plus efficaces pédagogiquement.

Dès le début l’utilité sociale et citoyenne a été centrale dans mon travail. L’université était pour moi une seconde carrière après un parcours dans le secteur privé, dans lequel en tant que cadre vous devez en permanence rendre des comptes sur les investissements que vous avez sollicités. Il m’a toujours semblé que les responsables politico-administratifs qui mobilisent des deniers publics, c’est-à-dire l’argent commun, devraient plus encore que les acteurs du secteur privé s’astreindre à cette logique éthique de reddition des comptes. À mon arrivée dans le secteur public, j’ai été étonnée de voir la place marginale occupée par l’évaluation là où éthiquement elle me paraissait devoir être centrale.

Par la suite, j’ai affiné mes méthodes de recherche : j’ai compris que pour réellement évaluer les effets des politiques, des analyses de terrain plus qualitatives permettant de comprendre les processus par lesquels se créent les phénomènes étudiés devaient compléter la photographie centrale d’un phénomène qu’offre toute analyse quantitative. L’évaluation doit analyser ce qui se passe, évaluer, mesurer un phénomène, bien sûr, mais aussi développer une démarche de recherche qui permette de comprendre les raisons souvent complexes des phénomènes étudiés, sinon son utilité et donc ses usages ne peuvent être que limités. C’est cette approche qui m’a fait accepter en 2013 la présidence du Conseil national d’évaluation du système scolaire (Cnesco) chargé en France de conduire une évaluation indépendante de l’école française puis une chaire au CNAM sur l’évaluation des politiques publiques d’éducation.

Par ailleurs, comprenant rapidement que le métier d’évaluateur ou d’évaluatrice est un métier dangereux pour la personne concernée, mais aussi pour les personnes évaluées (car l’évaluation peut orienter très rapidement les pratiques professionnelles), j’ai souhaité également développer des recherches sociologiques sur les usages et réceptions des évaluations par les décideurs politiques et les acteurs de terrain : par exemple, comment un instrument comme l’enquête de l’OCDE PISA qui évalue les élèves de 15 ans et fait la une des grands médias nationaux dans les pays de l’OCDE est-elle utilisée, voire manipulée par les politiques pour imposer la pertinence de certaines réformes?  Ou comment se comportent les enseignants et les élèves face aux grandes enquêtes nationales et internationales? Les individus sont stratèges et apportent toujours aux décideurs et décideuses les résultats qu’ils et elles souhaitent si ces dernier-e-s développent des évaluations à forts enjeux.

L’évaluation d’une pratique ou d’une politique publique n’est pas un acte anodin. L’évaluation peut avoir des effets délétères, tout-e évaluateur ou évaluatrice devrait faire un travail réflexif sur sa démarche, ses outils et sa communication.

Plus largement, le fait d’être non pas une praticienne de l’évaluation, mais une chercheuse spécialisée dans l’élaboration et les effets des politiques publiques m’a permis très tôt de comprendre que la place de l’évaluation est, de fait, et doit, éthiquement, être limitée dans le processus décisionnaire politique sinon nous ne sommes plus en démocratie. Le savant doit respecter l’autonomie du politique. Ce parcours de recherche m’empêche d’avoir une vision mécaniste et donc naïve sur la thématique de l’usage des évaluations.

Le recensement d’articles scientifiques effectué dans ce chapitre est passionnant, car les textes sur les usages des évaluations ne sont pas légion. Il existe une littérature très riche sur les méthodologies de l’évaluation, mais le champ de ses usages a été moins exploré. L’évaluateur ou l’évaluatrice présuppose trop souvent que son travail, s’il est de qualité, sera utilisé, d’où cette très forte centration dans les recherches sur les dimensions méthodologiques et non politiques ou d’usage de l’évaluation.

Or, le premier résultat convergent de ces articles est que l’usage des évaluations dans le design de futures politiques publiques reste encore marginal. On trouve ce résultat dans les tous les pays développés et sur tous les secteurs de l’action publique. Mais en ouvrant la focale de la définition des usages, comme le font de nombreux textes du chapitre, on peut alors étudier des utilisations largement plus présentes, notamment par le biais d’influences indirectes.

Plutôt qu’un regard technique sur l’évaluation, quand on s’intéresse à ses usages, il faut embrasser plus largement le processus décisionnaire de politiques publiques et se demander comme le font certain-e-s auteurs et autrices présenté-e-s dans le chapitre : quels sont les ingrédients techniques, politiques, démocratiques de la décision publique? Dès lors que l’on réfléchit ainsi sur le lien entre démocratie et évaluation, il apparaît que la place de l’évaluation dans la décision publique et donc ses usages ne peut être qu’à la marge. L’équipe d’évaluation éclaire ou informe le processus décisionnaire de politique publique au mieux.

Dans un programme de recherche, nous avons cherché à savoir si, dans les pays ou dans les gouvernements qui se présentaient comme des adeptes de l’approche evidence based policy (politique publique fondée sur les preuves), nous pouvions retrouver des exemples concrets de cette démarche dans les réformes qu’ils mettaient en place sur le terrain. Nous n’en n’avons jamais trouvé, même dans une nation comme l’Angleterre qui a développé à marche forcée des What Works Centres dans de nombreux secteurs de l’action publique. L’approche evidence-based policy reste un modèle théorique. Le politique peut à certaines époques, dans certains pays développer un discours sur la légitimité de politiques publiques qui serait fondée sur des évaluations ou des recherches, mais heureusement les politiques publiques sont des processus démocratiques beaucoup plus complexes. Les politiques ne sont jamais les transpositions simples de résultats de recherche ou d’évaluation.

Avant d’être technique et méthodologique, la réflexion de l’évaluateur ou de l’évaluatrice qui souhaite voir ses résultats partagés par une communauté politique ou de praticien-ne-s d’un secteur d’activité doit être axiologique et éthique : quelle doit être ma place dans cette communauté que j’ambitionne d’éclairer de mes résultats, à quelles conditions une attention portée à mes résultats peut-elle exister? De quelle légitimité disposé-je par rapport à l’expertise et à la légitimité des décideurs/décideuses ou acteurs/actrices de terrain? Lorsque l’on réfléchit ainsi, je pense que rapidement des postures d’humilité, de respect de l’autonomie politique et professionnelle des évalué-e-s et de curiosité pour leur expertise s’imposent. L’évaluateur ou l’évaluatrice qui veut avoir une chance de rentrer en dialogue avec une communauté professionnelle qu’il ou elle évalue ne doit pas être dans une démarche d’imposition de ses résultats, une approche verticale, car il ou elle n’en a la légitimité ni politique ni même parfois technique.

Le métier d’évaluateur ou d’évaluatrice est ingrat, car cette posture d’humilité doit se doubler d’un travail intellectuellement très robuste sans lequel l’évaluation n’aura pas non plus de légitimité. Durant la mission de préfiguration du Conseil national d’évaluation du système scolaire, j’ai réalisé plus d’une cinquantaine d’interviews de décideurs et décideuses politiques, praticien-ne-s (enseignant-e-s, chef-fe-s d’établissement), parents… pour essayer de comprendre ce qu’ils et elles attendaient de ce nouvel organisme. Contrairement à ce que pensent parfois les évaluateurs/-trices, qui s’enferment dans une forme d’arrogance et verticalité du/de la savant-e, les professionnels de terrain ont un regard très aiguisé sur la qualité des évaluations. Seules sont légitimes à leurs yeux des évaluations méthodologiquement de qualité, mais aussi des évaluations qui ne s’enferment pas dans une chapelle de pensée. Les évaluations qui n’observent les phénomènes qu’à travers un prisme disciplinaire unique ou un objectif exclusif (par exemple budgétaire) ne sont pas légitimes, car elles conduisent à une vision biaisée et parcellaire des phénomènes à étudier, elles ne sont pas perçues comme rendant justice au travail des professionnel-le-s de terrain ou des responsables politiques.

Pour être partagée à terme, une évaluation doit être considérée comme légitime. Elle ne peut être que complexe, faire intervenir des entrées disciplinaires multiples, des niveaux territoriaux variés, croiser des méthodes quantitatives et qualitatives. Par exemple, au Cnesco quand nous avons travaillé sur les politiques de redoublement, sociologues, didacticien-ne-s, économistes et psychologues ont analysé ce phénomène très français pour en comprendre les effets psychosociaux, didactiques et économiques tous négatifs, mais aussi les effets sociologiques qui permettaient de comprendre pourquoi les parents et les professeur-e-s eux-mêmes et elles-mêmes restaient très attaché-e-s à cette pratique dont quatre décennies de recherche avaient pourtant montré la totale inefficacité en termes d’apprentissage et les effets psychologiques désastreux sur les élèves du primaire. On voit bien là la complémentarité des entrées disciplinaires qui permet d’analyser de façon holistique un phénomène. Les évaluations qui prennent la forme de tableaux de bord avec quelques indicateurs statistiques rustiques ont peu de chance de retenir l’attention des évalué-e-s.

Scientifique, acceptant le jeu de la complexité, l’évaluation doit aussi être participative. Il faut enrôler les professionnel-le-s avec lesquel-le-s on souhaite à terme partager des résultats dès le début de l’opération dans un dispositif qui, cependant, ne leur donne pas la main sur les résultats de recherche. Au Cnesco, les professionnel-le-s de terrain n’ont pas leur mot à dire sur les contenus des rapports que nous commandons à des chercheurs et chercheuses. En revanche, en amont ils et elles nourrissent notre réflexion sur les questions de recherche que nous poserons aux évaluateurs et évaluatrices, et surtout participent à nos côtés, par exemple comme juré-e-s de nos conférences de consensus, pour écrire les recommandations que nous tirons des résultats de nos évaluations. Après la phase de production des résultats des évaluations, la production de recommandations doit retourner vers la réalité de terrain. Les communautés de praticien-ne-s ou les responsables politiques ne pardonnent pas aux équipes d’évaluation le hors-sol. L’équipe d’évaluation doit accepter qu’à la phase d’élaboration des recommandations l’expertise de l’évalué-e puisse être largement supérieure à la sienne.

Le futur de l’évaluation se jouera dans la participation citoyenne. Soit l’évaluation a la capacité de se transformer en outil démocratique capable de revitaliser notre démocratie participative par une action plus directe des citoyen-ne-s sur les politiques publiques avec ainsi des usages réels, soit son impact stagnera. Cela nécessite en amont un rééquilibrage de la séparation et de l’équilibre des pouvoirs entre le Parlement et l’exécutif, car ce dernier n’acceptera jamais aisément de se voir imposer un processus de jugement de la qualité de son travail. D’ailleurs, les grands pays d’évaluation des politiques publiques ont confié ce pouvoir au Parlement; ou plutôt le Parlement (je pense au Congrès américain) s’en est emparé. L’évaluation et ses usages supposent toujours un rapport de force violent.