5. Une approche fondée sur les valeurs pour évaluer le projet scolaire Bunche-Da Vinci

[Traduit de : Greene, Jennifer C. 2005. « A value-engaged approach for evaluating the Bunche-Da Vinci Learning Academy ». New Directions for Evaluation, 2005(106) : 27‑45 (Extraits). Traduction par Carine Gazier et Thomas Delahais; traduction et reproduction du texte avec l’autorisation de John Wiley and Sons.]

Une approche de l’évaluation de programme fondée sur les valeurs combine des éléments issus de l’évaluation répondante ou responsive evaluation (Abma et Stake, 2001; Stake 1987, 2004) avec un engagement actif envers des valeurs qui sont tirées principalement de traditions évaluatives attentives aux enjeux démocratiques et aux différences culturelles (Hood, 1999; House et Howe, 1999; MacDonald, 1977). Ces valeurs comprennent un engagement à prendre en compte le contexte, l’inclusion des parties prenantes, l’apprentissage, la diversité et le bien public (comme nous le verrons plus loin dans ce chapitre). Étant donné que l’évaluation fondée sur les valeurs est fondamentalement sensible au caractère particulier d’un contexte d’évaluation et aux questions programmatiques et politiques présentes dans ce contexte, il n’est pas possible d’élaborer un modèle d’évaluation a priori (Stake, 1987) en utilisant cette approche. Au contraire, le modèle de l’évaluation évolue au fur et à mesure que l’évaluateur ou l’évaluatrice apprend à connaître le contexte, ses acteurs et actrices, ses joies et ses difficultés. Dans cette approche de l’évaluation, des efforts considérables sont consacrés aux aspects initiaux de la pratique de l’évaluation : apprendre à connaître le contexte et le programme à évaluer, établir des relations appropriées avec les principales parties prenantes, comprendre en profondeur les points critiques qui devront être abordés, identifier les questions d’évaluation prioritaires et déterminer les critères permettant de juger de la qualité du programme. Ce n’est qu’une fois que tous ces aspects de la pratique d’évaluation auront été pris en compte que l’on pourra élaborer et mettre en œuvre un modèle d’évaluation. Cette approche rend le processus évaluatif intimement lié au contexte.

Par conséquent, ce récit de l’évaluation du projet scolaire Bunche-Da Vinci à partir d’une approche fondée sur les valeurs se concentre sur la façon dont nous avons considéré ces aspects initiaux de l’évaluation dans ce contexte particulier. Des hypothèses seront également formulées en cours de route pour permettre de raconter une histoire plus complète. […]

La communauté éducative Bunche-Da Vinci

La communauté de l’école élémentaire Bunche-Da Vinci ressemble à de nombreuses communautés scolaires urbaines d’aujourd’hui, tant au regard des données démographiques qui montrent une surreprésentation des minorités raciales et ethniques aux États-Unis, d’un historique d’insuffisance des ressources affectées à l’éducation, et de défis persistants en matière d’efficacité de l’enseignement et de l’apprentissage. Plus précisément, la communauté scolaire Bunche-Da Vinci est située dans une zone géographique tampon entre le secteur industriel d’une ville portuaire et une banlieue historiquement ouvrière, connue pour sa pauvreté, sa criminalité et ses tensions raciales. L’école attire principalement des élèves issus de familles économiquement marginales de ces communautés voisines – à l’heure actuelle, les Latino-Américains et Latino-Américaines sont majoritaires (près de 80 %) et s’y ajoutent 17 % d’Afro-Américains et Afro-Américaines, sur une population scolaire totale d’environ 1 200 élèves. Les effectifs latino-américains ont augmenté de 50 % au cours des dix dernières années, avec une diminution concomitante dans tous les autres groupes. L’anglais est la deuxième langue pour près des deux tiers des élèves; l’espagnol étant pour presque tou-te-s leur première langue. Le renouvellement des élèves d’une année sur l’autre à Bunche-Da Vinci est considérable, même si de nombreux parents expriment leur satisfaction à l’égard de l’école et que la plupart des élèves semblent aimer être dans cette école.

Une première étape très importante dans l’élaboration d’un plan d’évaluation pour l’école Bunche-Da Vinci consiste à mieux comprendre les caractéristiques et les diversités particulières de cette communauté scolaire. Étant donné que cette communauté scolaire partage de nombreuses caractéristiques avec d’autres communautés scolaires urbaines d’aujourd’hui, il est particulièrement important de ne pas faire d’hypothèses sur ce contexte particulier à partir de stéréotypes urbains. On pourrait ainsi supposer, par exemple, que les parents Bunche-Da Vinci sont au mieux modestement impliqués dans l’éducation de leurs enfants ou que la drogue domine les échanges économiques de la communauté. Apprendre à connaître cette communauté scolaire spécifique – son caractère unique, ses complexités et son évolution continue et dynamique – est fondamental pour développer un modèle d’évaluation susceptible de générer des informations significatives. À cette fin, il se peut que l’évaluatrice ou l’évaluateur doive recruter, en tant que membres de l’équipe d’évaluation ou en tant que consultants ou consultantes, des personnes qui ont un passé socioculturel ou politique partagé avec les membres de la communauté scolaire Bunche-Da Vinci. Les informateurs et les informatrices clés au sein de l’école peuvent aider à en apprendre davantage sur cette communauté, mais cela ne sera probablement pas suffisant. […]

Le programme de réforme scolaire Da Vinci

Il y a trois ans, l’école Bunche a été choisie par son district pour s’associer à l’organisation Da Vinci pour lancer une initiative ambitieuse de réforme globale de l’école, spécialement conçue par cette organisation pour les écoles peu performantes. Da Vinci a le contrôle sur les aspects essentiels des programmes de l’école et le contrôle total de son budget, mais l’école continue de faire partie du district scolaire. [Ce que cet arrangement] signifie en réalité n’est pas tout à fait clair.

Au regard des informations disponibles, le partenariat semble avoir connu des tensions et des défis depuis sa création il y a trois ans. […] En particulier, les enseignants et les enseignantes, dont bon nombre sont assez jeunes et environ un quart n’ont pas suivi de formation à l’enseignement, signalent être en situation de stress et être mis sous une pression considérable pour qu’ils et elles travaillent de longues heures à la mise en œuvre d’un programme qui leur semble étranger ou « importé », et dont la plupart ne sont pas « comptées » en vertu de la loi fédérale No Child Left Behind^[1] [Aucun enfant laissé pour compte]. Par exemple, le programme d’apprentissage de la lecture Da Vinci diffère de celui adopté par l’État, et les exigences technologiques du programme semblent prendre un temps précieux sur l’enseignement et l’apprentissage de base. Certain-e-s enseignant-e-s ont même laissé entendre qu’ils et elles ont l’impression que leur jugement professionnel est sapé par la structure rigide et les exigences du programme Da Vinci. La rotation des enseignant-e-s de l’école est élevée. La participation des parents à la gestion de l’école et aux activités scolaires est minime. Et les résultats des élèves aux tests de langues obligatoires de l’État, bien qu’ils aient légèrement progressé au cours de la deuxième année du partenariat, ont chuté à des niveaux inférieurs aux résultats de l’école au début du partenariat, à la fois globalement et pour tous les sous-groupes. Seul un quart environ de la population de l’école fait preuve de compétences dans ce test de langue (Les performances des étudiant-e-s aux tests de l’État dans d’autres matières pourraient bien être similaires). Et ce alors même que les performances des élèves aux tests standardisés Da Vinci se sont améliorées de manière constante au cours des trois dernières années. En outre, les parents et les élèves se disent satisfaits de l’école, ce qui n’est pas compatible avec le fait qu’un grand nombre d’élèves quittent l’école chaque année.

Qu’est-ce qui est évalué au juste?

Tout comme pour le développement d’une compréhension de la communauté scolaire au sens large, une compréhension plus complète du programme Da Vinci et de sa mise en œuvre à l’école Bunche est une première étape essentielle dans une approche de l’évaluation fondée sur les valeurs. Ce n’est qu’avec une telle compréhension que l’évaluation pourra être ancrée dans les préoccupations et les enjeux (Guba et Lincoln, 1989; Stake, 2004) qui sont prioritaires dans ce contexte. L’identification du périmètre d’évaluation, voire de ce qui est évalué tout simplement, n’est pas présumée dans cette approche d’évaluation, mais est plutôt un sujet de discussion entre autant de groupes de parties prenantes que possible dans cette partie initiale de l’évaluation. L’évaluateur ou l’évaluatrice apporte à cette discussion son expertise et ses perspectives, y compris les idées tirées de la littérature académique pertinente. Dans ce contexte, par exemple, les principes d’une évaluation basée sur la théorie peuvent être pertinents et utiles, car ils pourraient catalyser une explication des logiques conceptuelles sous-jacentes au programme Da Vinci et au partenariat Bunche-Da Vinci, et ainsi permettre l’examen et la critique de ces logiques dans le cadre de l’évaluation.

Ce contexte particulier se distingue notamment par l’intervention mise en place par la Société Da Vinci pour les écoles peu performantes, mais aussi par un partenariat public-privé tout à fait spécial. Ce sont tous deux des candidats viables pour une évaluation. Et tous deux abordent potentiellement des questions d’éducation de tout temps très importantes – questions de pédagogie, de programme, de différenciation et d’individualisation – ainsi que des questions plus spécifiques à notre époque : comment et quoi enseigner à des élèves en cours d’apprentissage de la langue anglaise, mais aussi des interrogations sur les contributions de la technologie à l’apprentissage, le professionnalisme des enseignant-e-s, ainsi que l’efficacité éducative des normes imposées par l’État, les exigences de redevabilité et la privatisation de l’enseignement public. Deux questions sont abordées dans ce processus d’évaluation préliminaire : quels enjeux importent dans ce contexte? Quelle forme particulière prennent-ils?

Consacrer un temps d’évaluation précieux à l’élaboration d’une compréhension précise et réfléchie de ce qui est évalué dans ce contexte particulier appuie l’élaboration de questions d’évaluation significatives et potentiellement utiles. Cela reflète également certains engagements en termes de valeurs, notamment :

Dans le modèle d’évaluation fondée sur les valeurs qui sera élaboré dans ce contexte, un espace considérable est alloué à la description de ce qui est évalué et de ses caractéristiques distinctives. Cette description fournit l’ancrage contextuel et la justification du modèle d’évaluation qui est élaboré. […]

L’objectif principal de l’évaluation dans le cadre d’une approche fondée sur les valeurs est d’accroître notre compréhension de la qualité et de l’efficacité du sujet évalué dans le contexte particulier qui nous occupe. Il s’agit d’une vision fondamentalement éducative de l’évaluation (Cronbach et al., 1980). En outre, cela exige que l’évaluation comprenne des analyses du programme tel qu’il a été mis en œuvre et vécu, ainsi que des analyses des changements significatifs que le programme a apportés dans la vie de ses participants. De plus, dans une approche fondée sur les valeurs, les questions d’évaluation portent spécifiquement sur les intérêts des personnes traditionnellement mal considérées dans notre pays, y compris les minorités raciales et ethniques, les personnes à faible revenu, les immigrant-e-s et les personnes en situation de handicap. Les intérêts de la majorité ne sont pas exclus dans cette approche d’évaluation, mais il s’agit de porter une attention spécifique aux intérêts des minorités. Ce cadrage des questions d’évaluation reflète d’autres engagements de valeurs qui sous-tendent cette approche :

­    Un engagement à apprendre dans le cadre de l’évaluation et par l’entremise de celle-ci, afin de contribuer à une meilleure compréhension de la façon dont le programme évalué répond à des besoins et à des intérêts importants des participant-e-s dans ce contexte particulier (en plus de la performance des participant-e-s au programme).

­    Un engagement à s’intéresser à la différence et la diversité telles qu’elles se manifestent dans le contexte en question, afin d’évaluer dans quelle mesure le programme évalué répond aux besoins et aux intérêts particuliers des personnes traditionnellement mal considérées, dont pourraient bien faire partie la plupart des enfants et des familles dans le contexte de Bunche-Da Vinci.

Compte tenu de cette démarche en vue d’identifier les questions d’évaluation, et des priorités d’évaluation identifiées par les parties prenantes de Bunche-Da Vinci, les principales questions d’évaluation à aborder […] sont (provisoirement) les suivantes :

Question générale :

1. De quelle manière et dans quelle mesure le programme éducatif proposé à l’Académie Bunche-Da Vinci répond aux besoins éducatifs importants des enfants et des familles dépendant-e-s de cette école, en particulier les besoins particuliers des élèves en cours d’apprentissage de l’anglais, des enfants issus de groupes raciaux et ethniques minoritaires, des enfants issus de familles à faible revenu et des enfants ayant des besoins spéciaux? Et de quelle manière et dans quelle mesure la structure du partenariat soutient-elle cette mission éducative principale? […]
2. Dans quelle mesure et de quelle manière les enfants de l’Académie Bunche-Da Vinci obtiennent-ils et elles des résultats scolaires significatifs et valorisés? […]

Établir les critères permettant de juger de la qualité du programme

Une dernière facette initiale de l’évaluation concerne les critères à utiliser pour juger de la qualité du programme. Dans le cadre d’une approche fondée sur les valeurs, ces critères ne sont pas supposés, mais plutôt établis par des discussions avec diverses parties prenantes, en tandem avec des perspectives externes pertinentes fournies par l’évaluateur ou l’évaluatrice. En outre, les discussions sur les critères de qualité sont particulièrement importantes pour l’inclusion des parties prenantes, car les critères peuvent et doivent impliquer et refléter la multiplicité des valeurs et des idéaux qui leur sont chers dans le contexte en question. […]

• Les critères pour juger de la qualité de l’enseignement dans ce contexte sont compliqués par la présence du programme Da Vinci, qui a probablement ses propres critères de qualité (qui ne sont pas encore connus), et par la diversité des parties prenantes du programme. Une ébauche des critères généraux envisagés comme possibles dans ce contexte comprend les éléments suivants :

• Le programme d’études et la pédagogie sont de grande qualité, fondés sur une théorie et des recherches pertinentes (par exemple, des recherches portant sur les enseignant-e-s efficaces avec des enfants issus de minorités) et sur les perspectives et les expériences du personnel et des familles de Bunche-Da Vinci.
• Le programme d’études et la pédagogie offrent des approches d’apprentissage pertinentes et valables pour l’ensemble de la population des étudiants de Bunche-Da Vinci.
• Le programme d’études et ses évaluations sont bien alignés sur les normes de l’État dans toutes les matières, en particulier les langues et les mathématiques.
• Tou-te-s les élèves de Bunche-Da Vinci ont des expériences d’apprentissage significatives et positives et font preuve d’une maîtrise solide et constante des compétences et des connaissances valorisées, en particulier en langues et en mathématiques, telles qu’évaluées par les tests Da Vinci, les tests d’État et le jugement des enseignant-e-s, parmi d’autres mesures possibles des résultats. Aux tests de l’État, les performances des élèves doivent être suffisamment élevées chaque année pour que l’école ne soit pas inscrite sur la « liste de surveillance » de l’État.
• La communauté éducative de l’école Bunche-Da Vinci nourrit de grandes espérances pour l’apprentissage de tou-te-s les élèves, valorise et affirme la valeur de tous les membres de la communauté, et fait preuve de bienveillance et de soutien envers tous les membres de communauté; et les membres de cette communauté sont heureux et satisfaits d’en faire partie.
• ­La structure du partenariat Bunche-Da Vinci affirme et soutient la responsabilité et l’autorité publiques en matière d’éducation des enfants de cette communauté.
• ­Le dernier critère de cette liste représente un engagement de valeur final dans l’évaluation fondée sur les valeurs, plus précisément :
• Un engagement à aborder les questions liées au bien public dans un contexte d’évaluation, c’est-à-dire les questions liées à la responsabilité civique, aux priorités en matière de politiques publiques, aux idéaux démocratiques ou, dans ce contexte, aux responsabilités publiques vitales en matière d’éducation. […]

Le processus d’évaluation

Une approche de l’évaluation fondée sur les valeurs se fait au plus près, à l’intérieur et autour de l’environnement du sujet évalué. Il n’y a pas d’autre moyen de développer une compréhension précise et sensible des caractéristiques uniques du sujet évalué dans son contexte particulier. De plus, une approche fondée sur les valeurs répond fondamentalement aux questions et aux préoccupations de tous les groupes de parties prenantes légitimes dans ce contexte. Cela nécessite également une présence sur le terrain et une écoute attentive des rythmes multiples et variés des expériences vécues dans cette communauté particulière. Une approche fondée sur les valeurs est également fondamentalement éducative, car elle vise à fournir des espaces et des lieux pour des réflexions approfondies et fondées sur des données de la pratique – dans ce cas, sur les programmes scolaires, l’enseignement, l’apprentissage et les besoins éducatifs particuliers de divers types d’enfants.

Compte tenu de ces caractéristiques, l’évaluateur ou l’évaluatrice engagé-e doit s’intéresser non seulement aux dimensions matérielles et méthodologiques de l’évaluation, mais aussi à ses dimensions relationnelles, à la façon dont l’évaluateur/-trice est présente dans le contexte en question – c’est-à-dire au processus d’évaluation, à l’évaluation elle-même en tant que pratique morale et éthique (Schwandt, 2004). Dans le contexte de Bunche-Da Vinci, ces dimensions relationnelles et pratiques de l’évaluation seront délibérément mises en œuvre de trois manières principales. Premièrement, l’évaluateur/-trice s’efforcera d’établir des relations de respect, de réciprocité et de partenariat, avec toutes les parties prenantes de la communauté scolaire Bunche-Da Vinci. Le respect et la réciprocité peuvent être communiqués, par exemple, en supposant que toutes les parties prenantes ont quelque chose de précieux à apporter à l’évaluation et en écoutant attentivement chacune d’elles (Greene, 2003). Deuxièmement, le processus d’évaluation sera ouvert et transparent, et invitera de multiples parties prenantes à participer à toutes les phases, mais surtout au début, lorsque le programme d’évaluation est établi, et à la fin, lorsque les interprétations des résultats et les implications des actions sont discutées. Le plus important en ce qui a trait à la participation est l’inclusion de toutes les perspectives légitimes des parties prenantes dans l’évaluation et l’ancrage du travail d’évaluation dans les particularités de ce contexte. La participation effective des parties prenantes aux activités concrètes de collecte et d’analyse des données est moins importante, bien que les parties prenantes soient également les bienvenues dans ces processus. Et troisièmement, l’évaluateur/-trice engagé-e cherchera des occasions de dialogue constructif avec les parties prenantes, en particulier des occasions pour celles-ci de dialoguer entre elles sur leurs expériences et perceptions respectives du projet éducatif Bunche-Da Vinci (Abma, 2001). Bien que de telles possibilités puissent être rares, l’évaluateur/-trice se fondant sur les valeurs considère le dialogue comme un moyen particulièrement précieux d’instaurer une relation respectueuse, la réactivité, et surtout l’apprentissage. […]

Bibliographie

Abma, Tineke A. 2001. « Special Issue: Dialogue in Evaluation ». Evaluation 7.

Abma, Tineke A., et Robert E. Stake. 2001. « Stake’s Responsive Evaluation: Core Ideas and Evolution ». in Responsive Evaluation. New Directions for Evaluation, N°92, édité par J. C. Greene et T. A. Abma. San Francisco: Jossey-Bass.

Cronbach, Lee J., Sueann R. Ambron, Sanford M. Dornbusch, Robert D. Hess, Robert C. Hornik, Denis Charles Phillips, Decker F. Walker et Stephen S. Weiner. 1980. Toward Reform of Program Evaluation: Aims, Methods, and Institutional Arrangements. San Francisco: Jossey-Bass.

Greene, Jennifer C. 2003. « Evaluators as Stewards of the Public Good ». Présenté à Quatrième conférence sur la pertinence et la culture de l’évaluation, Tempe, Ariz.

Guba, Egon G., et Yvonne S. Lincoln. 1989. Fourth generation evaluation. Thousand Oaks: Sage Publications.

Hood, Stafford. 1999. « Responsive Evaluation Amistad Style: Perspectives of One African-American Evaluator ». in Proceedings of the 1998 Robert E. Stake Symposium on Educational Evaluation, édité par R. Davis. Urbana-Champaign: University of Illinois.

House, Ernest R., et Kenneth R. Howe. 1999. Values in Evaluation and Social Research. 1re éd. Thousand Oaks: Sage Publications.

MacDonald, Barry. 1977. « A Political Classification of Evaluation Studies ». in Beyond the Numbers Game. New York: Macmillan.

Schwandt, Peter. 2004. Evaluation practice reconsidered. New York: Peter Lang.

Stake, Robert. 1987. « Program Evaluation, Particularly Responsive Evaluation ». in Program Evaluation, Particularly Responsive Evaluation, édité par G. F. Madaus, M. Scriven et D. L. Stufflebeam. Norwood: Kluwer-Nijhoff.

Stake, Robert E. 2004. Standards-Based and Responsive Evaluation. Thousand Oaks: Sage Publications.