7. Qu’est-ce que l’évaluation? En quoi diffère-t-elle (ou non) de la recherche?

[Traduit de : Wanzer, Dana. 2020. « What Is Evaluation? Perspectives of How Evaluation Differs (or Not) From Research ». American Journal of Evaluation. Traduction par Carine Gazier et Anne Revillard; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

Différentes façons de distinguer (ou pas) l’évaluation de la recherche ont été proposées (voir la figure 1), et ce débat « hante le domaine » (Patton 2008 : 40). Certain-e-s affirment que l’évaluation est de la recherche et qu’il n’y a pas ou peu de distinctions entre les deux (figure 1A). Par exemple, certain-e-s affirment explicitement que « l’évaluation est une recherche appliquée… » (Barker, Pistrang, et Elliott, 2016; Hackbarth et Gall, 2005; Rallis, 2014), tout en ajoutant parfois des réserves. Toutefois, nombreuses et nombreux sont celles et ceux qui reconnaissent au moins certaines différences entre l’évaluation et la recherche. Il y a quatre façons principales de les distinguer : l’évaluation et la recherche comme les deux extrêmes d’un continuum (figure 1B), l’évaluation comme sous-ensemble de la recherche (figure 1C), l’évaluation et la recherche se chevauchant selon un diagramme de Venn (figure 1D) et la recherche comme sous-ensemble de l’évaluation (figure 1E). Bien que Mathison (2008) défende une vision de la recherche et de l’évaluation comme les deux extrêmes d’un continuum (figure 1B), cette représentation ne semble pas si courante, puisque nous n’avons trouvé aucune référence bibliographique à l’appui de cette approche. La figure 1C considère que l’évaluation n’est qu’un outil méthodologique dans la boîte à outils de la recherche (Greene, 2016), cet outil étant souvent résumé à la méthode expérimentale par assignation aléatoire. Par exemple, comme l’affirme un évaluateur, « la recherche a une portée plus large que la recherche évaluative » (Vedung, 2004 : 111). Pour Guenther et Arnott (2011), dans le domaine de l’éducation, la « distinction tacite entre la recherche et l’évaluation fait de la seconde une composante de la première » (p.11).

Finalement, la représentation de la recherche et de l’évaluation dans un chevauchement partiel (diagramme de Venn, figure 1D) est probablement la plus courante, en particulier parmi les évaluatrices et évaluateurs (Lavelle, 2010; Mertens, 2014; Russ-Eft et Preskill, 2009; Vedung, 2004). Selon ce point de vue, il existe des similitudes entre la recherche et l’évaluation, notamment en ce qui concerne les conceptions et les méthodes utilisées, mais aussi de nombreuses différences. Une différence principale réside dans le fait que les évaluateurs et évaluatrices « posent et répondent explicitement à des questions évaluatives (c’est-à-dire des questions sur la qualité, la valeur et l’importance) » (Davidson, 2014 : 37). L’évaluation emprunte fortement aux sciences sociales en ce qui concerne les méthodes et les conceptions utilisées : ce sont là ses similitudes avec la recherche. Mais on peut par ailleurs distinguer l’évaluation et la recherche de nombreuses manières, notamment en ce qui concerne les objectifs et les résultats. Le tableau 2 décrit quelques-unes des principales différences entre l’évaluation et la recherche. Ces distinctions peuvent apparaître comme des simplifications ou des généralisations excessives (Mathison, 2008). Par exemple, certaines évaluations sont effectivement généralisables et publiées, et certaines recherches sont menées en collaboration avec des praticiens et, par conséquent, ces derniers en sont le principal auditoire. En considérant l’évaluation et la recherche comme se chevauchant, on reconnaît qu’elles présentent des similitudes mais qu’elles se développent également en parallèle. Par conséquent, tout comme la recherche est généralement considérée comme un moyen d’informer l’évaluation, l’évaluation est tout aussi à même d’éclairer la recherche (Mertens, 2014). De plus, tout comme nous faisons de la recherche sur l’évaluation, nous évaluons aussi souvent la recherche (par exemple, par le biais de publications dans des revues évaluées par des pairs, ou la méta-recherche).

Une dernière représentation possible considère la recherche comme un sous-ensemble de l’évaluation (figure 1E). L’évaluation est alors considérée comme une transdiscipline qui fournit des outils (par exemple, la pensée évaluative) à d’autres disciplines (par exemple, la recherche dans plusieurs domaines), tout en restant une discipline autonome à part entière (Scriven, 2008). Toutefois, envisager l’évaluation comme transdiscipline suppose déjà qu’elle soit une discipline (avec, par exemple, des objectifs communs, des normes de pratique, des forums professionnels, et une structure disciplinaire; (Montrosse-Moorhead, Bellara, et Gambino, 2017). Certain-e-s affirment que l’évaluation est une discipline et une profession (Donaldson et Christie, 2006; Montrosse-Moorhead et al., 2017; Morris, 2007; Picciotto, 2011). Pour ces dernier‑e‑s, cette opinion se justifie parce qu’il existe (a) des programmes de formation et que le domaine possède des connaissances spécialisées, (b) des principes éthiques codifiés, (c) une autonomie liée à des connaissances spécialisées et des qualifications formelles spécifique, et (d) une auto-discipline. Cependant, d’autres récusent cette idée que l’évaluation soit une discipline, une profession ou les deux (Picciotto, 2011; Rossi, Lipsey, et Freeman, 2004). En outre, à l’origine, Scriven (2016) a proposé l’idée de l’évaluation en tant que transdiscipline et a présenté sa liste « Quelque chose de plus » [Something More] qui décrit l’évaluation comme quelque chose de plus que la recherche (Scriven, 2003). Cependant, il a également fait valoir que la recherche et l’évaluation « se chevauchent massivement », mais « qu’il y a quelques différences » (Scriven, 2016 : 33), ce qui suggère peut-être que la définition du diagramme de Venn est la façon la plus appropriée de caractériser la recherche et l’évaluation plutôt que la recherche en tant que sous-ensemble de l’évaluation.

Figure 1 : Cinq relations possibles entre l’évaluation et la recherche

Bibliographie

Barker, Chris, Nancy Pistrang et Robert Elliott. 2016. Research methods in clinical psychology: An introduction for students and practitioners. 3e éd. Glasgow: Wiley-Blackwell.

Davidson, E. Jane. 2014. « How “beauty” can bring truth and justice to life ». New Directions for Evaluation 2014(142) : 31‑43.

Donaldson, Stewart I., et Christina A. Christie. 2006. « Emerging career opportunities in the transdiscipline of evaluation science ». P. 243‑59 in Applied psychology: New frontiers and rewarding careers, édité par S. I. Donald, D. E. Berger et K. Pezdek. Mahwah, New Jersey: Lawrence Erlbaum Associates.

Greene, Jennifer C. 2016. « Advancing equity: Cultivating an evaluation habit ». in Evaluation for an equitable society, édité par S. I. Donaldson et R. Picciotto. Charlotte, NC: Information Age Publishing, p. 49‑66.

Guenther, John, et Allan Arnott. 2011. « Legitimising evaluation for vocational learning: From bastard sibling to equal brother ». in AVETRA 14th Annual Conference. Melbourne.

Hackbarth, Diana, et Gail B. Gall. 2005. « Evaluation of school-based health center programs and services: The whys and hows of demonstrating program effectiveness ». The Nursing Clinics of North America 40(4) : 711‑24. doi : 10.1016/j.cnur.2005.07.008.

Lavelle, John M. 2010. « Describing evaluation ». AEA365. Consulté (https://aea365.org/blog/john-lavelle-on-describing-evaluation/).

Mathison, Sandra. 2008. « What Is the Differences between Evaluation and Research – and Why Do We Care? » in Fundamental Issues in Evaluation, édité par N. L. Smith et P. R. Brandon. New York: Guilford Press, p. 188‑95.

Mertens, Donna M. 2014. Research and evaluation in education and psychology: Integrating diversity with quantitative, qualitative, and mixed methods. 4e éd. Thousand Oaks: Sage Publications.

Montrosse-Moorhead, Bianca, Aarti P. Bellara et Anthony J. Gambino. 2017. « Communicating about evaluation: A conceptual model and case example ». Journal of Multidisciplinary Evaluation 13(29) : 16‑30.

Morris, Michael. 2007. « Ethics and evaluation ». in Evaluation ethics for best practice: Cases and commentaries, édité par M. Morris. New York: The Guilford Press, p. 230.

Patton, Michael Q. 2008. Utilization-focused evaluation. 4e éd. Los Angeles: Sage Publications.

Picciotto, Robert. 2011. « The logic of evaluation professionalism ». Evaluation 17(2) : 165‑80. doi : https://doi.org/10.1177/1356389011403362.

Rallis, Sharon F. 2014. « When and how qualitative methods provide credible and actionable evidence: Reasoning with rigor, probity, and transparence ». in Credible and actionable evidence: The foundation for rigorous and influential evaluations, édité par C. A. Christie, M. M. Mark et S. L. Donaldson. Thousand Oaks: Sage Publications, p. 137‑56.

Rossi, Peter H., Mark W. Lipsey et Howard E. Freeman. 2004. Evaluation: A systematic approach. 7e éd. Thousand Oaks: Sage Publications.

Russ-Eft, Darlene, et Hallie Preskill. 2009. Evaluation in organizations: A systematic approach to enhancing learning, performance, and change. New York: Basic Books.

Scriven, Michael. 2003. « Evaluation in the new millennium: The transdisciplinary vision ». in Evaluating social programs and problems: Visions for the new millennium, édité par S. I. Donaldson et M. Scriven. London: Routledge, p. 19‑41.

Scriven, Michael. 2008. « The concept of a transdiscipline: And of evaluation as a transdiscipline ». Journal of Multidisciplinary Evaluation, 5(10) : 65‑66.

Scriven, Michael. 2016. « Roadblocks to recognition and revolution ». American Journal of Evaluation, 37(1) : 27‑44. doi : https://doi.org/10.1177/1098214015617847.

Vedung, E. 2004. « Evaluation research and fundamental research ». in Evaluationsforschung : Grundlagen und ausgewählte Forschungsfelder [Evaluation research: Basics and selected fields of research], édité par R. Stockmann. Opladen : Leske + Budrich, p. 111‑34.