7. Sur les essais réalistes et la mise à l’épreuve des configurations contexte – mécanismes – résultats : en réponse à Van Belle et al.

[Traduit de : Bonell, Chris, Emily Warren, Adam Fletcher, Russell Viner. 2016. « Realist trials and the testing of context-mechanism-outcome configurations: a response to Van Belle et al. ». Trials 17 (478) : 1-5 (Extraits). Traduction par Carine Gazier et Valéry Ridde. Article originellement publié en open access.]

Une compréhension réaliste des interventions et des mécanismes

Soyons tout d’abord clairs sur la nature de l’intervention « apprendre ensemble » dont il est question dans notre article précédent (Jamal et al. 2015) et sur la manière dont elle est censée fonctionner. Nous sommes tout à fait d’accord avec Van Belle et al. (2016) pour dire que les interventions comprennent une série de ressources. « Apprendre ensemble » vise à réduire le harcèlement et les violences dans les établissements d’enseignement secondaire en mettant à leur disposition les ressources suivantes : (1) des plans de cours et des diapositives pour un programme de compétences sociales et émotionnelles; (2) un dossier sur les besoins locaux des élèves, un manuel et un médiateur ou une médiatrice externe; et (3) des séances de formation sur les pratiques réparatrices à l’intention du personnel. Nous offrons ces ressources aux établissements dans l’espoir que le personnel et les élèves décident de les utiliser afin de faciliter diverses actions telles que : des cours sur les compétences sociales/émotionnelles; des réformes des politiques scolaires et d’autres décisions prises localement à l’échelle de l’établissement; et des séances sur les pratiques réparatrices au cours desquelles le personnel et les élèves réagissent à partir de faits particuliers de harcèlement ou de violences. Nous faisons l’hypothèse qu’à travers ces actions divers mécanismes peuvent être déclenchés. Nous sommes d’accord avec Van Belle et al. (2016) pour dire que les interventions sociales ne peuvent pas imposer directement des mécanismes; ceux-ci ne peuvent s’enclencher que par le biais d’un processus par lequel les participant-e-s agissent sur les ressources fournies. Dans le cas d’ « apprendre ensemble », il existe divers mécanismes qui impliquent l’érosion de diverses « frontières » entre et parmi le personnel et les élèves, mais aussi entre le développement scolaire des élèves et le développement en général. Nous faisons l’hypothèse que ces frontières seront érodées non pas directement par l’intervention, mais par, d’une part, l’engagement du personnel et des élèves dans des actions soutenues par les ressources de l’intervention, pour améliorer les relations dans l’établissement et par, d’autre part, la réorientation des activités scolaires de manière à mettre l’accent sur le développement holistique des élèves, qui devrait inclure les résultats scolaires s’en s’y réduire.

Sur la base de la théorie du fonctionnement humain et de l’organisation scolaire Markham et Aveyard (2003) ainsi que des recherches qualitatives sur l’environnement scolaire et la santé des jeunes (Jamal et al. 2013), nous avons émis l’hypothèse, dans notre article original, que l’érosion de ces frontières encouragerait davantage d’élèves, en particulier ceux issu-e-s des classes populaires, à se sentir attaché-e-s à l’éducation, moins attaché-e-s à des groupes de pairs anti-scolaires et moins engagé-e-s dans des pratiques allant à l’encontre des règles scolaires formelles et des normes informelles, y compris le harcèlement et les violences (Jamal et al. 2015). Nous avons en outre pensé que ces mécanismes seraient déclenchés et fonctionneraient différemment dans différents contextes. Par exemple, nous avons émis l’hypothèse que dans les établissements où le personnel accorde déjà une certaine priorité à la promotion du bien-être général des élèves, les activités d’intervention seront plus susceptibles d’être mises en œuvre, de sorte que les mécanismes d’intervention, notamment ceux concernant l’érosion des frontières entre le développement scolaire et le développement général des élèves, seront plus susceptibles d’être déclenchés. Enfin, nous avons émis l’hypothèse que dans les établissements où les élèves d’origine modeste sont plus nombreux, l’érosion des frontières entrainera une plus grande proportion d’élèves à s’impliquer dans leur éducation (parce que nous supposons que les frontières susmentionnées entravent en particulier l’engagement scolaire des élèves issus de milieux sociaux défavorisés). Nous espérons que cette description plus complète de notre intervention et de ses mécanismes rassurera les lecteurs et lectrices sur le fait que notre compréhension de l’intervention « apprendre ensemble » est compatible avec une ontologie et une pratique d’évaluation réalistes.

Une compréhension réaliste de l’évaluation empirique

Nous continuons d’affirmer que notre approche de la recherche en général et de l’évaluation en particulier est réaliste dans son orientation. Les réalistes suggèrent qu’il existe un domaine « empirique » réel composé des données que les chercheurs collectent et analysent. Ce domaine empirique réel fournit une fenêtre, bien qu’indirecte, sur un domaine du « réel » d’événements apparents pour les participants. Ce domaine du réel reflète à son tour un domaine « réel » constitué de mécanismes structurels non observables, mais qui sont les causes des domaines réels et empiriques (Bhaskar, 1989). S’agissant d’épistémologie, les réalistes croient qu’ils et elles peuvent identifier des vérités objectives décrivant le domaine du réel et découvrir les véritables mécanismes causaux qui en relèvent en se basant sur des données provenant du domaine empirique. Comme Van Belle et al. (2016), nous pensons que même si des mécanismes d’intervention se produisent, ils ne seront pas directement observables. Les « frontières » que l’intervention cherche à éroder, de même que l’engagement scolaire, sont dans le domaine du réel. Ils provoquent des phénomènes observables, mais ne sont pas eux-mêmes observables.

Les activités que notre intervention vise à promouvoir sont, dans un langage réaliste critique, dans le domaine du réel, de même que les résultats que nous espérons obtenir à la suite de l’intervention. Le personnel et les élèves pourront observer les activités d’intervention, telles que les séances sur les pratiques réparatrices, ainsi que les comportements, tels que le harcèlement, que l’intervention vise à réduire. Cependant, les données recueillies dans le cadre de la méthode expérimentale par assignation aléatoire d’« apprendre ensemble » (comme les données recueillies dans toutes formes de recherche) ne constituent pas une fenêtre directe et sans problème sur ce domaine du réel. Notre évaluation des résultats ne consiste pas à recueillir directement des données sur le harcèlement ou les agressions. Il s’agit plutôt de recueillir des données sur les réponses des élèves aux questionnaires leur demandant leur expérience de ces pratiques. De même, notre évaluation des processus ne permet pas de recueillir directement des données sur des activités telles que la révision par l’établissement de ses politiques et les sessions sur les pratiques réparatrices. Elle recueille plutôt des données sous la forme de notes que les chercheurs et chercheuses prennent lorsqu’ils et elles observent ces séances ou sous la forme de comptes rendus d’enseignants ou d’élèves lorsqu’ils et elles sont interrogé-e-s sur leur expérience de ces activités. S’agissant du réalisme critique, ces données sont dans le domaine empirique. Nous comprenons que toutes sortes de facteurs peuvent signifier que ces données ne fournissent pas une représentation complète ou sans problème des événements dans le domaine du réel. Néanmoins, elles devraient fournir des indications sur ce qui se passe.

Sur la base de notre théorie concernant la façon dont les mécanismes (dans le domaine du réel) interagissent avec le contexte pour produire des résultats (dans le domaine du réel), nous avons émis l’hypothèse que dans les analyses statistiques des indicateurs de résultats (dans le domaine empirique), les élèves des établissements choisis au hasard pour mettre en œuvre l’intervention déclareront moins de harcèlement et de violences que les élèves des établissements choisis au hasard pour être des témoins (Jamal et al., 2015). Nous avons également supposé que dans les analyses de médiation, l’association entre le groupe expérimental et les indicateurs empiriques du harcèlement et des violences serait réduite par l’ajustement des indicateurs de l’engagement scolaire accru des élèves. En outre, nous avons émis l’hypothèse que dans les analyses de modération statistique, les indicateurs de base agrégés au niveau de l’établissement concernant les priorités du personnel, et les indicateurs au niveau de l’établissement concernant le statut socioéconomique des élèves, modéreront l’association constatée entre le volet d’intervention et nos mesures contre le harcèlement et les violences.

Les exemples ci-dessus illustrent la façon dont nous entendons utiliser des analyses statistiques (dans le domaine empirique) pour tester des hypothèses sur la façon dont, dans le domaine du réel, le contexte et les mécanismes interagissent pour générer des résultats (connus sous le nom de contexte-mécanisme-résultats ou « configurations CMR »). Van Belle et al. (2016) ne disent pas grand-chose sur les raisons pour lesquelles il est peu probable que les essais randomisés réalistes soient en mesure de tester empiriquement les hypothèses relatives à la CMR. Ils et elles affirment, sans se référer à des preuves ou à d’autres arguments, qu’« étant donné la nécessité d’une assignation aléatoire et d’un contrôle dans une méthode expérimentale par assignation aléatoire, seules des configurations de CMR simples et relativement peu nombreuses peuvent être testées simultanément ». Nous ne sommes pas d’accord. Nous avons l’intention d’entreprendre des analyses pour tester plusieurs CMR, y compris, mais non exclusivement, celles mentionnées ci-dessus. Certaines d’entre elles reposent a priori sur la théorie, tandis que d’autres ont été et continueront d’être développées sur la base de recherches qualitatives dans le cadre d’essais. Il devrait être parfaitement possible de les tester dans le cadre d’une méthode expérimentale par assignation aléatoire. Ces analyses devraient nous aider à mieux comprendre comment et pourquoi la réduction du harcèlement et des violences est due à des mécanismes d’érosion des frontières et d’engagement scolaire qui sont déclenchés et se déroulent différemment dans divers contextes scolaires. Toutefois, la question de savoir si c’est le cas ou non est en fin de compte une question empirique. Nous ne pourrons pas en juger tant que nous n’aurons pas terminé nos analyses. Nous ne voyons pas, dans la répartition aléatoire, ce qui pourrait empêcher de telles analyses. En effet, faire ces analyses dans le cadre d’une méthode expérimentale par assignation aléatoire présente l’avantage crucial de contrôler les facteurs confondants. C’est très important en santé publique, car même les interventions importantes ont souvent des effets très limités pour chaque participant-e, qu’il est impossible de distinguer des autres influences (Cousens et al., 2011). Nous convenons que notre capacité à évaluer les configurations de CMR serait compromise si les essais ne contenaient pas suffisamment de variété dans les caractéristiques de lieux ou de personnes en raison de critères d’inclusion trop stricts pour les groupes d’échantillonnage ou les individus. Mais si cela peut parfois se produire dans le cadre d’essais, ce n’est pas une caractéristique nécessaire, en particulier dans le cas d’essais d’efficacité pragmatique. Les autres obstacles évidents aux analyses proposées sont l’erreur de mesure et le manque de capacité statistique. Il s’agit là de véritables défis, mais ils ne sont en aucun cas une caractéristique particulière des essais, contrairement à d’autres protocoles de recherche.

De plus, nous tenons à souligner que l’élaboration et la vérification empirique de telles hypothèses ne signifient pas, comme l’indiquent Van Belle et al. (2016), que nous confondons l’empirique avec le réel, en réduisant le mécanisme causal de notre intervention aux analyses de médiation statistique ou en réduisant le contexte de l’intervention aux analyses de modération statistique. Nous utilisons des données quantitatives brutes et indirectes (qui existent dans le domaine empirique) pour vérifier indirectement si nos théories sur les mécanismes (qui existent dans le domaine du réel) peuvent être correctes. En outre, nous utilisons également des recherches qualitatives pour approfondir notre compréhension du fonctionnement des mécanismes et pour affiner nos théories et nos hypothèses. À l’instar de nos recherches quantitatives, nos recherches qualitatives examinent les données empiriques (c’est-à-dire les comptes rendus des étudiants et du personnel) comme une fenêtre indirecte sur le concret (expériences des participant-e-s) et le réel (la façon dont les mécanismes se déploient à travers les interactions entre les structures individuelles et les structures sociales).

En outre, si nos analyses ne corroborent pas les hypothèses ci-dessus, cela ne signifie pas que nous concluons immédiatement que les mécanismes théorisés n’existent pas. Des résultats nuls pourraient indiquer que le contexte fait que les mécanismes ne sont pas activés (par exemple, les établissements ne mettent pas en œuvre l’intervention ou la mise en œuvre ne déclenche pas une érosion des frontières) ou que le mécanisme est activé, mais contrecarré par d’autres (par exemple, les initiatives gouvernementales poussent les établissements à renforcer les frontières entre le développement scolaire et le développement général des élèves). Il convient de souligner que cette approche est conforme à la philosophie actuelle sur la façon d’interpréter les résultats nuls des méthodes expérimentales par assignation aléatoire des interventions sociales (Cartwright et Hardie, 2012).

Bibliographie

Bhaskar, Roy. 1989. The Possibility of Naturalism: A Philosophical Critique of the Contemporary Human Sciences. 2e éd. Hemel Hempstead: Harvester Wheatsheaf.

Cartwright, Nancy, et Jeremy Hardie. 2012. Evidence-based policy: a practical guide to doing it better. Oxford: Oxford University Press.

Cousens, Simon, James R. Hargreaves, Chris Bonell, J. Thomas, Betty Kirkwood et Richard J. Hayes. 2011. « Alternatives to randomisation in the evaluation of public-health interventions: statistical analysis and causal inference ». Journal of Epidemiology and Community Health 65 : 576‑81. doi : https://doi.org/10.1136/jech.2008.082610.

Jamal, Farah, Adam Fletcher, Angela Harden, Helen Wells, James Thomas et Chris Bonell. 2013. « The school environment and student health: a meta-ethnography of qualitative research ». BMC Public Health 13(798).

Jamal, Farah, Adam Fletcher, Nichola Shackleton, Diana Elbourne, Russell Viner et Chris Bonell. 2015. « The three stages of building and testing mid-level theories in a realist RCT: a theoretical and methodological case-example ». Trials 16(466). doi : https://doi.org/10.1186/s13063-015-0980-y.

Markham, Wolfgang A., et Paul Aveyard. 2003. « A new theory of health promoting schools based on human functioning, school organisation and pedagogic practice ». Social Science & Medicine – Journals 56 : 1209‑20.

Van Belle, Sara, Geoff Wong, Gill Westhorp, Mark Pearson, Nick Emmel, Ana Manzano et Bruno Marchal. 2016. « Can “realist” randomised controlled trials be genuinely realist? » Trials 17(313).