Introduction

Valéry Ridde et Christian Dagenais

Il y a dix ans, nous étions interpellés par le fait que nous faisions souvent face, lors de nos enseignements de l’évaluation de programmes à des francophones, au défi de disposer d’écrits pour soutenir nos échanges pédagogiques. À l’époque, les bibliothèques regorgeaient d’ouvrages de référence en anglais dont nous nous servions très souvent pour leurs vertus pédagogiques (Patton 1997; Weiss 1998; Chen 2005), mais nous butions toujours sur les défis linguistiques lorsque nous enseignions à des francophones. C’est pourquoi nous nous sommes lancés dans une première aventure éditoriale avec la publication en 2009 d’un ouvrage pédagogique en français pour former des étudiant-e-s et des professionnel-le-s[1] à l’évaluation de programmes. Au-delà de la langue, l’originalité de l’ouvrage était son approche pluridisciplinaire et intersectorielle. En effet, après avoir présenté des propositions de synthèse conceptuelle (y compris dans des textes d’autrices et d’auteurs anglophones importants que nous avions traduits), le livre proposait de nombreux exemples d’évaluation d’intervention. Ces exemples se situaient dans plusieurs secteurs (éducation, santé, action sociale, etc.) et montraient de manière didactique comment plusieurs méthodes (quantitatives, qualitatives, mixtes) et disciplines pouvaient être mobilisées pour répondre à des questions d’évaluation utiles aux intervenant-e-s et décideurs et décideuses. Ce premier ouvrage a été apprécié par les lecteurs, les lectrices et les enseignant-e-s et nous avons ainsi senti le besoin, en 2012, d’en publier une édition revue et augmentée (Ridde et Dagenais 2012). En outre, il a été traduit en espagnol et diffusé en Amérique latine par la maison d’édition d’une université colombienne qui souhaitait mieux diffuser ces approches sur ce continent, confirmant le besoin de disposer d’ouvrages pédagogiques dans des langues autres que l’anglais.

Mais au fil des années et de notre expérience de recherche et d’enseignement dans les pays du Sud, nous avons senti un triple besoin qui est à l’origine du présent ouvrage collectif.

D’une part, nous avons constaté la nécessité de continuer à publier en français face à la permanence des difficultés des étudiant-e-s et des collègues œuvrant uniquement dans un espace francophone et ne maîtrisant pas facilement l’anglais. Si quelques livres ont été publiés en français depuis 2009 dans le domaine de l’évaluation (Larivière et Corbière 2014; Hurteau, Houle, et Guillemette 2012), aucun ne disposait encore d’une spécificité propre au contexte du Sud, ou plus exactement des pays à faible revenu, pour éviter tout amalgame d’une uniformité contextuelle. En 2016, alors que nous avions déjà lancé la production du présent ouvrage, un autre livre spécifique à la pratique de l’évaluation en Afrique a été publié, mais il portait moins sur les méthodes que sur des pratiques réflexives (Ridde et al. 2016). Nous reviendrons sur cette spécificité contextuelle, mais souhaitons ici montrer l’importance de rendre accessibles en français des écrits qui concernent un champ encore majoritairement dominé par le monde anglophone.

D’autre part, si notre premier ouvrage constitue, pensons-nous, une très belle introduction à l’évaluation des interventions pour les novices dans ce domaine, il nous est vite apparu la nécessité d’en approfondir les contours et d’entrer dans la complexité de méthodes avancées. Or, il nous est aussi très vite apparu que de tels ouvrages interdisciplinaires en français et en santé mondiale n’existaient pas. Pourtant, notamment pour celles et ceux qui s’engagent dans des processus d’évaluation rigoureux dépassant les seules consultations répondant à des demandes formulées par un organisme client (ce qui est aussi évidemment un mandat important), il devient essentiel de maitriser des méthodes complexes permettant de répondre à des questions d’évaluation complexes ciblant des programmes tout aussi complexes.

Cette complexité rend impossible dans bien des cas de mettre en place ce que certain-e-s économistes du développement considèrent comme l’étalon de l’analyse de la causalité, soit les devis contrôlés-randomisés qui, la plupart du temps, sont insuffisants pour répondre aux questions soulevées dans le contexte du Sud. Cette complexité entraine aussi de grands défis évaluatifs dans le cas d’interventions répondant aux caractéristiques de la complexité (Robert et Ridde 2014). Mais force est de constater le besoin de mobiliser des méthodes avancées pour de telles analyses et donc de les présenter. En outre, nous pensons que le contexte des pays à faible revenu est favorable à l’innovation méthodologique et à la mise en branle de telles méthodes.

On ne reviendra pas sur les sempiternels débats autour du concept de santé mondiale (Taylor 2018), car nous souhaitons ici surtout retenir le fait qu’il s’inscrit dans une présence de ressources moindres et de fortes inégalités, mais aussi d’enjeux de pouvoir exacerbés par la forte présence d’une aide publique au développement des pays à revenu élevé et d’une collaboration internationale dans la pratique de l’évaluation. Puisque les contextes sont omniprésents et influencent toutes les « étapes » d’une évaluation (Craig et al. 2018), il est essentiel d’en tenir compte pour choisir les méthodes pertinentes scientifiquement, mais contextuellement aussi. Ainsi, contrairement aux idées reçues, c’est dans un contexte de rareté des ressources que les évaluateurs et évaluatrices se doivent d’être le plus agiles, d’innover et de tenter de déployer des méthodes appropriées pour atteindre leurs objectifs évaluatifs. Les chapitres réunis dans cet ouvrage sont de parfaits exemples de cette agilité et de la manière dont il est possible de déployer des approches complexes pour évaluer des interventions. Personne n’a attendu les récentes tentatives de créer un concept nouveau autour de la recherche interventionnelle en santé publique pour évaluer de manière rigoureuse les interventions en santé mondiale. Les auteurs et les autrices que nous avons mobilisés pour bâtir cet ouvrage font la preuve de ce dynamisme méthodologique, y compris dans un contexte où les moyens mis à la disposition de l’évaluation sont largement moindres que ce qui est disponible au Nord. Mais la diffusion de ces innovations, pour paraphraser Rogers, est encore trop souvent cantonnée à quelques expert-e-s… surtout anglophones et disposant des moyens d’y avoir accès.

Ainsi, et enfin, le troisième besoin que nous avons identifié et auquel ce livre tente de répondre, est celui de la diffusion libre des savoirs, qui est un enjeu majeur en santé mondiale (Smith et al. 2017). À quoi peut-il bien servir de développer toutes ces innovations méthodologiques si elles restent confinées et accaparées par les personnes qui maîtrisent l’anglais et qui ont les moyens d’y accéder? Comment faire en sorte que les étudiants et étudiantes francophones basés au Sud puissent avoir accès à des connaissances originales et utiles alors qu’ils et elles n’ont pas les moyens de s’offrir des livres, même accessibles en version payante sur Internet? Comment soutenir le développement du réseau des évaluateurs émergents francophones[2]? C’est ici que notre rencontre avec le projet des Éditions science et bien commun et son souhait d’une démocratisation des savoirs et d’une justice sociale des connaissances nous a agréablement interpellés. Nous avions déjà été en mesure de publier un de nos ouvrages sur les idées reçues en santé mondiale en version gratuite grâce à une initiative des Presses de l’Université de Montréal (Ridde et Ouattara 2015). Nous avions aussi subventionné une reproduction de la première édition de notre livre d’introduction à l’évaluation pour le publier en Afrique de l’Ouest à un tarif réduit, en collaboration avec les Éditions L’Harmattan Burkina Faso. Mais ces subventions sont temporaires et nous voulions vraiment que notre nouvel ouvrage soit le plus largement accessible. La communauté des personnes qui réalisent des évaluations dans le monde francophone se développe à l’échelle mondiale, tous les pays d’Afrique francophone offrent au moins une maitrise de santé publique où l’évaluation commence à être enseignée… voici autant d’opportunités que cet accès libre à des méthodes avancées rendra utile, croyons-nous.

Ainsi, ce livre s’adresse à tous les amoureux de l’évaluation (oui, oui, cela existe!) qui souhaitent développer leurs connaissances et compétences en méthodes avancées. Il s’adresse d’abord aux personnes qui agissent dans un contexte de santé mondiale, mais pas uniquement. En effet, si les cas présentés concernent le domaine de la santé, au sens large du terme et notamment au sens populationnel, il est évident que les méthodes que nous présentons peuvent être déployées dans d’autres domaines (éducation, économie, etc.) et dans d’autres contextes que ceux des pays du Sud. Chacun-e y trouvera donc son compte et saura user de son agilité pour adapter et transposer ces méthodes ailleurs, dans d’autres champs et d’autres circonstances.

Le plan du livre

L’ouvrage est composé de cinq sections qui représentent autant de grandes dimensions méthodologiques.

La première section est très innovante, car elle présente des méthodes rarement abordées dans les ouvrages et articles francophones en évaluation. Notre approche générale s’inscrit dans une démarche d’évaluation fondée sur la théorie des interventions (Chen 2005; Weiss 1998). Dans ce sens, il devient essentiel de maîtriser ce que Beaudry et Gauthier appellent la phase pré-évaluative (Beaudry et Gauthier, 1992), autrement dit l’analyse de « l’évaluabilité » des interventions. Les différentes étapes du processus d’une étude « d’évaluabilité » sont présentées dans le chapitre 1 (Soura et collègues). Le cas présenté porte sur un programme de prévention en milieu scolaire et vise à déterminer jusqu’à quel point ce programme est évaluable.

La pérennité des interventions est aussi un thème relativement délaissé par les ouvrages francophones. Lorsqu’elle est abordée, elle devient souvent la dernière roue du carrosse. Pourtant, les recherches nous disent depuis longtemps que la pérennité devrait devenir la première préoccupation des intervenant-e-s, et non la dernière, lorsque l’on planifie une intervention (Pluye et al. 2005). Nous avons donc décidé de l’intégrer dans la première partie, car le premier auteur de ce chapitre portant sur une intervention au Mali se plaignait d’être relégué, comme la pérennité, à la fin de l’ouvrage. Il a eu raison et nous le remercions de son plaidoyer. La pérennisation des interventions en Afrique est trop peu étudiée. Ce chapitre présente une méthodologie pour y arriver (Seppey et Ridde, chapitre 2).

La deuxième section comporte trois chapitres qui présentent des approches d’évaluation usant de méthodes qualitatives. Si cet usage n’a rien d’innovant dans le domaine de la santé mondiale (Belaid et al. 2016), nous voulions montrer quelques approches originales et peu diffusées en français. Ces trois chapitres proposent donc des processus intéressants où le qualitatif est mobilisé de manière rigoureuse. Le premier (Bujold et Fortin, chapitre 3) porte sur une l’évaluation participative d’un programme visant l’égalité hommes-femmes en Bolivie . Elle met à contribution une méthode systématique en trois volets (qualitatif, participatif, inter-organisationnel). Le deuxième chapitre de cette section (Rey et collègues, chapitre 4) décrit une évaluation menée au Mexique qui mobilise une autre approche qualitative participative utilisant la photo comme support d’expression : le photovoix. Elle porte sur les perceptions de jeunes autochtones de leur participation à un programme basé sur les arts pour favoriser le changement de comportements. Enfin, le troisième chapitre de cette section (Aka et collègues, chapitre 5) porte sur l’évaluation d’une démarche de recherche-action au Burkina Faso. L’approche d’évaluation adoptée combine une analyse externe à une analyse réflexive afin de produire des résultats permettant de guider d’autres recherches-action.

La troisième section offre l’opportunité de réaliser notre souhait de diffuser plus largement le recours aux méthodes mixtes pour l’évaluation (Bujold et al. 2018). Trois chapitres permettent de montrer comment réaliser des revues mixtes, ainsi que l’intégration des données qui est au cœur de la pertinence de ces méthodes. Des exemples utiles en santé mondiale facilitent cette démonstration. Le premier de ces chapitres (Hong et collègues, chapitre 6) porte sur les revues mixtes qui combinent des études quantitatives, qualitatives et mixtes en utilisant une approche systématique. Il présente un exemple de revue mixte tiré d’un projet de financement basé sur les résultats au Burkina Faso; quatre devis de synthèse sont présentés. Le deuxième chapitre de cette section (Pluye, chapitre 7) propose un cadre conceptuel incluant tous les types d’intégration des méthodes qualitatives et quantitatives et les diverses combinaisons possibles de ces stratégies. Le chapitre suivant (Pluye et collègues, chapitre 8) illustre quant à lui plusieurs de ces types de combinaisons à l’aide d’études en santé mondiale.

La quatrième section est consacrée à l’évaluation de l’efficacité et de l’efficience des interventions. Les trois premiers chapitres de cette section explicitent les démarches méthodologiques pour vérifier à l’aide de méthodes statistiques complexes que les objectifs des interventions ont été atteints. Le premier (Benmarhnia et Fuller, chapitre 9) présente deux méthodes quasi-expérimentales applicables lorsque les essais contrôlés randomisés sont impossibles à organiser : la méthode de Différence dans les Différences (DD) et l’approche de Régression avec Discontinuité (RD). L’application de ces deux méthodes est utilisée pour mesurer les effets de l’âge légal minimum sur la consommation d’alcool des jeunes. Le deuxième chapitre de cette section (Benmarhnia et McKinnon, chapitre 10) présente différentes méthodes de mesure des inégalités de santé d’une intervention d’exemption de paiement des frais de soins. Ces mesures incluent notamment l’indice de concentration et l’indice de Theil. Le troisième chapitre de la section (Dumont, chapitre 11) présente les modèles statistiques appropriés et les défis méthodologiques liés aux essais randomisés en grappe utilisés pour évaluer l’impact d’une intervention visant à réduire la mortalité maternelle et néonatale hospitalière au Mali et au Sénégal. Le quatrième chapitre de cette section (Jouquet, chapitre 12) présente une analyse coût-efficacité d’une intervention VIH réalisée au Swaziland.

Enfin, la cinquième section présente plusieurs démarches portant toutes sur l’analyse des processus et de la fidélité d’implantation dans des contextes variés, du Nunavik à Cuba en passant par l’Afrique de l’Ouest et jusqu’à l’Afrique australe. Sur le plan des méthodes, cette dernière section est innovante en proposant des approches rarement présentées ou utilisées pour le moment : les analyses spatiales (Bonnet, chapitre 13), une étude de cas multiples utilisant un processus pyramidal d’analyse (Ridde et Turcotte-Tremblay, chapitre 14), l’évaluation de la fidélité (Pérez et collègues, chapitre 15 ; Gauthier et collègues, chapitre 16) ou encore l’approche réaliste (Dossou et Marchal, chapitre 17).

Nous ne pouvions terminer cette introduction sans remercier l’ensemble des protagonistes de cet ouvrage. D’abord, les multiples auteurs et autrices et leurs collaborateurs et collaboratrices qui ont patiemment répondu à nos exigences éditoriales didactiques et accepté de participer à une publication dont la durée de production a été proportionnelle à leur motivation. Ensuite, Linda François qui nous a aidés dans la mise en forme des manuscrits des chapitres et qui a assuré le suivi avec les auteurs et les autrices pour répondre aux exigences éditoriales. L’une de leurs requêtes était de disposer de résumé des chapitres dans le maximum de langues possibles. Nous devons ainsi remercier celles et ceux qui ont bien voulu nous aider dans ces traductions. Enfin, il nous faut remercier les Éditions science et bien commun pour leur désir de publier en accès libre cet ouvrage et l’ensemble de leur soutien durant sa production, ainsi que le soutien financier de l’Institut de Recherche pour le Développement (IRD) et de l’Équipe RENARD.

Références

Beaudry, J. et Gauthier, B. (1992). L’évaluation de programme. Dans B. Gauthier (dir.), Recherche sociale : de la problématique à la collecte de données (2e éd., p. 425-452). Québec : Presses de l’Université du Québec.

Belaid, L., Bodson, O., Ridde, V., Samb, O. et Turcotte-Tremblay (2016). Innovations qualitatives dans l’évaluation des interventions en santé. Dans J. Kivits, F. Balard, C. Fournier et M. Winance (dir.), Les recherches qualitatives en santé. Malakoff : Armand Colin.

Bujold, M., Hong, Q. N., Ridde, V., Bourque, C. J., Dogba, M. J., Vedel, I. et Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. Montréal : 117e Cahiers scientifiques de l’ACFAS.

Chen, H.-T. (2005). Practical program evaluation : assessing and improving planning, implementation, and effectiveness. Thousand Oaks, CA: Sage Publications.

Craig, P., Di Ruggiero, E., Frohlich, K. L., Mykhalovskiy, E. et White, M., on behalf of the Canadian Institutes of Health Research (CIHR)–National Institute for Health Research (NIHR) Context Guidance Authors Group (listed alphabetically), R. Campbell et al. (2018). Taking account of context in population health intervention research: guidance for producers, users and funders of research.
https://doi.org/10.3310/CIHR-NIHR-01

Hurteau, M., Houle, S. et Guillemette, F. (dir.). (2012). L’évaluation de programme axée sur le jugement crédible. Québec : Presses de l’Université du Québec.

Larivière, N., et Corbière, M. (dir.). (2014). Méthodes qualitatives, quantitatives et mixtes : dans la recherche en sciences humaines, sociales et de la santé. Québec : Presses de l’Université du Québec.

Patton, M. Q. (1997). Utilization–focused evaluation (3e éd.). London: Sage Publications.

Pluye, P., Potvin, L., Denis, J.-L., Pelletier, J. et Mannoni, C. (2005). Program sustainability begins with the first events. Evaluation and program planning, 28, 123-137.

Ridde, V. et Dagenais, C. (dir.). (2012). Approches et pratiques en évaluation de programme (2e éd.). Montréal : Presses de l’Université de Montréal.

Ridde, V., Kouanda, S., Kobiané, J.-F. et Zongo, S. (dir.). (2016). Pratiques et méthodes d’évaluation en Afrique. Paris : L’Harmattan.

Ridde, V. et Ouattara, F. (2015). Des idées reçues en santé mondiale. Montréal : Presses de l’Université de Montréal.

Robert, E. et Ridde, V. (2014). L’approche réaliste pour l’évaluation de programmes et la revue systématique : de la théorie à la pratique. Mesure et évaluation en éducation, 36(3), 79-108.

Smith, E., Haustein, S., Mongeon, P., Shu, F., Ridde, V. et Larivière, V. (2017). Knowledge sharing in global health research – the impact, uptake and cost of open access to scholarly literature. Health Research Policy and Systems, 15: 73
https://doi.org/10.1186/s12961-017-0235-3

Taylor, S. (2018). “Global Health”: meaning what? BMJ Global Health, 3(2), e000843.

Weiss, C. H. (1998). Evaluation : methods for studying programs and policies (2e éd.). Upper Saddle River, NJ : Prentice Hall.

Citation

Ridde, Valery et Christian Dagenais (2019). Introduction. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. ix-xvii. Québec : Éditions science et bien commun et Marseille : IRD Éditions.


  1. Respectant les valeurs des Éditions science et bien commun, cette introduction, comme tous les chapitres du livre, suit les principes de l'écriture inclusive et propose de nouvelles graphies ou des tournures épicènes afin de lutter contre l'invisibilité des femmes ou du féminin. En particulier, il applique l'accord de proximité plutôt que la victoire du masculin et utilise les doublets ou les tirets selon la forme du féminin. Il contribue aussi aux retrouvailles de la langue française avec des formes grammaticales féminines ayant été effacées de l’usage par l’Académie française à la Renaissance.
  2. http://www.portail-rfe.org/RF-Ee/qui-somme-nous

License

Partagez ce livre