Résumés

L’étude d’évaluabilité. Une intervention de prévention de l’usage de drogues à l’école au Québec
Biessé Diakaridja Soura, Jean-Sébastien Fallu, Robert Bastien et Frédéric N. Brière

Réaliser une étude d’évaluabilité (ÉÉ) est une étape importante permettant de planifier l’évaluation proprement dite d’une intervention ou d’un programme. C’est un exercice qui permet de collecter rapidement des données sur le déroulement d’un programme afin de prendre des décisions sur d’éventuelles modifications à apporter ou la conduite d’une évaluation formelle. Dans le cas actuel, l’étude d’évaluabilité a été appliquée à un programme de prévention de l’usage de substances psychoactives en milieu scolaire. Les différentes étapes de la conduite d’une étude d’évaluabilité y sont décrites ainsi que les résultats obtenus et les leçons apprises. Par ailleurs, les forces et faiblesses de l’étude d’évaluabilité, en tant que phase pré-évaluative d’un programme, et les défis de sa mise en œuvre sont présentés.

L’évaluation de la pérennité. Une intervention de financement basé sur les résultats au Mali
Mathieu Seppey et Valéry Ridde

Le financement basé sur les résultats (FBR) est un type de réforme du financement du système de santé très populaire en Afrique. Plusieurs projets pilotes sont mis en œuvre dans le but d’offrir plus de soins de santé ainsi que d’en améliorer la qualité. Cependant, la pérennisation de ce type d’intervention en Afrique a encore été trop peu étudiée. Ce chapitre explique donc comment la pérennité de cette intervention a été évaluée au moyen d’une méthodologie qualitative. En lisant ce chapitre, on pourra mieux comprendre le processus de recherche qui a été mis en œuvre grâce à sa présentation exhaustive, de la première étape (ex. : la réalisation d’une revue de la littérature) jusqu’à la dernière (ex. : l’attribution du niveau de pérennité de l’intervention). Une section plus réflexive permet aussi aux lecteurs et lectrices de s’immiscer davantage dans l’expérience des chercheurs en ayant une meilleure compréhension des défis rencontrés (tant méthodologiques que professionnels) et des leçons apprises.

Résumé en Bambara

Nafolo ko mi siysin né do diabi sᴐrᴐlila (FBR) yé nafolo taabolo kura yé mi maakadi keneya kan farafina kᴐnᴐ. Poroje kuntiléna ciaman be sékan walassa ka sé ko furakeli lagini boηan ka yԑlԑ mali do a la ani ka kԑcioηoya ηuma kԑ o hokumu kᴐnᴐ taabolo bilali sé kan kuolaye farafina kᴐnᴐ kalan ciamaba ma a siηi sé kan o la. Ni Bolofara ηinfoli ba yira ciokodi taabolo kudayi diatemilԑli kԑra ni baara minԑ, ηinini taabolo bᴐlé yuman na. Ni Bolofara kalan ni na, ηinini taabolo fouamu bibali la sé kan sannan yԑlin yirali la ni kalan biolo folonηi (Misali la : o ηafé sebeni waleyali la) fo lavan (Misali la : taabolokudayi diaté dero dili la). Hakilina baara bolodali boyan k ata a fԑ ki sé do a ko la kᴐsᴐbԑ ηinini kela yé dᴐniya mi sᴐrᴐ ηeleya minounou yéra faamu cioko yuman na (kaata o kalan taabolo ni o baara taabolo) ani fouamu mi sᴐrᴐ la kᴐnᴐ.

L’évaluation qualitative, informatisée, participative et inter-organisationnelle. ÉQUIPO : un programme en faveur des femmes victimes de violences en Bolivie
Mathieu Bujold et Jean-Alexandre Fortin

Les programmes de développement visent à produire des changements dans des communautés touchées par des problématiques socioculturelles complexes, par exemple l’égalité entre les femmes et les hommes, où s’entrecroise une pluralité de significations. L’évaluation de ces programmes nécessite une approche systématique mobilisant la collaboration entre les parties prenantes de différentes organisations. Les trois volets d’Évaluation QUalitative Informatisée et Participative inter-organisationnelle (ÉQUIPO) visent à répondre à ces réalités complexes. Le volet qualitatif vise à comprendre les processus de changement depuis les points de vue de ceux ou celles qui expérimentent une situation complexe. Le volet participatif en favorisant la participation démocratique des parties prenantes rappelle que l’évaluation de programmes n’est pas une fin en soi, mais un moyen d’améliorer les conditions sociales et collectives. Le volet inter-organisationnel stimule les échanges entre des ONG partageant des missions similaires. Cette méthode d’apprentissage dans l’action a été développée en 2012, lors d’un projet pilote d’évaluation de programmes d’ONG boliviennes promouvant l’égalité entre les femmes et les hommes. L’objectif de ce chapitre n’est pas de présenter les résultats de l’évaluation spécifique des programmes, mais plutôt de décrire la méthode ÉQUIPO, le contexte dans laquelle elle a émergé, et de présenter ses répercussions et les défis de son application depuis les perspectives des co-évaluateurs et évaluatrices qui ont participé à ce projet pilote.

La méthode photovoix. Une intervention auprès de populations marginalisées sur l’accès à l’eau potable, l’hygiène et l’assainissement au Mexique
Lynda Rey, Wilfried Affodégon, Isabelle Viens, Hind Fathallah et Maria-Jose Arauz

Utiliser des méthodes évaluatives adaptées à la fois au contexte d’intervention, à l’objet de l’évaluation et aux populations ciblées est essentielle en évaluation de programmes. Toutefois, cela comporte des défis non négligeables dans le cas d’interventions complexes et de communautés marginalisées. Dans ce chapitre, nous présentons une méthode d’évaluation participative utilisant la photo comme support d’expression -la photovoix-, particulièrement adaptée aux jeunes et aux communautés autochtones ciblées par un projet d’accès à l’eau, l’hygiène et l’assainissement au Mexique. Cette méthode qualitative a aussi été choisie pour son caractère créatif et artistique permettant de répondre à l’objectif de l’évaluation : évaluer les perceptions des jeunes par rapport aux activités artistiques auxquelles ils ont participé dans le cadre de la composante Art Social pour le Changement de Comportement ; les encourageant à adopter de meilleures pratiques en lien avec l’eau potable et l’hygiène. Les forces et les faiblesses de cette méthode sont exposées et le processus méthodologique décrit en détail. Les résultats de l’intervention mis en évidence par ce processus sont brièvement présentés et enfin, les leçons tirées de l’application de la photovoix sont décrites afin d’encourager l’utilisation de cette méthode qui s’est avérée particulièrement utile et concluante dans le cas présenté.

L’analyse d’une recherche-action. Combinaison d’approches dans le domaine de la santé au Burkina Faso
Aka Bony Roger Sylvestre, Valéry Ridde et Ludovic Queuille

Depuis 2011, une recherche-action est menée dans le cadre d’un projet de subvention de l’accès aux soins des enfants de moins de cinq ans, des femmes enceintes et allaitantes au district sanitaire de Sebba au Burkina Faso. Elle vise à expérimenter une innovation, le remboursement au forfait des prestations de soins de santé délivrés gratuitement aux patients afin de résoudre les difficultés inhérentes au projet de subvention de l’accès aux soins rencontrées par les agents de santé et l’ONG subventionnaire. Parmi les difficultés figurent entres autres la charge de travail pour le personnel de santé, les coûts de production des outils de collecte des données. Les résultats préliminaires de cette recherche-action étant probants, il est apparu nécessaire d’analyser la démarche utilisée pour la mettre en œuvre. Pour y parvenir, une analyse externe combinée à une analyse réflexive des parties prenantes a permis de tirer les leçons idoines qui ont permis de guider d’autres recherches-actions. La réussite d’une telle démarche d’analyse est passée par i) l’élaboration d’une grille d’analyse comportant des éléments factuels pour mener à bien l’analyse externe, ii) une bonne préparation de l’analyse réflexive et iii) une implication des parties prenantes au processus d’analyse dès le début.

Les revues systématiques mixtes. Un exemple à propos du financement basé sur les résultats
Quan Nha Hong, Anne-Marie Turcotte-Tremblay et Pierre Pluye

Les revues systématiques mixtes sont des revues de littérature utilisant une approche systématique pour combiner des études quantitatives, qualitatives et mixtes. Elles sont de plus en plus populaires, car elles permettent une compréhension approfondie des phénomènes et interventions complexes. Dans ce chapitre, huit étapes de la revue systématique mixte sont présentées : (a) formulation d’une question de recherche, (b) définition des critères d’éligibilité, (c) identification des sources documentaires, (d) (élaboration de stratégie de recherche documentaire, (e) sélection des études pertinentes, (f) évaluation de la qualité des études retenues, (g) extraction des données des études retenues et (h) synthèse des données extraites. Ces étapes sont illustrées à partir d’un exemple tiré d’une revue systématique mixte sur les conséquences non intentionnelles d’une intervention reposant sur le financement basé sur les résultats. De plus, afin de guider l’intégration des données quantitatives et qualitatives, quatre devis de synthèse sont présentés : (a) devis de synthèse convergent avec intégration au niveau des données, (b) devis de synthèse convergent avec intégration au niveau des résultats de synthèse, (c) devis de synthèse convergent avec intégration au niveau de l’interprétation et (d) devis de synthèse séquentiel. Enfin, quelques défis des revues systématiques mixtes sont présentés dans l’analyse réflexive.

L’intégration en méthodes mixtes. Cadre conceptuel pour l’intégration des phases, résultats et données qualitatifs et quantitatifs
Pierre Pluye

Les méthodes mixtes (MM) sont de plus en plus populaires. En utilisant les MM, les chercheuses et chercheurs intègrent des méthodes qualitatives (QUAL) et quantitatives (QUAN), par exemple au niveau des questions et devis de recherche, et des collectes et analyses des données. Plusieurs stratégies d’intégration ont été proposées, mais leur conceptualisation est généralement limitée, fragmentée, ou non testée scientifiquement. Cela constitue un défi pour planifier et effectuer des études utilisant les MM, et pour enseigner les MM. Fondé sur la littérature méthodologique, ce chapitre présente un cadre conceptuel incluant tous les types d’intégration connus, des stratégies pratiques et des combinaisons possibles de stratégies pour intégrer les phases, les résultats et les données QUAL et QUAN. Dans le chapitre suivant, ce cadre est testé avec une revue des études utilisant les MM. Cette revue illustre plusieurs types de combinaisons avec des études en santé mondiale. Ensemble, ces deux chapitres contribuent à faire avancer les connaissances méthodologiques par (a) un appel à une meilleure description des MM dans les publications scientifiques, et (b) une conceptualisation testée proposant trois types d’intégration et neuf stratégies spécifiques, et toutes les combinaisons possibles des stratégies pour intégrer les phases, résultats et données QUAL et QUAN.

La pratique de l’intégration en méthodes mixtes. Les multiples combinaisons des stratégies d’intégration
Pierre Pluye, Enrique Garcìa Bengoechea, David Li Tang, Vera Granikov

Les méthodes mixtes (MM) sont de plus en plus populaires. En utilisant les MM, les chercheuses et chercheurs intègrent des méthodes qualitatives (QUAL) et quantitatives (QUAN), p. ex., au niveau des questions et devis de recherche, et des collectes et analyses des données. Plusieurs stratégies d’intégration ont été proposées, mais leur conceptualisation est généralement limitée, fragmentée, ou non testée scientifiquement. Cela constitue un défi pour planifier et effectuer des études utilisant les MM, et pour enseigner les MM. Fondé sur la littérature méthodologique, le chapitre précédent a présenté un cadre conceptuel incluant tous les types d’intégration connus, des stratégies pratiques et des combinaisons possibles de stratégies pour intégrer les phases, les résultats et les données QUAL et QUAN. Dans ce chapitre, ce cadre est testé avec une revue des études utilisant les MM. Cette revue illustre plusieurs types de combinaisons avec des études en santé mondiale. Ensemble, ces deux chapitres contribuent à faire avancer les connaissances méthodologiques par (a) un appel à une meilleure description des MM dans les publications scientifiques, et (b) une conceptualisation testée proposant trois types d’intégration et neuf stratégies spécifiques, et toutes les combinaisons possibles des stratégies pour intégrer les phases, résultats et données QUAL et QUAN.

Les méthodes quasi expérimentales. L’effet de l’âge légal minimum sur la consommation d’alcool chez les jeunes aux États-Unis
Tarik Benmarhnia et Daniel Fuller

Les méthodes quasi-expérimentales (MQE) sont des alternatives aux essais contrôlés randomisés, qui permettent, en se basant sur le modèle contre-factuel, d’évaluer les effets d’interventions en exploitant des expérimentations naturelles. L’objectif de ce chapitre est d’introduire deux MQE, à savoir la me la méthode de Différence dans les Différences (DD) ainsi que l’approche de Régression avec Discontinuité (RD). Leur application afin d’évaluer l’effet de l’âge légal minimum sur la consommation d’alcool chez les jeunes est ensuite présentée. Sont présentées toutes les étapes nécessaires et les codes statistiques (pour R et Stata) permettant de reproduire ce type d’analyse. Ces approches constituent de bonnes solutions lorsque des essais contrôlés randomisés sont impossibles ou difficiles à mener, permettant de s’assurer que des objectifs d’un programme de santé publique sont bel et bien atteints, de décider quant au maintien, à la modification ou à l’arrêt d’interventions existantes et de s’assurer que les ressources publiques sont utilisées de manière efficace.

Les essais randomisés en grappe. Un exemple en santé maternelle et infantile
Alexandre Dumont

Les essais contrôlés randomisés en grappe permettent d’évaluer l’impact des interventions en santé avec un niveau de preuve très élevé. Si les essais randomisés en grappes offrent plusieurs avantages dans les pays à faibles ressources par rapport aux essais individuels, ils présentent quelques défis méthodologiques qui tiennent au fait que l’unité d’analyse est différente de l’unité de randomisation ou d’intervention. Ces défis tant sur le plan de la mise en œuvre de l’intervention que de l’analyse statistique sont présentés à partir d’une expérience réalisée au Mali et au Sénégal (essai QUARITE) pour réduire la mortalité maternelle et néonatale hosptaière. Nous verrons comment l’approche « différence des différences » permet de mesurer l’effet l’intervention tout en tenant compte de l’effet du temps qui joue souvent favorablement sur les indicateurs de santé en dehors de toute intervention extérieure. Les modèles statistiques appropriés sont présentés pour pouvoir ajuster l’effet de l’intervention sur les différences qui existent entre les groupes expérimentaux avant le démarrage du programme à tester et sur l’effet de groupe propre aux essais en grappe.

Les mesures de l’équité. Un exemple d’intervention de gratuité des soins obstétricaux
Tarik Benmarhnia et Britt McKinnon

L’équité en santé est largement identifiée comme un objectif auquel les politiques et activités de santé publique doivent répondre en priorité, mais dont la définition varie considérablement. Dans ce chapitre, nous proposons une définition de l’équité en santé qui fait référence à la distribution des bénéfices des politiques publiques. Dans ce chapitre nous présentons différentes méthodes de mesures des inégalités de santé, leur application à l’évaluation des effets des interventions à travers l’exemple de l’effet de l’exemption du paiement des frais de soins sur l’accès aux soins obstétricaux dans le cadre d’un exemple simulé. Ces mesures incluent notamment l’indice de concentration et l’indice de Theil. Enfin, nous proposons différentes approches pour les appliquer à l’évaluation des effets des interventions donc à l’équité incluant une approche simple et une base sur l’utilisation de méthodes quasi-expérimentales. L’évaluation de l’équité en santé publique est importante pour s’assurer que, d’une part, des interventions ne contribuent pas à augmenter les inégalités de santé et qu’elles répondent aux objectifs énoncés dans le cadre d’interventions visant à réduire les inégalités de santé.

L’analyse coût-efficacité. Une intervention de décentralisation des soins VIH/SIDA à Shiselweni, Swaziland
Guillaume Jouquet

L’évaluation économique décrite ici a été achevée en 2013 et fait partie d’une évaluation plus globale menée par quatre évaluateurs et évaluatrices indépendants à la demande de Médecins sans Frontière (MSF) dans un double but de documentation des expériences acquises et de plaidoyer. Le programme évalué a débuté en 2007 dans la région de Shiselweni au Swaziland en partenariat avec MSF et le ministère de la Santé publique. Ce programme de traitement du SIDA avait la particularité d’être décentralisé et intégré au niveau des centres de santé primaire. Il s’agissait d’une démarche innovante au Swaziland où le traitement du SIDA était alors centralisé au niveau des centres de santé secondaire. Les approches décentralisées du traitement du SIDA dans les pays en développement ont fait l’objet de plusieurs études montrant leur efficacité. Le but de la présente évaluation était d’y ajouter un volet économique. Nous avons donc mené une étude rétrospective de coût-efficacité du point de vue du prestataire de service avec calcul du ratio de coût efficacité incrémental (ICER). Les principales difficultés pour une évaluation telle que celle-ci résident 1) dans l’accès aux données financières des prestataires de service 2) dans la mesure du gain d’efficacité liée à l’approche alternative en isolant les éventuels facteurs de confusion.

L’analyse spatiale. Un cas d’intervention communautaire de lutte contre le moustique Aedes aegypti au Burkina Faso
Emmanuel Bonnet, France Samiratou Ouédraogo et Diane Saré

Ce chapitre présente une analyse spatiale d’une intervention qui vise à évaluer si des valeurs similaires d’un résultat sont plus susceptibles de former des grappes dans une zone d’étude. Cette méthode appelée « indicateurs locaux d’association spatiale » (local indicators of spatial association – LISA) permet d’identifier les zones où les valeurs sont spatialement dépendantes les unes des autres. LISA a été utilisé pour évaluer l’effet d’une intervention communautaire visant à contrôler le moustique responsable de la propagation de la dengue Aedes aegypti dans deux quartiers de Ouagadougou, capitale du Burkina Faso. L’évaluation finale de l’intervention à l’aide de cette méthode a montré que les groupes de larves ont disparu dans le quartier qui a reçu l’intervention alors qu’ils persistaient dans le quartier témoin.

L’analyse des processus de mise en œuvre. Une intervention complexe au Burkina Faso : le financement basé sur les résultats
Valéry Ridde et Anne-Marie Turcotte-Tremblay

Plus de recherches sur la mise en œuvre sont nécessaires pour comprendre comment les interventions fonctionnent dans leur contexte réel et comment elles évoluent dans le temps. L’objectif de ce chapitre est de présenter l’analyse de la mise en œuvre d’une intervention complexe, intitulée le financement basé sur les résultats, au Burkina Faso. Nous avons effectué une étude de cas multiples (18 formations sanitaires) et contrastés avec plusieurs niveaux d’analyse imbriqués. Les données empiriques proviennent d’observations, d’entrevues informelles et formelles et de documents. Pour faciliter l’analyse d’une quantité importante de données, nous avons utilisé un processus pyramidal par lequel chaque membre de l’équipe a analysé et synthétisé des données à un niveau différent (centre de santé, district et général). Ainsi, les assistants de recherche ont participé à l’ensemble du processus d’analyse. L’organisation d’un atelier sur l’utilisation d’un logiciel d’analyse qualitative accessible gratuitement a permis de développer une compréhension commune du processus d’analyse. Les résultats de la recherche montrent l’importance d’ouvrir la « boite noire » pour comprendre la mise en œuvre des interventions de santé publique en Afrique et mettre au jour leurs adaptations selon les contextes et les acteurs et actrices sociaux.

Résumé en Moore

Segda ne vaeesg wùsgo, sên na yàl tà wùmb na-kêndr zîndi, la a paam pidsgu. Gom-zug ning tônd sên dàkâ, togd n wilga yel-segdà nins sên kàte, tà ligdâ tùùm-b$d tôog n womd biis Burkîna Faso ka. Tônd maana veesg toor-toor zîis (18) sên kêed ne laafà wâ w$$ngê, n le paas y$la taab wegsgo. Veesgâ tika rog-n-mikâ y$l buud toor- toor sên kêed ne gêesgs$b pùsê, la sogsgo, n tôog n tùm tà tùùmdâ paam pidsgu. Sên na yàlê, t’a yà nana ne-do. Neb n kêes b toog tùùmdâ kùmsg pùgê, rê n kàte, tà tùùmdâ yâagdb kêes b toogo, n maanb me sên tôe, tùùmdâ na paam n wom-bi sôma yînga. Nao-kênd-kângâ tônd sên dàkâ, yaa sên na n yàlê tà nin-buiidâ fâa tôog n tall tùùmdâ teoogo, tà b wùmbâ tôog n yà nana. Tùùmdâ teoog nin-buiidâ sên na n tall n tùm tùùmdâ, ka raad ye, yaa zaalem la b kôta. Vaeesgâ biis na n wilga yôodo, sênna yàle, tà bângdbâ sên tùm tùùmd ninga, sên kêed ne laafà wâ w$$ngê, tônd nin-sabls tênsâ ka wâ tôog n yà na-kêndre, sên zems ne nin-buiidâ raabo, la b vààm wala b sên wilgâ.

L’évaluation de la fidélité d’implantation. Un projet de distribution d’Omble chevalier aux femmes enceintes du Nunavik
Lara Gautier, Catherine M. Pirkle, Christopher Furgal et Michel Lucas

En 2011, la Régie régionale de la santé et des services sociaux du Nunavik a commencé à appuyer financièrement le Projet de Distribution d’Omble chevalier (Arctic Char Distribution Project ou AC/DP dans son acronyme en anglais) pour les femmes enceintes. Cette initiative favorisait la consommation d’une nourriture traditionnelle inuite – le poisson « Omble chevalier » – pour les femmes enceintes vivant dans les villages du Nunavik, une région du nord du Québec peuplée majoritairement de personnes d’origine inuite. Cette intervention visait à réduire l’exposition aux contaminants environnementaux et à améliorer l’état nutritionnel et la sécurité alimentaire. La mise en œuvre du projet a été évaluée sur la base des données collectées à partir de documents du projet, de notes de terrain et d’entretiens qualitatifs avec les bénéficiaires et les exécutants du projet. Les thèmes émergeant des données ont été discutés à la lumière du cadre de fidélité à la mise en œuvre développé par Carroll et coll. (2007). Les femmes enceintes ont pleinement adopté l’initiative pour sa pertinence culturelle. Toutefois, la mise en œuvre du projet était incomplète : elle ne couvrait pas toutes les zones géographiques prévues, et il y avait une incohérence récurrente dans l’approvisionnement et la distribution du poisson. En outre, l’initiative n’était pas financée de façon stable. Ce travail montre que la complexité du projet est susceptible d’entraver la réussite de la mise en œuvre, en particulier en termes de communication et de coordination.

Résumé en inuktituk

ᖃᐅᔨᓴᕐᑕᐅᓂᖓ ᑲᔪᓯᑎᑕᐅᒐᔭᕐᒪᖔᑦ ᓄᑕᕋᑦᓴᓖᑦ ᐃᖃᓗ2ᐱᑖᕐᑎᑕᐅᖃᑦᑕᕋᔭᕆᐊᖏᑦ ᓄᓇᕕᒻᒥ

ᐱᐅᓯᕆᔭᐅᓯᒪᔪᖅ: -ᒥ, ᓄᓇᕕᒻᒥ ᐃᓗᓯᓕᕆᓂᕐᒧᑦ ᑲᑎᒪᔩᑦ ᓴᐳᒻᒥᕙᓪᓕᐊᓯᓯᒪᔪᑦ ᐃᖃᓗ2ᐲᑦ ᐊᒡᒍᑐᕐᑕᐅᓂᑦᓴᖏᑦᑕ ᐱᓇᓱᐊᕐᑕᐅᓂᖓᓂᑦ GAC/DPH ᓄᑕᕋᑦᓴᓕᓐᓄᑦ. ᑕᒪᓐᓇ ᐱᒋᐊᖕᖓᒍᑎzi ᐃᖃᓗ2ᐱᑐᖃᑦᑕᓂᕐᓴᐅᒐᔭᕐᑐᑦ ᐊᕐᓀᑦ ᓄᑕᕋᑦᓴᓖᑦ ᓄᓇᕕᓕᒫᒥ, ᑯᐯᒃ ᑕᕐᕋᖓᓂ GᑲᓇᑕᒥH ᐃᓄᑐᐃᓐᓀᑦ ᓄᓇᖏᓐᓂ. ᑕᒪᓐᓇ ᐱᒋᐊᖕᖓᐅᑎ ᑑᕌᒍᑎᐅᒐᓱᐊᕐᓯᒪᔪᖅ ᓱᒃᑯᓇᕐᑐᑕᓕᓐᓂᑦ ᐱᖕᖏᓂᕐᓴᐅᖁᑦᓱᒋᑦ ᐱᐅᓯᐅᒥᖁᑦᓱᒋᓪᓗ ᐊᕐᓀᑦ ᓂᕿᑦᓯᐊᑑᒪᓂᖏᑦ.

ᐱᓂᐊᒐᖏᑦ: ᐱᓇᓱᐊᒐᑦᓴᐅ2 ᑲᔪᓯᑎᑕᐅᓂᖓ ᕿᒥᕐᕈᔭᐅᓯᒪᔪᖅ ᖃᐅᔨᓴᕈᑎᕕᓃᑦ ᓄᐊᑕᐅᒪᔪᓄᑦ ᐊᓪᓚᖁᑎᕕᓂᕐᓄᑦ, ᐊᓪᓚᖁᑎᓕᐊᕕᓃᑦ ᖃᐅᔨᓴᕐᑎᓄᑦ ᓄᓇᓕᓐᓂ ᐱᓇᓱᐊᕐᓱᑎᑦ ᐊᒻᒪᓗ ᐅᖄᖃᑎᖃᖃᑦᑕᓱᑎᑦ ᐃᓚᐅᒍᓐᓇᑐᓂᑦ ᐊᑯᓐᓂᖁᑦᓯᐅᑎᓂ ᐱᕈᕐᐸᓕᐊᑎᑦᓯᓱᑎᑦ ᑲᔪᓯᑎᑦᓯᓱᑎᓗ. ᐃᓘᓐᓈᒍᑦ ᐱᒋᐊᕐᑎᑕᐅᓂᖏᑦ ᖃᐅᔨᓴᕈᑎᓂᑦ ᓄᐃᑕᑎᑕᐅᔪᑦ ᐅᖄᕈᑎᐅᑦᓱᑎᑦ ᐃᓗᓕᖏᑦ ᑲᔪᓯᑎᑕᐅᑦᓱᑎᑦ WA5ᔨᔪᕕᓂᖅ ᑭᐊᕈᓪ ᐊᒻᒪᓗ ᓐᓄᑦ -ᒥ.

ᓄᐃᑎᑕᐅᓂᖏᑦ: ᓄᑕᕋᑦᓴᓖᑦ ᐊᕐᓀᑦ ᐃᓚᐅᑦᓯᐊᑐᕕᓃᑦ ᐱᒋᐊᖕᙰᒍᓐᓇᓯᐊᕐᓱᑎᑦ ᐃᓗ3ᕈᓯᖓᓅᓕᖓᑦᓯᐊᒪᑦ. ᑌᒣᒐᓗᐊᕐᑎᓗᒍ, ᐱᓇᓱᐊᕋᑦᓴᐅ2 ᑲᔪᓯᑎᑕᐅᓂᖓ ᐱᔭᕇᕐᑕᐅᓯᒪᖕᖏᑐᖅ ᐅᐸᒍᒪᔭᒥᓄᑦ ᐅᐯᒍᓐᓇᓯᒪᖕᖏᒪᑕ, ᐃᖃᓗᑖᑦᓯᐊᕐᖃᔭᕐᓂᖏᑦᓱᑎᓪᓗ ᐊᒡᒍᑐᐃᔨᑦᓴᖃᑦᓯᐊᕋᑎᓗ. ᐊᒻᒪᓗ, ᐱᒋᐊᖕᙰᒍᑎᑦᓴᒥᑦ ᑮᓇᐅᔭᑦᓴᖃᖕᖏᑯᒥᓄᑦ ᐊᑐᐃᓐᓇᓂᑦ ᓈᒻᒪᑐᓂᓪᓗ.

ᐅᖄᕈᑎᐅᔪᖅ: ᐱᓇᓱᐊᒐᑦᓴᐅᔪᖅ ᓄᐃᑦᓯᓯᐊᕐᑐᖅ ᑐᕃᓐᓇᕈᓐᓇᒪᑦ ᐱᓇᓱᐊᒐᑦᓴᐅ2 ᐊᕐᓱᕈᕐᓇᓂᖓ ᓱᕐᕃᒍᓐᓇᒪᑦ ᑲᔪᓯᑎᑕᐅᑦᓯᐊᓗᓂ ᐊᑯᓐᓂᖁᑦᓯᐅᑎᓂ, ᐱᓗᐊᕐᑐᒥ ᑐᓴᕈᑎᓕᕆᓂᒃᑯᑦ ᐊᑕᐅᑦᓯᑰᕐᓂᑯᓪᓗ. ᐅᓐᓂᑑᑦᔨᔪᒍᑦ ᐱᐅᓯᐅᒥᒍᓐᓇᓂᖏᑦ ᐱᓇᓱᐊᒐᑦᓭᑦ ᑲᔪᓯᑎᑕᐅᓂᖓᓂᑦ ᐅᓐᓂᑑᑦᔨᓱᑕ ᐊᓯᑦᔨᑕᐅᒋᐊᖃᕐᓂᖏᓐᓂ ᐃᓘᓐᓈᒍᑦ ᐊᑐᕐᑕᐅᔪᑦ ᖃᐅᔨᓴᕐᓃᑦ ᑕᒪᑦᓱᒥᖓ ᑲᔪᓯᑎᑕᐅᓂᖓᓂ ᐱᓇᓱᐊᒐᑦᓴᐅᔪᒥ.

L’évaluation de la fidélité et de l’adaptation. La mise en œuvre des interventions en santé mondiale
Dennis Pérez, Marta Castro et Pierre Lefèvre

Ce chapitre porte sur l’évaluation de la fidélité dans la mise en œuvre et l’adaptation des interventions de santé mondiales. La fidélité, ou le degré avec lequel une intervention est mise en œuvre comme prévu par ses concepteurs. Elle est particulièrement destinée à assurer que l’intervention maintienne ses effets prévus. L’adaptation, au contraire, est la modification du modèle d’origine d’une intervention par les acteurs et actrices de sa mise en œuvre. Cinq dimensions ont été mises en avant pour mesurer la fidélité : l’adhérence, la dose, la qualité de la prestation, la réactivité des participant-e-s et la différentiation du programme. Cependant, peu de recherches ou de conseils pratiques portent sur la façon d’adapter une intervention, tout en maintenant les mécanismes essentiels à son efficacité. Les interventions peuvent être un mélange de fidélité et d’adaptation et l’évaluation doit examiner les deux aspects. Nous avons confronté notre recherche empirique avec la littérature existante sur la fidélité et en avons déduit que le cadre conceptuel proposé par Carroll permettait d’évaluer l’adaptation dans le contexte de la fidélité. Nous proposons des modifications à ce cadre pour accommoder les interventions en santé mondiales adaptables ainsi que des implications pratiques.

L’évaluation réaliste. L’exemple de l’adoption d’une politique publique de santé au Bénin
Jean-Paul Dossou et Bruno Marchal

L’évaluation réaliste (ER) explicite les mécanismes causaux des résultats d’une intervention dans différents contextes. En s’appuyant sur l’évaluation de la mise en œuvre d’une politique de santé en Afrique de l’Ouest, ce chapitre illustre les différentes étapes du cycle de l’ER. À la première étape, les questions de recherche sont formulées. La valeur ajoutée de l’approche de l’ER est optimale sur des questions de type « Pourquoi? Comment? Pour qui? et dans quels contextes une intervention marche ou non? ». La seconde étape est la formulation de la théorie de programme initiale qui dépend de la nature de l’intervention, les objectifs d’évaluation, la nature des produits prioritaires attendus de l’évaluation, les ressources disponibles et la familiarité de l’évaluateur avec l’objet d’évaluation. La collecte des données peut se baser sur une forme particulière d’entretien qualitatif appelé « entretien réaliste ». En pratique, la collecte de données doit s’adapter aux informateurs clés, à leurs perceptions et attentes vis-à-vis des évaluateurs et évaluatrices pour éviter la tendance à la confirmation systématique de la théorie de l’évaluateur par les interviewés. L’analyste réaliste identifie activement les configurations « Intervention-Contexte-Acteur-Mécanisme-Résultat ». En pratique le raisonnement par rétroduction est utilisé pour expliciter les mécanismes. Un tableau permettant de suivre les changements apportés à la théorie de programme initiale facilite la dernière étape de la synthèse et du rapport de l’ER.

Overzicht

Realistische evaluatie (RE) verklaart de causale mechanismen die de resultaten van een interventie verklaren in verschillende contexten. Op basis van de evaluatie van de implementatie van een gezondheidsbeleid in West-Afrika illustreert dit hoofdstuk de verschillende stadia van de RE-cyclus. In de eerste fase worden de onderzoeksvragen geformuleerd. De toegevoegde waarde van de RE-benadering is optimaal voor vragen als « waarom, hoe, voor wie, en in welke context werkt een interventie of niet? ». De tweede stap is de formulering van de initiële programmatheorie, die afhangt van de natuur van de interventie, de evaluatiedoelstellingen, de aard van de outputs die van de evaluatie worden verwacht, de beschikbare middelen en de bekendheid van de beoordelaar met het doel van de evaluatie. Voor het verzamelen van gegevens kan elke methode gebruikt worden? Een specifieke vorm van interviews, genaamd « realistisch interview  » wordt vaak gebruikt. In de praktijk moet het verzamelen van gegevens zich aanpassen aan de informanten, hun percepties en verwachtingen ten opzichte van de beoordelaars om de neiging tot systematische bevestiging van de initiële theorie door de geïnterviewden te vermijden. De realistische analist identificeert vervolgens de configuraties ‘Interventie-context-actor-mechanisme-resultaat’. In de praktijk wordt retroductie gebruikt om de mechanismen te indetificeren. Een tabel om wijzigingen in de oorspronkelijke programmatheorie bij te houden, vergemakkelijkt de laatste stap van de synthese en rapportage van de RE.