2 L’évaluation de la pérennité

L’évaluation de la pérennité

Définition de la méthode La pérennisation est le processus qui conduit à la pérennité d’une intervention. L’évaluation de la pérennité est l’étude de la présence de routines pour l’attribution d’un degré de pérennité (nul, précaire, faible, moyen, haut). L’évaluation de la pérennisation consiste à analyser les processus qui ont permis à l’intervention de perdurer dans le temps et d’expliquer le degré de pérennité.

Forces de la méthode Mieux comprendre le processus de pérennisation, un phénomène complexe dans un contexte spécifique, à étudier selon de multiples dimensions Développer une analyse basée sur un ensemble exhaustif de points de vue Trianguler des méthodes de collecte de données (entrevues, observations, recherche documentaire)

Défis de la méthode Besoin de ressources (temps, budget) pour analyser les données Tenir compte de la validité interne de l’information (plusieurs biais possibles) Difficulté à appréhender le concept et à faire le va-et-vient entre la théorie et les données de terrain

Le présent chapitre présente l’évaluation de la pérennité à travers l’exemple de l’évaluation d’une intervention en santé dans divers centres de santé au Mali, plus précisément un projet pilote de financement basé sur les résultats (FBR).

Parmi les différentes méthodologies possibles pour évaluer la pérennité d’une intervention, celle utilisée ici est l’étude de cas (Yin 2013) qui peut se décliner en cas unique, cas multiple, cas à niveaux d’analyse imbriqués ou holistique, etc. L’étude présentée ici est celle d’un cas unique avec différents niveaux d’analyse imbriqués, à savoir différents centres de santé offrant divers services.

Plusieurs évaluations de la pérennité se limitent à étudier l’aspect financier de l’intervention ou ses effets à long et moyen termes. Utiliser l’étude de cas permet d’investiguer davantage de dimensions de l’intervention évaluée : ses ressources, son fonctionnement, ses déterminants (facilitateurs ou barrières), ses effets à court et long termes, etc. On investiguera donc ces dimensions à travers différents instruments de collecte de données (entretiens, observations, recherches documentaires, groupes de discussion, etc.), ce qui permettra de trianguler l’information recueillie et ainsi de mieux comprendre le phénomène global à l’étude. À noter qu’en complément de l’étude de cas, l’évaluation rapportée ici s’est aussi servie d’un cadre conceptuel de la pérennité provenant de la littérature scientifique. Ce cadre permet d’adopter un point de vue systémique sur le phénomène à l’étude et de mieux structurer l’évaluation en mettant l’accent sur les dimensions essentielles et sous-jacentes au phénomène.

La méthodologie de l’étude de cas est très utile dans l’évaluation de phénomènes complexes comme la pérennité puisqu’elle permet l’obtention d’un maximum d’informations sur une variété de dimensions liées à l’objet d’étude (Contandriopoulos et al. 1990; Lamoureux 2000; Yin 2013). Pour Robert Yin (2013), ce type de démarche méthodologique devrait toutefois se restreindre à trois situations : 1) lors d’un besoin de réponse à des questions de recherche telles que « Comment? » ou « Pourquoi? », 2) lorsque que très peu de contrôle ou aucun contrôle ne peut être effectué par le chercheur ou la chercheuse sur l’intervention et 3) quand le sujet de l’étude est contemporain, ce qui permet d’explorer directement le sujet à l’étude. Cette méthodologie est aussi nécessaire lorsque les acteurs et actrices concernés par l’évaluation sont nombreux, diversifiés et portent différents points de vue. L’utilisation d’un cadre conceptuel à l’intérieur d’une étude de cas permet aussi de faciliter la compréhension de l’objet de l’étude en identifiant les différents éléments reliés à ce dernier.

Plusieurs défis d’application sont toutefois à noter. Le premier est relié à la quantité d’informations nécessaires à la compréhension du cas. Plus l’intervention à évaluer est complexe, plus le chercheur ou la chercheuse aura besoin d’informations pour la comprendre. De plus, pour certains détails de l’intervention, des informations devront être recueillies auprès de personnes-ressources ou d’expert-e-s spécifiques. Le deuxième défi est lié à la complexité de l’analyse de ces données qui proviennent d’une grande diversité de sources (documents, entrevues, observations, etc.) et d’acteurs et actrices. Insérer toutes ces informations à l’intérieur d’une même explication peut s’avérer difficile. Plusieurs outils et logiciels informatiques sont toutefois utilisés aujourd’hui pour aider les chercheuses et chercheurs à mener ce type d’analyse.

Contexte

Le Mali

L’étude de cas présentée dans ce chapitre porte sur un projet pilote de financement basé sur les résultats (FBR) se déroulant au Mali. Le Mali est un pays sahélien enclavé d’Afrique de l’Ouest se classant au 179^e rang de l’index de développement humain en 2015 (United Nations Development Programme 2015). En 2015, le pays était constitué de plus de 15,8 millions d’habitants, dont la moitié (50,6%) vivait sous le seuil de la pauvreté avec 1,25 $US/jour en parité du pouvoir d’achat (ibid.). En 2015, la mortalité néonatale ainsi que la mortalité avant cinq ans étaient très élevées avec respectivement 77,6 et 122,7 décès pour 1 000 naissances vivantes. En 2014, le total des dépenses en santé n’était que de 6,9% du PIB (United Nations Statistics Division 2016).

Le Mali est un pays dont l’administration est très décentralisée, avec plusieurs niveaux de représentation : national, régional, par district, par cercle et communal; les villages et quartiers pourraient aussi être ajoutés, mais n’ont pas de compétences dans les domaines de la santé et de l’éducation (Syll 2005). L’organisation du système de santé calqué sur ce modèle comporte des hôpitaux nationaux, spécialisés et régionaux qui sont dirigés par la Direction nationale de la santé (DNS). Ces institutions de santé représentent le niveau tertiaire (de 2^e ou 3^e référence) de prestations de soins et se distribuent dans les huit régions maliennes. Les centres de première référence (niveau secondaire) sont les centres de santé de référence (CSREF) qui sont présents dans les districts sanitaires reliés au niveau administratif des cercles (à ne pas confondre avec les districts bamakois) (Observatoire africain de la santé 2014). Dans les services de première ligne, on retrouve les centres de santé communautaire (CSCOM), qui se situent dans les aires de santé liées aux communes. La gestion quotidienne des CSCOM est particulière puisqu’elle est prise en charge par une association de santé communautaire (ASACO) formée d’élus et d’élues des différents villages de la commune et qui s’assure du bon fonctionnement du CSCOM et de la provision du paquet minimum d’activités (PMA) (Observatoire africain de la santé 2014; Audibert et de Roodenbeke 2005). Le PMA représente tous les services qu’un CSCOM devrait offrir, soit des services promotionnels, préventifs et curatifs. Les activités vont du simple diagnostic et traitement d’une maladie à des campagnes de vaccinations, des suivis d’enfants sains (SES), des séances d’IEC (information, éducation, communication), des consultations pré/postnatales (CPN et CPON), des accouchements, des planifications familiales (PF) et autres. Ces divers services sont offerts par les trois composantes du CSCOM : le dispensaire, la pharmacie et la maternité.

 Financement basé sur les résultats (FBR)

L’Agence de développement néerlandaise (SNV) et l’Institut royal des Tropiques (KIT) ont mis en place un projet pilote de financement basé sur les résultats (FBR) au Mali, plus précisément dans la région de Koulikoro, l’une des plus pauvres du pays (Ministère de la Santé du Mali 2012; Secrétariat général 2009; Toonen et al. 2014). Le projet a été implanté de février 2012 à décembre 2013 dans les districts sanitaires de Dioïla, Fana (tous deux dans le cercle de Dioïla) et Banamba (cercle de Banamba) et concernait un total de 26 CSCOM (18 pour le district de Dioïla et 4 pour chacun des districts de Fana et de Banamba) et 3 CSREF (1 pour chaque district) (Toonen et al. 2014).

Ce projet pilote avait pour but d’augmenter la qualité et la quantité de soins offerts dans ces districts sanitaires à travers des mécanismes de vérification, d’implication des communautés, de responsabilisation dans la gestion de fonds, de liaisons entre la motivation et le résultat, et d’achats (Toonen et al. 2014; Toonen, Kone et Dao s.d.). L’achat consistait en un paiement, sous forme de subventions, des services de santé ciblés par le projet qui évaluait ces services de manière qualitative et quantitative

Ces subventions, communément appelées « primes », étaient distribuées aux centres de santé (60%) ainsi qu’aux prestataires de soins (40%). La proportion était inversée pour les CSREF. Ces primes étaient partagées entre le personnel de santé, chacun-e ayant obtenu en moyenne 140 500 FCFA par trimestre (pour un total de 65 419 921 FCFA/138 100 $CAN pour le projet), et les organisations de santé qui ont reçu un total de 98 129 882 FCFA (207 150 $CAN) (Toonen et al. 2014). Les primes individuelles constituaient une partie substantielle du revenu de la majorité des employé-e-s qui pouvaient ainsi jusqu’à doubler leur revenu (Toonen et al. 2014).

Divers acteurs et actrices étaient impliqués dans l’implantation du FBR, avec différents rôles : les équipes techniques des CSCOM et CSREF (prestations de soins), les mairies et les ASACO (mise en contrat et achat), l’équipe-cadre du district et la direction régionale de la santé (DRS) (régulation/vérification au niveau des CSCOM et des CSREF respectivement) et différentes organisations non gouvernementales (ONG) indépendantes (contre-vérification des résultats).

À la fin du projet (2014), une évaluation finale a été conduite sur la transmission des responsabilités au gouvernement malien et la mise à l’échelle (Toonen et al. 2014), mais sans aborder l’élément de la pérennité du projet. Il était donc pertinent d’évaluer la pérennité du projet FBR au Mali ainsi que le processus de pérennisation.

Plan d’évaluation

Dans cette étude, l’évaluation de la pérennité a porté sur deux objets : le processus de pérennisation et l’état actuel de la pérennité de l’intervention. En évaluant la pérennisation, on s’intéresse donc aux différents mécanismes permettant une pérennité future tandis qu’en évaluant la pérennité, on s’intéresse davantage aux acquis d’une intervention à un moment donné (Tableau 1).

Tableau 1 : Plan d’évaluation d’un projet FBR au Mali

	Pérennisation	Pérennité
Objectifs de l’évaluation	Comprendre le processus de pérennisation	Apprécier le niveau de pérennité du projet
Éléments de l’évaluation	Déterminants (pérennité) Phases (pérennité) Événements	Activités « routinisées » (via les déterminants et phases)
Collecte de données	Entretiens semi-structurés Recherche documentaire
Type d’analyse	Appariement à un cadre conceptuel Élaboration d’une explication inductive	Appariement à un cadre conceptuel

Malgré cette différence, l’évaluation du processus et l’évaluation des acquis sont intimement liées puisqu’elles reposent toutes les deux sur une base commune; les déterminants de la pérennité sont la mémoire organisationnelle, les codes/valeurs, les règles/procédures, la capacité d’adaptation et les relations inter-acteurs et actrices (voir Seppey et al. 2017 pour plus d’informations sur ces déterminants). Une particularité de l’évaluation de la pérennité est qu’elle résulte d’un jugement de la part du chercheur ou de la chercheuse qui attribue un niveau de pérennité à l’intervention en lien avec les données collectées sur le terrain.

Méthodologie

Revue de la littérature et cadre conceptuel

L’évaluation d’un phénomène complexe nécessite préalablement une bonne compréhension de ses divers mécanismes, déterminants ou autres composantes, d’où la nécessité de commencer l’évaluation par une revue de la littérature de la pérennité. Pour cette étude de cas, plusieurs articles scientifiques, rapports d’organisation, présentations et autres documents ont contribué à une compréhension systématique et à l’élaboration d’un cadre conceptuel regroupant les divers éléments de la pérennité. Ces éléments sont présentés à la figure 2 : i) ses déterminants, ii) le processus de pérennisation, iii) le niveau de pérennité résultant des éléments précédents, iv) les différents contextes d’implantation de l’intervention, et v) des événements critiques et le temps (Johnson et al. 2004; Chambers, Glasgow et Stange 2013; Pluye, Potvin et Denis 2004; Moullin et al. 2015). La schématisation du cadre conceptuel permet donc de relier les différents sous-concepts de la pérennité (adaptation, contexte organisationnel, planification de la pérennité ou pérennité faible) à des mécanismes.

Construction de l’outil et validation

L’outil de collecte de données est le guide d’entretien semi-structuré qui découle de la revue de littérature et du cadre conceptuel. Pour cette étude de cas, le modèle d’un guide préalablement utilisé lors d’une recherche sur la pérennité d’intervention en Haïti a servi de base (Ridde, Pluye et Queuille 2006). Pour mieux correspondre au cadre conceptuel, ce modèle a cependant dû être adapté avec l’ajout, le retrait et la modification de certaines questions.

Ce guide d’entretien compte cinq sections se rattachant aux différents déterminants du cadre et permet la collecte d’informations en lien avec différents événements critiques également liés au processus de pérennisation. Les questions étaient ouvertes et permettaient la collecte d’un maximum d’information en lien avec les thématiques abordées. Puisque le guide ayant servi de modèle avait été utilisé en Haïti, le nouveau guide a dû être adapté au contexte malien (Ridde, Pluye et Queuille 2006). Cette adaptation a été faite en deux temps, d’abord par l’entremise d’un collègue malien puis lors d’une visite sur le terrain où le guide a été testé avec de potentiels participants et participantes. Des modifications ont donc été faites quant au vocabulaire, à l’ordre des questions, à la complexité de certains concepts, etc. Cette étape d’adaptation du guide d’entretien est primordiale pour une collecte de données efficace.

Échantillonnage

Dans un but d’exhaustivité, une grande variété de centres de santé ont été sélectionnés comme sites de collecte, avec le soutien de personnes travaillant dans les CSREF. Plusieurs critères de sélection ont été utilisés pour garantir cette exhaustivité : des sites avec une haute ou basse fréquentation, en milieu urbain ou rural et avec des particularités dans l’implantation. Pour s’assurer de l’obtention de données riches et pertinentes, ont aussi été priorisés les sites avec un faible roulement de personnel, avec un accès physique sûr et avec un nombre plus élevé d’achats par FBR. Au total, l’échantillon des sites comprend trois CSCOM dans chacun des districts de Dioïla et de Fana sur les 26 possibles, ainsi que les deux CSREF respectifs.

Pour ce qui est des participant-e-s, deux types d’échantillonnage ont été utilisés. Le premier était raisonné et stratifié et mettait l’accent sur les différences entre les participant-e-s et l’exhaustivité des points de vue (Palinkas et al. 2015). Le critère d’inclusion à l’étude était d’avoir participé au projet et les strates étaient les différents rôles des participant-e-s : membres de la direction (9), prestataires de soins (22), membres de l’ASACO ou du conseil du cercle (9) et représentants locaux (4). Les directeurs des centres ont servi de personnes-ressources dans la sélection des participant-e-s en tant qu’autorités des différents centres, ceci facilitant l’accès aux participant-e-s (Savoie-Zajc 2007). L’autre type d’échantillonnage s’est fait par la méthode boule de neige qui consiste à obtenir l’aide d’un-e participant-e pour trouver un-e autre participant-e qui nous aidera ensuite à en trouver un-e autre, et ainsi de suite (Pires 1997). Ce type d’échantillonnage a permis d’obtenir plusieurs participant-e-s similaires : des personnes ayant participé à la conception du projet ainsi qu’à son implantation. Les participant-e-s provenaient de diverses organisations (Direction nationale et régionale de la santé, la SNV et le KIT; cinq au total) et étaient sélectionnés suivant la recommandation d’acteurs et actrices reliés au FBR préalablement rencontrés. L’échantillonnage final a permis d’atteindre un niveau de saturation des données avec un total de 49 entretiens. Trois éléments permettent d’affirmer la qualité de l’échantillonnage : 1) la représentativité en nombre de l’échantillon en lien avec la population à l’étude (par exemple, certains CSCOM disposaient de moins de 10 employés alors que le nombre cible de participant-e-s à l’étude était de cinq par CSCOM), 2) la participation de différents acteurs et actrices dans la sélection des participant-e-s (la coopération entre les chercheuses et chercheurs et divers acteurs et actrices terrains a pu diminuer les biais de sélection) et 3) l’exhaustivité des groupes d’acteurs et actrices (ex : médecin, sage-femme, gestionnaire, concepteur).

Collecte de données

L’étape de la collecte de données s’est déroulée en deux phases : du 22 au 29 décembre 2015, puis du 6 au 10 février 2016. Ces deux phases consistaient à se rendre (par bus, moto, charrette, auto-stop, etc.) aux différents sites qui pouvaient être très éloignés les uns des autres (plusieurs kilomètres de pistes à partir de la route goudronnée) et à rencontrer un maximum de participant-e-s pendant une durée de un à trois jours. La deuxième phase de collecte était plus ciblée puisqu’elle consistait à rejoindre les différentes personnes n’ayant pas pu participer à la recherche lors de la première phase. Les différents contacts de ces personnes absentes ou ajoutées à l’échantillonnage par la méthode boule de neige ont été pris durant la première phase de collecte, ce qui a permis de faciliter la prise de rendez-vous et de diminuer le temps imparti à la collecte de données.

Tous les entretiens étaient enregistrés avec le consentement des participant-e-s et duraient de moins de 30 minutes à plus de 2 heures (± 1 h 15 minutes en moyenne). Ces entretiens se déroulaient majoritairement en français, mais plusieurs participant-e-s ont choisi de les faire en bambara, la langue locale. Un interprète accompagnait donc le chercheur et permettait de faire le pont entre le bambara et le français. Il est important de noter que plusieurs participant-e-s pouvaient faire leur entretien en français, mais avec des expressions ou des segments complets en bambara. La présence en tout temps de l’interprète était donc nécessaire.

Ces entretiens se déroulaient normalement au centre de santé qui était le milieu de travail des participant-e-s. Cependant, les entretiens pouvaient souvent être dérangés par des gens venant saluer l’équipe de recherche, des curieux, des vrombissements de motos, des chants de coq, etc., ce qui était typique du contexte local et du milieu de travail où il était généralement difficile de trouver un lieu tranquille pour l’entretien.

Une recherche documentaire a aussi été effectuée puisqu’il est important que les données collectées via les entretiens soient corroborées par les documents officiels et vice versa ; les interventions étant souvent différentes sur papier que dans la réalité (Chambers, Glasgow et Stange 2013). La recherche documentaire s’est donc effectuée tout au long de l’étude. Une demande d’accès était faite pour chaque document mentionné dans les entretiens, mais très peu de documents ont été effectivement collectés à cause du faible niveau d’archivage dans les centres de santé et de la peur d’être mis en faute, entre autres.

Gestion, traitement et analyse des données

À la suite de la collecte de données, les versions audio des entretiens ont été transcrites. Les entretiens en bambara ont été transcrits par un agent de recherche tandis que ceux en français ont été transcrits par le chercheur principal. Pour vérifier l’intégrité de chaque transcription, le chercheur principal a dû relire tous les entretiens en français (30 entretiens sur les 49) avec l’enregistrement. Les enregistrements audio ainsi que les verbatim ont été enregistrés dans un système de stockage et de partage d’informations en ligne en format électronique. Les équipes de recherche au Mali et au Québec ont donc eu accès à ces informations.

L’intégralité des verbatim a ensuite été codée à l’aide du logiciel ©QDA Miner. Le codage avec ce logiciel consiste à attribuer des thématiques (ex. : adaptation, procédures, etc.) à différents segments provenant des verbatim (mots, phrases, paragraphes). Ce processus d’abstraction des données (passer de l’empirique à la théorie) est structuré par un arbre de codes qui est fondé sur le cadre conceptuel. L’arbre de codes a aussi été revu par un pair, ce qui a permis d’assurer la présence de chaque élément du cadre conceptuel.

En ce qui a trait à l’analyse, deux types ont été utilisés : l’analyse par appariement (l’association du cadre conceptuel avec les verbatim) et l’élaboration d’une explication via une analyse inductive et itérative des données permettant l’émergence de différents thèmes (Contandriopoulos et al. 1990; Yin 2013). L’analyse par appariement s’est faite sur la base des différents thèmes ayant été codés. Pour chaque composante du cadre conceptuel, on proposait des éléments empiriques illustrant la situation au Mali (ex. : l’incompréhension de certains termes médicaux illustre l’utilisation d’un langage inadapté). Les écarts entre le cadre conceptuel et les éléments empiriques ont aussi été notés ; ils étaient les principaux résultats de la recherche. Ensuite, une explication du phénomène de pérennité a été élaborée à travers une analyse itérative et inductive des données. Plusieurs éléments ont permis ce type d’analyse, dont la division en deux phases de la collecte de données : une première écoute et la transcription des enregistrements ont eu lieu avant le retour sur le terrain. Des hypothèses ont donc pu être infirmées ou confirmées durant la deuxième phase de collecte. L’écoute des enregistrements, la relecture des notes prises lors des entretiens, le codage des verbatim, la création de tableaux récapitulatifs par centre de santé et la présentation des résultats préliminaires sont  des étapes qui ont permis de mieux s’approprier les données et de mieux analyser les différents aspects à l’étude. Une explication inductive a aussi pu être effectuée via les différentes thématiques (hors du cadre conceptuel) ayant été ajoutées à l’arbre de codes durant l’étape de codage.

Résumé des résultats

Les résultats de l’étude découlent des différentes étapes de la collecte de données. Pour plus de clarté, les résultats ont été confrontés au cadre conceptuel et aux thématiques ajoutées (Seppey et al. 2017). Nous avons conclu que le projet de FBR au Mali avait un niveau faible de pérennité puisque, selon notre évaluation, peu d’activités ont été « routinisées » au bout des deux ans suivant la fin de l’intervention, alors que c’était un des déterminants de la pérennité. Aussi, la continuité des activités FBR ayant perduré n’était pas assurée à court terme en raison de ressources instables, du manque d’implication de différents acteurs et actrices ou encore de l’absence de bénéfices clairs pour ces derniers. Concernant la pérennisation, plusieurs phases étaient insuffisantes ou absentes, par exemple la planification et l’évaluation de la pérennité de l’intervention. Pour plusieurs acteurs et actrices, la pérennisation de l’intervention passait par sa mise à l’échelle, ce qui est cependant un tout autre processus. Des rumeurs à l’effet que la Banque mondiale prendrait en charge une mise à l’échelle du projet semblent avoir occulté la planification de la pérennisation du projet de FBR mis en place. Le processus de pérennisation a aussi été fortement influencé par l’absence de ressources stables dédiées au maintien de l’intervention. À la fin du financement du projet, plusieurs activités n’ont pas pu se poursuivre. Par exemple, sans ressources pour la supervision externe, plusieurs règles et procédures du FBR ont été abandonnées, ces dernières ayant été jugées trop exigeantes ou non nécessaires.

Analyse réflexive

Forces et faiblesses

La force de cette étude sur la pérennité est l’utilisation d’un cadre conceptuel qui a permis une compréhension plus systémique et exhaustive du phénomène. Dans le cas de l’évaluation d’un phénomène complexe, il nous semble indispensable d’utiliser un tel cadre pour ne pas occulter certaines dimensions pouvant affecter les résultats de l’étude. Ce cadre a aussi permis de mieux structurer toute la recherche, de la construction du guide d’entretien à la rédaction du rapport final. L’utilisation d’un cadre lors de l’analyse peut sembler très déductif, mais n’empêche toutefois pas l’utilisation d’une analyse inductive permettant à différents thèmes d’émerger (Blais et Martineau 2006).

Une limite de cette évaluation pourrait être l’absence d’autres méthodes de collecte de données, comme l’observation, pour valider certaines informations recueillies lors d’entretiens. Par exemple, il aurait été intéressant d’observer les différents soins offerts ainsi que les différentes pratiques des centres pour les confronter aux récits de services évoqués durant les entretiens. Plusieurs divergences auraient peut-être été soulevées entre ce qui était rapporté et ce qui était observé. Ceci peut être expliqué par le fait que les participant-e-s étaient majoritairement en situation de conflit d’intérêts puisqu’ils avaient profité directement ou indirectement du projet (à travers les primes du projet ou un emploi rémunéré en lien avec le projet FBR). Cette situation s’est reflétée dans les données qui peuvent surestimer les effets et la pérennité du projet ou occulter les aspects négatifs ou non pérennes de ce dernier, bien que les résultats montrent globalement le contraire. En adoptant une méthode de collecte de données plus axée sur le discours (entretiens), les participant-e-s pouvaient avoir une plus grande propension à répondre favorablement quant aux questions en lien avec le projet. Des observations pendant et après le projet FBR auraient permis de voir effectivement les différents effets du projet FBR et sa pérennité.

Enjeux de la mise en œuvre de l’évaluation

Certains autres éléments peuvent constituer tant des limites que des appuis à l’évaluation. Le chercheur étant un toubabou (appellation courante d’un blanc) provenant de l’extérieur du contexte de l’étude et désirant discuter du thème du FBR, une proportion notable des participant-e-s le considérait comme un individu lié au FBR et pouvant réintroduire le projet. Cette préconception du rôle du chercheur peut avoir teinté négativement les données puisque la presque totalité des participant-e-s demandait à la fin de l’entretien le retour du projet. Malgré les stratégies mises en place pour diminuer ce biais, les participant-e-s étaient toujours sujets à de la désirabilité sociale (Savoie-Zajc 2016). Avant chaque entretien, le rôle du chercheur ainsi que les objectifs de l’étude étaient précisés et un accent était mis sur l’indépendance de l’étude face au projet FBR. Si les participant-e-s semblaient avoir des discours spécialement en faveur du FBR, un rappel était fait pour bien clarifier les objectifs de l’étude.

En contrepartie, le jeune âge du chercheur et son approche pourraient avoir facilité l’entrée sur le terrain. Étant plus jeune que la presque totalité des participant-e-s interviewés et utilisant des moyens de transport (auto-stop, motos, bus ou la marche) et des hébergements de base (tentes, salles d’hospitalisation, chambres de passage), l’équipe de recherche (l’interprète et le chercheur principal) s’est souvent attiré la sympathie de gens dans les centres de santé. Ceci a sûrement permis une meilleure disponibilité et disposition des participant-e-s ainsi qu’un certain niveau de confort avec l’équipe de recherche. L’utilisation du bambara par le chercheur principal lors de la prise de contact et de discussions informelles a aussi potentiellement permis d’établir un meilleur lien de confiance avec les participant-e-s.

Leçons apprises

Cette étude sur la pérennité permet de noter deux grandes leçons sur la manière d’effectuer un travail d’évaluation. En premier lieu, cette étude met en évidence l’importance de s’adapter au contexte, ce qui est valable tant pour la pérennité d’une intervention que pour le projet d’un chercheur ou d’une chercheuse! Par exemple, dans le cas de cette évaluation de pérennité, le langage utilisé pour les entretiens pouvait parfois être inadapté, malgré la validation préalable du guide sur le terrain. Les réponses très courtes et toujours positives de certains participant-e-s pourraient être expliquées par un mélange du désir de plaire et d’une incompréhension sûrement influencée par le faible niveau d’instruction de certains participant-e-s. Des formulations pouvaient aussi être mal adaptées. Par exemple, une « formation » dans le contexte malien est considérée comme une activité formelle se concluant généralement par un certificat ou un diplôme, ce qui n’était pas le cas pour le chercheur. Il devient donc primordial de clarifier les malentendus et incompréhensions potentielles. Ceci peut être facilité par l’intervention d’un-e interprète ayant été bien formé-e sur le sujet à l’étude ou par un choix de vocabulaire adapté pour chaque participant-e. Dès qu’un doute se crée quant à une potentielle confusion, le chercheur ou la chercheuse doit clarifier la situation et prendre note de cette nouvelle information lors des entretiens subséquents. L’outil de collecte doit donc être constamment adapté, tant le guide d’entretien que l’équipe de recherche elle-même à travers son vocabulaire ou ses comportements.

D’un point de vue plus général, la logistique d’une évaluation en santé mondiale demande souvent beaucoup de flexibilité et une grande capacité d’adaptation à cause de circonstances imprévisibles (transport en panne, maladie, perte de réseaux de communication, etc.). Il est toutefois possible de les mitiger en effectuant une bonne planification du travail à effectuer et du temps à y impartir. Planifier une journée pour effectuer 90 km de transport peut sembler ridicule, mais en ajoutant la panne d’autobus, les arrêts fréquents, les contrôles routiers, etc., la journée devient vite remplie. Planifier trop de rencontres en une journée peut aussi poser problème puisque des absences, des reports ou des invitations à divers événements non planifiés peuvent survenir. Prendre et planifier du temps « libre » est donc essentiel pour tirer le meilleur des différentes opportunités ou inconvénients. Diviser son étude en différents moments peut aussi aider à recueillir plus d’informations (ex : planifier une deuxième plage d’horaire pour rencontrer les participant-e-s absents ou ajoutés à l’échantillon) et débuter plus tôt le processus d’analyse. Une première phase d’analyse peut ainsi permettre au chercheur ou à la chercheuse de retourner voir divers acteurs et actrices et d’obtenir des réponses aux premières questions. Le processus itératif de l’analyse permet de recueillir de l’information plus riche et de valider les nombreuses hypothèses préliminaires.

Références clés

Site http://www.etudiantsetdeveloppement.org/article/comment-assurer-la-perennite-de-votre-projet-de-si 

Ce site a été créé par un réseau français Étudiants et Développement qui met de l’avant le transfert de connaissances en lien avec le développement entre pair-e-s. En plus de la pérennité, plusieurs thématiques en lien avec le développement sont présentées. 

Site https://evalorix.com/boutique/innovations-en-sante/evaluation-perennite-programmes-sante-publique/

Evalorix.com est un site où se retrouve une multitude d’outils servant à l’amélioration des pratiques en santé et autres domaines. Ici, on peut trouver des outils d’évaluation concernant la pérennité. 

Ridde, V., Pluye, P. et Queuille, L. (2006). Évaluer la pérennité des programmes de santé publique : un outil et son application en Haïti. Revue d’Épidémiologie et de Santé Publique, 54, 421-431.

Cet article est un exemple d’étude de cas portant sur l’évaluation de la pérennité d’une intervention en santé. Le modèle de guide d’entretien fourni à la fin de cet article a servi pour l’étude de cas effectuée au Mali. 

Blais, M. et Martineau, S. (2006). L’analyse inductive générale : description d’une démarche visant à donner un sens à des données brutes. Recherches Qualitatives, 26(2), 1-18.

Cet article présente une introduction très concrète de ce qu’est l’analyse qualitative (et un peu plus spécifiquement l’analyse inductive). L’article clarifie les différentes étapes de l’analyse inductive tout en présentant un résumé d’autres types d’analyses.

Brouselle, A., Champagne, F., Contandriopoulos, A.-P. et Hartz, Z. (2011). L’évaluation : concepts et méthodes. Montréal : Les Presses de l’Université de Montréal.

Ce livre présente une diversité d’évaluations pouvant être utilisées dans différents contextes. Chaque type d’évaluation est donc explicité avec ses objectifs, les éléments évalués, le processus d’évaluation, etc.

Références

Audibert, M. et de Roodenbeke, E. (2005). Utilisation des services de santé de premier niveau au Mali : analyse de la situation et perspectives. Banque Mondiale, Région Afrique, Département du Développement Humain.

Blais, M. et Martineau, S. (2006). L’analyse inductive générale : description d’une démarche visant à donner un sens à des données brutes. Recherches Qualitatives, 26(2), 1-18.

Chambers, D., Glasgow, R. et Stange, K. (2013). The dynamic sustainability framework: addressing the paradox of sustainment amid ongoing change. Implementation Science, 8 (1), 117.

Contandriopoulos, A.-P., Champagne, F., Potvin, L., Denis, J.-L. et Boyle, P. (1990). Savoir préparer une recherche : la définir, la structurer, la financer. Montréal: Presses de l’Université de Montréal.

Johnson, K., Hays, C., Center, H. et Daley, C. (2004). Building capacity and sustainable prevention innovations: a sustainability planning model. Evaluation and Program Planning, 27(2), 135-149. doi: http://dx.doi.org/10.1016/j.evalprogplan.2004.01.002.

Lamoureux, A. (2003). Recherche et Méthodologie en Sciences Humaines (2^e éd.). Laval: Éditions Études Vivantes.

Ministère de la Santé du Mali. (2012). Carte sanitaire du Mali mise à jour – 2011 : Rapport de synthèse. edited by Secrétariat Général. s.l.

Moullin, J., Sabater-Hernandez, D., Fernandez-Llimos, F. et Benrimoj, S. (2015). A systematic review of implementation frameworks of innovations in healthcare and resulting generic implementation framework. Health Research Policy and Systems, 13 (1), 16.

Observatoire africain de la santé. (2014). État de santé et tendances. Repéré à http://www.aho.afro.who.int/profiles_information/index.php/Mali : Health_Status_and_Trends/fr.

Palinkas, L. A., Horwitz, S. M., Green, C. A., Wisdom, J. P., Duan, N. et Hoagwood, K. (2015). Purposeful Sampling for Qualitative Data Collection and Analysis in Mixed Method Implementation Research. Administration and Policy in Mental Health and Mental Health Services Research, 42(5), 533-544. doi: 10.1007/s10488-013-0528-y.

Pires, A. (1997). Échantillonnage et recherche qualitative : essai théorique et méthodologique. La recherche qualitative. Enjeux épistémologiques et méthodologiques, 113-169. Montréal: Gaëtan Morin.

Pluye, P., Potvin, L. et Denis, J.-L. (2004). Making public health programs last: conceptualizing sustainability. Evaluation and Program Planning, 27(2), 121-133.
http://dx.doi.org/10.1016/j.evalprogplan.2004.01.001

Ridde, V., Pluye, P. et Queuille, L. (2006). Évaluer la pérennité des programmes de santé publique : un outil et son application en Haïti. Revue d’Épidémiologie et de Santé Publique, 54(5), 421-431.
http://dx.doi.org/10.1016/S0398-7620(06)76740-2

Savoie-Zajc, L. (2007). Comment peut-on construire un échantillonnage scientifiquement valide?. Recherches qualitatives, 99-111(5).

Savoie-Zajc, L. (2016). L’entrevue semi-dirigée. Dans B. Gauthier et I. Bourgeois (dir.), Recherche sociale : de la problématique à la collecte des données (6^e éd., p. 337-364). Québec : Presses de l’Université du Québec.

Secrétariat général du Ministère de la Santé du Mali. (2009). PRODESS II prolonge 2009 2011 : Composante santé.

Seppey, M., Ridde, V., Touré, L. et Coulibaly, A. (2017). Donor-funded project’s sustainability assessment: a qualitative case study of a results-based financing pilot in Koulikoro region, Mali. Globalization and health, 13(1), 86.

Syll, O. (2005). La décentralisation en Afrique subsaharienne : Mali (Mémoire de maîtrise). Besançon: Université de Franche-Comté.

Toonen, J., Dao, D., Matthijssen, J. et Koné, B. (2014). Évaluation finale : accélérer l’atteinte de l’OMD 5 dans la région de Koulikoro – Projet pilote financement basé sur les résultats dans les cercles de Dioïla et Banamba. Amsterdam: Institut Royal Tropical.

Toonen, J., Koné, B. et Dao, D. s.d. Le Financement Basé sur les Résultats (FBR) au Mali. KIT.

United Nations Development Programme. (2015). Human Development Reports.
http://hdr.undp.org/en/countries/profiles/MLI

United Nations Statistics Division. (2016). Country Profile: Mali.
http://data.un.org/CountryProfile.aspx?crName=Mali.

Yin, R.K. (2013). Case Study Research: Design and Methods. Thousand Oaks: Sage Publications.

Résumé / Abstract / Résumé en bambara

Le financement basé sur les résultats (FBR) est un type de réforme du financement du système de santé très populaire en Afrique. Plusieurs projets pilotes sont mis en œuvre dans le but d’offrir plus de soins de santé ainsi que d’en améliorer la qualité. Cependant, la pérennisation de ce type d’intervention en Afrique a encore été trop peu étudiée. Ce chapitre explique donc comment la pérennité de cette intervention a été évaluée au moyen d’une méthodologie qualitative. En lisant ce chapitre, on pourra mieux comprendre le processus de recherche qui a été mis en œuvre grâce à sa présentation exhaustive, de la première étape (ex. : la réalisation d’une revue de la littérature) jusqu’à la dernière (ex. : l’attribution du niveau de pérennité de l’intervention). Une section plus réflexive permet aussi aux lecteurs et lectrices de s’immiscer davantage dans l’expérience des chercheurs en ayant une meilleure compréhension des défis rencontrés (tant méthodologiques que professionnels) et des leçons apprises.

***

Results-Based Financing (RBF) is a new type of health financing reform that is very popular in Africa. Several pilot projects are being implemented on this continent, and elsewhere, to provide better and more health care services. However, too little research has been done on the sustainability of this type of intervention in Africa. This chapter explains how this intervention was evaluated, through the concept of sustainability, and following a qualitative methodology. By reading this chapter, we will be able to better understand the research process that has been carried out thanks to its exhaustive presentation, from the first step (e.g. the completion of a review of the literature) to the last (e.g. the attribution of the level of sustainability of the intervention). A more reflexive section also allows readers to become more involved in the researcher’s experience by having a better understanding of the challenges encountered (both methodological and professional) and the lessons that they have learned.

***

Résumé en bambara, traduit par Ahamadou Diakité et Mahamadou Diabaté que nous remercions

Nafolo ko mi siysin né do diabi sᴐrᴐlila (FBR) yé nafolo taabolo kura yé mi maakadi keneya kan farafina kᴐnᴐ. Poroje kuntiléna ciaman be sékan walassa ka sé ko furakeli lagini boηan ka yԑlԑ mali do a la ani ka kԑcioηoya ηuma kԑ o hokumu kᴐnᴐ taabolo bilali sé kan kuolaye farafina kᴐnᴐ kalan ciamaba ma a siηi sé kan o la. Ni Bolofara ηinfoli ba yira ciokodi taabolo kudayi diatemilԑli kԑra ni baara minԑ, ηinini taabolo bᴐlé yuman na. Ni Bolofara kalan ni na, ηinini taabolo fouamu bibali la sé kan sannan yԑlin yirali la ni kalan biolo folonηi (Misali la : o ηafé sebeni waleyali la) fo lavan (Misali la : taabolokudayi diaté dero dili la). Hakilina baara bolodali boyan k ata a fԑ ki sé do a ko la kᴐsᴐbԑ ηinini kela yé dᴐniya mi sᴐrᴐ ηeleya minounou yéra faamu cioko yuman na (kaata o kalan taabolo ni o baara taabolo) ani fouamu mi sᴐrᴐ la kᴐnᴐ.

***

Mathieu Seppey a découvert le monde de la recherche après avoir passé quelque temps à faire de l’aide humanitaire. C’est en voyant différents problèmes sur le « terrain » qu’il a constaté la nécessité de la recherche et l’importance de mieux comprendre les différents mécanismes que l’on actionne en effectuant divers projets ou programmes d’intervention. Mathieu est donc retourné sur les bancs d’école pour mieux comprendre les interventions mises en place partout dans le monde, et plus spécifiquement en Afrique de l’Ouest. Effectuant une maîtrise en administration de la santé, il s’est rendu au Mali dans le but de mieux comprendre ces mécanismes et plus spécialement ceux de la pérennisation d’un projet de financement basé sur les résultats (le sujet de son mémoire). Aujourd’hui, il poursuit ses recherches au doctorat, sa thèse étant sur la définition de la pérennité d’interventions en santé.

Valéry Ridde est directeur de recherche au CEPED^[1], une Unité Mixte de Recherche associant l’Université Paris Descartes et l’Institut de Recherche pour le Développement (IRD). Il est chercheur régulier de l’Institut de recherche en santé publique de l’Université de Montréal (IRSPUM) et chercheur associé au Centre interdisciplinaire de recherche en développement international et société (CIRDIS) de Montréal. Il est rédacteur adjoint des revues BMJ Global Health et Global Health Promotion, membre du comité de rédaction de la Revue Canadienne d’Évaluation de Programme et de Qualitatif! Revue africaine de sciences sociales. Ses travaux de recherche portent sur la couverture universelle en santé, le financement des services de santé, l’évaluation de programme, les politiques publiques de santé et la promotion de la santé.

Citation

Mathieu Seppey et Valéry Ridde. (2019). L’évaluation de la pérennité. Une intervention de financement basé sur les résultats au Mali. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. 33-53. Québec : Éditions science et bien commun et Marseille : IRD Éditions.