3 L’évaluation qualitative, informatisée, participative et inter-organisationnelle (EQUIPO)
Exemple d'un programme en faveur des femmes victimes de violences en Bolivie
Mathieu Bujold et Jean-Alexandre Fortin
| Définition de la méthode
Elle comporte trois volets (qualitatif, participatif et inter-organisationnel) et suit six étapes principales :
|
Forces de la méthode
|
Défis de la méthode
|
Un programme est un ensemble organisé et cohérent d’activités dont l’objectif est de produire des changements pour les participant-e-s potentiels (Plante 1994; Ridde et Dagenais 2012b). Les programmes de développement visent spécifiquement à produire des changements dans l’existence de personnes touchées par des problématiques souvent reliées à des facteurs socioculturels complexes (par exemple les relations inter-genres). Si les modèles logiques sont des outils essentiels à la planification et à l’évaluation de programmes (Porteous 2012), les réalités du terrain sont souvent beaucoup plus complexes que prévu. Les processus de changement ne peuvent être résumés à une logique linéaire de cause à effet et leur évaluation nécessite la participation d’une multitude de parties prenantes issues de différentes organisations. Les trois volets de la méthode ÉQUIPO tiennent compte de ces réalités complexes.
Le volet qualitatif d’ÉQUIPO
Le volet qualitatif de cette méthode vise à comprendre les processus de changement ou d’inertie depuis le point de vue de celui ou celle qui expérimente une situation donnée (par exemple la participation, en tant qu’employé-e ou bénéficiaire, à un programme visant à réduire la violence). Selon les parties prenantes (bénéficiaires, technicien-e-s, direction), comment et pourquoi un programme a mené ou non à des changements dans l’existence des bénéficiaires ? Quelles sont les forces et les faiblesses du programme ? Comment peut-il être amélioré dès maintenant ? Quels sont les défis à surmonter ? Des méthodes qualitatives peuvent être mobilisées pour explorer ces questions.
La collecte de données qualitatives, par exemple par l’entremise d’entrevues semi-dirigées ou de groupes de discussion, est de plus en plus utilisée en évaluation de programmes. Cependant, l’analyse de ce type de données est un défi de taille (Patton 2015). L’analyse thématique est une méthode accessible pour tirer des significations d’un corpus de données qualitatives (Miles, Huberman et Saldaña 2014; Paillé 2016). Pour décrire simplement cette méthode, faisons un parallèle avec une lecture systématique de textes où les passages importants sont surlignés puis marqués dans la marge par des codes thématiques pour se rappeler de leurs contenus. De façon intuitive, l’évaluatrice ou l’évaluateur attentif fait de l’analyse thématique lorsqu’il ou elle lit des rapports ou des verbatims d’entrevues, surligne des extraits pertinents et prend note de leurs contenus. Il rassemble ensuite ces informations par groupes dans un document présentant le résultat de son analyse. Cependant, la tâche se complique lorsqu’il faut faire une analyse systématique de plusieurs documents et suivre une multitude de thèmes (par exemple les accomplissements, les défis, les facilitateurs, les recommandations). L’analyse thématique assistée par ordinateur est un processus rigoureux d’organisation de ces extraits de textes surlignés qui sont découpés et regroupés dans des catégories thématiques (par exemple les défis) pouvant contenir des sous-catégories (par exemple les défis technologiques). Dans un processus déductif, ces catégories sont prédéterminées, alors que, dans un processus inductif, elles émergent au fil de l’analyse.
Les critères de qualité de la recherche ou de l’évaluation qualitative diffèrent de ceux des approches quantitatives (Laperrière 1997; Patton 1999). Si elle n’est pas garante d’une analyse de qualité, l’utilisation de CAQDAS (Computer-Assisted Qualitative Data Analysis Software), comme le logiciel NVivo, peut augmenter la rigueur de l’analyse thématique (Bazeley et Jackson 2013; Bujold 2016). L’apprentissage de ce type de logiciels fait partie des programmes de formation continue offerts aux évaluateurs et évaluatrices de programmes.
Le volet participatif d’ÉQUIPO
Ce volet rappelle que l’évaluation de programmes n’est pas une fin en soi, mais un moyen d’améliorer les conditions sociales et collectives. L’évaluation participative cherche à renforcer l’autonomisation des parties prenantes en les faisant participer activement au processus d’évaluation qui se fait entre elles plutôt que sur elles (Cargo et Mercer 2008; Jagosh et al. 2012). Si le volet qualitatif permet d’explorer les points de vue et les expériences vécues des bénéficiaires et des technicien-ne-s des programmes, le volet participatif d’ÉQUIPO outille les personnes les plus motivées pour former des équipes de co-évaluateurs et co-évaluatrices afin de mener les différentes étapes du projet d’évaluation (planification, collecte et analyse de données, diffusion des résultats). Cette approche vise également à changer la perception négative envers l’évaluation de programmes qui est souvent réduite à la reddition de comptes et perçue comme un contrôle de performance de la part des responsables d’un programme (Ridde et Dagenais 2012a). Le niveau de participation des co-évaluateurs et co-évaluatrices peut aller de la simple consultation à leur implication à toutes les étapes de l’évaluation (Daigneault et Jacob 2009).
Le volet inter-organisationnel d’ÉQUIPO
Ce volet élargit l’aspect participatif en stimulant les échanges de méthodes et de résultats d’évaluation de programmes entre des ONG qui partagent des missions similaires. ÉQUIPO vise le travail d’équipe entre parties prenantes d’organisations pour mieux affronter des problématiques socioculturelles complexes, comme la justice entre les femmes et les hommes.
|
Contexte : Justice entre les femmes et les hommes en Bolivie
Le projet pilote ÉQUIPO a été réalisé dans le cadre du programme de coopération volontaire « Mieux agir et mieux influencer » exécuté par Oxfam-Québec entre 2009 et 2015 dans 11 pays, dont la Bolivie. L’un des secteurs d’intervention du programme était celui de la « Justice entre les femmes et les hommes ». L’exercice de la violence, le féminicide et le harcèlement des femmes au travail sont encore fréquents en Bolivie (Ministerio de justicia 2015). En raison de l’importance de cette problématique, Oxfam-Québec s’est associé avec le Centro Juana Azurduy (CJA) et le Centro para las mujeres Gregoria Apaza (CPMGA), deux ONG locales ayant des programmes de promotion de l’égalité entre les femmes et les hommes.
|
. |
Centro de Promoción de la Mujer Gregoria Apaza |
Centro Juana Azurduy |
| Mission | Contribuer à la reconnaissance et à l’exercice des droits des femmes. | Contribuer à l’autonomisation des femmes, individuellement et collectivement, en renforçant leurs capacités de représentation, d’exigibilité de leurs droits et de la redistribution équitable des ressources disponibles. |
| Localisation (données 2012) | El Alto, Bolivie. Altitude 4150m. Population : 848 452 |
Sucre, Bolivie. Altitude 2780m. Population : 261 201 |
| Fondation | 8 juin 1984 | 10 septembre 1989 |
| Début partenariat avec Oxfam-Qc | 2005 | 2003 |
| Nombre d’employés (2012) | 40 (29F/11H) | 50 (30F/20H) |
| Nombre de bénéficiaires (estimation 2012) | 2 000 | 1 500 |
| Populations cibles | Urbaine. Femmes et jeunes. Métisses et Aymara. | Urbaine et rurale. Femmes et jeunes. Métisses et Quechuas. |
C’est à la demande du CJA et du CPMGA qu’Oxfam-Québec recruta en février 2012 un conseiller en analyse qualitative (Mathieu Bujold) pour combler un besoin de formation en méthodes qualitatives et participatives d’évaluation. Un autre besoin exprimé par les partenaires était de stimuler la collaboration avec d’autres organisations boliviennes aux missions similaires. C’est dans cet objectif que les membres du personnel du CJA et du CPMGA se sont réunis en mars 2012. Ces derniers ont exprimé la nécessité d’être outillés pour mener conjointement un projet d’évaluation qualitative et participative de programmes d’attention aux femmes victimes de violence. Le projet pilote d’Évaluation QUalitative Informatisée et Participative inter-organisationnelle (ÉQUIPO) a été proposé aux partenaires pour répondre à ce besoin.
| Objectif général | Renforcer les capacités des partenaires (ici, CJA et CPMGA) en méthodes qualitatives et participatives d’évaluation. |
| Sous-objectifs qualitatifs | Former les parties prenantes (bénéficiaires, technicien-ne-s et direction) des ONG partenaires à la collecte et à l’analyse de données qualitatives assistée par ordinateur (NVivo).
Générer une base de données qualitatives pour explorer les expériences vécues par les bénéficiaires des ONG partenaires, recueillir leur point de vue sur les programmes, ainsi que leurs recommandations. Favoriser l’apprentissage dans l’action, en évaluant les processus des programmes des ONG partenaires. |
| Sous-objectifs participatifs | Développer les compétences des parties prenantes en évaluation participative de programme.
Favoriser la participation active et démocratique des parties prenantes, à titre de co-évaluateurs et co-évaluatrices de programme des organisations partenaires. |
| Objectifs inter-organisationnels | Promouvoir des échanges entre des ONG ayant des missions similaires ou complémentaires.
Partager les expériences vécues et les défis rencontrés lors de l’application de la méthode ÉQUIPO. Renforcer une culture participative d’évaluation et de suivi des ONG partenaires. |
Budget et engagement des partenaires
- Appui d’Oxfam-Québec
- Un conseiller, Mathieu Bujold (MB), en analyse de données qualitatives.
- Un conseiller, Jean-Alexandre Fortin (JAF), en développement organisationnel.
- Deux licences complètes du logiciel NVivo.
- Deux manuels de formation traduits en l’espagnol.
- Soutien financier couvrant 75 % des coûts de la collecte de données qualitative, de la transcription et de la traduction en espagnol des groupes de discussion et des entrevues semi-dirigées réalisées en quechua ou en aymara.
- Implication des ONG locales
- Recrutement des co-évaluateurs et co-évaluatrices (employé-e-s, stagiaires et bénéficiaires).
- Apport financier couvrant 25 % des coûts relatifs à la transcription et à la traduction.
- Enregistreuses audio et ordinateurs portables pour l’installation du logiciel NVivo.
- Frais de déplacement et une collation offerte aux participant-e-s lors des groupes de discussion et des entrevues.
ÉQUIPO : une méthode d’apprentissage dans l’action
Introduction au terrain et constitution des équipes d’évaluation
À son arrivée, Mathieu Bujold (MB), l’expert en analyse de données qualitative, a été jumelé à Jean-Alexandre Fortin (JAF), expert terrain et conseiller en développement organisationnel d’Oxfam. JAF travaillait depuis plus de quatre ans avec les deux ONG locales. Pour commencer, des rencontres ont été planifiées avec les directions des ONG et les employé-e-s intéressé-e-s, afin de mieux saisir leurs besoins et leurs attentes envers les approches qualitatives et participatives. Chaque ONG a choisi trois programmes à évaluer (CJA : Defensoría de las mujeres, Acción Política, Trabajo Digno ; CPMGA : Servicio psico Legal, Brigadistas, Agentes Comunitarias). Des équipes d’évaluateurs et d’évaluatrices ont ensuite été constituées pour participer au projet pilote ÉQUIPO. La consigne générale était qu’au moins un-e employé-e des programmes concernés participe à l’évaluation d’un programme autre que le sien. Chaque équipe d’évaluateurs et d’évaluatrices a ensuite réfléchi à des bénéficiaires potentiellement intéressé-e-s à participer au processus d’évaluation.
Adaptation du matériel pédagogique
Le conseiller en analyse qualitative a partagé des manuels de formation (Bujold 2014 et 2016) et plusieurs guides méthodologiques qui ont été traduits en espagnol (réalisation de groupes de discussion et d’entrevues ; guide de transcription ; protocole de validation inter-analystes). Puisque ces outils avaient été développés pour la recherche universitaire, ils ont dû être adaptés au contexte d’évaluation de programmes de développement. Par exemple, des aspects théoriques ont été simplifiés, et l’apprentissage dans l’action a été favorisé. Malgré ces assouplissements méthodologiques, le respect des critères de qualité fondamentaux de l’évaluation qualitative a été maintenu, par exemple l’optimisation de l’adéquation empirique entre les réalités évaluées, les données collectées et les productions d’évaluation (Olivier de Sardan 2008). Un processus de validation inter-analystes mobilisant un groupe interdisciplinaire d’analystes pour interpréter un corpus de données a aussi été appliqué (Miles, Huberman et Saldaña 2014).
Formation d’introduction aux méthodologies qualitatives
Puisque l’utilisation de CAQDAS nécessite une compréhension des méthodologies qualitatives, deux jours de formation sur le sujet ont d’abord été offerts aux employé-e-s et aux stagiaires des ONG. L’enseignement du logiciel NVivo s’est fait lors des étapes de collecte et d’analyse de données. Des formations spécifiques ont été offertes aux facilitateurs et observateurs, hommes et femmes, des groupes de discussion (co-évaluateurs et co-évaluatrices employé-e-s). Le rôle des facilitateurs et des facilitatrices est de stimuler la discussion pour explorer en profondeur les thèmes de discussion et favoriser la participation équitable des femmes et des hommes. Les observateurs et les observatrices ont la responsabilité de noter les aspects inaudibles à l’audio (par exemple les émotions) et surtout la chronologie des échanges (qui parlait, et quand). Les notes de l’observateur ou de l’observatrice sont essentielles à la personne responsable de la transcription. Des formations spécifiques ont également été offertes aux personnes chargées des interviews (co-évaluateurs et co-évaluatrices bénéficiaires) ainsi que des transcriptions (co-évaluateurs et co-évaluatrices stagiaires).
Recrutement des participant-e-s et collecte de données qualitatives
Pour chaque programme à évaluer, deux groupes de discussion ont été planifiés : le premier avec une cohorte de nouvelles bénéficiaires et le deuxième avec des femmes ayant récemment complété le programme (< 6 mois). Compte tenu de la charge émotionnelle reliée à la thématique, les groupes de discussion ont été menés par les employé-e-s des ONG plutôt que par les bénéficiaires. Un ou une psychologue était présent-e dans chaque groupe. Quatre bénéficiaires ont été formé-e-s puis accompagné-e-s dans la planification et la réalisation des entrevues individuelles semi-structurées avec d’autres bénéficiaires. Les guides de discussion et d’entrevues semi-dirigées ont été élaborés conjointement entre les employé-e-s et les bénéficiaires. Si certains groupes de discussion avaient des thèmes de discussion spécifiques, par exemple la perception de la violence, tous les groupes devaient aborder des thèmes génériques (encadré 2).
|
Les groupes de discussion étaient d’une durée d’environ deux heures, alors que les entrevues duraient en moyenne 30 minutes. Chaque activité de collecte de données a été enregistrée, puis transcrite en version électronique afin de faciliter l’analyse thématique avec NVivo. Compte tenu de la sensibilité du sujet, l’enregistrement audio a été préféré au format vidéo, ce qui rendait le rôle de l’observateur ou de l’observatrice d’autant plus important pour noter qui parlait, et à quel moment. La confidentialité étant particulièrement importante dans le contexte (violence), il a été expliqué aux participant-e-s que leur nom serait modifié et qu’il serait impossible de reconnaître leurs propos dans les rapports finaux. Les aspects éthiques de la recherche qualitative ont fait l’objet d’une formation auprès des co-évaluateurs et co-évaluatrices. Des groupes de discussion dans les communautés éloignées ont été réalisés en quechua ou en aymara et ont nécessité l’emploi de personnes chargées de la traduction et de la transcription. Un total de 11 groupes de discussion et de 14 entrevues rejoignant plus de 80 bénéficiaires de six programmes ont été réalisés, enregistrés, transcrits et analysés par les équipes d’analystes constituées d’employé-e-s du CJA et du CPMGA.
Analyse qualitative assistée par ordinateur
Suivant une démarche d’analyse thématique hybride, à la fois déductive et inductive (Fereday et Muir-Cochrane 2006), la codification assistée par NVivo des verbatims a permis de faire émerger des catégories thématiques du discours des bénéficiaires tout en portant attention aux indicateurs prévus par les organisations. Un processus rigoureux de validation inter-analystes de la codification a été appliqué. Chaque groupe a d’abord élaboré un dictionnaire de codification définissant les catégories et sous-catégories thématiques envisagées et donnant un exemple d’un extrait fictif ou réel qui y serait codifié. Les analystes ont appliqué cet outil en analysant individuellement un même groupe de discussion avec NVivo. Les membres de l’équipe se sont ensuite réunies avec le conseiller en analyse pour comparer leur codification et optimiser le dictionnaire de codification en ajoutant, fusionnant ou supprimant des catégories et/ou des sous-catégories. Après l’atteinte d’une certaine homologie de codification, c’est-à-dire quand les analystes codifiaient globalement les mêmes extraits de textes dans les mêmes catégories, le reste du corpus de données a été distribué entre les analystes. Ces derniers se sont ensuite rencontrés hebdomadairement en compagnie du conseiller pour présenter leurs analyses et mettre à jour le dictionnaire de codification. Après avoir codifié le corpus de données entièrement, une étape d’interprétation a été enclenchée. Les analystes se sont divisé la tâche de relire les extraits codifiés dans chacun des thèmes et de noter, dans des mémos, leurs interprétations en les illustrant de citations des bénéficiaires pour ainsi optimiser l’adéquation empirique entre les réalités explorées, les données générées et les produits d’évaluation. Pour chaque catégorie, des graphiques représentant la distribution des codifications par nombre de participant-e-s étaient ajoutés aux mémos. Ces mémos ont servi à l’élaboration de présentations pour le forum inter-organisationnel.
Forum inter-organisationnel : un espace de partage
En octobre 2012, les équipes d’analystes se sont réunies à El Alto, dans les bureaux du CPMGA, pour présenter leurs résultats et les méthodes développées. Dans le cadre de cette rencontre, un groupe de discussion a été réalisé pour explorer les expériences des co-évaluateurs et co-évaluatrices du projet pilote ÉQUIPO, leur perception des forces et des faiblesses de cette méthode et les modifications à y apporter.
|
Les prochaines sections présentent une analyse de ce groupe de discussion qui a également suivi un processus d’analyse thématique assistée par NVivo.
Répercussions du projet pilote ÉQUIPO
L’analyse thématique du groupe de discussion inter-organisationnelle a fait ressortir différents niveaux de répercussion de ce projet pilote (institutionnel, personnel, technique, professionnel, collaboratif).
Répercussions institutionnelles
Au niveau institutionnel, des participant-e-s ont noté que cette expérience a permis aux organisations d’apprendre de leurs forces et leurs faiblesses. Isis, psychologue au CJA, affirme que ce projet « a permis d’ajuster nos stratégies […] de reconnaître ce que nous faisons bien et les choses que nous devons régler, penser et innover » (Isis, CJA). Cet apprentissage dans l’action s’est fait depuis les points de vue de bénéficiaires des ONG. Sonia, technicienne en ressources humaines au CPMGA, affirme avoir « pu approfondir et approcher la réalité vécue par les personnes pour découvrir nos forces et nos faiblesses » (Sonia, CPMGA). Toujours selon les participant-e-s, cet exercice réflexif aura permis d’aller au-delà de la contemplation des bons coups, pour analyser également les lacunes à combler. Christina, directrice du CPMGA, rappelle qu’il « est très facile de se regarder le nombril et nous dire que nous sommes bonnes (rire) […], mais ce processus va au-delà […] c’est aussi de voir nos faiblesses […] pour moi la question fondamentale de cet exercice est « Comment pouvons-nous nous améliorer ? » (Christina, CPMGA).
Ce projet pilote aurait offert aux parties prenantes une nouvelle façon d’évaluer les programmes. Selon Pilar, planificatrice de programmes au CPMGA, « cette expérience a permis d’explorer des espaces que nous n’explorions pas auparavant, […] de connaître d’une autre manière comment nous touchons la population » (Pilar, CPMGA). L’évaluation qualitative, par l’approche inductive qu’elle préconise, aurait permis d’ajouter une perspective centrale sur les réalités évaluées. Calvin, psychologue au CJA, traite de l’importance « de connaître la réalité depuis le bas [population] vers le haut [institution] » (Calvin, CJA). Cette perspective inductive est un complément essentiel aux approches déductives généralement préconisées en planification et évaluation de programmes. L’évaluation qualitative amène une profondeur aux évaluations quantitatives généralement préconisées. Pilar affirme que l’une des erreurs des ONG est « de planifier les objectifs des programmes uniquement quantitativement […]. Par exemple, avec l’indicateur « Nombre de femmes ayant participé à ce programme » […], nous nous disons: Super ! Nous avons atteint notre objectif de couverture (rires) ! » (Pilar, CPMGA). Elle continue en affirmant que le projet a permis de compléter les chiffres en explorant :
Comment les gens se sentent. Comment nous affectons leur vie. Lorsqu’on fait ce genre d’évaluation, nous pouvons nous approcher de leurs expériences […]. Ceci nous amène plus loin. En les écoutant, vous vous rendez compte, au-delà des chiffres, de ce que vous faites bien ou mal (Pilar, CPMGA).
Les méthodes qualitatives ajoutent une dimension humaine aux indicateurs quantitatifs de suivi et d’évaluation préexistants. Selon la directrice du CPMGA, ce projet a enrichi « les indicateurs en terme qualitatif et ceci est très positif » (Christina, CPMGA). Jova tient des propos similaires : « Nous avions conçu de nombreux outils pour mesurer nos indicateurs quantitatifs, mais l’exercice que nous avons fait va au-delà de ce que nous avions jusqu’à présent avancé. Faire l’analyse du discours des gens, c’est une nouvelle expérience » (Jova, CJA).
L’expérience aurait également permis de clarifier la compréhension des méthodologies qualitatives. Jova affirme s’être rendue compte que l’organisation avait une fausse conception de ce qu’était le qualitatif :
la formulation de nos indicateurs, que nous pensions être qualitatifs, soutenait plutôt une analyse quantitative […]. Par exemple, le « pourcentage de femmes ayant expérimenté une hausse d’auto-estime ». Nous ne faisions aucune analyse du discours des femmes pour savoir comment elles avaient amélioré ou non leur auto-estime (Jova, CJA).
Répercussions personnelles
Au niveau personnel, ce projet aura sensibilisé les employé-e-s et les directions à l’importance de considérer les points de vue des bénéficiaires en interagissant directement avec elles et eux. Jova affirme que ce projet « a été très enrichissant pour les co-chercheuses et co-chercheurs, nous avons été grandement sensibilisés […] il est beaucoup plus passionnant d’interagir avec les personnes de cette manière » (Jova, CJA). Toujours selon Jova, cette expérience aura été aussi motivante pour les bénéficiaires : « les jeunes filles et les femmes étaient très enjouées d’être partie prenante de ce projet ». Lorena du CJA spécifie qu’il « est important que les bénéficiaires soient des agentes dynamiques de l’évaluation […] pas seulement par sondage. Elles ne sont pas que des bulletins de vote ! » (Lorena, CJA). L’aspect participatif d’ÉQUIPO concordait avec des valeurs partagées par la communauté et certains mouvements sociaux de la Bolivie contemporaine. Selon Rene, sociologue au CPMGA, « impliquer les gens dans le processus d’évaluation, concorde avec un point de vue postcolonial » (Rene, CPMGA).
Répercussions techniques
Au niveau technique, la mise en œuvre d’ÉQUIPO aura posé les bases d’un système d’organisation de l’information. Selon Lorena, « NVivo permet d’organiser l’information […] nous devons continuer parce que nous avons d’autres idées qui ont émergé » (Lorena, CJA). Au-delà de l’analyse des données, NVivo peut être utilisé pour gérer, organiser et centraliser toutes les informations relatives à un projet ou à un programme offert par une organisation. Lorena affirme avoir hâte de « présenter à l’organisation cette nouvelle forme de voir le travail ». Ce type d’outil peut être utilisé pour faire le suivi à long terme des projets. Rene affirme qu’avec « NVivo, au-delà de l’analyse, on peut documenter tout ce qui a été fait par l’organisation pour ainsi créer une mémoire plus riche » (Rene, CPMGA). Selon la directrice du CPMGA, « cela a été enrichissant de connaître un nouvel instrument de gestion de données » (Christina, CPMGA). À la fin du projet pilote, Christina a d’ailleurs initié un projet visant à centraliser et à analyser avec NVivo tous les rapports et la littérature produits par le CPMGA entre 2007 et 2012.
Répercussions professionnelles
Au niveau professionnel, malgré certains défis techniques, l’apprentissage des méthodes et d’un logiciel d’analyse qualitative a été un atout pour les co-évaluateurs et les co-évaluatrices, étant donné que peu de personnes maîtrisent ce genre d’outil dans le milieu du développement en Bolivie. Selon la directrice du CPMGA, « ce projet a permis aux techniciennes d’enrichir leur CV » (Christina, CPMGA). Lorena affirme à la blague : « J’ose dire qu’à Sucre nous sommes les quatre seules personnes qui savent comment utiliser NVivo (rires) » (Lorena, CJA). L’apprentissage de ce type de logiciel reste cependant un défi, spécialement pour ceux et celles n’ayant pas une grande dextérité informatique : « pour moi, la difficulté a été l’écart technologique, je me sentais complètement obsolète […] je dois m’actualiser dans le maniement informatique » (Jova, CJA). Elle continue en soulignant l’importance du support d’un conseiller en analyse : « sans lui nous aurions été perdues » tout comme la rencontre de ses collègues du CPMGA [l’organisation partenaire], qui a permis d’échanger sur les défis rencontrés.
Répercussions collaboratives
Au niveau collaboratif, les échanges inter-programmatiques et inter-organisationnels auront été enrichissants pour les organisations en leur offrant une perspective globale sur les façons d’améliorer les programmes. Selon Christina, « la richesse fondamentale a été l’interaction entre les membres de l’équipe technique des différents programmes afin qu’elles puissent eux-mêmes constater comment nous pouvons nous améliorer » (Christina, CPMGA). Lorena continue en présentant l’importance de l’aspect inter-organisationnel d’ÉQUIPO qui aurait permis de mettre les bases d’une collaboration :
l’une des choses les plus importantes a été de connaître les résultats de nos collègues du CPMGA […] une institution que je connaissais de loin et je me suis rendue compte que nous avions beaucoup de choses en commun et je suis très enthousiaste à l’idée de continuer de partager nos méthodes.
Grâce à cet échange, les membres des organisations auront acquis une perspective complémentaire de la problématique de la violence envers les femmes dans une autre population [Quechua vs Aymara]. Cette expérience leur aura aussi permis de « mieux connaître les femmes d’El Alto [majorité Aymara] […] pour comparer les choses que nous avons vues dans la population de Sucre [majorité Quechua], afin de pouvoir ainsi enrichir nos projets » (Lorena, CJA).
Forces, faiblesses et défis
L’importance de la mobilisation spontanée des employés
L’analyse thématique du groupe de discussion souligne que ce projet pilote a permis d’atteindre l’objectif principal de la méthode ÉQUIPO soit de « renforcer les capacités des partenaires dans l’utilisation des méthodes qualitatives informatisées et des approches participatives d’évaluation de programmes ». Plus spécifiquement, les sous-objectifs participatifs de cette méthode semblent avoir été atteints. En effet, des parties prenantes du CJA et du CPMGA ont été formées à la collecte et à l’analyse de données qualitatives assistée par ordinateur; des bases de données qualitatives pour explorer les expériences des bénéficiaires des ONG ont été générées; et un processus d’apprentissage dans l’action a été stimulé. Les sous-objectifs participatifs du projet ont permis de favoriser la participation active et démocratique des parties prenantes à titre de co-évaluateurs et co-évaluatrices de programmes des organisations partenaires. Suivant les sous-objectifs inter-organisationnels, la réalisation d’un forum a permis de créer un espace de partage pour promouvoir un échange entre le CJA et le CPMGA, deux ONG ayant des missions similaires. Cet événement a favorisé du même coup le partage d’expériences vécues lors de l’application de la méthode ÉQUIPO et renforcé la culture d’évaluation qualitative et participative des ONG partenaires.
L’une des forces de ce projet est le fait que celui-ci ait émergé d’une demande d’ONG locales. Des projets de collecte de données qualitatives étaient déjà en cours avant l’arrivée du conseiller. Par exemple, Isis avait réalisé une série d’entrevues pour évaluer l’impact d’un programme d’autonomisation des jeunes du CJA. Cependant, elle affirme qu’elle « ne savait pas quoi faire avec toute cette information, comment la transcrire et l’analyser […] cela me frustrait beaucoup » (Isis, CJA). Elle continue en affirmant : « il était très important pour moi d’apprendre un outil de travail comme NVivo parce que cette recherche était en suspens ». L’accompagnement offert par le conseiller lui a permis d’analyser ces données et de publier un ouvrage (Barahona 2012).
La mobilisation spontanée des employé-e-s est un élément qui a favorisé la réalisation du projet au CJA. Une moins grande motivation a été remarquée chez les employé-e-s dont la participation a été « suggérée » par la direction du CPMGA. D’un autre côté, les employé-e-s de cette ONG ont bénéficié de plus de temps libre sur leur temps de travail, comparativement au CJA où les employé-e-s devaient souvent faire l’analyse dans leur temps libre. Un des défis partagés par les co-évaluateurs et co-évaluatrices du CJA a été de « mettre l’évaluation qualitative dans le plan opérationnel annuel […] de prévoir du temps pour cela » (Isis, CJA).
Christina est convaincue de l’importance « de créer une culture institutionnelle d’évaluation qualitative et d’inclure cette méthode dans la planification annuelle, sinon elle sera reléguée au second plan […]. Nous avons réalisé l’importance de ce type d’analyse, il faut donc l’inclure dans nos objectifs » (Christina, CPMGA). Sonia, technicienne en ressources humaines au CPMGA, a affirmé qu’elle allait « prévoir du temps dans les horaires des employé-e-s, des périodes prédéterminées où elles se verront, quelques fois par mois […] je n’ai aucun doute qu’elles s’engageront, car c’est un outil très enrichissant pour leur travail, au quotidien » (Sonia, CPMGA). Jova rappelle cependant qu’un des enjeux est de « faire un suivi de l’application des recommandations qui sortent de cette évaluation. Comment les appliquer dans la mesure du possible ? […] Comment les incorporer dans notre travail pour essayer d’améliorer nos faiblesses ? » (Jova, CJA).
Expériences et ressources des organisations
Le CJA et le CPMGA sont deux ONG bien établies employant plus de 40 personnes et offrant des services à des milliers de bénéficiaires (Tableau 1). Leurs programmes sont bien implantés et appuyés par différentes institutions de la coopération internationale. Si les ressources de ces organisations restent limitées, elles leur permettent néanmoins d’engager du personnel qualifié, d’accueillir des stagiaires universitaires et d’acheter du matériel nécessaire à l’évaluation qualitative (ordinateur et enregistreuse). Sans affirmer qu’ÉQUIPO ne peut être répliqué avec des ONG de moindre envergure, l’expérience et les ressources des organisations ont été deux facteurs ayant favorisé ce projet pilote.
Augmenter le niveau d’implication et d’engagement des bénéficiaires
Si les employé-e-s des ONG ont participé à l’ensemble du projet, les bénéficiaires « n’ont participé qu’à la réalisation et la transcription d’entrevues » (Jova, CJA). Selon Jova, l’un des défis sera de les faire participer à l’analyse de données. Pilar présente aussi l’enjeu de l’implication à long terme des bénéficiaires : « Comment faire que les gens participent depuis le début et restent ? […] À la fin, on n’en avait plus beaucoup […] Comment bien les engager dans le processus ? […] Il faudra réfléchir à cela dans la planification » (Pilar, CPMGA). Pour Lorena, il est important de renforcer « la communication entre les co-évaluateurs et co-évaluatrices pour voir les autres perspectives, il faut ouvrir des espaces de partage et inclure des moments dans notre planification annuelle » (Lorena, CJA). Calvin ajoute qu’il « sera très stimulant d’être plus participatif, non seulement pour l’institution, mais aussi pour les bailleurs de fonds » (Calvin, CJA).
Être appuyé par une organisation qui applique elle-même la méthode ÉQUIPO
Si l’évaluation qualitative assistée par ordinateur était une nouvelle expérience pour le CJA et le CPMGA, elle l’était aussi pour Oxfam-Québec qui a montré l’exemple en appliquant ce processus à l’évaluation de ses propres programmes. En effet, la même série d’ateliers en méthodes qualitative et participative a été offerte à une douzaine d’agents et coopérants d’Oxfam-Québec en 2012. Un vaste projet mobilisant la méthode ÉQUIPO a été réalisé au Pérou et en Bolivie. 17 groupes de discussions, rejoignant 144 bénéficiaires et employé-e-s de 12 ONG locales [dont CJA et CPMGA], ont été réalisés et analysés en équipe pour explorer les forces et les faiblesses des programmes d’OXFAM-Québec auprès des partenaires. Les co-évaluateurs et co-évaluatrices de CJA et CPMGA ont noté avoir apprécié cet effort d’Oxfam-Québec qui montre l’exemple en appliquant lui-même ce qu’il suggère aux partenaires. Selon Jova, ceci est un aspect qui démarquait Oxfam-Québec : « Au niveau de la coopération internationale, vous [Oxfam] avez incorporé ce type d’analyse qualitative, et ceci m’apparait excellent, mais les autres institutions de la coopération ne sont pas rendues là » (Jova, CJA).
Convaincre les bailleurs de fonds de la plus-value des méthodes qualitatives
Un défi majeur de l’application de l’évaluation qualitative en contexte de développement international est de convaincre les bailleurs de fonds qui privilégient la mesure d’indicateurs quantitatifs. Selon Jova, la plupart d’entre eux :
demandent un suivi d’indicateurs quantitatifs uniquement […] Quand on présente du qualitatif, ils nous disent « faite un effort pour quantifier, pour voir la couverture ». Nous avançons dans une direction, mais la coopération est dans une autre direction, on doit s’y plier, suivre le modèle logique, les indicateurs quantitatifs […] Réellement, obtenir une concession pour le qualitatif s’est difficile (Jova, CJA).
Pilar tient des propos similaires : « Ils veulent voir les effets sur leurs indicateurs quantitatifs » (Pilar, CPMGA).
Au-delà de l’évaluation, il semblerait que les méthodes qualitatives ne soient pas privilégiées par les bailleurs de fonds lors de la planification de programmes. Selon Calvin, ceci expliquerait l’inefficacité des plusieurs projets qui ne sont pas adaptés aux réalités des terrains et des besoins des populations cibles :
plusieurs projets ne fonctionnent pas parce qu’on a mal évalué le contexte […] la coopération internationale nous arrive avec des projets déjà élaborés qui ne sont pas adaptés à la réalité. Je crois qu’avec un outil comme NVivo nous pouvons analyser ce que veut la population cible, c’est une bonne façon de contextualiser. (Calvin, CJA)
Après avoir constaté dans l’action la valeur ajoutée du qualitatif, les membres des ONG locales doivent s’attarder à convaincre à l’externe. Selon Rene, « nous savons que le qualitatif permet de voir des choses qui ne se voient pas avec le quantitatif, mais le problème est à l’externe où le qualitatif n’est pas reconnu […] il est important de convaincre sinon nos efforts seront vains » (Rene, CPMGA). Selon Jova, l’une des stratégies pour promouvoir les méthodes qualitatives dans un contexte dominé par les chiffres serait de les présenter en complément au quantitatif : « les aspects qualitatifs vont être d’abord présentés en complément au quantitatif » (Jova, CJA).
Analyse réflexive et conclusion : vers les méthodes mixtes
Ce projet pilote d’ÉQUIPO a permis de renforcer les capacités et l’intérêt des partenaires envers l’utilisation des méthodes qualitatives et participatives d’évaluation de programmes. L’apprentissage d’un logiciel d’analyse qualitative a permis de construire une base de données qualitative qui pourra être alimentée pour suivre l’application des leçons apprises. Cependant, comme l’exprime Jova à la fin de la section précédente, il faut considérer que l’auditoire auquel s’adresse les évaluateurs et les évaluatrices est davantage sensibilisé aux approches quantitatives que qualitatives. Présenter d’abord le qualitatif en complémentarité du quantitatif, comme le propose Jova, est une stratégie d’introduction qui a été utilisée dans d’autres domaines, notamment en sciences de la santé qui ont été historiquement fortement dominées par les approches quantitatives (Creswell et Plano Clark 2011). Pour continuer le travail sur l’aspect inter-organisationnel, il serait intéressant que les deux ONG puissent développer une base de données complémentaire intégrant leurs données quantitatives et qualitatives.
Pilar souligne la complémentarité entre l’évaluation « d’indicateurs quantitatifs qui nous montrent, par exemple, combien de personnes ont complété le programme, et les indicateurs qualitatifs qui nous permettent d’explorer leur réalité, par exemple, si elles sont retombées en situation de violence et pourquoi. Puis, comment pourrions-nous continuer à les aider ? » (Pilar, CPMGA). Rene met l’accent sur l’apport potentiel des méthodes mixtes en évaluation : « Un regard quantitatif nous permet d’explorer les impacts, alors que les processus peuvent se comprendre davantage d’un point de vue qualitatif. […] Le meilleur serait d’avoir une perspective mixte » (Rene, CPMGA).
Les méthodes mixtes sont de plus en plus valorisées en évaluation de programmes (Bamberger 2012; Patton 2015; Bujold, El Sherif et al. 2018). L’analyse thématique assistée est également utilisée pour faire la méta-analyse de rapports d’évaluations de programme de développement (Bujold 2017). L’une des lacunes de ce projet a été son manque d’intégration de l’analyse qualitative de données avec les évaluations quantitatives des programmes. Une prochaine étape d’ÉQUIPO pourrait être l’Évaluation Qualitative-Quantitative Intégrative et Participative Organisationnelle (EQQUIPO) intégrant l’analyse de données quantitatives et qualitatives dans un même projet d’évaluation. L’enseignement et l’apprentissage des méthodes mixtes comportent cependant d’autres défis qui devront être pris en compte (Bujold, Hong et al. 2018).
L’établissement d’une communauté de pratique interdisciplinaire et interculturelle est une stratégie pour surpasser les défis des méthodes mixtes en évaluation. C’est pour cette raison que nous proposons à tous les lecteurs et lectrices intéressées par les méthodes mixtes de devenir membre de l’association Méthodes mixtes Francophonie qui vise la collaboration entre des chercheuses, chercheurs et praticien-ne-s francophones de différentes aires géographiques et culturelles.
Remerciements
Les auteurs remercient Oxfam-Québec et ses représentants, le CPMGA et le CJA ainsi que les co-évaluateurs et co-évaluatrices de ce projet pilote, les coopérant-e-s volontaires et tou-te-s les bénéficiaires qui ont participé. Ce projet a été rendu possible grâce à l’appui du Gouvernement du Canada (Affaires Mondiales Canada) qui finançait le programme « Mieux agir et mieux influencer » exécuté par Oxfam-Québec.
Références clés
Patton, M. Q. (2015). Qualitative research et evaluation methods: integrating theory and practice.Thousand Oaks, California : SAGE Publications.
Une ressource précieuse pour explorer différents aspects et applications des méthodes de recherche et d’évaluations qualitatives.
Miles, M. B., Huberman A. M. et Saldaña J. (2014). Qualitative data analysis : a methods sourcebook. Lieu d’édition : Maison d’édition.
Un incontournable pour approfondir les méthodes d’analyse de données qualitatives.
Bujold, M., Hong, Q. N., Ridde, V., Bourque, C. J., Dogba, M. J., Vedel, I. et Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. Montréal : 117e Cahiers scientifiques de l’ACFAS.
Premier livre en français et en accès libre sur les méthodes mixtes. Disponible gratuitement à l’adresse suivante : http://methodesmixtesfrancophonie.pbworks.com.
Pour en savoir plus sur les ONG et les associations citées dans ce chapitre et leurs programmes de développement, les lecteurs et les lectrices peuvent consulter les liens suivants :
- http://centrojuanaazurduy.org
- http://gregorias.org.bo/
- http://methodesmixtesfrancophonie.pbworks.com
- http://oxfam.qc.ca/
Références
Bamberger, M. (2012). Introduction aux méthodes mixtes dans l’évaluation d’impact. Repéré sur le site d’InterAction : https://www.interaction.org/document/introduction-aux-méthodes-mixtes-dans-l’évaluation-d’impact
Barahona, I. (2012). Young labor right: A study of young migrants from rural 1st and 2nd generation. Edited by Juanas Azurduy Center. Sucre, Bolivia.
Bazeley, P. et Jackson, K. (2013). Qualitative Data Analysis with NVivo (éd.). Colorado: Sage Publications.
Bujold, M. (2014). Méthodologies de recherche et d’évaluation qualitatives : de la théorie à la pratique, guide de formation. Montréal, Canada : CAQI.
Bujold, M. (2016). NVivo: un support à l’analyse qualitative, guide de formation. Montréal, Canada : CAQI.
Bujold, M. (2017). Analyse thématique et critique de rapports initiaux d’évaluation des portefeuilles pays d’ONU Femmes : réalisations, défis et recommandations à considérer. New York : ONU Femmes.
Bujold, M., El Sherif, R., Bush, P. L., Johnson-Lafleur, J., Doray, G. et Pluye, P. (2018). Ecological content validation of the information assessment method for parents (IAM-parent): A mixed methods study. Evaluation and Program Planning, 66, 79-88.
https://doi.org/10.1016/j.evalprogplan.2017.09.011
Bujold, M., Hong, Q. N., Ridde, V., Bourque, C. J., Dogba, M. J., Vedel, I. et Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. Montréal : 117e Cahiers scientifiques de l’ACFAS.
http://methodesmixtesfrancophonie.pbworks.com
Cargo, M. et Mercer, S. L. (2008). The value and challenges of participatory research: strengthening its practice. Annual Review of Public Health, 29, 325-50.
doi: 10.1146/annurev.publhealth.29.091307.083824
Creswell, J. W. et Clark, V. L. P. (2011). Designing and conducting mixed methods research (éd.). Los Angeles : Sage Publications.
Daigneault, P.-M. et Jacob, S. (2009). Toward accurate measurement of participation: Rethinking the conceptualization and operationalization of participatory evaluation. American Journal of Evaluation, 30(3), 330-348.
Fereday, J. et Muir-Cochrane, E. (2006). Demonstrating rigor using thematic analysis: A hybrid approach of inductive and deductive coding and theme development. International journal of qualitative methods, 5(1), 80-92.
Jagosh, J., Macaulay, A. C., Pluye, P., Salsberg, J., Bush, P. L., Henderson, … Greenhalgh, T. (2012). Uncovering the benefits of participatory research: implications of a realist review for health research and practice. The Milbank Quarterly, 90(2), 311-46.
doi: 10.1111/j.1468-0009.2012.00665.x
Laperrière, A. (1997). Les critères de scientificité des méthodes qualitatives. Dans J.-P. Deslauriers, J. Poupart, L.-H. Groulx, A. Laperrière, R. Mayer et A.P. Pires (dir.), La recherche qualitative : enjeux épistémologiques et méthodologiques (p. 365-390). Boucherville, QC : Gaëtan Morin.
Miles, M. B., Huberman, A. M. et Saldaña, J. (2014). Qualitative data analysis : a methods sourcebook. Lieu d’édition : Maison d’édition
Ministerio de justicia. (2015). Vidas dignas, mujeres libres de violencia. Bolivie : Éditeur.
Olivier de Sardan, J.-P. (2008). La rigueur du qualitatif : les contraintes empiriques de l’interprétation socio-anthropologique. Louvain-la-Neuve, BE: Academia-Bruylant.
Paillé, P et Mucchielli, A. (2016). L’analyse qualitative en sciences humaines et sociales (4e éd.). Paris : Armand Colin.
Patton, M. Q. (1999). Enhancing the quality and credibility of qualitative analysis. Health services research, 34(5 Pt 2), 1189-1208.
Patton, M. Q. (2015). Qualitative research et evaluation methods : integrating theory and practice. Thousand Oaks, CA : Sage Publications.
Plante, J. (1994). Évaluation de programmes. Sainte-Foy, QC : Presses de l’Université Laval.
Porteous, N. L. (2012). La construction du modèle logique d’un programme. Dans V. Ridde et C. Dagenais (dir.), Approches et pratiques en évaluation de programmes (p. 89-107). Montréal : Les Presses de l’Université de Montréal.
Ridde, V. et Dagenais, C. (2012a). Introduction générale à l’évaluation de programmes. Dans V. Ridde et C. Dagenais (dir.), Approches et pratiques en évaluation de programmes (p. 13-32). Montréal : Les Presses de l’Université de Montréal.
Ridde, V. et Dagenais, C. (2012b). Approches et pratiques en évaluation de programmes : nouvelle édition revue et augmentée. Montréal : Les Presses de l’Université de Montréal.
Résumé / Resumen / Abstract
Les programmes de développement visent à produire des changements dans des communautés touchées par des problématiques socioculturelles complexes, par exemple l’égalité entre les femmes et les hommes, où s’entrecroise une pluralité de significations. L’évaluation de ces programmes nécessite une approche systématique mobilisant la collaboration entre les parties prenantes de différentes organisations. Les trois volets d’Évaluation QUalitative Informatisée et Participative inter-organisationnelle (ÉQUIPO) visent à répondre à ces réalités complexes. Le volet qualitatif vise à comprendre les processus de changement depuis les points de vue de ceux ou celles qui expérimentent une situation complexe. Le volet participatif en favorisant la participation démocratique des parties prenantes rappelle que l’évaluation de programmes n’est pas une fin en soi, mais un moyen d’améliorer les conditions sociales et collectives. Le volet inter-organisationnel stimule les échanges entre des ONG partageant des missions similaires. Cette méthode d’apprentissage dans l’action a été développée en 2012, lors d’un projet pilote d’évaluation de programmes d’ONG boliviennes promouvant l’égalité entre les femmes et les hommes. L’objectif de ce chapitre n’est pas de présenter les résultats de l’évaluation spécifique des programmes, mais plutôt de décrire la méthode ÉQUIPO, le contexte dans laquelle elle a émergé, et de présenter ses répercussions et les défis de son application depuis les perspectives des co-évaluateurs et évaluatrices qui ont participé à ce projet pilote.
***
Los programas de desarrollo tienen como objetivo, producir cambios en comunidades con problemas socioculturales complejos, por ejemplo la desigualdad de las mujeres, donde se entrecruzan una pluralidad de significaciones. La evaluación de estos programas, necesita de un enfoque sistemático que movilice la colaboración entre las partes interesadas de diferentes organizaciones. Los tres componentes de la Evaluación Cualitativa Informatizada y Participativa inter-Organizacional (ÉQUIPO), apuntan a responder a estas realidades complejas. El objetivo del componente cualitativo es comprender los procesos de cambio desde puntos de vista diversos de aquellos o aquellas que experimentan una situación compleja. El componente participativo está orientado a promover la participación democrática de las partes interesadas y recuerda que la evaluación de programas no es un fin en sí, sino un medio para mejorar las condiciones sociales y colectivas. El componente inter-organizacional estimula los intercambios entre las ONG compartiendo misiones similares. Este método de aprendizaje en la acción, ha sido desarrollado en el 2012 durante un proyecto piloto de evaluación de programas de ONG bolivianas, promoviendo la igualdad entre hombres y mujeres. El objetivo de este capítulo no es presentar los resultados de la evaluación específica de programas, sino más bien describir el método ÉQUIPO, el contexto en el cual ha emergido, y la presentación de repercusiones y desafíos de su aplicación desde las perspectivas de los co-evaluadores que participaron en este proyecto piloto.
***
Development programmes aim to produce change in communities affected by complex socio-cultural issues, such as gender equality, where a plurality of meanings intersect. Evaluating these programmes requires a systematic approach that involves collaboration between stakeholders from different organizations. The three components of the QUalitative Informative and Inter-Organisational Participatory Assessment (EQUIPO) aim to respond to these complex realities. The qualitative component aims to understand change processes from the perspectives of those experiencing a complex situation. The participatory component, by promoting the democratic participation of stakeholders, reminds us that programme evaluation is not an end in itself, but a means of improving social and collective conditions. The inter-organizational component stimulates exchanges between NGOs sharing similar missions. This method of learning in action was developed in 2012, during a pilot project to evaluate programmes of Bolivian NGOs promoting gender equality. The purpose of this chapter is not to present the results of the specific program evaluation, but rather to describe the TEAM methodology, the context in which it emerged, and to present its implications and the challenges of its application from the perspectives of the co-evaluators who participated in this pilot project.
***
Mathieu Bujold, détenteur d’un doctorat en anthropologie, est chercheur postdoctoral au Département de médecine de famille de l’Université McGill. Ses expériences de recherche, son cursus universitaire et son parcours professionnel sont à l’intersection des sciences sociales, des sciences de la santé, des sciences de l’éducation et de l’évaluation de programme. Depuis 2007, il offre ses services de formation en analyse qualitative informatisée et méthodes mixtes à plusieurs étudiant-e-s, chercheuses et chercheurs et professionnels et a été expert invité dans différents départements universitaires, associations de recherche et organisations internationales œuvrant en développement (par exemple la Banque Mondiale). Outre le développement méthodologique, ses intérêts de recherche portent sur le pluralisme médical, les soins de santé intégrés, la collaboration interprofessionnelle en santé et les soins centrés sur la personne.
Jean-Alexandre Fortin, détenteur d’une maîtrise en Aide humanitaire internationale, est Coordonnateur du Programme Accès et Innovation d’Oxfam Québec en Bolivie. Ses expériences de plus de dix ans en Bolivie avec Oxfam-Québec lui ont permis de connaître en profondeur le contexte sociopolitique de pays. Son cursus universitaire et son parcours professionnel sont spécialisés en gestion de programmes de développement auprès des femmes et des jeunes,particulièrement en ce qui a trait aux aspects de planification, suivi et évaluation de programmes. Depuis 2003, il a travaillé avec différentes organisations non gouvernementales œuvrant en développement international tel que le Centre de Coopération Internationale en Santé et Développement, Jeunesse Canada Monde et Oxfam-Québec.
Citation
Mathieu Bujold et Jean-Alexandre Fortin. (2019). L’évaluation qualitative, informatisée, participative et inter-organisationnelle (EQUIPO). Un exemple d’un programme en faveur des femmes victimes de violences en Bolivie. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. 57-82. Québec : Éditions science et bien commun et Marseille : IRD Éditions.
