1 L’étude d’évaluabilité

L’étude d’évaluabilité est un processus rigoureux de collecte et d’analyse de données permettant de s’assurer que l’évaluation du programme est réalisable et que celle-ci pourra produire des résultats satisfaisants et utiles aux parties prenantes (Kaufman-Levy et Poulin 2003). On entend par partie prenante toutes les personnes ou entités ayant un intérêt particulier à la mise en œuvre d’un programme et à l’évaluation de celui-ci. L’étude d’évaluabilité peut également s’entrevoir comme une évaluation exploratoire ou une activité pré-évaluative qui devrait permettre la mise en place de conditions optimales à une évaluation formative ou sommative formelle (Leviton, Khan, Rog, Dawkins, et Cotton 2010a). Les premières ébauches de l’étude d’évaluabilité remontent aux années 1970, lorsqu’un groupe de chercheuses et chercheurs du Urban Institute de Washington aux États-Unis mit en place cette approche en réponse aux difficultés et défis rencontrés dans l’évaluation des programmes gouvernementaux. Selon ces chercheuses et chercheurs, lesdits programmes étaient insuffisamment mis en œuvre ou trop peu matures pour être évalués ou encore avaient des objectifs jugés irréalistes (Burrows, Bilodeau et Litvak 2012; Leviton, Khan, Rog, Dawkins et Cotton 2010 b; Nay et Kay 1982; Wholey 1976). Les critiques portaient également sur le décalage constaté entre le programme évalué et les résultats de cette évaluation (Leviton et al. 2010b). S’est alors engagée une réflexion sur la capacité des évaluations, selon la façon dont elles étaient conduites, à informer les preneurs et preneuses de décision dans l’élaboration des politiques publiques et la nécessité de dépenser des montants élevés pour des interventions qui auraient très peu d’effets sur les populations ciblées (Trevisan et Yi 2003; Van Voorhis et Brown 1987). C’est dans ce contexte que Horst et ses collègues entreprirent d’identifier les causes profondes de l’échec des programmes et de l’incapacité de l’évaluation à satisfaire les besoins des parties prenantes (Horst, Nay, Scanlon et Wholey 1974). Ces derniers recommandèrent alors la conduite d’un Pre–assessment of Evaluability qui permettrait d’accroître la capacité d’utilisation des résultats de l’évaluation. C’est cette activité pré-évaluative qui fut plus tard dénommée evaluability assessment ou étude d’évaluabilité ou encore évaluation de l’évaluabilité.

La conduite d’une étude d’évaluabilité consiste à suivre des étapes décrites dans les travaux réalisés en milieu universitaire et par les organismes de développement (Trevisan et Walser 2014). Selon le tableau 1 qui suit, la conduite d’une étude d’évaluabilité peut se réaliser en suivant seulement quatre étapes, selon Dunn (2008), alors qu’on peut en compter jusqu’à dix si l’on considère la perspective de Smith (1989). La différence ne se situe pas seulement au niveau du nombre d’étapes à suivre, mais également dans les premières actions à poser. Ainsi, Wholey (1987) propose-t-il de commencer par impliquer les éventuelles parties prenantes au processus alors que, pour Thurston et Potvin (2003), il faut d’abord sélectionner la personne responsable de réaliser l’étude d’évaluabilité. Peu importe l’ordre des différentes étapes, Smith (1989; 1990) propose que les actions à mener soient guidées par le contexte et les objectifs poursuivis.

Tableau 1 : Les étapes de l’étude de l’évaluabilité de programmes selon quelques auteurs (Adapté de Trevisan et Walser (2014) et Soura, Bastien et Fallu (2016). *Étapes ajoutées dans Wholey (2010).)

Étapes	Strosberg et Wholey (1983)	Wholey (1987, 2010)	Rog (1985)	Smith (1989)
1	Déterminer les ressources, activités, objectifs et présuppositions du programme	Faire participer les éventuels utilisateurs et les parties prenantes	Analyser le programme	Déterminer le but, recueillir l’engagement, mettre en place le groupe de travail
2	Recueillir l’agrément des parties prenantes sur la description du programme	Clarifier la formulation du programme	Analyser l’implantation du programme	Définir les frontières du programme à évaluer
3	Déterminer les types de données à collecter	Explorer la réalité de l’implantation du programme	Analyser le système de mesure et d’information	Identifier et analyser les documents du programme
4	Vérifier la réalité de l’implantation du programme	Analyser la plausibilité du programme*	Effectuer une analyse de la plausibilité des objectifs du programme	Développer la théorie du programme
5	Déterminer si les ressources et activités mobilisées permettent d’atteindre les objectifs	S’entendre sur d’éventuels changements à apporter au programme ou à son implantation*	Préparer des modèles variés du programme	Identifier les parties prenantes et avoir des entrevues avec elles
6	Déterminer si le programme possède un système de gestion de l’information	S’entendre sur les options d’évaluation et les intentions d’utilisation des résultats	Déterminer l’utilisation des résultats de l’évaluation	Décrire la perception qu’ont les parties prenantes du programme
7	Déterminer la portion du programme prête à être évaluée en fonction des objectifs identifiés			Identifier les besoins, intérêts et différences de perceptions des parties prenantes
8	Identifier les options d’évaluation et de gestion pour les gestionnaires du programme			Déterminer la plausibilité du modèle du programme
9				Tirer les conclusions et faire des recommandations
10				Établir un plan d’utilisation des données de l’étude d’évaluabilité

Tableau 1 (suite)

Étapes	Thurston et Potvin (2003)	Dunn (2008)	Dunet et al. (2013)
1	Sélectionner l’évaluateur responsable de conduire l’étude d’évaluabilité	Vérifier le modèle causal	Sélectionner le domaine de pratique
2	Identifier les parties prenantes du programme	S’accorder sur le but de l’évaluation d’impact	Identifier les programmes
3	Identifier et analyser la documentation	Évaluer la faisabilité d’un modèle alternatif	Rassembler les informations et évaluer l’intérêt de l’étude de l’évaluabilité
4	Développer le modèle logique du programme et le plan d’évaluation	Identifier une équipe d’évaluation locale	Sélectionner le(s) programmes à évaluer
5	S’accorder sur le principe de conduire une évaluation		Préparer les équipes pour les visites de terrain
6	Évaluer le temps et les ressources requis pour l’évaluation		Conduire les visites de terrain
7			Préparer les documents de l’étude de l’évaluabilité
8			Déterminer la possibilité d’une évaluation rigoureuse

Le premier modèle de la conduite d’une étude d’évaluabilité provient de Wholey (1987), l’un des pionniers de cette approche (Smith, 2005). Selon celui-ci, une étude d’évaluabilité devrait permettre d’apporter des réponses aux quatre conditions suivantes : 1) la théorie du programme et son modèle logique sont clairs, c’est-à-dire que les objectifs du programme et les informations prioritaires sont bien identifiées et définies; 2) les objectifs du programme sont plausibles; 3) les données pertinentes sur la performance du programme peuvent être obtenues à des coûts raisonnables; et 4) la manière d’utiliser les résultats de l’évaluation chez les utilisatrices et utilisateurs potentiels est clarifiée. En répondant à ces quatre conditions, l’étude d’évaluabilité devrait permettre, comme le souligne Smith (1989), de prendre une des cinq décisions suivantes : 1) arrêter le programme, 2) y apporter des changements, 3) conduire une évaluation formelle, 4) laisser les choses dans leur état initial, ou 5) ignorer les résultats de cette étude.

L’étude d’évaluabilité peut se réaliser dans une période courte allant de quelques semaines à un ou deux mois, avant de conduire une évaluation formelle proprement dite pouvant se focaliser sur les processus et/ou les effets du programme. Elle peut également se prolonger dans le temps en fonction des opérations à mener et de la disponibilité des parties prenantes. Dans la plupart des études d’évaluabilité réalisées, les auteurs et les autrices ont le plus souvent recours aux données qualitatives collectées à l’aide d’entrevues, de revues documentaires, de groupes de discussion, de visites de terrain et d’observation (Esher et al. 2011). Les travaux sur l’étude d’évaluabilité menés avec des données quantitatives sont encore rares (Trevisan 2007). Toutefois, il faut retenir qu’au moment de la conduite de l’étude d’évaluabilité, la méthode sélectionnée sera guidée en grande partie par les impératifs logistiques, temporels et financiers.

Si, à première vue il peut sembler inutile d’entreprendre une étude d’évaluabilité avant une évaluation formelle, cette activité pré-évaluative est bien indiquée lorsque le programme à évaluer est qualifié de complexe (Contandriopoulos, Rey, Brousselle et Champagne 2012; Kania et al. 2013; Ogilvie et al. 2011; Rogers 2008; Touati et Suárez-Herrera 2012) et lorsque la théorie du programme et le modèle logique ne sont pas clairs ou encore lorsque le programme est peu documenté (Dunet et al. 2013; Rutman 1997). L’étude d’évaluabilité peut alors permettre de démêler l’écheveau de cette complexité en favorisant la description détaillée du programme et la mise en place d’outils nécessaires à une évaluation ultérieure.

L’étude d’évaluabilité peut être utile à la fois pour le programme, les évaluateurs et évaluatrices et les décideuses et décideurs (Soura, Dagenais et al., 2016). On s’accorde aujourd’hui pour dire qu’entreprendre une étude d’évaluabilité peut être bénéfique à la phase d’élaboration du programme, lors de son implantation et pendant la phase post-implantation. En ce qui concerne les évaluateurs et évaluatrices, ils et elles peuvent tirer profit de l’étude d’évaluabilité en ce sens qu’elle est un moyen rapide d’appréhender l’état  d’un programme et d’identifier les priorités des parties prenantes avant de déployer des moyens importants pour son évaluation. En outre, l’étude d’évaluabilité peut contribuer à une planification plus optimale des activités d’évaluation. Quant aux décideuses et décideurs, ils et elles ont là l’occasion de participer au processus d’évaluation en faisant valoir leur point de vue et leurs intérêts. De plus, l’étude d’évaluabilité peut permettre aux gestionnaires d’opérer une meilleure distribution des ressources tant financières, matérielles qu’humaines en focalisant l’évaluation uniquement sur des aspects du programme susceptibles de répondre aux préoccupations des parties prenantes.

Exemple d’étude d’évaluabilité : l’intervention en réseau

Le programme à évaluer s’intitule l’Intervention en réseau (IR). Il s’agit d’un programme d’intervention destiné à prévenir l’usage de SPA en milieu scolaire. Il a été développé par la Commission scolaire des Navigateurs de Lévis au Québec à la suite d’une large consultation de l’ensemble des acteurs et actrices du milieu scolaire. Cette consultation avait mis en évidence l’importance de mettre en place des pratiques plus novatrices et adaptées de prévention de l’usage de substances psychoactives auprès des élèves. L’intervention développée devait mettre l’accent sur trois éléments fondamentaux, à savoir la création d’un lien significatif entre les élèves et la personne chargée de la mise en œuvre des activités, le démarrage des activités de prévention dès le primaire en suivant les élèves jusqu’au milieu du secondaire (3^e année) et la mise en place d’activités inspirées de l’Approche École en Santé (AES) (Désy 2009).

Une première version du projet a vu le jour à la rentrée scolaire de 2007-2008 avec le soutien financier du Fonds en partenariat du Centre de santé et des services sociaux (CSSS) du Grand-Littoral. Une étude de faisabilité a alors été entreprise en vue de valider et de mesurer le potentiel de cette pratique. Des aménagements ont été apportés afin d’aboutir à la forme actuelle de cette intervention. Pour la phase pilote, l’intervention a été déployée dans cinq écoles primaires et une école secondaire de ladite commission scolaire.

L’intervention en réseau (IR) fonctionne sur le modèle de l’intervenant-e pivot (IP) ou gestionnaire de cas. Ce modèle permet à un-e spécialiste d’assurer la coordination de plusieurs actions provenant de différentes entités afin de trouver une solution à une situation problématique (Farber, Deschamps et Cameron 2002; Initiative canadienne sur le cancer du sein 2002; Paradis, Racine et Gagné 2006). L’intervention consiste à placer un ou une IP dans une école secondaire rattachée à un groupe d’écoles primaires situées dans la même zone géographique. Ce regroupement d’écoles secondaires et primaires est alors appelé réseau. L’IP peut être une personne déjà présente dans l’école à qui les tâches liées à l’intervention sont déléguées ou un-e professionnel-le recruté-e spécifiquement pour jouer ce rôle. Son lieu de présence habituelle est d’abord l’école secondaire. Il ou elle effectue ensuite des visites régulières au sein des écoles primaires qui lui sont attribuées. Ainsi, l’IP peut suivre les mêmes élèves sur une période plus ou moins longue si ces derniers restent plus longtemps dans l’école secondaire. Ce mode de fonctionnement lui permet de déployer des activités dans les deux ordres d’enseignement (primaire et secondaire) et favorise une meilleure connaissance des élèves. Ceux et celles à risque sont alors plus facilement repérées pour un suivi adéquat. Au-delà de cette présence physique, l’IP doit également mettre en œuvre des activités de prévention de l’usage de SPA avec la collaboration des enseignant-e-s et des autres intervenant-e-s des milieux scolaire et communautaire.

Pour les élèves du dernier cycle du primaire, les activités portent essentiellement sur les ateliers de Système C et D, deux programmes déjà utilisés dans les écoles au Québec. Ils ciblent particulièrement les facteurs de risque et de protection communs à la prévention de l’usage de SPA chez les jeunes en favorisant l’acquisition de saines habitudes de vie, la connaissance et l’affirmation de soi, la gestion du stress, la réaction face à l’influence des pairs et des médias et la résolution de conflits (Directions de santé publique des agences de la santé et des services sociaux de la Montérégie de Laval et de l’Outaouais, 2007). On y trouve également des activités sur la transition primaire-secondaire, par exemple les visites et rencontres des élèves du primaire avec ceux et celles du secondaire et les enseignant-e-s, la connaissance du fonctionnement de l’école secondaire, etc. Au secondaire (de la première à la troisième année), les élèves participent aux activités axées sur les ateliers du programme APTE (Garand-Butcher 2014; Vaugeois, Germain et Cunha Rêgo 2008). Il s’agit d’activités portant sur les croyances en matière de consommation de SPA, la connaissance des niveaux de risque, l’influence des pairs et les gangs de rue. Ces activités sont considérées comme un renforcement des acquisitions du primaire et sont animées par l’IP et d’autres intervenant-e-s qu’il ou elle sollicite (enseignant-e-s, psychoéducateurs et psychoéducatrices, infirmières et infirmiers, structures communautaires, le service de police, etc.). Les activités proposées aux élèves au primaire et au secondaire sont présentées au tableau 2.

Tableau 2 : Liste des activités de l’intervention en réseau

	Primaire (5e et 6e année)	Secondaire (1, 2 et 3)
1.	Saines habitudes de vie	Consommation de SPA et ses conséquences
2.	Connaissance de soi et affirmation de soi	Saines habitudes de vie
3.	Relations avec les autres et communication	Résistance aux influences négatives
4.	Influences, consommation et média	Relations enseignant-e-s-élèves
5.	Cyber criminalité	Violence et (cyber) criminalité
6.	Résolution de problèmes et gestion du stress	Comprendre le secondaire
7.	Préparation à l’entrée au secondaire	Rencontres individuelles
8.	Activités éducatives et récréatives	Activités éducatives et récréatives

Il est attendu qu’à court terme, l’intervention permette d’accroître les compétences sociales des élèves, d’améliorer les compétences en gestion du stress, d’améliorer les perceptions sur les risques de l’usage de substances psychoactives, de favoriser de bonnes relations entre enseignant-e-s et élèves, d’accroître les compétences en résolution de conflits et de réduire le niveau d’exposition des élèves aux SPA. À moyen terme, il s’agit de retarder l’âge d’initiation à l’usage de SPA et de prévenir la consommation excessive et problématique de ces substances. L’objectif ultime de cette intervention est de favoriser la réussite éducative des élèves.

Devis de l’étude d’évaluabilité

Pour réaliser cette étude d’évaluabilité, des données qualitatives ont été collectées essentiellement auprès d’informateurs-clés et d’informatrices-clés sélectionnées en raison de leur implication dans la conception et/ou la mise en œuvre de l’intervention. L’entrevue semi-structurée et l’analyse documentaire ont été les principales stratégies de collecte de ces données. L’objectif général était de bien connaître l’objet d’évaluation dans un premier temps avant d’amorcer son évaluation dans une phase ultérieure. Plus spécifiquement, il s’agissait de comprendre la théorie de l’intervention compte tenu du fait que les rares documents disponibles à l’époque était vagues à ce sujet. À partir de cela, on pouvait élaborer le modèle logique et déterminer l’approche d’évaluation qui permettrait à la fois de comprendre le fonctionnement de l’intervention et ses potentiels effets sur la population cible.

S’appuyant sur les quatre conditions décrites par Wholey (1987) et présentées plus haut, cette étude d’évaluabilité visait à répondre aux questions suivantes :

• Les intentions des initiateurs et initiatrices et les objectifs de l’intervention sont-ils clairement présentés?
• Les objectifs de l’intervention sont-ils plausibles à la lumière des connaissances disponibles et des moyens mobilisés?
• Les conditions sont-elles réunies pour la collecte des données d’évaluation?
• Quelle sera l’utilité des résultats d’évaluation pour les parties prenantes?

Pour répondre à ces questions, une planification des activités a été réalisée. Celle-ci prend en compte les objectifs, les types de données collectées, les sources de données, les participant-e-s et la période de collecte. La collecte des données a été réalisée en un mois, une année après le démarrage de la mise en œuvre du programme, avec les participant-e-s comme informateurs et informatrices-clés. Cette planification est présentée dans le tableau 3.

Tableau 3. Planification des activités d’évaluation

Critères d’évaluation	Sujets/items abordés	Sources de données
Intentions et modèle logique de l’intervention	les intentions et objectifs de l’intervention les activités et ressources prévues et déployées la population cible de l’intervention les résultats attendus	Entrevues Revue documentaire
Plausibilité des objectifs	les conditions d’implantation de l’intervention les activités réalisées jusqu’à ce jour l’adéquation des ressources avec les résultats attendus	Entrevues Revue documentaire Journal de bord
Disponibilité des données	l’identification d’une approche d’évaluation des effets et des processus les types de données disponibles ou à recueillir les activités de monitoring entreprises la disponibilité de la documentation sur les activités	Entrevues Journal de bord Notes de réunion
Utilité de l’intervention et des résultats de l’évaluation	l’utilité de l’évaluation pour les initiateurs les modalités d’utilisation des résultats de l’évaluation	Entrevues Notes de réunion

Les données colligées ont été analysées de façon thématique en quatre étapes. La première étape déductive a permis de générer des thèmes proches des conditions de l’approche de l’étude d’évaluabilité selon Wholey (1987). Une deuxième étape, cette fois-ci inductive, était ouverte à l’émergence de nouveaux thèmes (Saberi, Yuan, John, Sheon et Johnson 2013). Cette étape a permis d’identifier des thèmes faisant référence à la satisfaction des participant-e-s concernant la mise en œuvre du programme et la bonne collaboration avec l’IP. La troisième étape a consisté à regrouper tous les thèmes identifiés dans une matrice permettant d’identifier des sous-catégories et des extraits verbatim pertinents au cadre d’analyse. Un réajustement des codes a été effectué afin de constituer de grands ensembles plus homogènes. Enfin la quatrième étape a permis de tirer des extraits de discours pour illustrer les résultats obtenus. Le traitement des données a été effectué à l’aide du logiciel de traitement de données qualitatives QDA Miner. Avant de présenter les résultats obtenus, les lignes qui suivent décrivent les différentes étapes de la mise en œuvre d’une étude d’évaluabilité.

Mise en œuvre de l’étude d’évaluabilité

La conduite d’une étude d’évaluabilité n’est pas une fin en soi. Cette activité doit répondre à un besoin particulier. Généralement elle sert de tremplin à une évaluation susceptible de produire des résultats utiles aux parties prenantes. En ce sens, elle peut permettre, comme déjà mentionné, de bien comprendre la théorie du programme et d’élaborer le modèle logique. Avant de réaliser une étude d’évaluabilité, il faudrait en expliquer le bien-fondé aux initiateurs et initiatrices du programme et à toutes les entités qui pourraient tirer profit des résultats obtenus. Les limites d’une telle activité devraient être aussi présentées afin de ne pas provoquer de vaines attentes. Une réunion de concertation et de clarification entre les différents acteurs et actrices peut être une excellente occasion de parvenir à cette fin.

Par ailleurs, étant donné que l’étude d’évaluabilité peut s’apparenter à une analyse du processus d’un programme afin de savoir si celui-ci répond à certains critères avant de l’évaluer de façon formelle, seuls les individus pouvant donner des renseignements sur ce programme doivent être contactés. Par conséquent, il faudrait s’assurer au préalable de la disponibilité de ces derniers et obtenir que les documents, s’il en existe, soient mis à la disposition de l’équipe d’évaluation. Finalement, bien connaître le contexte organisationnel et sociopolitique dans lequel se déroule le programme représente un atout considérable pour comprendre les jeux de pouvoir inhérents à la prise de décision; ce qui peut contribuer à la proposition de recommandations plus adaptées à ce contexte et susceptibles d’être adoptées par les parties prenantes.

Déroulement et description des étapes

Le déroulement d’une étude d’évaluabilité comprend plusieurs étapes qui ont été décrites dans la littérature. Plusieurs auteurs et autrices présentent différentes étapes à suivre pour mener une étude d’évaluabilité comme le montre le tableau 1 ci-dessus. Par souci pédagogique et pour répondre aux objectifs de cet ouvrage, la partie qui suit décrit les 10 étapes proposées par Smith (1989) dans l’approche qui est la plus exhaustive. Ces mêmes étapes ont été décrites de façon simplifiée ailleurs (Trevisan et Yi 2003). Il faut cependant noter qu’il ne s’agit pas d’un processus linéaire et il n’est pas exclu de revenir en arrière pour affiner les objectifs de l’étude d’évaluabilité alors que se déroulent les entrevues avec les parties prenantes, par exemple.

Déterminer le but, recueillir l’engagement, mettre en place le groupe de travail

Il est très important d’identifier le but à atteindre avant d’entreprendre une étude d’évaluabilité. Cela permet dès le départ de clarifier les attentes et de susciter l’engagement des parties prenantes. À cette étape également, mettre en place un groupe de travail peut favoriser l’engagement des parties prenantes et ainsi faciliter le déploiement des activités. Le groupe de travail mis en place doit être à la fois représentatif des différentes entités et restreint pour permettre son bon fonctionnement. Dans le cas présenté ici, le groupe de consultation était constitué principalement du concepteur de l’intervention, de l’intervenant pivot et de l’évaluateur principal. Les autres entités concernées ont été sollicitées lorsque le besoin se faisait sentir, notamment pour la validation du modèle logique.

Définir les limites/frontières du programme à évaluer

L’étude d’évaluabilité est destinée à être une activité exploratoire rapide de la situation d’un programme avant d’effectuer une évaluation proprement dite. À ce titre, elle ne peut apporter des réponses à tout. Il importe de fixer les limites quant à ce qui peut être réalisé ou pas dans la période impartie. Fixer des limites peut contribuer à mieux comprendre les objectifs assignés à l’étude d’évaluabilité et éviter que les uns et les autres aient des attentes que l’étude d’évaluabilité ne pourra combler. Dans le cas présenté ici, il était question ici de bien comprendre le programme, d’élaborer le modèle logique et de proposer des avenues pour l’évaluation du programme.

Identifier et analyser les documents liés au programme

La consultation des documents liés au programme est une étape importante de la conduite d’une étude d’évaluabilité. Il faut, au démarrage de l’étude d’évaluabilité, identifier les documents susceptibles de donner des renseignements utiles sur le programme et s’assurer de leur disponibilité. Il peut s’agir de notes de réunion, de rapport de recherche ou de sondage, de demande de financement, de documents législatifs et même de messages échangés entre les parties prenantes. Ces documents permettent de comprendre les intentions des initiateurs et initiatrices du programme et la théorie du changement promue. Il n’est pas rare, comme dans le cas présent, que l’on soit confronté à un nombre limité de documents qui aborde le programme. Dans ce cas, une consultation des personnes responsables de la mise en œuvre du programme sera nécessaire pour collecter des informations.

Développer/clarifier la théorie du programme

L’un des avantages de la conduite d’une étude d’évaluabilité est la possibilité de clarifier la théorie du programme et de développer le modèle logique. La théorie du programme concerne la manière dont ses initiateurs et initiatrices veulent s’y prendre pour atteindre les objectifs fixés. Elle explique comment les changements voulus par ces personnes seront obtenus à partir des ressources mobilisées, des stratégies adoptées et des activités menées. Dans de nombreuses situations, cette théorie n’est pas explicite ou est exprimée de façon vague ou parcellaire. Ce n’est qu’en parvenant à la démêler et à la clarifier que l’on parvient à bien comprendre le programme. Une fois la théorie du programme clarifiée, il est possible de développer le modèle logique qui est une représentation schématique de la chaîne causale présumée entre les ressources mobilisées, les activités déployées et les résultats attendus à moyen, court ou long terme. Il faudra également noter au passage les facteurs favorables ou défavorables qui pourraient influencer la mise en œuvre du programme dans un sens comme dans l’autre. Le développement du modèle logique doit être fait en concertation avec les parties prenantes. Dans tous les cas, la version finale ressemble rarement au modèle initial du fait de modifications successives qui peuvent être apportées au fur et à mesure que la théorie du programme se clarifie.

Identifier et interviewer les parties prenantes

L’identification et les entrevues avec les parties prenantes sont une autre étape du déroulement d’une étude d’évaluabilité, car ces personnes peuvent contribuer à une meilleure compréhension du programme. D’ailleurs, c’est grâce à leur soutien que le programme peut se déployer. Les entrevues doivent porter sur ce qu’elles savent et perçoivent du programme et de sa mise en œuvre. Dans le cas de l’IR, les personnes interrogées ont été identifiées avec la collaboration de l’IP qui était en contact direct avec elles. Une fois ces personnes identifiées, il est important de les contacter plusieurs jours d’avance afin de planifier l’organisation des entrevues.

Décrire la perception qu’ont les parties prenantes du programme

Les entrevues avec les parties prenantes doivent permettre de décrire la perception de ces informateurs et informatrices-clés à l’égard du programme. Au-delà de cette description, il faudra confronter les différents points de vue exprimés pour obtenir une meilleure compréhension des enjeux du programme en train d’être implanté ou déjà implanté.

Identifier les besoins, intérêts et différences de perceptions des parties prenantes

À ce stade, il appartient à l’évaluateur ou l’évaluatrice et à son équipe d’identifier les différences et les convergences au niveau des perceptions, besoins et intérêts des différents acteurs et actrices. Il faudra porter une attention particulière sur les divergences en raison de leurs potentiels effets néfastes sur la suite du programme. Comprendre les divergences et tenter de les résoudre permet d’éviter les malentendus et controverses qui peuvent naître lors de l’introduction des innovations dans les organisations.

Déterminer la plausibilité du modèle du programme

Lorsqu’elles sont bien conduites, l’analyse documentaire et les entrevues doivent permettre de déterminer la plausibilité du programme et de ses objectifs. Cette plausibilité est déterminée au regard des ressources mobilisées, mais aussi de la littérature existante. Il s’agit d’indiquer le degré avec lequel le programme est correctement et suffisamment mis en œuvre et si les activités telles que déployées sont susceptibles de provoquer les changements escomptés.

Tirer les conclusions et faire des recommandations

La conduite d’une étude d’évaluabilité doit aboutir à la formulation de recommandations susceptibles d’indiquer la conduite à adopter. Ces conclusions et recommandations doivent être spécifiques au programme évalué et tirées uniquement à partir des données disponibles.

Établir un plan d’utilisation des données de l’étude d’évaluabilité

L’analyse des données recueillies doit permettre d’envisager la suite à réserver au programme. Les recommandations formulées doivent aller dans le sens de proposer des modifications au programme et/ou d’aller de l’avant avec une évaluation formelle ou pas. Il est également possible que les conclusions d’une étude d’évaluabilité préconisent d’arrêter le programme parce que la théorie du programme n’est pas adaptée au contexte ou à la population cible, faisant courir le risque d’effets iatrogènes chez ces dernières. L’arrêt du programme peut aussi s’envisager parce que l’étude d’évaluabilité a montré que sa mise en œuvre n’est pas conforme à ce qui a été planifié.

Résultats obtenus

Les résultats obtenus dans le cadre de l’étude d’évaluabilité de l’Intervention en réseau peuvent être regroupés en trois points. Commençons par le niveau de la clarification de la théorie du programme. Au début des activités d’évaluation de ce programme, il y avait très peu de documents sur l’approche adoptée par ses initiateurs et initiatrices. Si les objectifs à atteindre avaient été clairement présentés et qu’un intervenant avait été recruté pour la mise en œuvre du programme, la stratégie pour parvenir à l’atteinte de ces objectifs n’était pas aussi claire. De plus, certains acteurs et actrices sur le terrain avaient une idée vague de ce qui devait être réalisé. L’étude d’évaluabilité avait également montré que la mise en œuvre du programme était disproportionnée selon les écoles. À la suite de ces constats, des rencontres ont été organisées avec les différents acteurs et actrices pendant lesquelles une présentation plus approfondie du programme a été effectuée. Par ailleurs, des échanges ont eu lieu avec l’IP afin de lui présenter les résultats des consultations avec les autres acteurs et actrices et la nécessité de documenter les activités organisées. À la suite de cela, des dispositions ont été prises afin d’harmoniser le degré de mise en œuvre dans les écoles participantes. Par la même occasion, le suivi des activités a été nettement amélioré.

Continuons avec le développement du modèle logique. Une fois la théorie du programme clarifiée, cela a rendu plus facile le développement du modèle logique qui n’existait pas au démarrage des activités d’évaluation. Celui-ci a été développé à l’issue de l’analyse de la documentation existante et des échanges avec les initiateurs et initiatrices du programme. La version initiale du modèle logique a subi plusieurs modifications avant que la version finale disponible ailleurs (Soura, Bastien, et al. 2016), ne soit adoptée pour servir de support à l’évaluation qui devrait être conduite.

Enfin, concernant la planification de l’évaluation, puisque l’équipe chargée de l’étude d’évaluabilité était la même qui devait conduire les activités d’évaluation proprement dites, des propositions ont été faites sur les modalités de réalisation de cette évaluation. Les échanges avec les parties prenantes et l’analyse des documents ont facilité l’identification de l’approche d’évaluation à adopter et le cadre d’analyse le plus adéquat pour rendre compte des processus de mise en œuvre du programme. En effet, il était apparu que la mise en œuvre du programme dans les écoles avait suscité des controverses chez certains acteurs et actrices. Par ailleurs, le programme avait un caractère novateur pour toutes les écoles impliquées. Tout cela a amené l’équipe d’évaluation à s’intéresser davantage à la façon dont les acteurs et actrices étaient mobilisés pour la mise en œuvre du programme qu’à l’analyse de la fidélité d’implantation. Ainsi, une revue de littérature a été réalisée dans le but d’identifier un cadre d’analyse pertinent qui tiendrait compte de cette situation. À la suite de cela, la théorie de l’acteur-réseau a été retenue pour servir de référence à l’évaluation des processus. Initialement développé pour l’étude de l’introduction d’innovations technologiques dans les organisations, ce cadre d’analyse s’est avéré pertinent par ce qu’il s’intéresse également aux controverses qui naissent lors de la mise en œuvre d’un programme.

Toujours concernant la planification de l’évaluation, la conduite de l’étude d’évaluabilité a également permis de confirmer l’adoption d’un devis quasi expérimental pour l’évaluation des effets du programme sur les participant-e-s. Ce devis qui avait été retenu avant le déroulement de l’étude d’évaluabilité a été préféré à une étude randomisée en raison des ressources disponibles et des contraintes liées à la mise en œuvre du programme. Il permet de comparer le groupe des élèves ayant participé au programme (groupe d’intervention) avec un autre groupe d’élèves qui n’y était pas exposé (groupe de comparaison). La faisabilité de ce volet quantitatif de l’évaluation a également été abordée lors de l’étude d’évaluabilité. En clair, la réalisation de cette l’étude d’évaluabilité a grandement contribué à mieux comprendre le programme et à mettre en place les outils nécessaires pour l’évaluation qui s’en est suivie. Cette expérience nous a permis d’entreprendre une analyse réflexive sur la mise en œuvre d’une étude d’évaluabilité.

Analyse réflexive

Trois leçons principales peuvent être tirées de la conduite de cette étude d’évaluabilité. La première est que l’étude d’évaluabilité est un processus participatif qui demande une interaction constante entre l’équipe d’évaluation et les parties prenantes. Même s’il n’est pas possible d’avoir la coopération entière de ces dernières, il est cependant indispensable et très important, au moins, qu’un processus de validation des résultats soit mis en place afin de recueillir leurs avis. Cela a pour bénéfice de maximiser les chances de l’adoption des recommandations, notamment lorsque celles-ci préconisent des modifications majeures dans la mise en œuvre du programme ou une réorientation de ses objectifs. Au surplus, faire participer les parties prenantes à la réalisation de l’étude d’évaluabilité permet de mieux documenter le programme et de proposer des recommandations pertinentes à celui-ci.

Deuxièmement, la conduite d’une étude d’évaluabilité est bénéfique non seulement pour l’équipe d’évaluation, mais également pour les intervenant-e-s eux-mêmes qui ont l’occasion d’avoir une attitude réflexive, ce qui peut contribuer à l’amélioration de leurs pratiques. Les étapes de la réalisation d’une étude d’évaluabilité et les checklists développées par les différents auteurs et autrices sont de bons moyens pour commencer si l’on ne sait par où commencer. Ces outils doivent cependant être utilisés de façon flexible et surtout être adaptés aux réalités et au contexte du programme à évaluer ainsi qu’à l’audience.

Troisièmement, même si les ressources sont limitées, conduire une étude d’évaluabilité, ne serait-ce qu’à une échelle plus réduite, peut être très bénéfique aussi bien pour le programme et ses initiateurs et initiatrices que pour l’équipe d’évaluation. Cette étude d’évaluabilité a été pour toutes les parties prenantes un excellent moyen de mieux se connaître en prélude aux activités d’évaluation. Par ailleurs, en encourageant la participation des parties prenantes, l’étude d’évaluabilité favorise l’appropriation du processus par les parties prenantes et représente à ce titre un excellent exercice d’empowerment de ces entités qui n’ont pas toujours de compétences en matière d’évaluation de programmes. Si le temps l’avait permis et si les conditions de travail avaient été différentes, une étude plus approfondie aurait peut-être permis une meilleure planification de cette évaluation afin de raccourcir la durée de celle-ci.

Comme indiqué dans l’encadré ci-dessus, l’étude d’évaluabilité possède des points forts, mais également quelques points faibles. Comme points forts, notons que l’étude d’évaluabilité encourage un processus participatif pendant lequel toutes les entités concernées par le programme et l’évaluation interagissent. La prise en compte des points de vue de différentes entités permet ainsi d’améliorer le programme et de proposer des résultats d’évaluation adaptés aux préoccupations des utilisateurs. L’étude d’évaluabilité permet également de clarifier la théorie du programme et d’élaborer le modèle logique. En effet, grâce à l’étude d’évaluabilité, l’on peut parvenir à une meilleure compréhension de la théorie d’un programme et des réelles intentions de ses initiateurs et initiatrices, ce qui peut favoriser le développement du modèle logique qui reste un outil indispensable pour l’évaluation d’un programme. Un autre avantage à conduire une étude d’évaluabilité est que celle-ci peut contribuer à apporter des améliorations substantielles au programme que ce soit à la phase de la conception ou pendant l’implantation. C’est un exercice qui permet de sauver du temps et des ressources puisqu’elle peut recommander de ne pas engager une évaluation si celle-ci n’est d’aucune utilité pour les parties prenantes. Enfin, l’étude d’évaluabilité peut faciliter la planification de l’évaluation à venir en proposant des stratégies et l’identification d’approches et d’outils pertinents au contexte de mise en œuvre du programme et à la genèse de connaissances utiles à toutes les parties prenantes.

Le principal point faible de l’étude d’évaluabilité concerne le fait qu’étant donné qu’elle requiert un processus participatif, elle peut également prendre beaucoup de temps à réaliser si le groupe de travail mis en place ne fonctionne pas de façon optimale ou s’il n’y a pas d’entente entre ses membres ou encore si le nombre de personnes à consulter est élevé. L’autre point faible est que l’étude d’évaluabilité peut également exacerber les mésententes et provoquer des frustrations chez certains acteurs et actrices, notamment lorsque les attentes des uns et des autres ne sont pas assouvies. Il est donc très important de s’accorder sur les objectifs à atteindre dès le départ de ce processus. Il va donc sans dire que la mise en œuvre d’une étude d’évaluabilité présente des défis dépendamment du contexte dans lequel celle-ci se déploie.

Le premier défi lors de la réalisation de cette étude d’évaluabilité était celui de pouvoir mobiliser toutes les parties prenantes à participer effectivement au processus compte tenu des contraintes de temps liées aux activités scolaires. Le programme se déroulant dans les écoles, il n’était pas toujours évident pour les enseignant-e-s et les autres professionnel-le-s de se libérer en vue de participer aux entrevues. Trouver les ressources humaines et financières nécessaires à la conduite de l’étude d’évaluabilité alors que celle-ci n’était pas inscrite parmi les objectifs à atteindre au début du mandat d’évaluation était un autre défi de ce processus. Cette situation combinée à la longue distance entre le site d’implantation du programme et le lieu d’exercice habituel des évaluateurs et évaluatrices était de nature à retarder la mise en œuvre de l’étude d’évaluabilité dans les délais impartis. Lorsque l’étude d’évaluabilité n’est pas une des préoccupations des parties prenantes, il peut être difficile de leur demander d’attendre que les résultats de celle-ci soient disponibles avant de commencer les activités d’évaluation proprement dites. Enfin, sans avoir été forcément un défi dans la conduite de la présente étude d’évaluabilité, mais qui mérite d’être abordés ici, ce sont les enjeux de pouvoir  : comment concilier les points de vue des différents acteurs et actrices, en particulier lorsqu’ils sont divergents. C’est pourquoi les qualités de facilitateur de groupe de travail et de négociateur sont des caractéristiques essentielles qu’une personne doit posséder pour bien mener à terme une étude d’évaluabilité.

Conclusion

En résumé, notons que l’étude d’évaluabilité a gagné en importance en termes d’utilisation ces dernières années. En effet, depuis son développement, de nombreux travaux ont contribué à faciliter son application en proposant les étapes à suivre et des checklists comme guides. Cependant, son usage dans le milieu francophone reste encore limité. Pourtant, conduire une étude d’évaluabilité est un intéressant moyen de parvenir à une bonne connaissance du programme à évaluer et au développement d’outils nécessaires à la planification des activités d’évaluation à venir. Elle a été d’une grande utilité à plusieurs égards dans le cadre de l’évaluation du programme utilisé ici en exemple, d’abord en favorisant une plus grande familiarité entre les parties prenantes et le programme, ensuite en permettant de développer le modèle logique et enfin en aidant à la planification des activités d’évaluation. Les résultats obtenus incitent à penser qu’il aurait été difficile de procéder autrement pour un programme dont la mise en place constituait un défi pour les initiateurs et initiatrices.

Pour les novices à cette approche, il est possible de recourir aux étapes et checklists proposées par les auteurs et autrices. Toutefois, il faut garder à l’esprit que la conduite d’une étude d’évaluabilité est influencée par les caractéristiques du programme, celles des parties prenantes impliquées dans le processus ainsi que par le contexte d’implantation. C’est pourquoi il peut être nécessaire d’adapter le processus en fonction de ces réalités. L’étude d’évaluabilité ne pourra peut-être pas répondre à toutes les questions, mais elle peut être une alternative utile pour éviter le statu quo ou la conduite d’une évaluation dont les résultats ne peuvent être utilisés par aucune des parties.

Références clés

Lessard, S., Stich, C. et Montreuil, A. (2012). Évaluation de l’évaluabilité du Plan québécois de prévention du tabagisme chez les jeunes 2010-2015. Québec : Institut National de Santé Publique du Québec.

Ce rapport de recherche décrit la conduite de l’étude d’évaluabilité du Plan québécois de prévention du tabagisme chez les jeunes 2010-2015. Il présente d’abord le mandat confié à l’équipe d’évaluation ainsi que la méthode adoptée et les résultats obtenus. C’est un excellent document qui montre le processus de validation du modèle logique auprès d’acteurs et actrices-clés.

Burrows, S., Bilodeau, A. et Litvak, E. (2012). Étude de la faisabilité de l’évaluation et des possibilités de recherche du Plan d’action montréalais 2012-2014 de la table régionale sur les saines habitudes de vie et la prévention des problèmes liés au poids – Phase 1. Montréal : Direction de santé publique, Agence de la Santé et des Services Sociaux de Montréal.

Ce rapport porte sur une étude d’évaluabilité réalisée pour déterminer le potentiel de recherche et/ou d’évaluation de plusieurs projets entrant dans le cadre du Plan d’action montréalais de la table régionale sur les saines habitudes de vie et la prévention des problèmes liés au poids. Le document donne un aperçu de la façon dont on peut réaliser une étude d’évaluabilité pour plusieurs projets à la fois.

Trevisan, M. S. et Walser, T. M. (2014). Evaluability assessment : Improving evaluation quality and use. Thousand Oaks: SAGE Publications, Inc.

Cet ouvrage en anglais est l’un des plus récents et par conséquent l’un des plus actuels sur l’étude d’évaluabilité. Il est présenté par deux des auteurs les plus prolixes sur cette approche. Ce qui le rend intéressant à consulter, c’est la référence à des études de cas qui permettent de comprendre comment conduire une étude d’évaluabilité. Par ailleurs, les auteurs militent pour un modèle de la conduite d’une étude d’évaluabilité à quatre étapes et introduisent dans cet ouvrage d’autres concepts fondamentaux à l’évaluation comme le développement de programmes, l’évaluation formative et des impacts.

Site Monitoring and Evaluation NEWS
http://mande.co.uk/category/lists/evaluability-assessments-bibliography/
https://www.zotero.org/groups/211251/evaluability_assessments/items

Ce site Internet est le tout premier à répertorier des ouvrages datant des premiers moments de développement de l’étude d’évaluabilité, depuis les années 1970 jusqu’en 2012. Ce répertoire est actuellement en voie d’être actualisé par son auteur et est consultable sur la plateforme de gestion bibliographique Zotero, à partir du lien ci-dessus. Bien que la plupart des documents soient en anglais, c’est une excellente ressource pour quiconque voulant localiser des références sur l’étude d’évaluabilité.

http://aea365.org/blog/tag/evaluability-assessment/

Ce site est un blogue de l’Association Américaine d’Évaluation spécifiquement dédié à l’étude d’évaluabilité. Il s’agit de billets très courts postés par des praticiens ou chercheuses et chercheurs sur leurs expériences dans la conduite d’une étude d’évaluabilité. Les auteurs et les autrices font référence aux leçons apprises de ces expériences, ce qui peut être très utile pour les personnes voulant conduire une étude d’évaluabilité pour la première fois.

Références

Burrows, S., Bilodeau, A. et Litvak, E. (2012). Étude de la faisabilité de l’évaluation et des possibilités de recherche du Plan d’action montréalais 2012-2014 de la table régionale sur les saines habitudes de vie et la prévention des problèmes liés au poids – Phase 1. Montréal : Direction de santé publique de l’Agence de la santé et des services sociaux de Montréal.

Contandriopoulos, A. P., Rey, L., Brousselle, A. et Champagne, F. (2012). Évaluer une intervention complexe : enjeux conceptuels, méthodologiques et opérationnels. La Revue Canadienne d’Évaluation de Programmes, 26(3), 1-16.

Craig, P. et Campbell, M. (2015). Evaluability assessment: a systematic approach to deciding whether and how to evaluate programmes and policies. Scotland : What Works Scotland.
http://whatworksscotland.ac.uk/wp-content/uploads/2015/07/WWS-Evaluability-Assessment-Working-paper-final-June-2015.pdf

Davies, R. (2013). Planning evaluability assessments: A synthesis of the literature with recommendations.UK : Department of International Development.

Désy, M. (2009). L’école en santé : recension des écrits. Montréal: Direction de santé publique de l’Agence de la santé et des services sociaux de Montréal.

Directions de santé publique des agences de la santé et des services sociaux de la Montérégie de Laval et de l’Outaouais. (2007). Système D : activités de développement des compétences en milieu scolaire pour la prévention des toxicomanies et de l’usage des jeux de hasard et d’argent dans le cadre de la transition du primaire au secondaire. Longueuil, QC.

Dunet, D. O., Losby, J. L. et Tucker-Brown, A. (2013). Using evaluability assessment to support the development of practice-based evidence in public health. Journal of Public Health Management and Practice, 19(5), 479-482.
doi: 10.1097/Phh.0b013e318280014f

Dunn, E. (2008). Planning for cost effective evaluation with evaluability assessment. Washington, DC: USAID.
http://pdf.usaid.gov/pdf_docs/PNADN200.pdf

Esher, A., dos Santos, E. M., Azeredo, T. B., Luiza, V. L., Osorio-de-Castro, C. G. S. et Oliveira, M. A. (2011). Logic models from an evaluability assessment of pharmaceutical services for people living with HIV/AIDS. Ciencia et Saude Coletiva, 16(12), 4833-4844.

Farber, J. M., Deschamps, M. et Cameron, R. (2002). Analyse et évaluation de la fonction d’intervenant-pivot en réponse aux besoins qu’éprouvent les Canadiennes atteintes d’un cancer du sein sur les plans de l’information, de l’éducation et de l’aide à la prise de décisions. Gouvernement du Canada.
http://publications.gc.ca/collections/Collection/H39-663-2002F.pdf

Garand-Butcher, C. (2014). Évaluation de l’implantation du programme Système D en Montérégie (Mémoire de maîtrise). Université de Montréal, Montréal, QC.

Horst, P., Nay, J. N., Scanlon, J. W. et Wholey, J. S. (1974). Program management and the federal evaluator. Public Administration Review, 34(4), 300-308.
doi:10.2307/975239

Initiative Canadienne sur le Cancer du Sein. (2002). Analyse et évaluation de la fonction d’intervenant-pivot en réponse aux besoins qu’éprouvent les Canadiennes atteintes d’un cancer du sein sur les plans de l’information, de l’éducation et de l’aide à la prise de décisions. Canada.

Kania, A., Patel, A. B., Roy, A., Yelland, G. S., Nguyen, D. T. K. et Verhoef, M. J. (2013). Capturing the complexity of evaluations of health promotion interventions: A scoping review. The Canadian Journal of Program Evaluation, 27(1), 65-91.

Kaufman-Levy, D. et Poulin, M. (2003). Evaluability assessment: Examining the readiness of a program for evaluation. Justice Research and Statistics Association, United States of America.
https://www.ncjrs.gov/App/Publications/abstract.aspx?ID=202398

Leviton, L. C., Khan, L. K., Rog, D., Dawkins, N. et Cotton, D. (2010a). Evaluability assessment to improve public health policies, programs, and practices. Annual Review of Public Health, 31, 213-233.
doi: 10.1146/annurev.publhealth.012809.103625

Nay, J. N. et Kay, P. (1982). Government oversight and evaluability assessment: It is always more expensive when the carpenter types. Lexington, MA: Lexington.

Ogilvie, D., Cummins, S., Petticrew, M., White, M., Jones, A. et Wheeler, K. (2011). Assessing the evaluability of complex public health interventions: Five questions for researchers, funders, and policymakers. The Milbank Quarterly, 89(2), 206-225.
doi: 10.1111/j.1468-0009.2011.00626.x

Paradis, M., Racine, P. et Gagné, D. (2006). Évaluation des interventions et des activités liées à la problématique de l’abus, la négligence et la violence à l’endroit des aînés. Québec: Direction régionale de santé publique de l’Agence de la santé et des services sociaux de la Capitale-Nationale.

Rog, D. J. (1985). A methodological analysis of evaluability assessment (Thèse de doctorat). Université Vanderbilt, Nashville, TN.

Rogers, P. J. (2008). Using programme theory to evaluate complicated and complex aspects of interventions. Evaluation, 14(1), 29-48.

Rutman, L. (1997). Formative research and program evaluability. Dans L. Rutman (dir.), Evaluation research methods: A basic guide (p. 59-71). Beverly Hills, CA : Sage Publications.

Saberi, P., Yuan, P., John, M., Sheon, N. et Johnson, M. O. (2013). A pilot study to engage and counsel HIV-positive African American youth via telehealth technology. AIDS patient care and STDs, 27(9), 529-532.

Smith, M. F. (1989). Evaluability assessment: A practical approach. Boston Norwell, Mass. : Kluwer Academic; Distributors for North America Kluwer Academic Publishers.

Smith, M. F. (1990). Evaluability assessment: Reflections on the process. Evaluation and Program Planning, 13(4), 359-364.
doi: 10.1016/0149-7189(90)90020-W

Smith, M. F. (2005). Evaluability assessment. Dans S. Mathison (dir.), Encyclopedia of evaluation (p. 137-140). Thousand Oaks, CA: Sage Publications.

Soura, B. D., Bastien, R. et Fallu, J.-S. (2016). Étude d’évaluabilité d’une intervention visant à prévenir l’usage de substances psychoactives lors de la transition primaire-secondaire. Revue Canadienne d’Évaluation de Programme, 31(2), 211-231.

Soura, B. D., Dagenais, C., Bastien, R., Fallu, J.-S. et Janosz, M. (2016). L’étude d’évaluabilité : pertinence pour l’évaluation de programme. Revue Canadienne d’Évaluation de Programme, 31(1), 18-33.

Thurston, W. E. et Potvin, L. (2003). Evaluability assessment: A tool for incorporating evaluation in social change programmes. Evaluation, 9(4), 453-469.

Touati, N. et Suárez-Herrera, J. C. (2012). L’évaluation des interventions complexes : quelle peut être la contribution des approches configurationnelles?. La Revue Canadienne d’Évaluation de Programmes, 26(3), 17-35.

Trevisan, M.S. (2007). Evaluability assessment from 1986 to 2006. American Journal of Evaluation, 28(3), 290-303.
http://doi:10.1177/1098214007304589

Trevisan, M. S. et Walser, T. M. (2014). Evaluability assessment : Improving evaluation quality and use. Thousand Oaks, CA: Sage Publications.

Trevisan, M. S. et Yi, M. H. (2003). Evaluability assessment: A primer. Practical Assessment Research et Evaluation, 8(20), 2-9.

Van Voorhis, P. V. et Brown, K. (1987). Evaluability assessment: A tool for program development in corrections. National Institute of Corrections.

Vaugeois, P., Germain, M. et Cunha Rêgo, L. (2008). Programme APTE (Rapport synthèse). Montréal : Centre québécois de lutte aux dépendances.

Wholey, J. S. (1976). Role of evaluation and evaluator in improving public programs: Bad news, good news, and a bicentennial challenge. Public Administration Review, 36(6), 679-683.
doi: 10.2307/975063

Wholey, J. S. (1987). Evaluability assessment: Developing program theory. New Directions for Program Evaluation, (33), 77-92.
doi: 10.1002/ev.1447

Wholey, J. S. (2010). Exploratory evaluation. Dans J. S. Wholey, H. P. Hatry et K. E. Newcomer (dir.), Handbook of practical program evaluation (p. 81-99). San Francisco, CA: Jossey-Bass.

Résumé / Abstract / Resumen

Réaliser une étude d’évaluabilité (ÉÉ) est une étape importante permettant de planifier l’évaluation proprement dite d’une intervention ou d’un programme. C’est un exercice qui permet de collecter rapidement des données sur le déroulement d’un programme afin de prendre des décisions sur d’éventuelles modifications à apporter ou la conduite d’une évaluation formelle. Dans le cas actuel, l’étude d’évaluabilité a été appliquée à un programme de prévention de l’usage de substances psychoactives en milieu scolaire. Les différentes étapes de la conduite d’une étude d’évaluabilité y sont décrites ainsi que les résultats obtenus et les leçons apprises. Par ailleurs, les forces et faiblesses de l’étude d’évaluabilité, en tant que phase pré-évaluative d’un programme, et les défis de sa mise en œuvre sont présentés.

***

Conducting an evaluability Assessment (EA) is an important step in planning the actual evaluation of an intervention or program. It is an exercise that allows to quickly collect data on the implementation of a program in order to make decisions about possible changes or conduct a formal evaluation. In this actual case, EA was applied to a school-based substance abuse prevention program. The different steps to conduct an EA are described as well as the results and the lessons learned. In addition, the strengths and weaknesses of EA, as a pre-evaluative phase of a program, and the challenges of its implementation are presented.

***

La realización de una Evaluación de la Evaluabilidad (EE) es un paso importante en la planificación de la evaluación real de una intervención o programa. Es un ejercicio que permite recopilar datos rápidamente sobre el progreso de un programa con el fin de tomar decisiones sobre posibles cambios o realizar una evaluación formal. En el caso presente, la EE se aplicó a un programa de prevención de abuso de sustancias basado en la escuela. Se describen las diferentes etapas de la conducción de una EE, los resultados obtenidos y las lecciones aprendidas. Además, se presentan las fortalezas y debilidades de la EE, como una fase previa a la evaluación de un programa, y los desafíos de su implementación.

***

Biessé D. Soura est actuellement en stage postdoctoral aux Centers for Disease Control and Prevention (CDC) à Atlanta au sein du service de suivi, évaluation et analyse des données. Dans le cadre de ses activités, il effectue des missions dans les pays recevant les fonds d’urgence présidentiels pour la lutte contre le VIH du gouvernement américain tels que le Rwanda, le Cameroun, la Côte d’Ivoire et Haïti. Il est un ex-boursier du Programme de formation Prévention, Promotion et Politiques Publiques (4P) du Réseau de Recherche en Santé des Populations du Québec (RRSPQ). Il détient un doctorat en psychoéducation (Université de Montréal), une maîtrise en psychologie des organisations et du travail (Université Paris Descartes) et un certificat en santé publique (Emory University, Atlanta). Sa thèse porte sur l’évaluation des processus et des effets d’une intervention visant à prévenir l’usage de substances psychoactives (SPA) en milieu scolaire et a reçu l’un des prix de la meilleure thèse du RRSPQ pour l’année 2016. Il s’intéresse à l’utilisation d’approches innovantes et participatives pour le suivi et l’évaluation de programmes, la prévention du VIH et de la consommation de SPA, les méthodes de recherche mixtes et le transfert des connaissances.

Jean-Sébastien Fallu est professeur agrégé à l’École de psychoéducation de l’Université de Montréal. Il détient un doctorat en psychologie de la même université et a réalisé un stage postdoctoral au Centre de toxicomanie et de santé mentale, affilié à l’Université de Toronto. Il est chercheur régulier à l’Institut universitaire sur les dépendances du Centre intégré universitaire de santé et de services sociaux du Centre-Sud-de-l’Île-de-Montréal, au Groupe de recherche sur les substances psychoactives et à l’Institut de recherche en santé publique de l’Université de Montréal. Il œuvre par ailleurs en tant que Directeur de la revue Drogues, santé et société. Ses intérêts de recherche portent notamment sur l’étiologie, la prévention et la réduction des méfaits de la consommation problématique de substances ainsi que sur les politiques en la matière. Fondateur du Groupe de recherche et d’intervention psychosociale de Montréal, cette réalisation lui a valu le prix Forces Avenir 2002, dans la catégorie Société, communication et éducation.

Robert Bastien est chercheur à la Direction de la santé publique (DSP) de Montréal et professeur adjoint de clinique au Département de médecine sociale et préventive de l’Université de Montréal. Il détient une maîtrise et un doctorat en éducation, ainsi qu’un baccalauréat en design. Il s’intéresse aux politiques, aux discours et aux pratiques de prévention. Ses travaux tentent de cerner les vecteurs d’influence de la recherche sociale sur les politiques et d’identifier de nouveaux leviers pour que la recherche contribue à renouveler les politiques, les pratiques et les services. En collaborant avec des personnes œuvrant dans le domaine des arts, du social et de la santé, il provoque la rencontre entre diverses disciplines, développe de nouveaux questionnements, et expérimente de nouvelles méthodologies de recherche et de création.

Frédéric N. Brière est professeur adjoint à l’École de Psychoéducation de l’Université de Montréal et chercheur régulier du Groupe de Recherche sur les Environnements Scolaires (GRES), de l’Équipe RENARD et de l’Institut de Recherche en Santé Publique de l’Université de Montréal (IRSPUM). Il s’intéresse depuis des années au développement, aux conséquences et à la prévention de la dépression chez les adolescents. De manière plus générale, ses travaux portent sur l’évaluation de programmes visant à favoriser le bon développement psychosocial des jeunes et les meilleures façons de transférer ces interventions fondées sur les données probantes de la recherche vers la pratique.

Citation

Biessé Diakaridja Soura, Jean-Sébastien Fallu, Robert Bastien et Frédéric N. Brière. (2019). L’étude d’évaluabilité. Une intervention de prévention de l’usage de drogues à l’école au Québec. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. 3-32. Québec : Éditions science et bien commun et Marseille : IRD Éditions.