1. L’évaluation en situation réelle : concevoir des évaluations d’impact sous contraintes de budget, de temps et de données

[Traduit^[1] de : Bamberger, Michael, Jim Rugh, Mary Church et Lucia Fort. 2004. « Shoestring Evaluation: Designing Impact Evaluations under Budget, Time and Data Constraints », American Journal of Evaluation, 25(1) : 6-9. (Extraits). Traduction par Carine Gazier et Thomas Delahais; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

Le présent document traite de l’approche de l’évaluation en situation réelle (shoestring evaluation) qui est en cours d’élaboration afin d’aider les évaluateurs et les évaluatrices à effectuer des évaluations aussi fiables que possible sur le plan méthodologique lorsqu’ils et elles travaillent avec des contraintes budgétaires et temporelles et avec des limites quant au type de données auxquelles elles et ils ont accès. Cette approche est utilisée dans deux scénarios principaux. Le premier se produit lorsque l’évaluateur ou l’évaluatrice n’est pas appelé-e avant que le projet ou le programme ne soit opérationnel depuis un certain temps et qu’en général aucune donnée de base n’a été recueillie sur la population du projet ou sur un groupe témoin. Les gestionnaires, les décideurs et décideuses ainsi que les organismes de financement ne commencent souvent à se préoccuper de l’évaluation des impacts que lorsque le moment est venu de prendre des décisions sur le financement futur. L’évaluateur ou l’évaluatrice sera ainsi souvent obligé-e de travailler dans un calendrier inadapté et avec un budget limité. Le deuxième scénario se présente lorsque l’évaluatrice ou l’évaluateur est appelé-e au début du projet, mais que pour des raisons budgétaires, politiques, logistiques ou méthodologiques, il n’a pas été possible de recueillir des données de référence sur un groupe témoin, voire sur la population du projet elle-même, en utilisant des méthodologies comparables à une évaluation ultérieure.

Pour répondre à la demande croissante d’évaluations faisant face à ces contraintes budgétaires et de temps, un certain nombre de méthodes d’évaluation rapides et économiques ont été mises au point. Malheureusement, afin d’obtenir des résultats d’évaluation dans les délais et dans les limites du budget, bon nombre des principes de base d’une bonne conception de l’évaluation, comme l’échantillonnage aléatoire, l’explicitation de la théorie du programme, la mise au point d’instruments adaptés, le contrôle des biais des chercheurs et des chercheuses et le contrôle général de la qualité, peuvent se trouver compromis. L’approche de l’évaluation en situation réelle fournit des outils pour travailler dans les limites du budget, du temps et des données, tout en fournissant un cadre pour déterminer les menaces à la validité ou à la pertinence des conclusions de l’évaluation, ainsi que des lignes directrices pour faire face aux différentes menaces une fois qu’elles ont été identifiées.

À l’origine, l’approche a été élaborée pour aider les évaluateurs et les évaluatrices travaillant dans les pays en développement, où les contraintes budgétaires, temporelles et de données sont souvent les plus sévères. Toutefois, les commentaires de collègues travaillant aux États-Unis et dans d’autres pays industrialisés donnent à penser que l’approche pourrait être plus largement applicable. Néanmoins, toutes les études de cas présentées dans le document sont tirées de l’expérience des auteurs et des autrices dans les pays en développement.

La plupart des outils et des méthodes utilisés dans l’approche seront familiers aux évaluateurs et aux évaluatrices expérimenté-e-s. Ce qui est nouveau, c’est la façon dont les outils sont combinés en une stratégie en six étapes afin d’assurer la meilleure qualité d’évaluation dans le cadre du budget, du temps et des contraintes en matière de données qui influent sur l’évaluation. Par conséquent, la plupart des méthodes de collecte et d’analyse des données ne sont mentionnées que brièvement. Nous discutons cependant de certaines des méthodes moins familières, telles que l’utilisation de rappels et d’autres méthodes pour reconstruire les données de l’étude de référence (baseline study) et des groupes témoins, les forces et les faiblesses de différents modèles quasi expérimentaux pour traiter les trois ensembles de contraintes, l’élaboration d’un cadre intégré pour évaluer la validité et l’adéquation des plans d’évaluation multiméthodes et les stratégies pour faire face aux différentes menaces à la validité et à l’adéquation. L’objectif est de mener des évaluations crédibles et adaptées aux besoins des principales parties prenantes, compte tenu des conditions dans lesquelles ces évaluations doivent être entreprises.

Scénarios d’évaluation en situation réelle : contraintes de temps, de données et de budget typiques auxquelles l’évaluateur ou l’évaluatrice doit faire face

Le tableau 1 décrit les scénarios d’évaluation typiques dans lesquels l’évaluateur ou l’évaluatrice est confronté-e à des contraintes liées au budget, au temps et aux données. Dans certains cas, l’évaluateur ou l’évaluatrice est confronté-e à une seule contrainte lorsque, par exemple, le budget est limité mais que l’évaluateur/-trice n’est pas confronté-e à des contraintes de temps excessives, alors que dans d’autres cas, la principale contrainte est le temps. Dans d’autres cas, l’évaluation peut être planifiée avant le début du projet et il existe un budget adéquat, mais l’évaluateur ou l’évaluatrice est informé-e que, pour des raisons politiques ou éthiques, il ne sera pas possible de recueillir des données sur un groupe témoin. Beaucoup d’évaluateurs et d’évaluatrices malchanceux-ses se trouvent simultanément confronté-e-s à deux ou trois contraintes! Les paragraphes qui suivent traitent de certains des problèmes les plus courants rencontrés dans le cadre de chacune de ces contraintes.

Tableau 1. Scénarios d’évaluation en situation réelle

Contraintes temporelles

La contrainte de temps la plus fréquente apparaît quand l’évaluateur ou l’évaluatrice n’est appelé-e que lorsque le projet est déjà bien avancé et que l’évaluation doit être effectuée dans un délai beaucoup plus court que ce qu’il ou elle estime nécessaire, soit pour pouvoir avoir une perspective longitudinale sur toute la durée du projet, soit en termes de temps alloué pour procéder à l’évaluation de fin de projet, ou les deux. Dans ce scénario, il n’est pas possible d’effectuer une étude de référence à l’aide d’une méthodologie comparable à celle de l’évaluation finale initialement planifiée. Le temps disponible pour préparer les consultations des intervenants et intervenantes, les visites sur place et les travaux sur le terrain, ainsi que l’analyse des données, pourrait également devoir être considérablement réduit pour respecter la date limite de présentation du rapport. Ces contraintes de temps sont particulièrement problématiques pour un évaluateur ou une évaluatrice qui n’est pas familier-ère avec la région, ni même avec le pays, et qui n’a pas le temps de se familiariser avec les communautés et les organismes qui participent à l’étude et d’instaurer la confiance avec eux. La combinaison des contraintes de temps et des contraintes budgétaires signifie souvent que les évaluateurs et les évaluatrices étrangers-ères ne peuvent séjourner dans le pays que pendant une courte période, ce qui les oblige souvent à recourir à des raccourcis qu’ils et elles reconnaissent comme étant méthodologiquement discutables.

Contraintes budgétaires

Souvent, les fonds pour l’évaluation n’étaient pas inclus dans le budget initial du projet et l’évaluation doit être effectuée avec un budget beaucoup plus faible que celui normalement alloué à ce type d’étude. Par conséquent, il n’est peut-être pas possible d’appliquer les instruments de collecte de données souhaitables (par exemple, des études de trajectoire ou des enquêtes par sondage), ni d’appliquer les méthodes de reconstitution des données issues de l’étude de référence ou de création de groupes témoins. Le manque de fonds peut également être à l’origine de plusieurs des contraintes de temps évoquées plus haut.

Contraintes liées aux données

Lorsque l’évaluation ne débute qu’à la fin du cycle du projet, il existe généralement peu ou pas de données de référence comparables sur les conditions du groupe cible avant le début du projet. Même si les registres du projet (project records) sont disponibles, ils ne sont souvent pas organisés sous la forme requise pour être comparés avant et après l’analyse. Les registres de projet et d’autres données secondaires souffrent souvent de biais systématiques en matière de déclaration ou de mauvaises normes de tenue des dossiers. Même lorsque des données secondaires sont disponibles pour une période proche de la date de début du projet, elles ne correspondent généralement pas entièrement aux populations du projet. Par exemple, les données sur l’emploi ne couvrent que les grandes entreprises, alors que de nombreuses familles investies dans le projet travaillent dans des petites entreprises du secteur informel; les registres scolaires peuvent ne couvrir que les écoles publiques; un autre problème est que les données d’enquête sont souvent agrégées au niveau des ménages, de sorte que l’on ne dispose pas d’informations sur les membres du ménage. Il s’agit là d’un problème particulier pour l’analyse sexo-différenciée.

La plupart des organismes ne s’intéressent qu’à la collecte de données sur les groupes avec lesquels ils travaillent. Ils peuvent également craindre que la collecte d’informations sur les non-bénéficiaires ne crée des attentes en matière de compensation financière ou autre pour ces groupes, ce qui décourage davantage la collecte de données sur un groupe témoin. Il est également souvent difficile d’identifier un groupe témoin, même si des fonds sont disponibles. De nombreuses zones concernées par le projet évalué présentent des caractéristiques uniques qui font qu’il est difficile de trouver des zones de contrôle comparables. Par exemple, le projet peut concerner toutes les communautés les plus pauvres, ou il a sélectionné toutes les communautés les plus dynamiques, ou n’est organisé que dans des districts où l’appui politique est solide et où l’administration locale s’est engagée à verser des fonds.

Dans d’autres cas, l’impact du projet concerne des sujets sensibles tels que l’autonomisation des femmes, l’utilisation de contraceptifs, la violence familiale ou communautaire ou la corruption, où l’information est difficile à recueillir même lorsque des fonds sont disponibles. Des problèmes de données similaires peuvent survenir lorsque le projet travaille avec des groupes difficiles à atteindre tels que les toxicomanes, les criminels, les minorités ethniques, les migrants et les migrantes, les résidents illégaux et les résident-e-s en situation irrégulière ou, dans certains cas, les femmes.

[…]