1. L’évaluation des programmes sociaux. Histoire, missions et théories

[Traduit de : Shadish, William R., Thomas D. Cook, Laura C. Leviton. 1991. Foundations of Program Evaluation : Theories of Practice. London: Sage. Excerpts from chapter 1 « Social program evaluation : its history, tasks, and theory », p. 19-35. Traduction par Carine Gazier et Anne Revillard; traduction et reproduction du texte avec l’autorisation de Sage Publications.]

Tout peut s’évaluer – y compris l’évaluation elle-même. Ce livre traite de l’évaluation des programmes sociaux. Ces programmes, et les politiques sociales qui les engendrent et les justifient, visent à améliorer le bien-être d’individus, d’organisations et de la société en général. Il est dès lors utile d’évaluer dans quelle mesure un programme social donné accroît effectivement le bien-être, comment il le fait et comment il peut le faire de manière plus efficace.

Une telle réflexion est urgente, car nous avons peu de critères clairs et partagés pour évaluer le mérite d’activités sociales. En quoi consiste « l’accroissement du bien-être »? Quelle que soit la façon dont on le définit, la définition n’est pas aussi partagée que ne l’est le critère du profit, utilisé pour évaluer les activités lucratives relevant du secteur privé. Même dans les rares programmes sociaux pour lesquels la plupart des parties prenantes s’accordent pour valoriser le même critère, ce critère n’aura jamais les mêmes propriétés pratiques que le profit – sa métrique simple en termes de dollars et de cents, ou sa plasticité lui permettant de dénombrer des résultats de nature aussi différente que le nombre de personnes employées, d’heures travaillées ou le volume de produits expédiés. La plupart d’entre nous ont une perception intuitive de ce que l’argent « signifie », et de la valeur de différentes sommes d’argent. C’est moins souvent le cas concernant les résultats des programmes sociaux. La vision intuitive et la valeur comparée de différents volumes de cohésion familiale, de mobilité sociale, ou de frustration relative, ne sont pas aussi évidentes.

[…] Dans les vingt dernières années, les praticien-ne-s et les universitaires en évaluation de programmes se sont attelé-e-s à ces tâches et à d’autres qui leur sont liées. Dans un premier temps, ils ont commencé par emprunter des concepts et des pratiques à d’autres champs, notamment aux disciplines universitaires au sein desquelles ils et elles avaient été formé-e-s. Mais au fil que l’expérience en évaluation de programmes s’est accumulée, les évaluatrices et évaluateurs ont adapté ces concepts et ces méthodes, en ont inventé d’autres, et les ont combinées dans de nouvelles manières de pratiquer l’évaluation. De façon très nette, l’évaluation des programmes sociaux est un champ guidé par la pratique. […]

L’évaluation de programmes rejoint la médecine ou l’ingénierie dans l’accent qu’elle met sur la pratique. Pour autant, ces trois champs prennent aussi appui sur des théories qui n’ont pas de dimension immédiatement pratique. Les médecins apprennent les fondements de l’anatomie et de la physiologie, non pour y trouver des outils de pratique, mais pour comprendre les systèmes au sein desquels leur pratique se déploie […]. Les ingénieurs et ingénieures apprennent la physique, non pour disposer du mode d’emploi pour construire des fusées, mais parce que la physique leur donne les concepts dont ils et elles ont besoin pour comprendre et résoudre des problèmes dans le cadre de leur travail. On peut faire des observations similaires sur d’autres champs orientés vers la pratique. Ils tirent leurs théories fondamentales d’autres disciplines, mais utilisent ces savoirs et leurs propres expériences de résolution des problèmes pour développer des théories spécialisées adaptées spécifiquement aux exigences pratiques de leur travail. Ce serait une grosse erreur que de suggérer que la médecine ou l’ingénierie pourraient fonctionner sans de telles théories. De la même façon, c’est une erreur que de négliger l’importance de la théorie en évaluation de programmes. […]

Contexte et histoire de l’évaluation des programmes sociaux

[…] Nous allons nous intéresser aux théories et aux pratiques en évaluation depuis les années 1960, notamment concernant l’évaluation des politiques sociales. Ces efforts ont des origines intellectuelles dans des travaux antérieurs, notamment ceux de Tyler (1935) en éducation, de Lewin (1948) en psychologie sociale, et de Lazarslfeld (Lazarsfled et Rosenberg, 1955) en sociologie. Ils s’inscrivent aussi dans le contexte de la croissance économique rapide aux États-Unis après la Seconde Guerre mondiale, puis du rôle interventionniste pris par le gouvernement fédéral états-unien en matière de politiques sociales dans les années 1960, et enfin du nombre croissant de diplômé-e-s de sciences sociales intéressé-e-s par l’analyse des politiques publiques, les enquêtes quantitatives, les expériences de terrain, et l’ethnographie. Tous ces éléments ont posé le cadre de l’évaluation de programmes telle qu’elle se pratique aujourd’hui.

Les années 1960 et la « Great society »

L’évaluation des programmes sociaux telle qu’elle se pratique aujourd’hui a émergé dans les années 1960. Son développement résulte largement des politiques sociales initiées sous la présidence Kennedy et étendues sous les présidences Johnson et Nixon. Des programmes sociaux ont alors été lancés en matière d’éducation, de garantie du revenu, de logement, de santé et de droit pénal, principalement dans l’espoir de protéger les Américains des effets négatifs de la pauvreté. La plupart de ces programmes ont été déployés très rapidement, en engageant d’énormes budgets, et ont été accompagnés de grandes attentes. […]

Ces investissements considérables ont suscité d’importantes questions. Le Parlement se préoccupe du fait que les bénéficiaires de fonds fédéraux rendent compte de la façon dont ils les dépensent, en se souciant notamment de pouvoir anticiper l’évolution des dépenses et empêcher le versement de prestations indues. Mais le Parlement aspire aussi à ce que les programmes produisent certains des effets attendus tout en évitant le plus possible les effets secondaires négatifs. Jusqu’aux programmes sociaux des années 1960, ces fonctions parlementaires existaient plus sur le papier qu’en pratique. La croissance rapide du financement fédéral des programmes sociaux, mais aussi la couverture médiatique de cas de fraude, d’abus et de mauvaise gestion, ainsi que les réticences courantes envers la légitimité des programmes sociaux, ont poussé plusieurs parlementaires à investir ces fonctions de contrôle et de surveillance. Ces préoccupations ont augmenté au fil du temps, au fil de l’accroissement des budgets de défense, du taux d’inflation, et du déficit. Dans ce contexte, les défenseurs et défenseuses des programmes sociaux ont été de plus en plus appelé-e-s à démontrer que les fonds liés à chaque programme avaient bien été dépensés comme prévu, et de façon à produire des résultats souhaitables.

Mais le développement de l’évaluation a aussi été encouragé par un autre type de préoccupation politique. Certain-e-s observateurs et observatrices estimaient que les projets étaient mis en œuvre, au niveau local, selon des modalités ne correspondant pas aux intentions du gouvernement fédéral (Cronbach et al., 1980; Cumming, 1976; House, 1980). Les parlementaires et agent-e-s de l’Exécutif au niveau fédéral voulaient se donner plus de prise sur ces projets, afin d’en assurer un meilleur contrôle. Inversement, d’autres percevaient ces nouvelles initiatives fédérales comme une menace sur l’autonomie du niveau local; leur objectif était de documenter les effets bénéfiques de projets contrôlés localement (Feeley et Sarat, 1980). Dans les deux cas, un rôle important était assigné à l’évaluation, que ce soit pour déplorer l’existence de variations locales ou à l’inverse pour en faire l’éloge.

Des enjeux de gestion ont aussi nourri l’essor de l’évaluation. L’investissement fédéral massif dans les politiques sociales était un phénomène nouveau; peu de gestionnaires de ces nouveaux programmes avaient une expérience préalable en la matière. Le simple fait de lister les activités effectivement mises en œuvre dans le cadre d’un nouveau programme social donné était déjà en soi une tâche énorme. La mise en œuvre étant une condition nécessaire de l’effectivité du programme, les gestionnaires avaient besoin de telles données pour mieux gérer les programmes et pour répondre à diverses demandes d’information venant du parlement, de cadres de l’administration, d’acteurs locaux, et de professionnel-le-s des médias (Wholey, 1983).

Enfin, certaines préoccupations étaient d’ordre plus intellectuel. Des analystes critiques ont rapidement identifié certains problèmes liés aux programmes sociaux. Ils ont voulu mettre en discussion le processus de résolution des problèmes sociaux qui sous-tendait la conception de ces programmes, critiquer les anciennes hypothèses à cet égard et en développer de nouvelles. Pour cela, ils avaient besoin d’évaluations de la réussite de ces programmes, de données sur les raisons du succès et de l’échec, et ils ont aussi cherché à identifier des modalités par lesquelles les objectifs de ces programmes sociaux auraient pu être atteints par l’intermédiaire d’acteurs non gouvernementaux. Ces objectifs dépassaient l’évaluation de programmes spécifiques, mais une telle évaluation était un prérequis de la démarche.

Qui allait répondre à ces demandes?

Le secteur public manquait de procédures assez développées pour répondre à ces attentes d’évaluation. Il n’y avait pas, dans les programmes sociaux, l’équivalent des fonctions et des professions qui fournissent habituellement ce type de connaissances et de retour sur l’activité dans le secteur privé. Des comptables indépendant-e-s travaillant pour des organisations certifiées vérifient de façon usuelle les comptes des entreprises pour déterminer leur profit et préciser leurs obligations fiscales. Le résultat de leur travail est rendu public, afin que les actionnaires et les agent-e-s de l’administration fiscale puissent juger de la façon dont les entreprises remplissent leurs obligations. Il leur arrive aussi de fournir ce type de données pour des services particuliers d’une entreprise, pour aider à diagnostiquer des problèmes et des réussites, afin d’améliorer le fonctionnement. Des entreprises de conseil en management s’efforcent aussi d’améliorer le fonctionnement des organisations; leur travail va au-delà de la comptabilité et de l’audit financier. Enfin, de nombreuses entreprises ont leurs propres départements de recherche et développement, avec des fonctions de recherche, de développement des produits, et d’essais avant commercialisation. Dans le secteur privé, ces trois fonctions – dresser le bilan des réussites, améliorer le fonctionnement, et développer de nouveaux produits – sont généralement reconnues comme des activités importantes qui dépendent d’un travail d’évaluation. Il n’y a donc rien d’étonnant à ce que des comptables, des consultant-e-s en management, et des spécialistes de recherche et développement, se soient spécialisé‑e‑s dans ce type d’activités.

Dans le secteur public, on trouve quelques spécialistes qui remplissent ces trois fonctions : des contrôleurs dans l’administration fiscale et budgétaire, des économistes dans les ministères, des analystes de la planification et des systèmes au département de la défense, et des spécialistes du budget partout. Mais ces spécialistes se sont trouvés dépassés quand il s’est agi d’évaluer les programmes sociaux. L’administration manquait de personnel pour répondre à la demande d’évaluation […].

De plus, les compétences disponibles au sein de l’administration n’étaient pas toujours pertinentes pour une évaluation des programmes sociaux. Les spécialistes de la planification et des systèmes pouvaient prévoir les effets de nouvelles initiatives, mais avaient peu de formation pour fournir des évaluations rétrospectives du fonctionnement et des conséquences de programmes sociaux existants, à partir des expériences de terrain (Wholey et al., 1970). Des économistes pouvaient facilement fournir une analyse coûts-bénéfices d’un projet hydraulique, mais se sont retrouvé-e-s plus désemparés lorsqu’il s’est agi de mesurer des conséquences d’ordre social telles que l’amélioration de la stabilité familiale ou de l’éducation. Dès lors, les méthodologies existantes en comptabilité, en audit, en enquête quantitative et en prévision menaient à des conclusions plus fragiles lorsqu’on les appliquait au secteur social. De plus, si l’on dispose de théories solides en sciences physiques pour aider à la résolution des problèmes dans les programmes d’ingénierie, et de théories solides en biologie pour aider la médecine, on a beaucoup moins de théories solides dans les sciences sociales. Ceci rend plus difficile la conception de programmes sociaux pour résoudre des problèmes sociaux.

À la fin des années 1960, la demande d’évaluation des programmes sociaux excédait l’offre de personnel ayant des compétences adaptées. Cette demande a attiré vers l’évaluation de nombreux diplômés d’écoles professionnelles et de départements de sciences sociales. L’enseignement supérieur de niveau Master s’est très rapidement développé pendant cette période […] et le développement des emplois dans le monde académique n’a pas été aussi rapide. […] Dans ce contexte, la pratique professionnelle de l’évaluation est devenue pour les diplômé-e-s une alternative viable à l’emploi académique. Dès lors, l’évaluation répondait à la fois à un besoin de l’époque, et à l’existence d’une offre de travail, ce qui a conduit au développement d’une profession de l’évaluation.

Les fondements structurels de la profession

L’évaluation est une profession au sens où elle partage certains attributs avec d’autres professions et se distingue en ceci de disciplines purement académiques telles que la psychologie ou la sociologie. Bien qu’elles puissent avoir des fondements et des membres dans le monde académique, les professions se distinguent par le fait qu’elles sont économiquement et socialement structurées de façon à se dédier principalement à l’application pratique des savoirs dans un domaine circonscrit, en mobilisant des financements socialement perçus comme légitimes (Austin, 1981). Les professionnel-le-s ont des contraintes plus fortes que les académiques concernant les activités qu’ils peuvent assumer, et ils développent généralement des normes de pratiques, des codes éthiques, et d’autres contraintes professionnelles. L’évaluation de programmes n’est pas complètement professionnalisée comme le sont la médecine ou le droit; elle ne dispose pas d’un système de licence juridiquement réglementé, par exemple. Mais elle tend vers la professionnalisation plus que d’autres disciplines. Le principal moteur de l’établissement de l’évaluation en tant que pratique professionnelle a probablement été la législation fédérale qui a rendu les évaluations obligatoires et les a financées. […]

[Si la demande d’évaluation a été forte dans les années 1960 et 1970,] les années 1980 ont vu un déclin dans les financements dédiés à l’évaluation. Selon Cronbach, ce déclin avait commencé à la fin des années 1970 et s’est accentué dans les années 1980, dans le contexte des restrictions budgétaires de l’administration Reagan. Les agences fédérales d’évaluation ont été particulièrement touchées. […] Mais malgré ce déclin, l’évaluation reste une pratique importante.

En effet, les financements et les activités décrites ci-dessus ont donné à l’évaluation une crédibilité. Sur les effets de l’obligation d’une évaluation au niveau local en éducation, Wholey et White (1973) commentent : « L’impact majeur [de cette obligation légale d’évaluation au niveau local] a été une acceptation accrue de la démarche d’évaluation; « l’évaluation » est maintenant un terme familier pour les acteurs de l’éducation » (p. 73). Mais les initiatives fédérales n’ont pas seulement apporté à l’évaluation de la crédibilité. De la même façon que la psychologie clinique est devenue une profession par le biais des initiatives fédérales ayant suivi la Seconde Guerre mondiale (Sarason, 1981), les évaluateurs et évaluatrices ont reçu grâce au soutien fédéral l’appui institutionnel nécessaire pour le développement d’une nouvelle profession responsable de certaines tâches (l’évaluation des programmes sociaux) dans un secteur donné (les programmes sociaux publics), avec une base de financement (le financement des fonctions évaluatives) et une légitimité sociale (par le biais du besoin d’évaluation formulé par le gouvernement) (Austin, 1981). Sans ce soutien, l’évaluation aurait pu n’exister que comme une petite discipline académique appliquée, à l’instar de la psychologie communautaire (Heller et Monahan, 1977) ou de la sociologie clinique (Glassner, 1981).

La réponse de l’évaluation

La professionnalisation de l’évaluation. Toute profession se fonde sur un corpus de savoirs unique et transmissible. Le corpus de savoir initial mobilisé par l’évaluation prenait beaucoup appui sur des méthodes et théories préexistantes venant de pratiquement toutes les sciences sociales. Des corpus de savoir plus spécialisés ont émergé au fil de l’approfondissement de l’expérience en évaluation. Cet ouvrage s’intéresse à ces corpus plus spécifiques à l’évaluation. Pour développer et transmettre ces savoirs, certaines universités ont lancé des centres ou des programmes diplômants en évaluation (Evaluation research society, 1980). Selon Wortman (1983a), le premier de ces programmes a ouvert en 1973 – il fait probablement référence au programme doctoral et postdoctoral de formation en évaluation de l’université de Northwestern, où il enseignait. D’autres universités ont formé des évaluateurs par le biais de formations doctorales adjacentes. Par exemple, entre 1966 et 1986 le Centre pour la recherche en pédagogie et en évaluation des programmes d’enseignement à l’Université de l’Illinois (CIRCE) a formé 49 docteur‑e‑s spécialisé‑e‑s en mesure et en évaluation. De nombreux évaluateurs et évaluatrices professionnel-le-s n’ont pas de doctorat, mais la plupart ont au moins un diplôme de Master dans un domaine connexe, comme l’administration publique par exemple (Shadish et Epstein, 1987).

Un autre indice de professionnalisation est la création d’annuaires professionnels, de sociétés savantes, de revues, et de normes professionnelles (Austin, 1981). L’annuaire professionnel du champ était le Evaluation studies review annual, publié pour la première fois en 1976 (Glass, 1976) puis annuellement jusqu’en 1987 (Shadish et Reichardt, 1987). Les revues en évaluation existent pour l’ensemble du champ (Evaluation review, Evaluation practice, Evaluation and program planning), mais aussi pour des secteurs spécifiques tels que la santé ou l’éducation (Evaluation and the health professions, Evaluation and educational policy). En 1976 deux sociétés professionnelles ont été fondées, la société de recherche en évaluation et le réseau en évaluation; en 1985, ils ont fusionné pour former l’Association américaine d’évaluation, avec environ 3 000 membres et des conférences annuelles auxquelles participent entre 500 et 1 000 personnes (American Evaluation Association, 1986). Finalement, des normes de pratique ont été développées, impliquant des seuils de compétences minimales pour les évaluateurs (Rossi, 1982b).

Diversité des pratiques professionnelles. Les évaluateurs et évaluatrices ont répondu aux demandes d’évaluation du gouvernement de trois manières (Cook et Buccino, 1979). Premièrement, certaines entreprises spécialisées dans la recherche contractuelle se sont rapidement spécialisées dans la réponse à des appels d’offres en évaluation. Certaines d’entre elles se sont développées jusqu’à inclure 800 professionnels dotés de doctorat. En 1970, plus de 300 entreprises étaient qualifiées pour recevoir les appels d’offres fédéraux en évaluation (Wholey et al., 1970). Deuxièmement, des chercheurs et des chercheuses au sein des universités ont obtenu des contrats et des financements pour réaliser des évaluations; certain-e-s ont aussi travaillé comme consultant-e-s auprès de cabinets privés en évaluation. Ces chercheuses et chercheurs ont participé au développement des théories et des méthodes en évaluation. Troisièmement, des services spécialisés en évaluation ont été mis en place au sein des administrations fédérales, étatiques et locales, dans le but de répondre plus rapidement et précisément aux besoins d’information des gestionnaires de programmes.

Dans ces différents cadres, un nombre considérable d’études a été mené en évaluation. […] Ces évaluations étaient très diverses. Elles répondaient à des demandes à différents niveaux de gouvernement. […] Les évaluateurs et évaluatrices ont aussi développé des spécialisations thématiques différentes, incluant l’éducation, la santé publique, la justice pénale, la médecine, la participation au marché du travail, la garantie du revenu, la nutrition, la sécurité routière, l’aide internationale, la santé mentale, et bien d’autres secteurs. Une tâche importante pour ces professionnel-le-s consiste à rester à jour dans leurs domaines de spécialité (Light, 1983; Shadish, et Reichardt 1987).

Mais surtout, les activités menées étaient si différentes qu’il était souvent difficile d’identifier ce qu’elles avaient de commun. Certain-e-s évaluateurs et évaluatrices ont développé des systèmes d’information et de gestion visant à fournir rapidement des données sur le fonctionnement des programmes […]. D’autres ont mené des études de cas et des observations participantes dans la tradition de la sociologie et de l’anthropologie (Guba et Lincoln, 1981). D’autres encore ont lancé des expérimentations sociales de grande échelle, au sein desquelles certaines unités étaient aléatoirement assignées à différents types de traitements, comme dans le cas de l’impôt négatif sur le revenu expérimenté dans le New Jersey (Rossi et Lyall, 1978) […]. Cette diversité a pu conduire un observateur à commenter : « l’évaluation – plus que tout autre science – est-ce que les gens disent que c’est; et les gens actuellement disent que c’est beaucoup de choses différentes » (Glass et Ellett 1980 : 211).

Cette diversité a aussi été alimentée par les financeurs, qui exigeaient des activités de types différents sous la même rubrique d’évaluation. Les évaluateurs ont répondu avec différents cadres et méthodes disciplinaires, et les programmes étudiés avaient par ailleurs des liens théoriques substantiels avec de nombreux champs différents des sciences sociales et divers champs professionnels. Cette diversité persiste à ce jour, faisant en sorte qu’il est difficile pour les évaluateurs et évaluatrices de se mettre d’accord sur ce que devrait être la pratique d’évaluation, et pourquoi. […] Progressivement, des théories englobantes relatives à l’évaluation des programmes sociaux se sont efforcées d’intégrer cette diversité dans un tout cohérent pour aider les praticiens à comprendre le champ et à améliorer leur pratique.

Les théories en évaluation : de la diversité à l’intégration

[…] L’évaluation est peut-être la spécialité méthodologique la plus large. Sa théorie inclut un large éventail de décisions relatives à la forme, à la conduite et aux effets d’une évaluation. La théorie en évaluation a trait aux méthodes, mais ne s’y limite pas. Pour informer les évaluateurs dans leur choix des méthodes, cette théorie mobilise aussi la philosophie des sciences, l’analyse des politiques publiques, ainsi que des théories relatives à la valeur et à l’utilisation.

Sans ces théories spécifiques, l’évaluation de programmes ne serait qu’un vague ensemble de chercheuses et de chercheurs affilié-e-s à différentes disciplines, et cherchant à appliquer des méthodes de sciences sociales à l’étude des programmes sociaux. Or l’évaluation de programmes est plus que cela, plus que de la méthodologie appliquée. Les évaluateurs et évaluatrices sont progressivement en train de développer un corpus unique de connaissances qui différencient l’évaluation d’autres domaines tout en confirmant sa place à côté de ceux-ci. L’évaluation est diverse de nombreux points de vue, mais elle trouve un potentiel d’unité intellectuelle dans ce que Scriven appelle « la logique de l’évaluation », qui permet de surmonter les frontières disciplinaires séparant les évaluateurs.

[…] La première tentative d’intégration théorique au sein de ce champ a été le fait de Suchman (1967), dont les idées coïncidaient partiellement avec celles, plus influentes, de Campbell (1969, 1971). Tous deux étaient plus intéressés par le fait de répertorier, à destination des concepteurs des politiques publiques, les réussites des programmes existants dans le secteur public, que par la collecte d’informations pour aider des praticiens au niveau local. Ce qui les intéressait le plus était d’évaluer la pertinence de nouvelles idées qui pourraient être incorporées dans les programmes existants ou dans de nouveaux programmes. La réforme était le mot d’ordre, avec l’idée de tester de nouvelles approches audacieuses; l’évaluation de changements marginaux apportés à des programmes existants était moins valorisée; l’évaluation de pratiques locales pour des raisons locales était globalement négligée.

Avec le temps, les théories en évaluation ont évolué et se sont diversifiées pour refléter l’expérience pratique accumulée. La focale s’est déplacée de l’étude exclusive des résultats à des questionnements plus englobants intégrant la question de la qualité de la mise en œuvre ainsi que les processus causaux médiant l’impact des programmes (Sechrest et al., 1979). Le recours exclusif aux études quantitatives a cédé le pas à des approches plus diversifiées incluant les méthodes qualitatives (Guba et Lincoln, 1981). Alors que les responsables politiques étaient initialement les seuls à l’origine des questions évaluatives et destinataires des résultats, de plus en plus de parties prenantes ont été intégrées à la réflexion (les parties prenantes étant celle pour qui le programme ou son évaluation constitue un enjeu) (Carol H. Weiss, 1983a; 1983b). Aux préoccupations méthodologiques se sont ajoutées des questions relatives au contexte des pratiques d’évaluation, et à la façon de faire une place aux résultats de l’évaluation dans des systèmes très politisés et décentralisés (Cronbach et al., 1980). Les théories actuelles en évaluation couvrent plus de sujets, ont un meilleur sens des complexités qui pèsent sur la pratique de l’évaluation, et intègrent mieux la diversité de concepts, de méthodes et de pratiques qui traversent le champ (voir par exemple Cronbach, 1982b; Rossi et Freeman, 1985).

[…] Finalement, pourquoi écrire sur les théories en évaluation? Nous le faisons parce qu’il existe un déséquilibre en évaluation entre l’attention importante prêtée aux méthodes et le manque d’attention accordée aux enjeux théoriques qui guident le choix des méthodes. Aucune méthode n’est appropriée partout et toujours. N’utiliser qu’une seule méthode, comme l’expérimentation ou les études de cas, induit des problèmes : par exemple, produire des données moins utiles, ou aboutir à des conclusions inexactes. La théorie en évaluation nous indique quand, où, et pourquoi certaines méthodes devraient être utilisées et d’autres non, en suggérant des séquences au sein desquelles certaines méthodes devraient être appliquées, des manières de combiner différentes méthodes, des types de questions auxquelles une méthode particulière répond plus ou moins bien, et les bénéfices que l’on peut attendre de certaines méthodes par rapport à d’autres. Les théories en évaluation sont comme la stratégie et la tactique militaires, là où les méthodes seraient les munitions et la logistique. Un bon chef ou une bonne cheffe d’armée a besoin de connaître la stratégie et les tactiques pour déployer ses munitions de façon adéquate ou pour organiser la logistique dans diverses situations. Pour la même raison, un bon évaluateur ou une bonne évaluatrice a besoin des théories pour savoir choisir et mettre en œuvre différentes méthodes.

[…] Ceci étant dit, toutes les praticiennes et tous les praticiens de l’évaluation en sont aussi des théoriciennes et théoriciens en herbe. Elles et ils réfléchissent à leur pratique, font preuve de jugement dans le choix de quelles méthodes utiliser dans quelle situation, pèsent les avantages et les inconvénients des choix auxquels elles et ils font face, et apprennent des succès et des échecs de leurs évaluations passées. En pratique, les concepts pragmatiques développés dans la pratique constituent probablement le fondement le plus solide des théories développées sur le plan académique.

Bibliographie

American Evaluation Association. 1986. « Membership directory (prepared by Evaluation Research Center, School of Education, University of Virginia) ».

Austin, David. 1981. « The development of clinical sociology ». Journal of Applied Behavioral Science 17 : 347‑50. doi : https://doi.org/10.1177/002188638101700309.

Campbell, Donald T. 1969. « Reforms as experiments ». American Psychologist 24(4) : 409‑29. doi : https://doi.org/10.1037/h0027982.

Campbell, Donald T. 1971. « Methods for the experimenting society ». Meeting of the Eastern Psychologial Association. New York.

Cook, Thomas D., et Alphonse Buccino. 1979. « The social scientist as a provider of consulting services to the federal government ». in The psychological consultant, édité par J. J. Platt et R. J. Wicks. New York: Grune & Stratton, p. 103‑34.

Cronbach, Lee J., Sueann R. Ambron, Sanford M. Dornbusch, Robert D. Hess, Robert C. Hornik, Denis Charles Phillips, Decker F. Walker et Stephen S. Weiner. 1980. Toward Reform of Program Evaluation. San Francisco: Jossey-Bass.

Cronbach, Lee Joseph. 1982b. « In praise of uncertainty ». in Standards for evaluation practice, édité par P. H. Rossi. San Francisco: Jossey-Bass, p. 49‑58.

Cumming, J. H. 1976. « What Congress really wants: A guide to evaluating program effectiveness with examples from the Canadian context ». in Trends in mental health evaluation, édité par E. W. Markson et D. F. Allen. Lexington: Rowman & Littlefield, p. 61‑70.

Evaluation research society. 1980. Directory of evaluation training. Washington, DC: Pintail Press.

Feeley, Malcom, et Austin D. Sarat. 1980. The policy dilemma: Federal crime policy and the Law Enforcement Assistance Administration, 1968-1978. Minneapolis: University of Minnesota Press.

Glass, Gene V. 1976. Evaluation studies review annual. Vol. 1. Beverly Hills: Sage Publications.

Glass, Gene V., et F. S. Ellett. 1980. « Evaluation research ». in Annual review of psychology. Vol. 31, édité par M. R. Rosenzweig et L. W. Porter. Palo Alto: Annual Reviews, p. 211‑28.

Glassner, Barry. 1981. « Clinical applications of sociology in health care ». Journal of Applied Behavioral Science 17 : 330‑46. doi : https://doi.org/10.1177/002188638101700308.

Guba, Egon G., et Yvonne S. Lincoln. 1981. Effective evaluation: Improving the usefulness of evaluation results through responsive and naturalistic approaches. San Francisco: Jossey-Bass.

Heller, Kenneth, et Jonathan T. Monahan. 1977. Psychology and community change. Homewood: Dorsey.

House, Ernest R. 1980. Evaluating with validity. Beverly Hills: Sage Publications.

Lazarsfled, Paul F., et Morris Rosenberg. 1955. The language of social research. Glencoe: Free Press.

Lewin, Kurt. 1948. Resolving Social Conflicts, Selected Papers on Group Dynamics (1935-1946). New York: Harper & Brothers.

Light, Richard J. 1983. Evaluation studies review annual. Vol. 8. Beverly Hills: Sage Publications.

Rossi, Peter H. 1982b. Standards for evaluation practice. San Francisco: Jossey-Bass.

Rossi, Peter H., et Howard E. Freeman. 1985. Evaluation: A systematic approach. 3e éd. Beverly Hills: Sage Publications.

Rossi, Peter H., et K. C. Lyall. 1978. « An overview evaluation of the NIT Experiment ». in Evaluation studies review annual. Vol. 3, édité par T. D. Cook, M. L. DelRosario, K. M. Hennigan, M. M. Mark et W. M. K. Trochim. Beverly Hills: Sage Publications, p. 412‑28.

Sarason, Seymour B. 1981. « An asocial psychology and a misdirected clinical psychology ». American Psychologist 36(8) : 827‑36. doi : https://doi.org/10.1037/0003-066X.36.8.827.

Sechrest, Lee, S. G. West, Michael Phillips, R. Render et William Yeaton. 1979. « Some neglected problems in evaluation research: Strength and integrity of treatments ». in Evaluation studies review annual. Vol. 4, édité par L. Sechrest et Associates. Beverly Hills: Sage Publications, p. 15‑35.

Shadish, William R., et Roberta Epstein. 1987. « Patterns of program evaluation practice among members of Evaluation Research Society and Evaluation Network ». Evaluation Review 11 : 555‑90. doi : https://doi.org/10.1177/0193841X8701100501.

Shadish, William R., et Charles S. Reichardt. 1987. « The intellectual foundations of social program evaluation: The development of evaluation theory ». in Evaluation studies review annual. Vol. 12, édité par C. S. Reichardt et W. R. Shadish. Newbury Park: Sage Publications, p. 13‑30.

Suchman, Edward A. 1967. Evaluative research: Principles and practice in public service and social action programs. New York: Russel Sage Foundation.

Tyler, Ralph. 1935. « Evaluation: A challenge to progressive education ». Educational Research Bulletin 14 : 9‑16.

Weiss, Carol H. 1983a. « The stakeholder approach to evaluation: Origins and promise ». in Stakeholder-based evaluation, édité par A. S. Bryk. San Francisco: Jossey-Bass, p. 3‑14.

Weiss, Carol H. 1983b. « Toward the future of stakeholder approaches in evaluation ». in Stakeholder-based evaluation, édité par A. S. Bryk. San Francisco: Jossey-Bass, p. 83‑96.

Wholey, Joseph S. 1983. Evaluation and effective public management. Boston: Little, Brown.

Wholey, Joseph S., John W. Scanlon, H. G. Duffy, James S. Fukumoto et L. M. Vogt. 1970. Federal evaluation policy: Analyzing the effects of public programs. Washington, DC: Urban Institute.

Wholey, Joseph S., et B. F. White. 1973. « Evaluation’s impact on Title I elementary and secondary education program management ». Evaluation 1 : 73‑76.

Wortman, Paul M. 1983. « Evaluation at the frontier: Some ‘timely’ comments for future use. »