1 El estudio de la evaluabilidad

La evaluación de la evaluabilidad es un proceso riguroso de recopilación y análisis de datos que permite garantizar que la evaluación del programa sea factible y que pueda producir resultados satisfactorios y útiles para las partes implicadas (Kaufman-Levy y Poulin 2003). Por “parte implicada” nos referimos a todas las personas o entidades con un interés particular en la implementación de un programa y su evaluación. La evaluación de la evaluabilidad también puede verse como una evaluación exploratoria o una actividad de evaluación previa que debería permitir el establecimiento de las condiciones óptimas para una evaluación formativa o sumativa formal (Leviton, Khan, Rog, Dawkins y Cotton 2010a). Los primeros borradores de la evaluación de la evaluabilidad se remontan a la década de 1970, cuando un grupo de investigadores del Urban Institute en Washington, Estados Unidos, implementó este enfoque en respuesta a las dificultades y desafíos encontrados en la evaluación de programas gubernamentales. Según estos investigadores, dichos programas se implementaron de manera insuficiente, eran demasiado incipientes para ser evaluados o tenían objetivos considerados poco realistas (Burrows, Bilodeau y Litvak 2012; Leviton, Khan, Rog, Dawkins y Cotton 2010 b; Nay y Kay 1982; Wholey 1976). Los críticos también se centraron en la discrepancia observada entre el programa evaluado y los resultados de esta evaluación (Leviton et al. 2010b). Posteriormente, se inició una reflexión sobre la capacidad de las evaluaciones, según fueron implementadas, para informar a quienes toman las decisiones sobre la formulación de políticas públicas y la necesidad de gastar muchos fondos en intervenciones con escaso impacto en la población diana (Trevisan y Yi 2003; Van Voorhis y Brown 1987). Es en este contexto en el que Horst y sus colegas se propusieron identificar las principales causas del fracaso de los programas y la incapacidad de la evaluación para satisfacer las necesidades de las partes implicadas (Horst, Nay, Scanlon y Wholey 1974). Este último recomendó que se llevara a cabo una evaluación previa de evaluabilidad, que aumentaría la capacidad de utilizar los resultados de la evaluación. Es esta actividad previa a la evaluación la que más tarde se llamó “evaluación de evaluabilidad” o “evaluación de la evaluabilidad”.

La realización de una evaluación de la evaluabilidad consiste en seguir los pasos descritos en los trabajos realizados tanto desde el ámbito académico como desde los organismos para el desarrollo (Trevisan y Walser 2014). A continuación se presenta la Tabla 1 con las cuatro etapas de una evaluación de la evaluabilidad según Dunn (2008), que se convierten en 10 según Smith (1989). La diferencia no está solo en el número de pasos a seguir, sino también en las primeras acciones a tomar. Así, Wholey (1987) propone comenzar involucrando a los posibles interesados ​​en el proceso, mientras que para Thurston y Potvin (2003), primero es necesario seleccionar a la persona responsable de llevar a cabo el evaluación de la evaluabilidad. Independientemente del orden de las diferentes etapas, Smith (1989; 1990) sugiere que las acciones a tomar deben guiarse por el contexto y los objetivos a conseguir.

Tabla 1 : Las etapas de la evaluación de la evaluabilidad de los programas según algunos autores (Adaptado de Trevisan y Walser (2014) y Soura, Bastien y Fallu (2016). * etapas añadidas en Wholey (2010))

Etapas	Strosberg y Wholey (1983)	Wholey (1987, 2010)	Rog (1985)	Smith (1989)
1	Definir los recursos, actividades, objetivos y resultados esperados del programa.	Hacer participar a los eventuales beneficiarios y partes implicadas	Analizar el programa	Definir la finalidad, asegurar adhesiones y compromisos, poner en marcha el grupo de trabajo
2	Acordar la descripción del programa con las partes implicadas	Clarificar la formulación del programa	Analizar la puesta en marcha del programa	Definir los límites del programa a evaluar
3	Definir el tipo de datos que hay que recoger	Explorar la realidad de la puesta en marcha del programa	Analizar el sistema de recogida de la información	Identificar y analizar la documentación del programa
4	Verificar la puesta en marcha real del programa	Analizar si el programa es plausible*	Analizar si los objetivos del programa son plausibles	Desarrollar el marco teórico del programa
5	Comprobar si los recursos y actividades previstas permiten alcanzar los objetivos	Tener en cuenta posibles variaciones en el programa o en su implementación *	Preparar variaciones del programa	Identificar las partes implicadas y mantener entrevistas con ellas
6	Definir si el programa dispone de un sistema de gestión de la información	Tener en cuenta las posibles formas de evaluar y el uso que se dará a los resultados	Describir el uso de los resultados de la evaluación	Describir la percepción de las partes implicadas en el programa
7	Definir la parte del programa que será evaluada en función de los objetivos identificados			Identificar las necesidades, intereses y deferencia en las percepciones de las partes implicadas
8	Identificar las opciones de evaluación y de gestión por parte de los responsables del programa			Determinar si el modelo de programa es factible
9				Sacar conclusiones y hacer recomendaciones
10				Planificar el uso de los resultados de la evaluación de la evaluabilidad

Tabla 1

Etapas	Thurston y Potvin (2003)	Dunn (2008)	Dunet et al. (2013)
1	Selección del evaluador responsable de realizar el estudio de evaluabilidad	Comprueba el modelo causal	Seleccione el área de práctica
2	Identificar a los interesados en el programa	Acordar el propósito de la evaluación del impacto	Identificar los programas
3	Identificar y analizar la documentación	Evaluar la viabilidad de un modelo alternativo	Recopilación de información y evaluación del valor del estudio de evaluabilidad
4	Desarrollando el modelo lógico del programa y el plan de evaluación	Identificar un equipo de evaluación local	Seleccione el/los programa(s) a ser evaluado(s)
5	Acordar el principio de la realización de una evaluación		Preparación de los equipos para las visitas sobre el terreno
6	Evaluar el tiempo y los recursos necesarios para la evaluación		Realizar visitas sobre el terreno
7			Preparar documentos de estudio de evaluabilidad
8			Determinar la posibilidad de una evaluación rigurosa

El primer modelo para realizar una evaluación de la evaluabilidad proviene de Wholey (1987), uno de los pioneros de este enfoque (Smith, 2005). Según él, una evaluación de la evaluabilidad debería permitir dar respuestas a cuatro cuestiones: 1) el marco teórico y el marco lógico son claros, es decir que los objetivos del programa y la información relevante están bien identificados y definidos; 2) los objetivos del programa son plausibles; 3) se pueden obtener datos relevantes del desarrollo del programa a un coste razonables; y 4) se aclara cómo los beneficiarios potenciales utilizan los resultados de la evaluación. Al cumplir estas cuatro condiciones, el evaluación de la evaluabilidad debería permitir, como señala Smith (1989), tomar una de las siguientes decisiones: 1) dejar de desarrollar el programa, 2) realizar cambios en él, 3) realizar una evaluación formal, 4) dejar las cosas en su estado original, o 5) ignorar los resultados de esta evaluación.

El evaluación de la evaluabilidad puede llevarse a cabo en un corto período de tiempo, entre unas semanas y uno o dos meses, antes de realizar una evaluación formal adecuada que pueda centrarse en el proceso y/o el impacto del programa. También se puede extender a lo largo del tiempo, dependiendo de las actuaciones a realizar y la disponibilidad de las partes implicadas. En la mayoría de evaluaciones de evaluabilidad se utilizan sobretodo datos cualitativos recopilados a través de entrevistas, revisión bibliográfica, grupos focales, visitas de campo y observación (Esher et al.2011). El trabajo en evaluación de la evaluabilidad con datos cuantitativos aún es escaso (Trevisan 2007). Sin embargo, debe recordarse que al realizar la evaluación de evaluabilidad, el método seleccionado se guiará en gran medida por imperativos logísticos, temporales y económicos.

Si, a primera vista, puede parecer innecesario realizar una evaluación de la evaluabilidad antes de una evaluación formal, esta actividad previa a la evaluación se recomienda cuando el programa a evaluar se califica como complejo (Contandriopoulos, Rey, Brousselle y Champagne 2012; Kania et al.2013; Ogilvie et al.2011; Rogers 2008; Touati y Suárez-Herrera 2012), cuando el marco teórico y el lógico no son claros, o cuando el programa está mal documentado (Dunet et al.2013; Rutman 1997). La evaluación de la evaluabilidad puede ayudar a desentrañar la maraña de esta complejidad, al promover la descripción detallada del programa y el uso de las herramientas necesarias para una evaluación posterior.

El evaluación de la evaluabilidad puede ser útil tanto para el programa, para quienes lo evalúan y quienes toman las decisiones (Soura, Dagenais et al., 2016). Hoy en día hay consenso en que realizar una evaluación de la evaluabilidad puede ser beneficioso durante la fase de desarrollo del programa, durante su implementación y durante la fase posterior a la implantación. Con respecto a los evaluadores, pueden beneficiarse de la evaluación de la evaluabilidad en el sentido de que es una forma rápida de comprender el estado de un programa, e identificar las prioridades de las partes implicadas antes de dedicar muchos recursos a su evaluación. Además, la evaluación de la evaluabilidad puede contribuir a mejorar la planificación de las actividades de evaluación. En cuanto a quienes toman decisiones, tienen la oportunidad de participar en el proceso de evaluación expresando su punto de vista y sus intereses. Además, la evaluación de la evaluabilidad permite a los gestores hacer una mejor distribución de los recursos económicos, materiales y humanos, al enfocar la evaluación solo en los aspectos del programa que puedan responder a los intereses de las partes implicadas.

Ejemplo de evaluación de la evaluabilidad: La Intervención en Red

El programa evaluado se llama Intervención de Red (IR). Es un programa de intervención destinado a evitar el uso de sustancias psicoactivas (SPA en sus siglas en francés) en las escuelas. Fue desarrollado por la Commission scolaire des Navigateurs de Lévis en Quebec, tras una amplia consulta con todos los actores ​​en el entorno escolar. Esta consulta destacó la importancia de implementar prácticas más innovadoras y adaptadas para evitar el uso de sustancias psicoactivas por parte del alumnado. La intervención desarrollada ponía énfasis en tres elementos fundamentales: la creación de un vínculo fuerte entre el alumnado y la persona responsable del desarrollo de las actividades, iniciar la intervención en la escuela primaria, dando continuidad hasta la secundaria (3er año) y desarrollar actividades inspiradas en el Enfoque de escuelas saludables (AES en sus siglas en francés) (Désy 2009).

Una primera versión del proyecto se lanzó al comienzo del año escolar 2007-2008 con financiación del Fondo, en colaboración con el Centro de Salud y Servicios Sociales (CSSS) de Grand-Littoral. Luego se realizó un estudio de viabilidad para validar y medir el potencial impacto de esta intervención. Se hicieron ajustes para conseguir el formato actual de esta intervención. Para la fase piloto, la intervención se llevó a cabo en cinco escuelas primarias y una escuela secundaria de la zona.

La intervención de red (IR) funciona según el modelo de gestora de casos (intérvenant/e pivot, IP en sus siglas en francés). Este modelo permite a una persona especialista coordinar varias acciones de diferentes entidades para encontrar una solución a una situación problemática (Farber, Deschamps y Cameron 2002; Canadian Breast Cancer Initiative 2002; Paradis, Racine y Ganó 2006). La intervención consiste en ubicar un/a IP en un centro de secundaria adscrito a un grupo de escuelas primarias ubicadas en el mismo área geográfica. Esta agrupación de escuelas secundarias y primarias se denomina red. El IP puede ser personal de la escuela en quien se delegan las tareas vinculadas a la intervención, o alguien a quien se contrata específicamente para desempeñar este papel. Se ubica normalmente en el centro de secundaria. Visitarán de forma regular las escuelas primarias que se les asignaron. Por lo tanto, el/la IP puede hacer un seguimiento del alumnado durante un período más o menos largo, en función de su continuidad en el centro de secundaria. Este procedimiento le permite desarrollar actividades en ambas etapas educativas (primaria y secundaria) y permite un mejor conocimiento del alumnado. Quienes están en riesgo, se identifican más fácilmente para un adecuado seguimiento. Más allá de esta presencia física, el/la IP también debe desarrollar actividades preventivas del consumo de SPA, con la colaboración de docentes y otros actores dentro de la escuela y la comunidad.

Para el alumnado del último ciclo de primaria, las actividades se centran en los talleres del Système C et D, dos programas que ya se utilizan en las escuelas de Quebec. En particular, se dirigen a los factores de riesgo y protección comunes en la prevención del uso de SPA entre la juventud, al promover la adquisición de hábitos de vida saludables, conocimiento y asertividad, manejo del estrés, reacción frente a la presión del grupo de iguales y los medios de comunicación, y la resolución de conflictos (Departamentos de salud pública de las agencias de servicios sociales y de salud en Montérégie de Laval y Outaouais, 2007). También hay actividades sobre la transición entre primaria y secundaria, por ejemplo, visitas y reuniones de alumnado de primaria con alumnado de secundaria y docentes, conocimiento del funcionamiento del centro de secundaria, etc. En el centro de secundaria (del primer al tercer año), el alumnado participa en actividades centradas en los talleres del programa APTE (Garand-Butcher 2014; Vaugeois, Germain y Cunha Rêgo 2008). Se trata de actividades relacionadas con las creencias sobre el consumo de SPA, el conocimiento de los niveles de riesgo, la presión del grupo y las pandillas callejeras. Se considera que estas actividades refuerzan los hábitos adquiridos en la escuela primaria y están dirigidas por el/la IP y otros actores implicados (docentes, educadores sociales, enfermeras, servicios comunitarios, policía, etc.). Las actividades ofrecidas al alumnado de primaria y secundaria se presentan en la Tabla 2.

Tabla 2 : Lista de actividades de la intervención en red

	Primaria (5º y 6º)	Secundaria (1º, 2º y 3º)
1.	Hábitos de vida saludables	Consumo de SPA y sus consecuancias
2.	Autoconocimiento y Asertividad	Hábitos de vida saludables
3.	Relaciones sociales y comunicación	Resistencia a la presión de grupo negativa
4.	Presión social, consumo y medios de comunicación	Relación docente-esudiante
5.	Ciberdelito	Violencia y ciberdelito
6.	Resolución de conflictos y gestión del estrés	Comprender la secundaria
7.	Preparación para la secundaria	Entrevistas individuales
8.	Actividades educativas y ocio	Actividades educativas y ocio

Se espera conseguir que, a corto plazo, la intervención mejore las habilidades sociales del alumnado, su manejo del estrés, su percepción de los riesgos del consumo de sustancias psicoactivas, promueva buenas relaciones entre docentes y alumnado, la habilidad para la resolución de conflictos y reduzca el nivel de exposición del alumnado al SPA. A medio plazo, se trata de retrasar la edad de inicio del consumo de SPA y prevenir el consumo excesivo y problemático de estas sustancias. El objetivo final de esta intervención es promover el éxito educativo del alumnado.

Datos para la evaluación de la evaluabilidad

Para llevar a cabo esta evaluación de la evaluabilidad, los datos cualitativos se obtuvieron principalmente de informantes clave seleccionados por su participación en el diseño y/o desarrollo de la intervención. La entrevista semiestructurada y el análisis documental fueron las principales estrategias de recogida de datos. El objetivo general era conocer el objeto de evaluación al inicio, antes de comenzar su evaluación en una fase posterior. En concreto, se trataba de comprender el marco teórico de la intervención, dado que la escasa documentación disponible en ese momento era ambigua al respecto. A partir de ahí, podríamos desarrollar el modelo lógico y determinar el enfoque de evaluación que incluyera el funcionamiento de la intervención y su posible impacto en la población diana.

Sobre la base de las cuatro condiciones descritas por Wholey (1987) y presentadas anteriormente, esta evaluación de la evaluabilidad tuvo como objetivo responder las siguientes preguntas:

• ¿Se presentan claramente los fines de sus promotores y los objetivos de la intervención?
• ¿Los objetivos de la intervención son plausibles a la luz del conocimiento existente y los recursos disponibles?
• ¿Se cumplen las condiciones para la recogida de datos para la evaluación?
• ¿Qué utilidad tendrán los resultados de la evaluación para las partes implicadas?

Para responder a estas preguntas, se llevó a cabo la planificación de actividades. Se tuvieron en cuenta los objetivos, el tipo de datos recogidos, las fuentes de datos, los participantes y el período de recogida. La recogida de datos se llevó a cabo en un mes, un año después del inicio de la puesta en marcha del programa, con los participantes como informantes clave. Esta planificación se presenta en la Tabla 3

Tabla 3. Planificación de las actividades de evaluación

Criterios de evaluación	Sujetos/items tenidos en cuenta	Fuentes de datos
Fines y marco lógico de intervención	Fines y objetivos de la intervención Actividades y recursos previstos y disponibles Población diana de la intervención Resultados esperados	Entrevistas Revisión bibliográfica
Factibilidad de los objetivos	Condiciones de puesta en marcha de la intervención Actividades previas realizadas Adecuación de los recursos a los resultados esperados	Entrevistas Revisión bibliográfica Cuaderno diario
Disponibilidad de datos	Identificación de un enfoque de evaluación de impacto y de proceso Tipo de datos disponibles o para recoger Actividades de seguimiento puestas en marcha Disponibilidad de información sobre las actividades	Entrevistas Diario de campo Informes de reuniones
Utilidad de la intervención y de los resultados de la intervención	Utilidad de la intervención para sus promotores Uso de los resultados de la evaluación	Entrevistas Informes de reuniones

Los datos recopilados se analizaron temáticamente en cuatro etapas. La primera etapa deductiva permitió indagar sobre cuestiones relacionadas con las condiciones del enfoque de la evaluación de la evaluabilidad según Wholey (1987). Un segundo paso, esta vez inductivo, estaba abierto a la aparición de nuevos temas (Saberi, Yuan, John, Sheon y Johnson 2013). Esta etapa permitió identificar temas relacionados con la satisfacción de los participantes con el desarrollo del programa y la buena colaboración con el IP. La tercera etapa consistió en agrupar todos los temas identificados en una matriz que permitía identificar subcategorías y citas textuales relevantes para el marco de análisis. Se realizó un reajuste para formar grupos grandes y más homogéneos. Finalmente, la cuarta etapa permitió extraer citas para ilustrar los resultados obtenidos. El procesamiento de datos se realizó utilizando el software de procesamiento de datos cualitativo QDA Miner. Antes de presentar los resultados obtenidos, se describen a continuación las diferentes etapas de la implementación de la evaluación de la evaluabilidad.

Puesta en marcha de la evaluación de la evaluabilidad

La realización de una evaluación de la evaluabilidad no es un fin en sí mismo. Esta actividad debe satisfacer una necesidad específica. En general, sirve para generar una evaluación susceptible de producir resultados útiles para las partes implicadas. En este sentido, puede permitir, como ya se ha mencionado, una buena comprensión del marco teórico de programa y el desarrollo del modelo lógico. Antes de realizar una evaluación de la evaluabilidad, sus méritos deben explicarse a quienes promueven el programa y a todas las entidades que podrían beneficiarse de los resultados obtenidos. Los límites de dicha actividad también deben presentarse, para no generar expectativas innecesarias. Una reunión informativa con los diferentes actores puede ser una excelente oportunidad para lograr este objetivo.

Además, dado que la evaluación de la evaluabilidad se puede comparar con un análisis del proceso de un programa, para saber si cumple con ciertos criterios antes de evaluarlo formalmente, solo se debe contar con quienes disponen de información del programa. Por lo tanto, debe garantizarse su disponibilidad, y que la documentación, si existe, esté a disposición del equipo de evaluación. Finalmente, el conocimiento exhaustivo del contexto organizativo y sociopolítico en el que se desarrolla el programa representa un activo importante para comprender la dinámica de la toma de decisiones; ello puede contribuir a adecuar las recomendaciones al contexto y que sean adoptadas por las partes implicadas.

Procedimiento y descripción de las etapas

La realización de una evaluación de la evaluabilidad implica varias etapas que se han descrito en la literatura. Varios autores presentan los diferentes pasos a seguir para realizar una evaluación de la evaluabilidad, como se ha mostrado en la Tabla 1 anteriormente. Por motivos pedagógicos y para cumplir con los objetivos de este libro, la siguiente sección describe los 10 pasos propuestos por Smith (1989) en el enfoque más exhaustivo. Estos mismos pasos se han descrito de manera simplificada en otros lugares (Trevisan y Yi 2003). Sin embargo, debe tenerse en cuenta que este no es un proceso lineal, por lo que no está de más volver a reformular los objetivos de la evaluación de la evaluabilidad, por ejemplo, mientras se realizan las entrevistas con las partes implicadas.

Definir la finalidad, asegurar adhesiones y compromisos, poner en marcha el grupo de trabajo

Es muy importante identificar la finalidad antes de iniciar una evaluación de la evaluabilidad. Esto permite aclarar las expectativas desde el principio y alentar la participación de las partes implicadas. También en esta etapa, la creación de un grupo de trabajo puede fomentar la participación de los implicados ​​y, por lo tanto, facilitar el desarrollo de las actividades. El grupo de trabajo establecido debe ser representativo de las diferentes entidades y pequeño, para permitir que funcione correctamente. En el caso presentado aquí, el grupo motor consistió principalmente en el diseñador de la intervención, el profesional clave y el evaluador principal. Se contactó a las otras entidades involucradas cuando surgió la necesidad, en particular para la validación del modelo lógico.

Definir los límites del programa a evaluar

La evaluación de la evaluabilidad se plantea como análisis de situación rápido de un programa antes de llevar a cabo una evaluación real. Como tal, no puede proporcionar respuestas para todo. Es importante establecer límites sobre lo que se puede y no se puede lograr en el tiempo disponible. Establecer límites puede ayudar a comprender mejor los objetivos de la evaluación de la evaluabilidad y evitar expectativas que no se puedan cumplir. En el caso presentado aquí, se trataba de comprender el programa en su totalidad, desarrollar el modelo lógico y proponer vías de evaluación del programa.

Identificar y analizar documentos relacionados con el programa

La consulta de la documentación sobre el programa es un paso importante en la realización de una evaluación de la evaluabilidad. Al inicio del proceso, es necesario identificar documentación que pueda proporcionar información útil sobre el programa y garantizar que está disponible. Se pueden incluir informes de reuniones, investigaciones o encuestas, solicitudes de financiación, normativa e incluso mensajes intercambiados entre las partes implicadas. Estos documentos permiten comprender la finalidad de quienes ponen en marcha el programa y la teoría del cambio promovida. No es raro, como en este caso, que se disponga de poca documentación sobre el programa. En ese caso, será necesario consultar a las personas responsables del desarrollo del programa para recoger información.

Desarrollar / aclarar el marco teórico del programa

Uno de los beneficios de realizar una evaluación de la evaluabilidad es la capacidad de clarificar el marco teórico del programa y desarrollar el modelo lógico. El marco teórico del programa define la forma en que los promotores quieren lograr sus objetivos. Explica cómo van a conseguirse los objetivos con los recursos disponibles, las estrategias adoptadas y las actividades realizadas. En muchas situaciones, este marco teórico no es explícito o se expresa de manera vaga o fragmentada. Sólo desentrañando y aclarándolo se puede comprender el programa en su totalidad. Una vez aclarado el marco teórico, es posible desarrollar el modelo lógico, que es una representación esquemática de la interacción causa-efecto prevista entre los recursos utilizados, las actividades realizadas y los resultados esperados a mediano, corto o largo plazo. También deben tenerse en cuenta los factores favorables o desfavorables que podrían influir en el desarrollo del programa, tanto en una dirección como en la otra. El desarrollo del modelo lógico debe realizarse consultando a las partes implicadas. En cualquier caso, la versión final rara vez se parece al modelo inicial, debido a las modificaciones sucesivas que se pueden hacer a medida que se clarifica el marco teórico.

Identificar y entrevistar a las partes implicadas

Identificar y entrevistar a las partes implicadas ​​es otro paso en la realización de una evaluación de la evaluabilidad, ya que estas personas pueden contribuir a una mejor comprensión del programa. Además, es gracias a su apoyo que el programa puede desarrollarse. Las entrevistas deben centrarse en lo que saben y perciben sobre el programa y su puesta en marcha. En el caso de IR, los entrevistados fueron identificados con la colaboración del IP que estaba en contacto directo con ellos. Una vez que estas personas han sido identificadas, es importante contactarlas con varios días de antelación para planificar la organización de las entrevistas.

Describir la percepción de las partes implicadas en el programa

Las entrevistas con las partes implicadas deben describir la percepción de estos informantes clave sobre el programa. Más allá de esta descripción, será necesario comparar los diferentes puntos de vista expresados ​​para obtener una mejor comprensión de los desafíos del programa a desarrollar o ya desarrollado.

Identificar las necesidades, intereses y diferencias en las percepciones de las partes implicadas

En esta etapa, corresponde al asesor y a su equipo identificar las diferencias y convergencias en las percepciones, necesidades e intereses de los diferentes actores. Se debe prestar especial atención a las discrepancias debido a sus posibles efectos negativos en el programa. Comprender las diferencias e intentar resolverlas, ayuda a evitar malentendidos y controversias que pueden surgir cuando se introducen innovaciones en las organizaciones.

Determinar si el modelo de programa es factible

Cuando se realiza correctamente, la revisión de la literatura y las entrevistas deberían ayudar a determinar si el programa y sus objetivos son factibles. Esta factibilidad está basada en los recursos disponibles, pero también en la revisión de la literatura. Se trata de indicar el grado en que el programa se desarrolla de manera correcta y suficiente, y si es probable que las actividades realizadas produzcan los resultados esperados.

Sacar conclusiones y hacer recomendaciones

La realización de una evaluación de la evaluabilidad debe conducir a la formulación de recomendaciones que puedan orientar las medidas que haya que adoptar. Estas conclusiones y recomendaciones deben ser específicas para el programa que se evalúa y extraerse solo de los datos disponibles.

Planificar el uso de los resultados de la evaluación de la evaluabilidad

El análisis de los datos recogidos debería permitir hacerse una idea de cómo se va a desarrollar el programa. Las recomendaciones hechas deben ir en la dirección de proponer modificaciones al programa y/o seguir adelante con una evaluación formal o no formal. También es posible que las conclusiones de una evaluación de la evaluabilidad recomienden interrumpir el programa, porque su marco teórico no está adaptado al contexto o a la población diana, pudiendo producir efectos lesivos. El programa también puede interrumpirse porque la evaluación de la evaluabilidad ha demostrado que no se está desarrollando según lo previsto.

Resultados obtenidos

Los resultados obtenidos en el marco de la evaluación de la evaluabilidad de la Red de Intervención se pueden agrupar en tres aspectos. Comencemos con el nivel de clarificación del marco teórico del programa. Al comienzo de las actividades de evaluación, se disponía de escasa documentación sobre el enfoque adoptado por sus promotores. Aunque los objetivos a alcanzar se hubieran presentado de forma clara, y hubo implicación de los actores para desarrollar el programa, pero la estrategia para lograr los objetivos no estaba tan clara. Además, algunos actores sobre el terreno no sabían a ciencia cierta lo que debía hacerse. La evaluación de la evaluabilidad también mostró que el desarrollo del programa no fue igual en todas las escuelas. Después de estas observaciones, se organizaron reuniones con las partes implicadas, durante las cuales se realizó una presentación más profunda del programa. A continuación, se le presentaron al IP los resultados de las consultas con otros actores, y se le trasladó la necesidad de documentar las actividades organizadas. Después de esto, se tomaron medidas para armonizar el grado de desarrollo en las escuelas participantes. Al mismo tiempo, se mejoró significativamente el seguimiento de las actividades.

Continuemos con el desarrollo del modelo lógico. Una vez que se aclaró el marco teórico del programa, fue más fácil desarrollar el modelo lógico, que no existía al comienzo de las actividades de evaluación. Se desarrolló después de un análisis de la documentación disponible y los debates con los promotores del programa. La versión inicial del modelo lógico sufrió varias modificaciones, antes de que se adoptara la versión final para respaldar la evaluación que debería llevarse a cabo (Soura, Bastien, et al.2016)

Finalmente, con respecto a la planificación de la evaluación, dado que el equipo responsable de la evaluación de la evaluabilidad era el mismo que debía llevar a cabo las actividades de evaluación propiamente dichas, se hicieron propuestas sobre los métodos para llevar a cabo esta evaluación. El debate con las partes implicadas y el análisis de la documentación, facilitaron la identificación del enfoque de evaluación a adoptar y el marco de análisis más apropiado para informar sobre el proceso de desarrollo del programa. De hecho, parecía que el desarrollo del programa en las escuelas había causado controversia entre ciertos actores. Al mismo tiempo, se trataba de un programa novedoso para todas las escuelas involucradas. Todo esto llevó al equipo de evaluación a prestar más atención a la forma en que los actores intervenían para desarrollar el programa, que al análisis de si se estaba desarrollando fielmente. Por lo tanto, se realizó una revisión de la literatura para identificar un marco analítico que tuviera en cuenta esta situación. Después de esto, se eligió la teoría del actor-red para servir como punto de referencia para la evaluación del proceso. Desarrollado inicialmente para el estudio de la introducción de innovaciones tecnológicas en las organizaciones, este marco analítico ha demostrado ser interesante, ya que también presta atención a las controversias que surgen durante el desarrollo de un programa.

Referente a la planificación de la evaluación, la realización de la evaluación de la evaluabilidad también permitió obtener una estimación cuasi-experimental de los efectos del programa en los participantes. Se prefirió esta estimación, obtenida antes de realizar la evaluación de la evaluabilidad, a un estudio aleatorizado, debido a los recursos disponibles y las limitaciones vinculadas al desarrollo del programa. Permite comparar el grupo de estudiantes que participaron en el programa (grupo de intervención) con otro grupo de estudiantes que no estuvieron expuestos a él (grupo control). La viabilidad de este componente cuantitativo de la evaluación también se abordó durante la evaluación de la evaluabilidad. Sin duda, llevar a cabo esta evaluación de la evaluabilidad contribuyó en gran medida a comprender mejor el programa y a desarrollar las herramientas necesarias para la evaluación que siguió. Esta experiencia nos permitió realizar un análisis reflexivo sobre la realización de una evaluación de la evaluabilidad.

Análisis reflexivo

Podemos extraer tres lecciones principales de la realización de esta evaluación de la evaluabilidad. La primera es que la evaluación de la evaluabilidad es un proceso participativo, que requiere una interacción constante entre el equipo de evaluación y las partes implicadas. Incluso si no es posible contar con su plena cooperación, es esencial y muy importante, al menos, que se establezca un proceso de validación de resultados, con el fin de recoger sus opiniones. Esto tiene la ventaja de maximizar las posibilidades de que se sigan las recomendaciones, especialmente cuando recomiendan cambios importantes en el desarrollo del programa, o una reorientación de sus objetivos. Además, la participación de las partes implicadas en la realización de la evaluación de la evaluabilidad, permite documentar mejor el programa y hacer recomendaciones contextualizadas.

En segundo lugar, realizar una evaluación de la evaluabilidad es beneficioso no solo para el equipo de evaluación, sino también para los propios profesionales, que tienen la oportunidad de reflexionar, contribuyendo a mejorar sus prácticas. Las etapas para llevar a cabo una evaluación de la evaluabilidad y las listas de verificación desarrolladas por los diferentes autores, son una buena forma de empezar, si no sabe por dónde empezar. Sin embargo, estas herramientas deben usarse de manera flexible y, sobre todo, adaptarse a la realidad y el contexto del programa que se va a evaluar, así como a la audiencia.

Tercero, incluso si los recursos son limitados, realizar una evaluación de la evaluabilidad, aunque solo sea a pequeña escala, puede ser muy beneficioso, tanto para el programa y sus promotores, como para el equipo de evaluación. Esta evaluación de la evaluabilidad fue una excelente manera de conocerse mejor todos los actores, antes de iniciarse la evaluación. Además, al alentar la participación de las partes implicadas, el evaluación de la evaluabilidad promueve su apropiación del proceso y, por lo tanto, representa un excelente ejercicio de empoderamiento de quienes no siempre tienen habilidades para evaluar el programa Si el tiempo lo hubiera permitido, y las condiciones de trabajo hubieran sido diferentes, un estudio más profundo hubiera permitido planificar mejor la evaluación para hacerla en menos tiempo.

Como se ha señalado ya, la evaluación de la evaluabilidad tiene fortalezas, pero también algunas debilidades. Como puntos fuertes, hay que tener en cuenta que la evaluación de la evaluabilidad facilita un proceso participativo, durante el cual interactúan todas las entidades involucradas en el programa y la evaluación. Al tener en cuenta los puntos de vista de las diferentes entidades, es posible mejorar el programa y proponer resultados de evaluación adaptados a las preocupaciones de sus beneficiarios. La evaluación de la evaluabilidad también ayuda a aclarar el marco teórico del programa y a desarrollar el modelo lógico. De hecho, gracias a la evaluación de la evaluabilidad, podemos lograr una mejor comprensión del marco teórico de un programa, y la finalidad que buscan sus promotores, lo que puede favorecer el desarrollo del modelo lógico que sigue siendo una herramienta esencial para la evaluación del programa. Otra ventaja de realizar una evaluación de la evaluabilidad es que puede contribuir a realizar mejoras sustanciales en el programa, ya sea en la fase de diseño o durante su desarrollo. Es un ejercicio que ahorra tiempo y recursos, ya que puede recomendar no realizar una evaluación, si no es útil para los implicados. Finalmente, el evaluación de la evaluabilidad puede facilitar la planificación de la evaluación futura, proponiendo estrategias e identificando enfoques y herramientas relevantes, para el contexto en el que se desarrolla el programa y para generar conocimiento útil para todas las partes implicadas.

La principal debilidad del evaluación de la evaluabilidad se refiere al hecho de que, dado que requiere un proceso participativo, también puede llevar mucho tiempo detectar que el grupo de trabajo creado no funciona de manera óptima, o si no hay acuerdo entre sus miembros, o si el número de personas a consultar es muy alto. El otro punto débil es que la evaluación de la evaluabilidad también puede exacerbar los desacuerdos y causar frustraciones en ciertos actores, especialmente cuando las expectativas no se cumplen. Por lo tanto, es muy importante consensuar los objetivos a alcanzar desde el inicio de este proceso. Además, es obvio que la realización de una evaluación de la evaluabilidad presenta desafíos dependiendo del contexto en el que se lleva a cabo.

El primer desafío al realizar este evaluación de la evaluabilidad fue el de poder movilizar a todas las partes implicadas, para que participaran en el proceso, dadas las limitaciones de tiempo vinculadas a las actividades lectivas. Como el programa se lleva a cabo en las escuelas, no siempre fue fácil para docentes y otros profesionales liberarse para participar en las entrevistas. Otro desafío en este proceso fue encontrar los recursos humanos y económicos necesarios para realizar el estudio de evaluabilidad, cuando no se incluyó en los objetivos iniciales de la evaluación. Es probable que esta situación, combinada con la larga distancia entre el lugar donde se ubicaba el programa y el lugar de trabajo de los evaluadores, haya alargado demasiado la realización del estudio de evaluabilidad. Cuando el estudio de evaluabilidad no es una de las preocupaciones de los actores implicados, puede ser difícil pedirles que esperen a los resultados estén disponibles antes de comenzar las actividades de evaluación propiamente dichas. Finalmente, sin haber sido necesariamente un desafío en la realización de esta evaluación de la evaluabilidad, pero que merece ser mencionado, el juego de poder de cómo conciliar los puntos de vista de los diferentes actores, especialmente cuando son divergentes. Esta es la razón por la cual, para terminar de manera exitosa una evaluación de la evaluabilidad, es fundamental que haya un buen facilitador de grupo que sepa negociar.

Conclusión

En resumen, hay que tener en cuenta que, en los últimos años, la evaluación de la evaluabilidad está siendo cada vez más utilizada. De hecho, desde que se inició, numerosos trabajos han contribuido a facilitar su aplicación, al proponer los pasos a seguir y las listas de verificación como guías. Sin embargo, su uso en el entorno de habla francesa sigue siendo limitado. No obstante, realizar una evaluación de la evaluabilidad es una forma interesante de mejorar la comprensión del programa a evaluar y el desarrollo de las herramientas necesarias para planificar futuras actividades de evaluación. Fue muy útil en varios aspectos en el contexto de la evaluación del programa utilizado aquí como ejemplo, primero, promoviendo el conocimiento del programa entre las partes implicadas, luego, permitiendo que se desarrolle el modelo lógico y, finalmente, ayudando a planificar actividades de evaluación. Los resultados obtenidos sugieren que hubiera sido difícil no hacerlo en un programa cuyo desarrollo fue un desafío para sus promotores.

Para los novatos en este enfoque, es posible utilizar los pasos y las listas de verificación propuestas por los autores. Sin embargo, debe tenerse en cuenta que en la realización de una evaluación de la evaluabilidad influyen las características del programa, de las partes implicadas en el proceso, así como el contexto en el que se lleva a cabo. Por tanto, puede ser necesario adaptar el proceso a estas realidades. Es posible que la evaluación de la evaluabilidad no pueda responder todas las preguntas, pero puede ser una alternativa útil para evitar el status quo o la realización de una evaluación cuyos resultados no puedan ser utilizados por ninguna de las partes.

Referencias clave

Lessard, S., Stich, C. et Montreuil, A. (2012). Évaluation de l’évaluabilité du Plan québécois de prévention du tabagisme chez les jeunes 2010-2015. Québec : Institut National de Santé Publique du Québec.

Este informe de investigación describe la realización de la evaluación de la evaluabilidad del Plan de prevención de tabaco juvenil de Québec 2010-2015. Primero presenta el mandato dado al equipo de evaluación, así como el método adoptado y los resultados obtenidos. Este es un documento excelente que muestra el proceso de validación del modelo lógico con actores clave.

Burrows, S., Bilodeau, A. et Litvak, E. (2012). Étude de la faisabilité de l’évaluation et des possibilités de recherche du Plan d’action montréalais 2012-2014 de la table régionale sur les saines habitudes de vie et la prévention des problèmes liés au poids – Phase 1. Montréal : Direction de santé publique, Agence de la Santé et des Services Sociaux de Montréal.

Este informe se refiere a una evaluación de la evaluabilidad realizado para determinar el potencial de investigación y/o evaluación de varios proyectos en el marco del Plan de Acción de Montreal de la Mesa regional sobre estilos de vida saludables y prevención de problemas relacionados con el peso. El documento proporciona una visión general de cómo se puede llevar a cabo una evaluación de la evaluabilidad para varios proyectos al mismo tiempo.

Trevisan, M. S. et Walser, T. M. (2014). Evaluability assessment : Improving evaluation quality and use. Thousand Oaks: SAGE Publications, Inc.

Este libro, en inglés, es uno de los más recientes y, por lo tanto, uno de los más actuales en la evaluación de la evaluabilidad. Los presentan dos de los autores más prolíficos en este enfoque. Lo que hace que sea interesante para consultar es la referencia a estudios de casos, que nos permiten comprender cómo realizar una evaluación de la evaluabilidad. Además, los autores abogan por un modelo de la realización de una evaluación de la evaluabilidad en cuatro etapas, e introducen en este trabajo otros conceptos fundamentales para la evaluación, como el desarrollo del programa, la evaluación formativa y de impacto.

Sitio Monitoring and Evaluation NEWS
http://mande.co.uk/category/lists/evaluability-assessments-bibliography/
https://www.zotero.org/groups/211251/evaluability_assessments/items

Este sitio web es el primero en enumerar trabajos que datan de los primeros momentos de desarrollo de la evaluación de la evaluabilidad, desde la década de 1970 hasta 2012. Este directorio está siendo actualizado por su autor y está disponible para consulta en la plataforma de gestión bibliográfica Zotero. Aunque la mayoría de los documentos están en inglés, es un gran recurso para cualquiera que desee localizar referencias de la evaluación de la evaluabilidad.

http://aea365.org/blog/tag/evaluability-assessment/

Este sitio es un blog de la American Evaluation Association específicamente dedicado a la evaluación de la evaluabilidad. Se trata de publicaciones muy cortas de profesionales o investigadores sobre sus experiencias en la realización de una evaluación de la evaluabilidad. Los autores se refieren a las lecciones aprendidas de estas experiencias, que pueden ser muy útiles para aquellos que desean realizar una evaluación de la evaluabilidad por primera vez.

Referencias

Burrows, S., Bilodeau, A. et Litvak, E. (2012). Étude de la faisabilité de l’évaluation et des possibilités de recherche du Plan d’action montréalais 2012-2014 de la table régionale sur les saines habitudes de vie et la prévention des problèmes liés au poids – Phase 1. Montréal : Direction de santé publique de l’Agence de la santé et des services sociaux de Montréal.

Contandriopoulos, A. P., Rey, L., Brousselle, A. et Champagne, F. (2012). Évaluer une intervention complexe : enjeux conceptuels, méthodologiques et opérationnels. La Revue Canadienne d’Évaluation de Programmes, 26(3), 1-16.

Craig, P. et Campbell, M. (2015). Evaluability assessment: a systematic approach to deciding whether and how to evaluate programmes and policies. Scotland : What Works Scotland.
http://whatworksscotland.ac.uk/wp-content/uploads/2015/07/WWS-Evaluability-Assessment-Working-paper-final-June-2015.pdf

Davies, R. (2013). Planning evaluability assessments: A synthesis of the literature with recommendations.UK : Department of International Development.

Désy, M. (2009). L’école en santé : recension des écrits. Montréal: Direction de santé publique de l’Agence de la santé et des services sociaux de Montréal.

Directions de santé publique des agences de la santé et des services sociaux de la Montérégie de Laval et de l’Outaouais. (2007). Système D : activités de développement des compétences en milieu scolaire pour la prévention des toxicomanies et de l’usage des jeux de hasard et d’argent dans le cadre de la transition du primaire au secondaire. Longueuil, QC.

Dunet, D. O., Losby, J. L. et Tucker-Brown, A. (2013). Using evaluability assessment to support the development of practice-based evidence in public health. Journal of Public Health Management and Practice, 19(5), 479-482.
doi: 10.1097/Phh.0b013e318280014f

Dunn, E. (2008). Planning for cost effective evaluation with evaluability assessment. Washington, DC: USAID.
http://pdf.usaid.gov/pdf_docs/PNADN200.pdf

Esher, A., dos Santos, E. M., Azeredo, T. B., Luiza, V. L., Osorio-de-Castro, C. G. S. et Oliveira, M. A. (2011). Logic models from an evaluability assessment of pharmaceutical services for people living with HIV/AIDS. Ciencia et Saude Coletiva, 16(12), 4833-4844.

Farber, J. M., Deschamps, M. et Cameron, R. (2002). Analyse et évaluation de la fonction d’intervenant-pivot en réponse aux besoins qu’éprouvent les Canadiennes atteintes d’un cancer du sein sur les plans de l’information, de l’éducation et de l’aide à la prise de décisions. Gouvernement du Canada.
http://publications.gc.ca/collections/Collection/H39-663-2002F.pdf

Garand-Butcher, C. (2014). Évaluation de l’implantation du programme Système D en Montérégie (Mémoire de maîtrise). Université de Montréal, Montréal, QC.

Horst, P., Nay, J. N., Scanlon, J. W. et Wholey, J. S. (1974). Program management and the federal evaluator. Public Administration Review, 34(4), 300-308.
doi:10.2307/975239

Initiative Canadienne sur le Cancer du Sein. (2002). Analyse et évaluation de la fonction d’intervenant-pivot en réponse aux besoins qu’éprouvent les Canadiennes atteintes d’un cancer du sein sur les plans de l’information, de l’éducation et de l’aide à la prise de décisions. Canada.

Kania, A., Patel, A. B., Roy, A., Yelland, G. S., Nguyen, D. T. K. et Verhoef, M. J. (2013). Capturing the complexity of evaluations of health promotion interventions: A scoping review. The Canadian Journal of Program Evaluation, 27(1), 65-91.

Kaufman-Levy, D. et Poulin, M. (2003). Evaluability assessment: Examining the readiness of a program for evaluation. Justice Research and Statistics Association, United States of America.
https://www.ncjrs.gov/App/Publications/abstract.aspx?ID=202398

Leviton, L. C., Khan, L. K., Rog, D., Dawkins, N. et Cotton, D. (2010a). Evaluability assessment to improve public health policies, programs, and practices. Annual Review of Public Health, 31, 213-233.
doi: 10.1146/annurev.publhealth.012809.103625

Nay, J. N. et Kay, P. (1982). Government oversight and evaluability assessment: It is always more expensive when the carpenter types. Lexington, MA: Lexington.

Ogilvie, D., Cummins, S., Petticrew, M., White, M., Jones, A. et Wheeler, K. (2011). Assessing the evaluability of complex public health interventions: Five questions for researchers, funders, and policymakers. The Milbank Quarterly, 89(2), 206-225.
doi: 10.1111/j.1468-0009.2011.00626.x

Paradis, M., Racine, P. et Gagné, D. (2006). Évaluation des interventions et des activités liées à la problématique de l’abus, la négligence et la violence à l’endroit des aînés. Québec: Direction régionale de santé publique de l’Agence de la santé et des services sociaux de la Capitale-Nationale.

Rog, D. J. (1985). A methodological analysis of evaluability assessment (Thèse de doctorat). Université Vanderbilt, Nashville, TN.

Rogers, P. J. (2008). Using programme theory to evaluate complicated and complex aspects of interventions. Evaluation, 14(1), 29-48.

Rutman, L. (1997). Formative research and program evaluability. Dans L. Rutman (dir.), Evaluation research methods: A basic guide (p. 59-71). Beverly Hills, CA : Sage Publications.

Saberi, P., Yuan, P., John, M., Sheon, N. et Johnson, M. O. (2013). A pilot study to engage and counsel HIV-positive African American youth via telehealth technology. AIDS patient care and STDs, 27(9), 529-532.

Smith, M. F. (1989). Evaluability assessment: A practical approach. Boston Norwell, Mass. : Kluwer Academic; Distributors for North America Kluwer Academic Publishers.

Smith, M. F. (1990). Evaluability assessment: Reflections on the process. Evaluation and Program Planning, 13(4), 359-364.
doi: 10.1016/0149-7189(90)90020-W

Smith, M. F. (2005). Evaluability assessment. Dans S. Mathison (dir.), Encyclopedia of evaluation (p. 137-140). Thousand Oaks, CA: Sage Publications.

Soura, B. D., Bastien, R. et Fallu, J.-S. (2016). Étude d’évaluabilité d’une intervention visant à prévenir l’usage de substances psychoactives lors de la transition primaire-secondaire. Revue Canadienne d’Évaluation de Programme, 31(2), 211-231.

Soura, B. D., Dagenais, C., Bastien, R., Fallu, J.-S. et Janosz, M. (2016). L’étude d’évaluabilité : pertinence pour l’évaluation de programme. Revue Canadienne d’Évaluation de Programme, 31(1), 18-33.

Thurston, W. E. et Potvin, L. (2003). Evaluability assessment: A tool for incorporating evaluation in social change programmes. Evaluation, 9(4), 453-469.

Touati, N. et Suárez-Herrera, J. C. (2012). L’évaluation des interventions complexes : quelle peut être la contribution des approches configurationnelles?. La Revue Canadienne d’Évaluation de Programmes, 26(3), 17-35.

Trevisan, M.S. (2007). Evaluability assessment from 1986 to 2006. American Journal of Evaluation, 28(3), 290-303.
http://doi:10.1177/1098214007304589

Trevisan, M. S. et Walser, T. M. (2014). Evaluability assessment : Improving evaluation quality and use. Thousand Oaks, CA: Sage Publications.

Trevisan, M. S. et Yi, M. H. (2003). Evaluability assessment: A primer. Practical Assessment Research et Evaluation, 8(20), 2-9.

Van Voorhis, P. V. et Brown, K. (1987). Evaluability assessment: A tool for program development in corrections. National Institute of Corrections.

Vaugeois, P., Germain, M. et Cunha Rêgo, L. (2008). Programme APTE (Rapport synthèse). Montréal : Centre québécois de lutte aux dépendances.

Wholey, J. S. (1976). Role of evaluation and evaluator in improving public programs: Bad news, good news, and a bicentennial challenge. Public Administration Review, 36(6), 679-683.
doi: 10.2307/975063

Wholey, J. S. (1987). Evaluability assessment: Developing program theory. New Directions for Program Evaluation, (33), 77-92.
doi: 10.1002/ev.1447

Wholey, J. S. (2010). Exploratory evaluation. Dans J. S. Wholey, H. P. Hatry et K. E. Newcomer (dir.), Handbook of practical program evaluation (p. 81-99). San Francisco, CA: Jossey-Bass.

Resumen / Résumé / Abstract

La realización de una Evaluación de la Evaluabilidad (EE) es un paso importante en la planificación de la evaluación real de una intervención o programa. Es un ejercicio que permite recopilar datos rápidamente sobre el progreso de un programa con el fin de tomar decisiones sobre posibles cambios o realizar una evaluación formal. En el caso presente, la EE se aplicó a un programa de prevención de abuso de sustancias basado en la escuela. Se describen las diferentes etapas de la conducción de una EE, los resultados obtenidos y las lecciones aprendidas. Además, se presentan las fortalezas y debilidades de la EE, como una fase previa a la evaluación de un programa, y los desafíos de su implementación.

***

Réaliser une étude d’évaluabilité (ÉÉ) est une étape importante permettant de planifier l’évaluation proprement dite d’une intervention ou d’un programme. C’est un exercice qui permet de collecter rapidement des données sur le déroulement d’un programme afin de prendre des décisions sur d’éventuelles modifications à apporter ou la conduite d’une évaluation formelle. Dans le cas actuel, l’étude d’évaluabilité a été appliquée à un programme de prévention de l’usage de substances psychoactives en milieu scolaire. Les différentes étapes de la conduite d’une étude d’évaluabilité y sont décrites ainsi que les résultats obtenus et les leçons apprises. Par ailleurs, les forces et faiblesses de l’étude d’évaluabilité, en tant que phase pré-évaluative d’un programme, et les défis de sa mise en œuvre sont présentés.

***

Conducting an evaluability Assessment (EA) is an important step in planning the actual evaluation of an intervention or program. It is an exercise that allows to quickly collect data on the implementation of a program in order to make decisions about possible changes or conduct a formal evaluation. In this actual case, EA was applied to a school-based substance abuse prevention program. The different steps to conduct an EA are described as well as the results and the lessons learned. In addition, the strengths and weaknesses of EA, as a pre-evaluative phase of a program, and the challenges of its implementation are presented.

***

Biessé D. Soura actualmente realiza una pasantía postdoctoral en los Centros para el Control y la Prevención de Enfermedades (CDC) en Atlanta en el servicio de monitoreo, evaluación y análisis de datos. Como parte de sus actividades, realiza misiones a países que reciben fondos de emergencia para la lucha contra el VIH del gobierno estadounidense, como Ruanda, Camerún, Costa de Marfil y Haití. Es miembro del programa de capacitación en Prevención, Promoción y Políticas Públicas (4P) de la Red de Investigación de Salud de la Población de Quebec (RRSPQ). Tiene un doctorado en psico-educación (Universidad de Montreal), una maestría en psicología organizacional y del trabajo (Universidad Paris Descartes) y un certificado en salud pública (Universidad Emory, Atlanta). Su tesis se centra en la evaluación de los procesos y los efectos de una intervención dirigida a prevenir el uso de sustancias psicoactivas (SPA) en las escuelas y recibió uno de los premios a las mejores tesis de la RRSPQ para 2016. Investiga sobre el uso de enfoques innovadores y participativos para el monitoreo y la evaluación de programas, la prevención del consumo de VIH y SPA, métodos de investigación mixtos y transferencia de conocimiento.

Jean-Sébastien Fallu es profesor asociado en la Escuela de Psico-educación de la Universidad de Montreal. Tiene un doctorado en psicología de la misma universidad y completó una beca posdoctoral en el Centro de Adicción y Salud Mental, afiliado a la Universidad de Toronto. Es investigador habitual en el Instituto Universitario de Adicciones del Centro Integrado de Salud y Servicios Sociales del Centre-Sud-de-l’Île-de-Montréal, el Grupo de Investigación sobre Sustancias Psicoactivas y el Instituto de investigación en salud pública en la Universidad de Montreal. También trabaja como Director de la revista Drogas, salud y sociedad. Sus intereses de investigación incluyen la etiología, prevención y reducción de los daños del consumo problemático de sustancias, así como las políticas relacionadas. Fundador del Grupo de Investigación e Intervención Psicosocial de Montreal, este logro le valió el premio Forces Avenir 2002 en la categoría Sociedad, Comunicación y Educación.

Robert Bastien es investigador en el Departamento de Salud Pública (DSP) de Montreal y profesor clínico asistente en el Departamento de Medicina Social y Preventiva de la Universidad de Montreal. Tiene una maestría y un doctorado en educación, así como una licenciatura en diseño. Está interesado en políticas de prevención, discursos y prácticas. Su trabajo intenta identificar los vectores de influencia de la investigación social en las políticas e identificar nuevas palancas para que la investigación contribuya a renovar políticas, prácticas y servicios. Al colaborar con personas que trabajan en los campos de las artes, la sociedad y la salud, provoca el encuentro entre varias disciplinas, desarrolla nuevas preguntas y experimenta con nuevas metodologías de investigación y creación.

Frédéric N. Brière es profesor asistente en la Escuela de Psico-educación de la Universidad de Montreal e investigador habitual del Grupo de Investigación sobre Entornos Escolares (GRES), el equipo RENARD y el Instituto de Investigación en Salud Pública de Universidad de Montreal (IRSPUM). Ha estado interesado en el desarrollo, las consecuencias y la prevención de la depresión en adolescentes durante años. En términos más generales, su trabajo se centra en la evaluación de programas para promover un buen desarrollo psicosocial para jóvenes y las mejores formas de transferir estas intervenciones basadas en la evidencia de la investigación a la práctica.

Cita

Biessé Diakaridja Soura, Jean-Sébastien Fallu, Robert Bastien y Frédéric N. Brière (2020). El estudio de evaluabilidad. Una intervención de prevención del uso de drogas en la Escuela en Quebec. En Evaluación de las intervenciones sanitarias en salud global. Métodos avanzados. Bajo la dirección de Valéry Ridde y Christian Dagenais, pp. 13-41. Québec: Éditions science et bien commun y Marseille: IRD Éditions.