3 Evaluación cualitativa, informatizada, participativa e inter-organizacional (EQUIPO)
Ejemplo de un programa para mujeres víctimas de la violencia en Bolivia
Mathieu Bujold y Jean-Alexandre Fortin
| Definición del método
Tiene tres componentes (cualitativo, participativo e inter-organizacional) y sigue seis etapas principales:
|
Fortalezas del método
|
Desafíos del método
|
Un programa es un conjunto organizado y coherente de actividades cuyo propósito es producir un cambio para los/as posibles participantes (Plante 1994; Ridde y Dagenais 2012b). Los programas de desarrollo tienen como objetivo específico producir cambios en la vida de las personas afectadas por cuestiones a menudo relacionadas con factores socioculturales complejos (por ejemplo, las relaciones entre géneros). Aunque los modelos lógicos son herramientas esenciales para la planificación y evaluación de programas (Porteous 2012), las realidades sobre el terreno son a menudo mucho más complejas de lo esperado. Los procesos de cambio no pueden resumirse en una lógica lineal de causa y efecto y su evaluación requiere la participación de una multitud de partes interesadas de diferentes organizaciones. Los tres componentes del método EQUIPO tienen en cuenta estas realidades complejas.
El componente cualitativo de EQUIPO
El componente cualitativo de este método tiene por objeto comprender los procesos de cambio o inercia desde la perspectiva de la persona que experimenta una situación determinada (por ejemplo, la participación, como empleado/a o beneficiario/a, en un programa para reducir la violencia). Según las personas interesadas (beneficiarios/as, técnicos/as, directivos/as), ¿cómo y por qué un programa ha producido o no cambios en la vida de las personas beneficiarias? ¿Cuáles son los puntos fuertes y débiles del programa? ¿Cómo se puede mejorar ahora? ¿Cuáles son los desafíos que hay que superar? Para explorar estas cuestiones se pueden utilizar métodos cualitativos.
Los datos cualitativos son utilizados cada vez más en la evaluación de programas, por ejemplo, mediante entrevistas semiestructuradas o grupos de discusión. Sin embargo, el análisis de este tipo de datos representa un desafío importante (Patton 2015). El análisis temático es un método accesible para derivar el significado de un conjunto de datos cualitativos (Miles, Huberman y Saldaña 2014; Paillé 2016). Para describir este método de manera sencilla, establezcamos un paralelismo con una lectura sistemática de los textos en la que se resaltan los pasajes importantes y se marcan en el margen con códigos temáticos para recordar su contenido. Intuitivamente, el/la evaluador/a realiza análisis temáticos al leer los informes o entrevistar textualmente, destaca los pasajes pertinentes y anota su contenido. A continuación, reúne esta información en grupos en un documento que presenta el resultado de su análisis. Sin embargo, la tarea se complica cuando es necesario hacer un análisis sistemático de varios documentos y seguir una multitud de temas (por ejemplo, logros, desafíos, facilitadores, recomendaciones). El análisis temático mediante el ordenador es un proceso riguroso de organización de estos extractos de textos destacados en categorías temáticas (por ejemplo, desafíos) que pueden contener subcategorías (por ejemplo, desafíos tecnológicos). En un proceso deductivo, estas categorías están predeterminadas, mientras que, en un proceso inductivo, surgen en el transcurso del análisis.
Los criterios de calidad para la investigación o evaluación cualitativa difieren de los de los enfoques cuantitativos (Laperrière 1997; Patton 1999). Aunque no garantiza un análisis de calidad, el uso de CAQDAS (Software de Análisis de Datos Cualitativos Asistido por Ordenador), como NVivo, puede aumentar el rigor del análisis temático (Bazeley y Jackson 2013; Bujold 2016). El aprendizaje de este tipo de software es parte de los programas de educación continua que se ofrecen a los evaluadores de programas.
El componente participativo de EQUIPO
Este componente nos recuerda que la evaluación del programa no es un fin en sí mismo, sino un medio para mejorar las condiciones sociales y comunitarias. La evaluación participativa procura empoderar a las personas interesadas haciéndolas participar activamente en el proceso de evaluación entre ellos y no sobre ellos (Cargo y Mercer 2008; Jagosh y otros, 2012). Mientras que el componente cualitativo explora los puntos de vista y las experiencias vividas por los beneficiarios y los técnicos del programa, el componente participativo de EQUIPO une a las personas más motivadas para formar equipos de co-evaluadores/as para llevar a cabo las diversas etapas del proyecto de evaluación (planificación, reunión y análisis de datos, difusión de resultados). Este enfoque también tiene por objeto cambiar la percepción negativa de la evaluación de programas, que a menudo se reduce a la rendición de cuentas y se percibe como un control del rendimiento por parte de los encargados de un programa (Ridde y Dagenais 2012a). El nivel de participación de los/as co-evaluadores/as puede variar desde una simple consulta hasta su participación en todas las etapas de la evaluación (Daigneault y Jacob 2009).
El componente interorganizacional de EQUIPO
Este componente amplía el aspecto participativo al estimular el intercambio de métodos y resultados de evaluación de programas entre las ONG que comparten misiones similares. La EQUIPO tiene por objeto el trabajo en equipo entre las personas interesadas de las organizaciones para abordar mejor las complejas cuestiones socioculturales, como la justicia de género.
|
Antecedentes: Justicia entre las mujeres y los hombres en Bolivia
El proyecto piloto EQUIPO se llevó a cabo como parte del programa de cooperación voluntaria “Actuar mejor e influir mejor”, ejecutado por Oxfam-Québec entre 2009 y 2015 en 11 países, entre ellos Bolivia. Una de las áreas de intervención del programa fue “Justicia entre mujeres y hombres”. La violencia, el feminicidio y el acoso a las mujeres en el trabajo siguen siendo frecuentes en Bolivia (Ministerio de justicia 2015). Debido a la importancia de esta cuestión, Oxfam-Quebec se ha asociado con el Centro Juana Azurduy (CJA) y el Centro para las mujeres Gregoria Apaza (CPMGA), dos organizaciones no gubernamentales locales con programas para promover la igualdad entre mujeres y hombres.
|
. |
Centro de Promoción de la Mujer Gregoria Apaza |
Centro Juana Azurduy |
| Misión | Contribuir al reconocimiento y al ejercicio de los derechos de la mujer | Contribuir al empoderamiento de las mujeres, individual y colectivamente, fortaleciendo su capacidad de representarse a sí mismas, de reclamar sus derechos y de redistribuir equitativamente los recursos disponibles |
| Ubicación (datos de 2012) | El Alto (Bolivia). Altitud 4150m. Población: 848.452 |
Sucre, Bolivia. Altitud 2780m. Población: 261.201 |
| Fundación | 8 de junio de 1984 | 10 de septiembre de 1989 |
| Comienzo de la asociación con Oxfam-Qc | 2005 | 2003 |
| Número de empleados (2012) | 40 (29M/11H) | 50 (30M/20H) |
| Número de beneficiarios (estimación para 2012) | 2 000 | 1 500 |
| Poblaciones destinatarias | Urbanas. Mujeres y jóvenes. Mestizo y aymara. | Urbano y rural. Mujeres y jóvenes. Mestizos y quechuas. |
A petición de la CJA y la CPMGA, Oxfam-Québec contrató en febrero de 2012 a un asesor en análisis cualitativo (Mathieu Bujold) para cubrir una necesidad de capacitación en métodos de evaluación cualitativa y participativa. Otra necesidad expresada por los asociados era la de estimular la colaboración con otras organizaciones bolivianas con misiones similares. Con este objetivo en mente, los miembros del personal de la CJA y la CPMGA se reunieron en marzo de 2012. Este último expresó la necesidad de estar equipado para llevar a cabo conjuntamente un proyecto de evaluación cualitativa y participativa de los programas de atención a las mujeres víctimas de la violencia. Para responder a esta necesidad se propuso a los asociados el proyecto piloto de cualitativa, informatizada, participativa e inter-organizacional (EQUIPO).
| Objetivo general | Fortalecer la capacidad de los asociados (en este caso, CJA y CPMGA) en los métodos de evaluación cualitativa y participativa. |
| Subobjetivos cualitativos | Capacitar a los/as interesados/as (beneficiarios/as, técnicos/as y directivos/as) de las ONG asociadas en la recogida y el análisis de datos cualitativos mediante ordenador (NVivo).
Generar una base de datos cualitativa para explorar las experiencias de los/as beneficiarios/as de las ONG asociadas, recoger sus opiniones sobre los programas y recoger sus recomendaciones. Promover el aprendizaje en la acción mediante la evaluación de los procesos de los programas de las ONG asociadas. |
| Subobjetivos participativos | Desarrollar las aptitudes de las personas interesadas en la evaluación participativa de los programas.
Promover la participación activa y democrática de los interesados como co-evaluadores/as de los programas de las organizaciones asociadas. |
| Objetivos inter-organizacionales | Promover los intercambios entre las ONG con misiones similares o complementarias.
Compartir las experiencias y los desafíos encontrados en la aplicación del método EQUIPO. Fortalecer una cultura participativa de evaluación y supervisión de las ONG asociadas. |
Presupuesto y compromiso de los socios
- Apoyo de Oxfam-Québec
- Un asesor, Mathieu Bujold (MB), en análisis de datos cualitativos.
- Un asesor, Jean-Alexandre Fortin (JAF), en desarrollo organizacional.
- Dos licencias completas del software NVivo.
- Dos manuales de entrenamiento traducidos al español.
- Apoyo financiero que cubre el 75% de los costos de la recogida de datos cualitativos, la transcripción y la traducción al español de los grupos de discusión y las entrevistas semidirigidas realizadas en quechua o aymara.
- Participación de las ONG locales
- Reclutamiento de co-evaluadores/as (empleados/as, aprendices y beneficiarios/as).
- Contribución financiera que cubre el 25% de los gastos de transcripción y traducción.
- Grabadoras de audio y portátiles para la instalación del software NVivo.
- Gastos de viaje y un refrigerio ofrecido a los/as participantes durante los grupos de discusión y las entrevistas.
EQUIPO: un método de aprender haciendo
Introducción al campo y constitución de equipos de evaluación
A su llegada, Mathieu Bujold (MB), experto en análisis de datos cualitativos, empezó a colaborar con Jean-Alexandre Fortin (JAF), experto de campo y asesor de desarrollo organizacional de Oxfam. JAF había estado trabajando con las dos ONG locales durante más de cuatro años. Como primer paso, se planificaron reuniones con la dirección de la ONG y los/as trabajadoras/as interesados/as para comprender mejor sus necesidades y expectativas en relación con los enfoques cualitativos y participativos. Cada ONG seleccionó tres programas para ser evaluados (CJA: Defensoría de las mujeres, Acción Política, Trabajo Digno; CPMGA: Servicio psicoLegal, Brigadistas, Agentes Comunitarios). Se crearon entonces equipos de personas evaluadoras para participar en el proyecto piloto EQUIPO. La instrucción general era que al menos un/a empleado/a de los programas en cuestión debía participar en la evaluación de un programa distinto del suyo. Cada equipo de evaluadores/as consideró entonces a los beneficiarios potencialmente interesados en participar en el proceso de evaluación.
Adaptación del material educativo
El consultor en análisis cualitativo compartió manuales de capacitación (Bujold 2014 y 2016) y varias guías metodológicas que se han traducido al español (realización de grupos focales y entrevistas; guía de transcripción; protocolo de validación entre analistas). Dado que estas herramientas se habían desarrollado para la investigación académica, tuvieron que adaptarse al contexto de la evaluación de los programas de desarrollo. Por ejemplo, se simplificaron los aspectos teóricos y se promovió el aprendizaje en la acción. A pesar de estas atenuaciones metodológicas, se han mantenido los criterios de calidad fundamentales de la evaluación cualitativa, por ejemplo, la optimización de la adecuación empírica entre las realidades evaluadas, los datos recogidos y los productos de la evaluación (Olivier de Sardan 2008). También se ha aplicado un proceso de validación inter-analítica que moviliza a un grupo interdisciplinario de analistas para interpretar un conjunto de datos (Miles, Huberman y Saldaña 2014).
Capacitación introductoria en metodologías cualitativas
Dado que el uso del CAQDAS requiere una comprensión de las metodologías cualitativas, se ofrecieron por primera vez dos días de capacitación sobre el tema a los/as empleados/as y pasantes de las ONG. El software NVivo se enseñó durante las etapas de recogida y análisis de datos. Se ofreció capacitación específica a los facilitadores y observadores masculinos y femeninos de los grupos de discusión (empleados/as de los co-evaluadores y de las co-evaluadoras). La función de los/as facilitadores/as es estimular el debate a fin de explorar a fondo los temas de discusión y promover la participación equitativa de mujeres y hombres. Las personas observadoras se encargan de señalar los aspectos que no son audibles en el audio (por ejemplo, las emociones) y especialmente la cronología de los intercambios (quién habló y cuándo). Las notas del/la observador/a son esenciales para la persona responsable de la transcripción. También se ofreció capacitación específica a las personas encargadas de las entrevistas (co-evaluadores/as beneficiarios/as) y las transcripciones (co-evaluadores/as en formación).
Reclutamiento de participantes y recogida de datos cualitativos
Para cada programa a evaluar, se planificaron dos grupos de enfoque: el primero con una cohorte de nuevos beneficiarios y el segundo con mujeres que habían completado recientemente el programa (< 6 meses). Dada la carga emocional del tema, los grupos de discusión fueron dirigidos por el personal de las ONG y no por los beneficiarios. Un psicólogo estaba presente en cada grupo. Se capacitó y apoyó a cuatro beneficiarios en la planificación y realización de entrevistas individuales semiestructuradas con otros beneficiarios. Las guías de debate y de entrevistas semiestructuradas fueron elaboradas conjuntamente por los/as empleados/as y los/as beneficiarios/as. Si bien algunos grupos de discusión tenían temas de debate específicos, como la percepción de la violencia, todos los grupos tenían que abordar temas genéricos (Recuadro 2).
|
Los grupos de discusión duraron unas dos horas, mientras que las entrevistas duraron un promedio de 30 minutos. Cada actividad de recogida de datos se registró y luego se transcribió electrónicamente para facilitar el análisis temático con NVivo. Dada la sensibilidad del tema, se prefirió la grabación de audio al formato de vídeo, lo que hace que el papel del observador sea aún más importante a la hora de señalar quién habla y cuándo. Siendo la confidencialidad particularmente importante en el contexto (violencia), se explicó a los/as participantes que sus nombres serían cambiados y que sería imposible reconocer sus palabras en los informes finales. Los aspectos éticos de la investigación cualitativa fueron objeto de capacitación para los/as co-evaluadores/as. Los grupos de discusión en comunidades remotas se realizaban en quechua o aymara y requerían el empleo de personal de traducción y transcripción. Un total de 11 grupos de discusión y 14 entrevistas con más de 80 beneficiarios de seis programas fueron realizadas, grabadas, transcritas y analizadas por equipos de analistas formados por personal de AJC y CPMGA.
Análisis cualitativo mediante el ordenador
Siguiendo un enfoque de análisis temático híbrido, tanto deductivo como inductivo (Fereday y Muir-Cochrane 2006), la codificación asistida por NVivo de las verbatims ha permitido que surjan categorías temáticas del discurso de los beneficiarios, al tiempo que se presta atención a los indicadores previstos por las organizaciones. Se aplicó un riguroso proceso de validación interanalítica de la codificación. Cada grupo elaboró primero un diccionario de codificación en el que se definían las categorías y subcategorías temáticas previstas y se daba un ejemplo de un extracto ficticio o real que se codificaría en él. Los analistas aplicaron esta herramienta analizando individualmente el mismo grupo de enfoque con NVivo. Los miembros del equipo se reunieron entonces con el consultor de análisis para comparar su codificación y optimizar el diccionario de codificación añadiendo, fusionando o eliminando categorías y/o subcategorías. Una vez alcanzada cierta homología de codificación, es decir, cuando los analistas codificaban en general los mismos extractos de texto en las mismas categorías, el resto del corpus de datos se distribuía entre los analistas. Los analistas se reunieron entonces semanalmente con el consultor para presentar sus análisis y actualizar el diccionario de codificación. Una vez que se codificó completamente el corpus de datos, se inició una etapa de interpretación. Los analistas se repartieron la tarea de releer los extractos codificados en cada tema y registrar sus interpretaciones en memorandos, ilustrándolos con citas de los beneficiarios para optimizar la correspondencia empírica entre las realidades exploradas, los datos generados y los productos de la evaluación. Para cada categoría, se añadieron a los memorandos gráficos que representaban la distribución de la codificación por número de participantes. Estos memorandos se utilizaron para elaborar presentaciones para el foro interinstitucional.
Foro Interinstitucional: Un espacio para compartir
En octubre de 2012, los equipos de analistas se reunieron en El Alto, en las oficinas de la CPMGA, para presentar sus resultados y los métodos desarrollados. En el marco de esta reunión, se celebró un grupo de debate para examinar las experiencias de los co-evaluadores/as del proyecto piloto de la EQUIPO, su percepción de los puntos fuertes y débiles de este método y las modificaciones que deben introducirse en él.
|
En las siguientes secciones se presenta un análisis de este grupo de discusión, que también siguió un proceso de análisis temático asistido por NVivo.
Impacto del proyecto piloto de EQUIPO
El análisis temático del grupo de discusión interinstitucional reveló diferentes niveles de impacto de este proyecto piloto (institucional, personal, técnico, profesional, de colaboración).
Impactos institucionales
En el plano institucional, los/as participantes observaron que esa experiencia permitía a las organizaciones aprender de sus puntos fuertes y débiles. Isis, psicóloga de la AJC, dice que este proyecto “nos ayudó a ajustar nuestras estrategias… para reconocer lo que hacemos bien y lo que necesitamos para arreglar, pensar e innovar” (Isis, AJC). (Isis, CJA). Este aprendizaje en acción se hizo desde la perspectiva de los beneficiarios de las ONG. Sonia, técnica de recursos humanos de la CPMGA, dice que ha “sido capaz de profundizar y acercarse a la realidad de la vida de las personas para descubrir nuestras fortalezas y debilidades” (Sonia, CPMGA). Según los participantes, este ejercicio de reflexión permitió ir más allá de la contemplación de las cosas buenas que se han hecho, para analizar también las lagunas que hay que llenar. Christina, Directora de la CPMGA, nos recuerda que “es muy fácil mirarte el ombligo y decirte que eres bueno (risas) […] pero este proceso va más allá […] también se trata de ver tus debilidades […] para mí, la pregunta fundamental de este ejercicio es “¿Cómo podemos mejorar? ”(Christina, CPMGA).
Este proyecto piloto habría proporcionado a las personas interesadas una nueva forma de evaluar los programas. Según Pilar, planificadora de programas de la CPMGA, “esta experiencia nos permitió explorar espacios que no habíamos explorado antes, … conocer de una manera diferente cómo llegamos a la gente” (Pilar, CPMGA). La evaluación cualitativa, mediante el enfoque inductivo que propugna, habría añadido una perspectiva central sobre las realidades que se evalúan. Calvino, un psicólogo de la AJC, discute la importancia de “conocer la realidad de la situación” (Pilar, CPMGA).
Este proyecto piloto habría proporcionado a las personas interesadas una nueva forma de evaluar los programas. Según Pilar, planificadora de programas de la CPMGA, “esta experiencia nos permitió explorar espacios que no habíamos explorado antes, … conocer de una manera diferente cómo llegamos a la gente” (Pilar, CPMGA). La evaluación cualitativa, mediante el enfoque inductivo que defiende, habría añadido una perspectiva central sobre las realidades que se evalúan. Calvino, un psicólogo de la AJC, discute la importancia de “conocer la realidad desde el fondo [de la población] hasta la cima [de la institución]” (Calvino, AJC). Esta perspectiva inductiva es un complemento esencial de los enfoques deductivos que generalmente se defienden en la planificación y evaluación de programas. La evaluación cualitativa aporta profundidad a las evaluaciones cuantitativas que generalmente se adoptan. Pilar argumenta que uno de los errores de las ONG es “planificar los objetivos del programa sólo cuantitativamente… Por ejemplo, con el indicador “Número de mujeres que han participado en este programa” […], nos decimos a nosotros mismos: ¡que bien! Alcanzamos nuestro objetivo de cobertura (risas)! ”Pilar, CPMGA”. Continúa diciendo que el proyecto ha hecho posible completar las cifras explorando..:
Cómo se siente la gente. Cómo afectamos a sus vidas. Cuando hacemos este tipo de evaluación, podemos acercarnos a sus experiencias […]. Esto nos lleva más lejos. Escuchándolos, te das cuenta, más allá de los números, de lo que haces bien o mal (Pilar, CPMGA).
Los métodos cualitativos añaden una dimensión humana a los indicadores cuantitativos de vigilancia y evaluación preexistentes. Según el director de la CPMGA, este proyecto ha enriquecido “los indicadores en términos cualitativos y esto es muy positivo” (Christina, CPMGA). Jova hace comentarios similares: “Habíamos desarrollado muchas herramientas para medir nuestros indicadores cuantitativos, pero el ejercicio que hemos hecho va más allá de lo que hemos hecho hasta ahora. Analizar lo que la gente dice es una nueva experiencia” (Jova, CJA).
La experiencia también habría aclarado la comprensión de las metodologías cualitativas. Jova dice que se dio cuenta de que la organización tenía un concepto erróneo de lo que es cualitativo:
la formulación de nuestros indicadores, que pensábamos que eran cualitativos, apoyaba más el análisis cuantitativo… Por ejemplo, el “porcentaje de mujeres que experimentaron un aumento de la autoestima”. No hicimos ningún análisis del discurso de las mujeres para averiguar cómo habían mejorado o no su autoestima (Jova, CJA).
Impactos personales
En el plano personal, este proyecto habrá sensibilizado a los/as empleados/as y a la administración sobre la importancia de tener en cuenta las opiniones de las personas beneficiarias interactuando directamente con ellas. Jova dice que este proyecto “ha sido muy gratificante para los co-investigadores/as, hemos sido muy sensibilizados… es mucho más emocionante interactuar con la gente de esta manera” (Jova, AJC). Según Jova, esta experiencia también fue motivadora para las beneficiarias: “las niñas y las mujeres estaban muy contentas de formar parte de este proyecto. Lorena de la CJA especifica que “es importante que las personas beneficiarias sean objeto de evaluación dinámica… no sólo encuestadas. ¡No son sólo papeles! ”(Lorena, CJA). El aspecto participativo de EQUIPO era coherente con los valores compartidos por la comunidad y algunos movimientos sociales de la Bolivia contemporánea. Según René, sociólogo del CPMGA, “involucrar a las personas en el proceso de evaluación es coherente con un punto de vista postcolonial” (René, CPMGA).
Implicaciones técnicas
En el plano técnico, la puesta en marcha de EQUIPO habrá sentado las bases de un sistema de organización de la información. Según Lorena, “NVivo nos permite organizar la información… tenemos que continuar porque tenemos otras ideas que han surgido” (Lorena, CJA). Más allá del análisis de datos, NVivo puede utilizarse para gestionar, organizar y centralizar toda la información relacionada con un proyecto o programa ofrecido por una organización. Lorena dice que espera “introducir a la organización en esta nueva forma de ver el trabajo”. Este tipo de herramienta puede ser utilizada para rastrear proyectos a largo plazo. René dice que con “NVivo, más allá del análisis, puedes documentar todo lo que ha sido hecho por la organización y crear una memoria más rica” (René, CPMGA). Según el director de la CPMGA, “fue enriquecedor conocer una nueva herramienta de gestión de datos” (Christina, CPMGA). Al final del proyecto piloto, Christina inició un proyecto para centralizar y analizar con NVivo todos los informes y la literatura producidos por CPMGA entre 2007 y 2012.
Impacto profesional
En el plano profesional, a pesar de algunos problemas técnicos, el aprendizaje de los métodos y programas informáticos para el análisis cualitativo fue una ventaja para los/as co-evaluadores/as, dado que pocas personas de la comunidad de desarrollo boliviana están familiarizadas con este tipo de instrumento. Según el director de la CPMGA, “este proyecto permitió a los técnicos enriquecer sus currículos” (Christina, CPMGA). Lorena bromea: “Me atrevo a decir que en Sucre somos las únicas cuatro personas de la empresa que saben usar NVivo (risas)” (Lorena, CJA). El aprendizaje de este tipo de software sigue siendo un desafío, especialmente para aquellos que no tienen muchos conocimientos de informática: “La dificultad para mí fue la brecha tecnológica, me sentí completamente obsoleto […] tengo que mantenerme al día con la computadora” (Jova, CJA). A continuación, subraya la importancia del apoyo de un consultor de análisis: “sin él estaríamos perdidos”, así como la reunión con sus colegas de la CPMGA [la organización asociada], que permitió un intercambio sobre los desafíos encontrados.
Impactos de la colaboración
A nivel de colaboración, los intercambios interprogramáticos e interinstitucionales habrán sido enriquecedores para las organizaciones al proporcionarles una perspectiva global sobre las formas de mejorar los programas. Según Christina, “la riqueza fundamental ha sido la interacción entre los miembros del equipo técnico de los diferentes programas para que puedan ver por sí mismos cómo podemos mejorar” (Christina, CPMGA). Lorena continúa presentando la importancia del aspecto interorganizativo del EQUIPO, que habría sentado las bases para la colaboración:
una de las cosas más importantes fue escuchar los resultados de nuestros colegas del CPMGA… una institución que conocía de lejos y me di cuenta de que teníamos mucho en común y estoy muy emocionado de seguir compartiendo nuestros métodos.
A través de este intercambio, los miembros de las organizaciones habrán adquirido una perspectiva complementaria sobre el tema de la violencia contra la mujer en otra población [Quechua vs. Aymara]. Esta experiencia también les permitió “conocer mejor a las mujeres de El Alto [de mayoría aymara] […] para comparar lo que hemos visto en la población de Sucre [de mayoría quechua], para poder enriquecer nuestros proyectos” (Lorena, CJA).
Fortalezas, debilidades y desafíos
La importancia de la movilización espontánea de los/as empleados/as
En el análisis temático del grupo de discusión se destaca que este proyecto piloto ha permitido alcanzar el principal objetivo del método EQUIPO, que es “fortalecer las capacidades de los asociados en la utilización de métodos cualitativos informatizados y enfoques participativos de evaluación de programas”. Más concretamente, los sub-objetivos participativos de este método parecen haberse alcanzado. De hecho, se ha capacitado a las personas interesadas en el CJA y el CPMGA en la reunión y el análisis de datos cualitativos mediante ordenador; se han generado bases de datos cualitativos para explorar las experiencias de las personas beneficiarias de las ONG; y se ha estimulado un proceso de aprendizaje práctico. Los sub-objetivos participativos del proyecto promovieron la participación activa y democrática de las personas interesadas como co-evaluadores/as de los programas de las organizaciones asociadas. En consonancia con los sub-objetivos interinstitucionales, la realización de un foro creó un espacio para promover un intercambio entre la CJA y la CPMGA, dos ONG con misiones similares. Este evento también alentó el intercambio de experiencias en la aplicación del método EQUIPO y fortaleció la cultura de la evaluación cualitativa y participativa de las ONG asociadas.
Uno de los puntos fuertes de este proyecto es el hecho de que surgió de una solicitud de las ONG locales. Los proyectos de recogida de datos cualitativos ya estaban en marcha antes de que llegara el asesor. Por ejemplo, Isis había realizado una serie de entrevistas para evaluar el impacto de un programa de empoderamiento de los jóvenes de AYC. Sin embargo, dice que “no sabía qué hacer con toda esta información, cómo transcribirla y analizarla… me frustró mucho” (Isis, AYC). (Isis, CJA). Continúa diciendo, “era muy importante para mí aprender una herramienta como NVivo porque esta investigación estaba pendiente. El acompañamiento ofrecido por la consejera le permitió analizar los datos y publicar un libro (Barahona 2012).
La movilización espontánea de los empleados es un elemento que ha favorecido la realización del proyecto en la CJA. Se observó una menor motivación entre los empleados cuya participación fue “sugerida” por la dirección de la CPMGA. Por otro lado, los empleados de esta ONG tuvieron más tiempo libre de su tiempo de trabajo, en comparación con la AJC, donde los empleados a menudo tenían que hacer el análisis en su tiempo libre. Uno de los retos compartidos por los co-evaluadores/as del AJC era “poner la evaluación cualitativa en el plan operacional anual… para darle tiempo” (Isis, AJC).
(Isis, CJA). Christina cree que es importante “crear una cultura institucional de evaluación cualitativa e incluir este método en la planificación anual, de lo contrario será relegado a un segundo plano… Nos hemos dado cuenta de la importancia de este tipo de análisis, por lo que es necesario incluirlo en nuestros objetivos” (Christina, CPMGA). Sonia, técnica de recursos humanos de la CPMGA, dijo que “reservará tiempo en los horarios de los empleados, períodos predeterminados en los que se verán unas cuantas veces al mes […] No tengo ninguna duda de que se comprometerán, porque es una herramienta muy enriquecedora para su trabajo diario” (Sonia, CPMGA). Jova señala, sin embargo, que uno de los retos es “hacer un seguimiento de la aplicación de las recomendaciones que surjan de esta evaluación”. ¿Cómo pueden aplicarse en la medida de lo posible? …] ¿Cómo podemos incorporarlos a nuestro trabajo para tratar de mejorar nuestras debilidades? ”Jova, CJA”.
Experiencias y recursos de organización
La CJA y la CPMGA son dos ONG bien establecidas que emplean a más de 40 personas y prestan servicios a miles de beneficiarios (Cuadro 1). Sus programas están bien establecidos y cuentan con el apoyo de diversas instituciones de cooperación internacional. Si bien los recursos de estas organizaciones siguen siendo limitados, les permiten contratar personal calificado, acoger a pasantes universitarios y adquirir equipo para la evaluación de la calidad (computadora y grabadora). Sin afirmar que el EQUIPO no puede ser replicado con ONG más pequeñas, la experiencia y los recursos de las organizaciones fueron dos factores que favorecieron este proyecto piloto.
Aumentar el nivel de participación y compromiso de los/as beneficiarios/as
Si bien el personal de las ONG participó en todo el proyecto, los beneficiarios “sólo participaron en la realización y transcripción de las entrevistas” (Jova, CJA). Según Jova, uno de los desafíos será involucrarlos en el análisis de datos. Pilar también presenta el tema de la participación a largo plazo de las personas beneficiarias: “¿Cómo conseguimos que la gente participe desde el principio y se quede? …] Al final, no nos quedaban muchos… ¿Cómo los involucramos en el proceso? …] Tendremos que pensar en esto en la planificación” (Pilar, CPMGA). Para Lorena, es importante fortalecer “la comunicación entre los/as co-evaluadores/as para ver otras perspectivas, abrir espacios para compartir e incluir momentos en nuestra planificación anual” (Lorena, CJA). Calvino añade que “será muy estimulante ser más participativo, no sólo para la institución, sino también para los financiadores” (Calvino, CJA).
Ser apoyado por una organización que aplique el método del EQUIPO
Si la evaluación cualitativa asistida por ordenador era una experiencia nueva para el AJC y el CPMGA, también lo era para Oxfam-Québec, que ha dado ejemplo aplicando este proceso a la evaluación de sus propios programas. De hecho, la misma serie de talleres sobre métodos cualitativos y participativos se ofreció a una docena de agentes y cooperantes de Oxfam-Québec en 2012. Se llevó a cabo un vasto proyecto utilizando el método ÉQUIPO en Perú y Bolivia. Se llevaron a cabo 17 grupos de discusión, que llegaron a 144 beneficiarios y empleados de 12 ONG locales [incluidas CJA y CPMGA], y se analizaron en equipo para explorar los puntos fuertes y débiles de los programas de Oxfam-Québec con los socios. Los/as coevaluadores/as de CJA y CPMGA señalaron que apreciaban este esfuerzo de Oxfam-Québec, que da ejemplo aplicando lo que sugiere a los propios asociados. Según Jova, este es un aspecto que distingue a Oxfam-Québec: “En materia de cooperación internacional, ustedes [Oxfam] han incorporado este tipo de análisis cualitativo, y esto me parece excelente, pero las otras instituciones de cooperación no están todavía allí” (Jova, CJA).
Convencer a los donantes del valor añadido de los métodos cualitativos
Uno de los principales retos de la aplicación de la evaluación cualitativa en el contexto del desarrollo internacional es convencer a los donantes que favorecen la medición de los indicadores cuantitativos. Según Jova, la mayoría de ellos:
piden que se vigilen sólo los indicadores cuantitativos… Cuando presentamos los cualitativos, nos dicen que “hagamos un esfuerzo para cuantificar, para ver la cobertura”. Nos estamos moviendo en una dirección, pero la cooperación está en otra dirección, tenemos que seguir el modelo lógico, los indicadores cuantitativos… Realmente, conseguir una concesión para lo cualitativo ha sido difícil (Jova, CJA).
Pilar hace comentarios similares: “Quieren ver los efectos en sus indicadores cuantitativos” (Pilar, CPMGA).
Más allá de la evaluación, parecería que los métodos cualitativos no son favorecidos por los donantes al planificar los programas. Según Calvino, esto explicaría la ineficacia de muchos proyectos que no se adaptan a las realidades del terreno y a las necesidades de las poblaciones destinatarias:
varios proyectos no funcionan porque el contexto no ha sido debidamente evaluado […] la cooperación internacional nos llega con proyectos ya desarrollados y no adaptados a la realidad. Creo que con una herramienta como NVivo podemos analizar lo que quiere la población objetivo, es una buena manera de contextualizar (Calvin, CJA).
Una vez que han visto el valor añadido de lo cualitativo en la acción, los miembros de las ONG locales deben centrarse en convencer al mundo exterior. Según René, “sabemos que lo cualitativo nos permite ver cosas que no se pueden ver con lo cuantitativo, pero el problema está en el exterior, donde lo cualitativo no se reconoce […] es importante convencer de lo contrario nuestros esfuerzos serán en vano” (René, CPMGA). Según Jova, una de las estrategias para promover los métodos cualitativos en un contexto dominado por los números sería presentarlos como complemento de los cuantitativos: “los aspectos cualitativos se presentarán primero como complemento de los cuantitativos” (Jova, CJA).
Análisis reflexivo y conclusión: hacia los métodos mixtos
Este proyecto experimental de la EQUIPO ha contribuido a fomentar la capacidad y el interés de los asociados en la utilización de métodos cualitativos y participativos de evaluación de programas. El aprendizaje del software de análisis cualitativo ha permitido construir una base de datos cualitativos que puede ser alimentada para supervisar la aplicación de las lecciones aprendidas. Sin embargo, como lo expresa Jova al final de la sección anterior, debe considerarse que los/as evaluadores/as son más dirigidos a los enfoques cuantitativos que de los cualitativos. Presentar la primera cualitativa para complementar la cuantitativa, como propone Jova, es una estrategia introductoria que se ha utilizado en otros campos, en particular en las ciencias de la salud, que históricamente han estado muy dominadas por los enfoques cuantitativos (Creswell y Plano Clark 2011). Para continuar la labor sobre el aspecto interinstitucional, sería interesante que las dos organizaciones no gubernamentales elaboraran una base de datos complementaria que integrara sus datos cuantitativos y cualitativos.
Pilar subraya la complementariedad entre la evaluación de “indicadores cuantitativos que nos muestran, por ejemplo, cuántas personas han completado el programa, e indicadores cualitativos que nos permiten explorar su realidad, por ejemplo, si han recaído en la violencia y por qué. Entonces, ¿cómo podríamos seguir ayudándoles? ”Pilar, CPMGA”. René hace hincapié en la posible contribución de los métodos mixtos en la evaluación: “Una mirada cuantitativa nos permite explorar los impactos, mientras que los procesos se pueden entender más desde un punto de vista cualitativo. … Una perspectiva mixta sería lo mejor” (Rene, CPMGA).
Los métodos mixtos son cada vez más valorados en la evaluación de programas (Bamberger 2012; Patton 2015; Bujold, El Sherif et al. 2018). El análisis temático asistido también se utiliza para realizar meta-análisis de los informes de evaluación de los programas de desarrollo (Bujold 2017). Una de las deficiencias de este proyecto ha sido su falta de integración del análisis de datos cualitativos con las evaluaciones cuantitativas del programa. Un siguiente paso para el EQUIPO podría ser la Evaluación Cualitativa-Cuantitativa Integrativa y Participativa Organizacional, que integra el análisis de datos cuantitativos y cualitativos en el mismo proyecto de evaluación. Sin embargo, los métodos mixtos de enseñanza y aprendizaje presentan otros desafíos que deberán tenerse en cuenta (Bujold, Hong y otros, 2018).
El establecimiento de una comunidad de práctica interdisciplinaria e intercultural es una estrategia para superar los desafíos de los métodos mixtos en la evaluación. Por ello, ofrecemos a todas las personas lectoras interesadas en los métodos mixtos la oportunidad de hacerse miembros de la l’association Méthodes mixtes Francophonie, que tiene por objeto promover la colaboración entre investigadores/as y profesionales francófonos de diferentes zonas geográficas y culturales.
Agradecimientos
Los autores desean dar las gracias a Oxfam-Québec y sus representantes, al CPMGA y al CJA, así como a los/as co-evaluadores/as de este proyecto piloto, a los voluntarios y a todos los beneficiarios que participaron. Este proyecto fue posible gracias al apoyo del Gobierno del Canadá (World Affairs Canada), que financió el programa “Actuar mejor e influir mejor” ejecutado por Oxfam-Québec.
Referencias clave
Patton, M. Q. (2015). Qualitative research et evaluation methods: integrating theory and practice.Thousand Oaks, California : SAGE Publications.
Un valioso recurso para explorar los diferentes aspectos y aplicaciones de la investigación cualitativa y los métodos de evaluación.
Miles, M. B., Huberman A. M. et Saldaña J. (2014). Qualitative data analysis : a methods sourcebook. Lieu d’édition : Maison d’édition.
Un instrumento esencial para profundizar en los métodos de análisis de datos cualitativos.
Bujold, M., Hong, Q. N., Ridde, V., Bourque, C. J., Dogba, M. J., Vedel, I. et Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. Montréal : 117e Cahiers scientifiques de l’ACFAS.
Primer libro en francés y de libre acceso sobre métodos mixtos. Disponible gratuitamente en la siguiente dirección :
http://methodesmixtesfrancophonie.pbworks.com.
Para obtener más información sobre las ONG y asociaciones mencionadas en este capítulo y sus programas de desarrollo, los lectores pueden consultar los siguientes enlaces :
- http://centrojuanaazurduy.org
- http://gregorias.org.bo/
- http://methodesmixtesfrancophonie.pbworks.com
- http://oxfam.qc.ca/
Referencias
Bamberger, M. (2012). Introduction aux méthodes mixtes dans l’évaluation d’impact. Repéré sur le site d’InterAction : https://www.interaction.org/document/introduction-aux-méthodes-mixtes-dans-l’évaluation-d’impact
Barahona, I. (2012). Young labor right: A study of young migrants from rural 1st and 2nd generation. Edited by Juanas Azurduy Center. Sucre, Bolivia.
Bazeley, P. et Jackson, K. (2013). Qualitative Data Analysis with NVivo (éd.). Colorado: Sage Publications.
Bujold, M. (2014). Méthodologies de recherche et d’évaluation qualitatives : de la théorie à la pratique, guide de formation. Montréal, Canada : CAQI.
Bujold, M. (2016). NVivo: un support à l’analyse qualitative, guide de formation. Montréal, Canada : CAQI.
Bujold, M. (2017). Analyse thématique et critique de rapports initiaux d’évaluation des portefeuilles pays d’ONU Femmes : réalisations, défis et recommandations à considérer. New York : ONU Femmes.
Bujold, M., El Sherif, R., Bush, P. L., Johnson-Lafleur, J., Doray, G. et Pluye, P. (2018). Ecological content validation of the information assessment method for parents (IAM-parent): A mixed methods study. Evaluation and Program Planning, 66, 79-88.
https://doi.org/10.1016/j.evalprogplan.2017.09.011
Bujold, M., Hong, Q. N., Ridde, V., Bourque, C. J., Dogba, M. J., Vedel, I. et Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. Montréal : 117e Cahiers scientifiques de l’ACFAS.
http://methodesmixtesfrancophonie.pbworks.com
Cargo, M. et Mercer, S. L. (2008). The value and challenges of participatory research: strengthening its practice. Annual Review of Public Health, 29, 325-50.
doi: 10.1146/annurev.publhealth.29.091307.083824
Creswell, J. W. et Clark, V. L. P. (2011). Designing and conducting mixed methods research (éd.). Los Angeles : Sage Publications.
Daigneault, P.-M. et Jacob, S. (2009). Toward accurate measurement of participation: Rethinking the conceptualization and operationalization of participatory evaluation. American Journal of Evaluation, 30(3), 330-348.
Fereday, J. et Muir-Cochrane, E. (2006). Demonstrating rigor using thematic analysis: A hybrid approach of inductive and deductive coding and theme development. International journal of qualitative methods, 5(1), 80-92.
Jagosh, J., Macaulay, A. C., Pluye, P., Salsberg, J., Bush, P. L., Henderson, … Greenhalgh, T. (2012). Uncovering the benefits of participatory research: implications of a realist review for health research and practice. The Milbank Quarterly, 90(2), 311-46.
doi: 10.1111/j.1468-0009.2012.00665.x
Laperrière, A. (1997). Les critères de scientificité des méthodes qualitatives. Dans J.-P. Deslauriers, J. Poupart, L.-H. Groulx, A. Laperrière, R. Mayer et A.P. Pires (dir.), La recherche qualitative : enjeux épistémologiques et méthodologiques (p. 365-390). Boucherville, QC : Gaëtan Morin.
Miles, M. B., Huberman, A. M. et Saldaña, J. (2014). Qualitative data analysis : a methods sourcebook. Lieu d’édition : Maison d’édition
Ministerio de justicia. (2015). Vidas dignas, mujeres libres de violencia. Bolivie : Éditeur.
Olivier de Sardan, J.-P. (2008). La rigueur du qualitatif : les contraintes empiriques de l’interprétation socio-anthropologique. Louvain-la-Neuve, BE: Academia-Bruylant.
Paillé, P et Mucchielli, A. (2016). L’analyse qualitative en sciences humaines et sociales (4e éd.). Paris : Armand Colin.
Patton, M. Q. (1999). Enhancing the quality and credibility of qualitative analysis. Health services research, 34(5 Pt 2), 1189-1208.
Patton, M. Q. (2015). Qualitative research et evaluation methods : integrating theory and practice. Thousand Oaks, CA : Sage Publications.
Plante, J. (1994). Évaluation de programmes. Sainte-Foy, QC : Presses de l’Université Laval.
Porteous, N. L. (2012). La construction du modèle logique d’un programme. Dans V. Ridde et C. Dagenais (dir.), Approches et pratiques en évaluation de programmes (p. 89-107). Montréal : Les Presses de l’Université de Montréal.
Ridde, V. et Dagenais, C. (2012a). Introduction générale à l’évaluation de programmes. Dans V. Ridde et C. Dagenais (dir.), Approches et pratiques en évaluation de programmes (p. 13-32). Montréal : Les Presses de l’Université de Montréal.
Ridde, V. et Dagenais, C. (2012b). Approches et pratiques en évaluation de programmes : nouvelle édition revue et augmentée. Montréal : Les Presses de l’Université de Montréal.
Resumen / Résumé / Abstract
Los programas de desarrollo tienen como objetivo, producir cambios en comunidades con problemas socioculturales complejos, por ejemplo la desigualdad de las mujeres, donde se entrecruzan una pluralidad de significaciones. La evaluación de estos programas, necesita de un enfoque sistemático que movilice la colaboración entre las partes interesadas de diferentes organizaciones. Los tres componentes de la Evaluación Cualitativa Informatizada y Participativa inter-Organizacional (ÉQUIPO), apuntan a responder a estas realidades complejas. El objetivo del componente cualitativo es comprender los procesos de cambio desde puntos de vista diversos de aquellos o aquellas que experimentan una situación compleja. El componente participativo está orientado a promover la participación democrática de las partes interesadas y recuerda que la evaluación de programas no es un fin en sí, sino un medio para mejorar las condiciones sociales y colectivas. El componente inter-organizacional estimula los intercambios entre las ONG compartiendo misiones similares. Este método de aprendizaje en la acción, ha sido desarrollado en el 2012 durante un proyecto piloto de evaluación de programas de ONG bolivianas, promoviendo la igualdad entre hombres y mujeres. El objetivo de este capítulo no es presentar los resultados de la evaluación específica de programas, sino más bien describir el método ÉQUIPO, el contexto en el cual ha emergido, y la presentación de repercusiones y desafíos de su aplicación desde las perspectivas de los co-evaluadores que participaron en este proyecto piloto.
***
Les programmes de développement visent à produire des changements dans des communautés touchées par des problématiques socioculturelles complexes, par exemple l’égalité entre les femmes et les hommes, où s’entrecroise une pluralité de significations. L’évaluation de ces programmes nécessite une approche systématique mobilisant la collaboration entre les parties prenantes de différentes organisations. Les trois volets d’Évaluation QUalitative Informatisée et Participative inter-organisationnelle (ÉQUIPO) visent à répondre à ces réalités complexes. Le volet qualitatif vise à comprendre les processus de changement depuis les points de vue de ceux ou celles qui expérimentent une situation complexe. Le volet participatif en favorisant la participation démocratique des parties prenantes rappelle que l’évaluation de programmes n’est pas une fin en soi, mais un moyen d’améliorer les conditions sociales et collectives. Le volet inter-organisationnel stimule les échanges entre des ONG partageant des missions similaires. Cette méthode d’apprentissage dans l’action a été développée en 2012, lors d’un projet pilote d’évaluation de programmes d’ONG boliviennes promouvant l’égalité entre les femmes et les hommes. L’objectif de ce chapitre n’est pas de présenter les résultats de l’évaluation spécifique des programmes, mais plutôt de décrire la méthode ÉQUIPO, le contexte dans laquelle elle a émergé, et de présenter ses répercussions et les défis de son application depuis les perspectives des co-évaluateurs et évaluatrices qui ont participé à ce projet pilote.
***
Development programmes aim to produce change in communities affected by complex socio-cultural issues, such as gender equality, where a plurality of meanings intersect. Evaluating these programmes requires a systematic approach that involves collaboration between stakeholders from different organizations. The three components of the QUalitative Informative and Inter-Organisational Participatory Assessment (EQUIPO) aim to respond to these complex realities. The qualitative component aims to understand change processes from the perspectives of those experiencing a complex situation. The participatory component, by promoting the democratic participation of stakeholders, reminds us that programme evaluation is not an end in itself, but a means of improving social and collective conditions. The inter-organizational component stimulates exchanges between NGOs sharing similar missions. This method of learning in action was developed in 2012, during a pilot project to evaluate programmes of Bolivian NGOs promoting gender equality. The purpose of this chapter is not to present the results of the specific program evaluation, but rather to describe the TEAM methodology, the context in which it emerged, and to present its implications and the challenges of its application from the perspectives of the co-evaluators who participated in this pilot project.
***
Mathieu Bujold, es Doctor en antropología, e investigador posdoctoral en el Departamento de Medicina Familiar de la Universidad McGill. Sus experiencias de investigación y sus antecedentes académicos y profesionales se encuentran en la intersección de las ciencias sociales, las ciencias de la salud, las ciencias de la educación y la evaluación de programas. Desde 2007, ha ofrecido capacitación en análisis cualitativo mediante ordenador y métodos mixtos a varios estudiantes, investigadores/as y profesionales y ha sido experto invitado en varios departamentos universitarios, asociaciones de investigación y organizaciones internacionales que trabajan en el desarrollo (por ejemplo, el Banco Mundial). Además del desarrollo metodológico, sus intereses en materia de investigación incluyen el pluralismo médico, la atención integrada de la salud, la colaboración interprofesional en la atención de la salud y la atención centrada en la persona.
Jean-Alexandre Fortin, tiene una maestría en ayuda humanitaria internacional, es coordinador del Programa de Acceso e Innovación de Oxfam Quebec en Bolivia. Sus más de diez años de experiencia en Bolivia con Oxfam-Quebec le han dado un profundo conocimiento del contexto sociopolítico del país. Su educación universitaria y su formación profesional se especializan en la gestión de programas de desarrollo para mujeres y jóvenes, en particular en las áreas de planificación, supervisión y evaluación de programas. Desde 2003, ha trabajado con varias organizaciones no gubernamentales que trabajan en el desarrollo internacional, como el Centro de Cooperación Internacional para la Salud y el Desarrollo, Canada World Youth y Oxfam-Quebec.
Cita
Mathieu Bujold y Jean-Alexandre Fortin (2020). Evaluación cualitativa, informatizada, participativa e inter-organizacional (EQUIPO). Ejemplo de un programa para mujeres víctimas de la violencia en Bolivia. En Evaluación de las intervenciones sanitarias en salud global. Métodos avanzados. Bajo la dirección de Valéry Ridde y Christian Dagenais, pp. 69-94. Québec: Éditions science et bien commun y Marseille: IRD Éditions.
