7 Integración en métodos mixtos
Marco conceptual para la integración de fases, resultados y datos cualitativos y cuantitativos
Pierre Pluye
Definición del método
Los métodos mixtos integran métodos cualitativos y cuantitativos. Pueden utilizarse para responder a preguntas complejas de investigación y evaluación. |
Fortaleza del método
Proponemos tres tipos de integración y nueve estrategias prácticas, y todas las combinaciones posibles de estrategias para integrar fases, resultados y datos cualitativos y cuantitativos. |
Desafíos del método
Nuestra propuesta puede cubrir la necesidad de a) investigadores para planificar mejor, realizar y publicar estudios utilizando métodos mixtos, y b) del profesorado para formar estudiantes en métodos mixtos. |
Los métodos mixtos combinan métodos cualitativos (QUAL) y cuantitativos (QUAN) en la evaluación de programas, la investigación primaria y la revisión de la literatura (Creswell y Plano Clark 2011; Johnson, Onewuegbuzie y Turner 2007; Pluye y Hong 2014; Tashakkori y Teddlie 2010). Se utilizan cada vez más en las ciencias sociales y de la salud. A lo largo de los años, se han propuesto varias estrategias para integrar las fases, resultados y datos de QUAL y QUAN, pero rara vez se han conceptualizado y nunca se han probado (Greene 2008).
Un reto para cualquier investigador que utilice métodos mixtos es planificar, realizar e informar de manera sencilla y clara cuáles son las estrategias de análisis de los métodos mixtos específicos y las combinaciones de estas estrategias. En el presente capítulo se ofrece un marco conceptual de las principales combinaciones de estrategias que se utilizan en la investigación primaria con métodos mixtos. En el próximo capítulo, presentaremos una vigilancia colaborativa de las estrategias de análisis de métodos mixtos, que ha puesto a prueba esta propuesta y proporcionaremos ilustraciones basadas en estudios de salud global que utilizan métodos mixtos.
Los métodos mixtos son cualquier combinación de metodologías y métodos (incluyendo diseños de investigación y técnicas de recolección y análisis de datos QUAL y QUAN) cuando estas combinaciones satisfacen tres condiciones (Creswell y Plano Clark 2011) : a) se combinan al menos un método QUAL y un método QUAN (por ejemplo, etnografía y experimentación), b) cada método se utiliza rigurosamente con arreglo a los criterios generalmente aceptados en la metodología o tradición de investigación invocada, y c) la combinación de métodos se logra como mínimo mediante un diseño de métodos mixtos (previstos o emergentes) y una integración de las fases, resultados y datos QUAL y QUAN. Obsérvese que el equipo de investigación también puede combinar (pero no necesariamente) los métodos QUAL y QUAN, a nivel de la recopilación de datos (instrumentación mixta), la revisión de la literatura (revisión mixta) y la interpretación científica (epistemología, ontología, teleología y metodología).
Por el contrario, no se consideran métodos mixtos: a) Un método QUAN con una recopilación o análisis de información cualitativa que no sea “datos de investigación”, ya que no se refiere a un diseño y un método QUAL; b) Un método QUAL con una recopilación o análisis de información cuantitativa que no sea “datos de investigación”, ya que no se refiere a una cita y un método QUAN; c) combinaciones de métodos de QUAN; d) combinaciones de métodos de QUAL, y e) yuxtaposiciones de métodos de QUAL y QUAN sin integración en cuanto a enfoques, diseños, técnicas, fases, resultados y datos de QUAL y QUAN.
En este capítulo, presentaremos los principales elementos de los métodos mixtos (contexto) que sustentan el marco conceptual y propondremos tres tipos de integración (mapa), nueve estrategias específicas de los métodos (aplicación) y siete combinaciones de estrategias (análisis reflexivo) para integrar las fases cualitativas y cuantitativas, los resultados y los datos. En el próximo capítulo, presentaremos ejemplos de investigación en el campo de la salud global.
Contexto: Pluralismo, diseño, datos y calidad
Pluralismo de los métodos mixtos
Ya en 2003, Teddlie y Tashakkori afirmaron la coexistencia de diferentes interpretaciones del mundo y la ciencia por parte de los investigadores en métodos mixtos (Teddlie y Tashakkor, 2003). Este pluralismo es ilustrado por numerosas publicaciones (Niglas 2010). En este capítulo, los métodos mixtos se basan en la interpretación que hacen los investigadores de la ciencia (explícita o tácitamente) en términos de epistemología, ontología, teleología y metodología (Gendron 2001; Ridde y Dagenais 2012). Cuando un equipo incluye investigadores de métodos mixtos con diferentes interpretaciones de la ciencia, la combinación de métodos requiere discusiones de epistemología, ontología, teleología y metodología. Por ejemplo, el equipo puede combinar de manera transparente los enfoques o tradiciones científicas que reconocen los métodos QUAL y QUAN, como el pospositivismo de Campbell, el construccionismo social de Hacking, el pragmatismo, el realismo crítico y las teorías críticas, entre otros (Campbell 1988; De Waal 2005; Hacking 1999; Sayer 2000; Tyson 2014).
Principales diseños en métodos mixtos
Los investigadores pueden basarse en las recomendaciones existentes para planificar las investigaciones que utilizan métodos mixtos (Creswell y Plano Clark 2011). Una clasificación común de métodos mixtos se basa en dos tipos de diseño de investigación: secuenciales y convergentes. También hay tres variantes principales de estos diseños básicos: multietápico, multinivel y multietápico/multinivel.
Los diseños de investigación secuencial utilizan un método QUAL seguido de un método QUAN (por ejemplo, los resultados QUAN se movilizan para generalizar estadísticamente ciertos resultados QUAL), o un método QUAN seguido de un método QUAL (por ejemplo, los resultados QUAL se movilizan para interpretar ciertos resultados QUAN). En cualquier diseño secuencial, los resultados de la fase 1 informan a la fase 2. En este capítulo, consideramos que un proyecto de investigación puede conceptualizarse como un proceso organizacional (por ejemplo, un proyecto colectivo en el que participan investigadores de QUAL y QUAN). La literatura sobre organizaciones (en gestión y administración de proyectos) proporciona entonces una definición útil para comprender mejor estas secuencias. Inspirándonos en Van de Ven (1992), proponemos que se defina una secuencia a) desde una perspectiva de desarrollo (la fase 2 se basa en los resultados de la fase 1), b) como un cambio en la orientación del proyecto a lo largo del tiempo (los resultados de una primera recogida/análisis de datos [fase 1] informan una segunda recogida/análisis de datos [fase 2] que es diferente de la primera en cuanto a metodología y método) y c) como una transición cognitiva de los investigadores al pasar a una nueva fase (de una metodología y métodos QUAL a una QUAN, o de QUAN a la metodología y métodos QUAL) (Van de Ven 1992).
Por el contrario, los diseños convergentes combinan los métodos QUAL y QUAN en la etapa de planificación de la investigación o en el momento de la recopilación y análisis de los datos de QUAN y QUAL. En un diseño convergente, los métodos QUAL y QUAN son a menudo (pero no necesariamente) concurrentes. Una vez más, la literatura sobre organizaciones y procesos colectivos de adopción de decisiones (por ejemplo, decisiones adoptadas por un equipo de investigadores utilizando métodos mixtos) ofrece definiciones de convergencia. Inspirados por Langley y colegas, proponemos que la convergencia se defina como un proceso de mejora progresiva, sucesiva y continua en la recogida y análisis de datos QUAL y QUAN (convergencia de datos) y en la interpretación de los resultados (convergencia de resultados). Los investigadores trabajan de manera prospectiva y no lineal, guiados por una representación cognitiva de los datos adicionales, de las bases de datos, del análisis de datos, o de los resultados a crear (Langley, Mintzberg, Pitcher, Posada y Saint-Macary 1995).
Las variantes de estos diseños, simplemente implican múltiples fases/etapas o niveles de recogida y análisis de datos. Por un lado, el diseño multietápico incluye tres o más fases secuenciales (por ejemplo, QUAL, luego QUAN y luego QUAL) [Lisle 2013]. La viabilidad de este diseño puede ser problemática, ya que cada fase depende de la finalización oportuna de la anterior. Por otra parte, el diseño multinivel incluye dos o más niveles de análisis (por ejemplo, QUAN a nivel individual y QUAL a nivel de organización) (Dagenais, Nault-Brière, Dupont y Dutil 2008). Este diseño se basa en la convergencia de los resultados de los análisis realizados en cada nivel. Youngs y Piggot-Irvine combinaron las dos variantes y utilizaron una estimación multietápica y multinivel (Youngs y Piggot-Irvine 2011).
En un diseño mixto – MM (secuencial, convergente, multietápico, multinivel o multietápico/multinivel), los métodos QUAL que se combinan más frecuentemente con QUAN son: la investigación cualitativa descriptiva o interpretativa, el estudio de casos exploratorios, la etnografía, la teoría fundamentada, la fenomenografía y las historias de vida o biografías (Schwandt 2007). A su vez, los métodos QUAN que se combinan más frecuentemente con QUAL son: los estudios descriptivos (por ejemplo, encuestas de prevalencia o incidencia), estudios no aleatorios (por ejemplo, encuesta analítica transversal, cohorte, comparación de casos o cuasi-experimental) y experimentos aleatorizados y controlados o pragmáticos (Porta 2008). Cabe destacar que los diseños de “estudio de casos” y de “teoría fundamentada”, pueden ser en sí mismos QUAL y QUAN; por lo tanto, cada una de ellos puede ser suficiente (no tiene por qué combinarse necesariamente con otro diseño) para planificar un diseño de métodos mixtos.
Técnicas de recogida de datos QUAL y QUAN en métodos mixtos
En estos diseños, cualquier combinación de técnicas de recogida de datos QUAL y QUAN es posible en métodos mixtos. Los investigadores de MM son creativos y utilizan diversas posibilidades de recogida de datos experimentales, observacionales o datos simulados. No obstante, predominan las técnicas tradicionales de recogida. El cuestionario estructurado tiende a predominar en el lado de las técnicas QUAN, y la entrevista abierta o semiestructurada tiende a predominar en el lado de las técnicas QUAL (Bryman 2006). Cabe destacar, el cuestionario estructurado que combina preguntas cerradas (medidas estándar cuya validez y fiabilidad se ha comprobado) y preguntas abiertas, pues se trata de una pregunta recurrente durante la formación en MM. Estas preguntas abiertas pueden ser parte de los métodos QUAL o QUAN, dependiendo de la forma en que se diseñen y utilicen. Por ejemplo, las respuestas a las preguntas abiertas constituyen datos QUAL cuando se obtienen mediante una metodología QUAL rigurosa y un proceso de investigación científica (explícito, transparente y reproducible) que produce resultados QUAL plausibles (creíbles, contextuales, que pueden confirmarse y son transferibles). Los investigadores conocen a los participantes e interactúan con ellos (reformulando las respuestas o estimulando el desarrollo de las mismas) para aprender más sobre el contexto y comprender mejor el significado de las palabras y los acontecimientos.
Por otra parte, una respuesta escrita en un recuadro de comentarios, a una pregunta abierta y opcional, que se formula al final de un cuestionario auto-administrado en línea no puede considerarse un dato QUAL. En los estudios epidemiológicos, las palabras obtenidas de esta manera tradicionalmente proporcionan algunas ilustraciones para discutir los resultados de QUAN. Estas palabras constituyen información, pero no constituyen datos QUAL porque no se han obtenido mediante una metodología y un proceso de investigación científica QUAL rigurosos, y no pueden utilizarse para producir resultados QUAL plausibles. Los investigadores no pueden saber quién escribió estas palabras y por qué (anónimo); no pueden interactuar con los que escribieron y los que no (para aprender más sobre el contexto y comprender mejor el significado de las palabras escritas o por qué no se escribió nada). En el próximo capítulo mostraremos que alrededor del 20% de los estudios de salud se denominan “MM”, pero no cumplen las tres condiciones de la definición porque utilizan información QUAL (o QUAN) que no puede considerarse como datos obtenidos mediante una metodología y un proceso de investigación científica QUAL (o QUAN) rigurosos.
Evaluación de la calidad de los métodos mixtos
Esto nos lleva a la evaluación de la calidad de los métodos mixtos. Combinando una revisión de la literatura y un estudio piloto con talleres y consultas con expertos (Pace et al. 2012; Pluye, Gagnon, Griffiths y Johnson-Lafleur 2009), desarrollamos una herramienta para evaluar la calidad de los estudios que utilizan métodos QUAL, QUAN y MM: la MMAT (Herramienta de Evaluación de Métodos Mixtos) (Pluye et al. 2011). El MMAT utiliza diferentes criterios para diferentes métodos. Así pues, permite: a) evaluar la calidad metodológica de los componentes QUAL de los MM a partir de los criterios utilizados para evaluar los métodos QUAL; b) evaluar los componentes QUAN de los MM a partir de los criterios utilizados en epidemiología para evaluar los métodos QUAN; y c) evaluar la calidad general los MM en cuanto a la justificación del diseño, la integración de los métodos QUAL y QUAN, y el valor añadido y las limitaciones de esa integración. El MMAT está disponible gratuitamente en Internet (mixedmethodsappraisaltoolpublic.pbworks.com). Esta herramienta es fácil de utilizar y cabe en una sola página, incluye un manual de uso. Trabajos recientes han puesto a prueba la fidelidad del MMAT y han demostrado la validez y eficiencia de esta herramienta (Souto et al. 2015).
Estado del conocimiento sobre la integración en métodos mixtos
Los análisis de MM “consisten en técnicas analíticas aplicadas a los datos QUAL y QUAN” (procedimientos estándar utilizados en epidemiología/estadística e investigación cualitativa), y técnicas que integran las fases, resultados y datos de QUAL y QUAN “en un solo punto del proceso de investigación de MM o en múltiples puntos en el tiempo” (Creswell y Plano Clark 2011, pág. 212). Éstas se agrupan en estrategias específicas de los MM que se presentarán en la sección siguiente “Aplicación”, en forma de propuesta. En la sección “Análisis” presentaremos combinaciones de estas estrategias.
Esta propuesta se basa en una síntesis de las principales publicaciones de referencia metodológica. Esta síntesis es innovadora por dos razones: integra todas las estrategias específicas conocidas y todas las combinaciones posibles de estrategias. Además, esta propuesta está asociada a un sistema de vigilancia que permite ponerla a prueba e identificar estrategias emergentes (imprevistas).
Recientemente se ha publicado una visión general de los análisis en MM según 13 dimensiones (Onwuegbuzie y Combs 2010), que incluye la secuencia temporal de los análisis, la prioridad dada a un análisis particular, la orientación de los análisis (casos, variables, procesos), la interdependencia de los análisis, los vínculos entre los análisis y otros aspectos de las especificaciones (filosofía, objetivos y formas de datos) y la forma en que se generalizan los resultados (estadística o teóricamente). Aparte de este panorama general, las publicaciones metodológicas de MM y las obras de referencia proponen estrategias básicas no combinadas (cada estrategia se presenta como un proceso necesario y suficiente para obtener resultados) y las publicaciones suelen ser prescriptivas (no probadas con métodos científicos como la recopilación y el análisis de datos de investigación) y se limitan a unas pocas especificaciones o estrategias.
Para planificar nuestra propuesta, hemos agrupado estas estrategias básicas no combinadas en tres grandes categorías de estrategias específicas: (a) las que conectan las fases QUAL y QUAN, (b) aquellas que comparan los resultados de los análisis QUAL y QUAN, y (c) las que asimilan los datos QUAL y QUAN. En la siguiente sección, definiremos cada una de estas categorías. Se destacan tres ventajas: se han definido claramente aplicando los principios de armonización de los términos utilizados en documentación (ciencias de la información) (Organización Internacional de Normalización [ISO] 2009; Roche 2012), integran las terminologías anteriores (Bazeley 2009; Greene 2007; Teddlie y Tashakkori 2009), y se refieren a los tres tipos comunes de integración de los métodos QUAL y QUAN (conexión de fases, comparación de resultados y asimilación de datos).
La conexión de fases se denomina “desarrollo secuencial” (Bazeley), o “correlación y comparación” (Greene), o “análisis mixto secuencial” (Teddlie y Tashakkori). La comparación de los resultados se denomina “triangulación y expansión” (Bazeley), o “análisis inferencial conjunto” (Greene), o “análisis mixto paralelo” (Teddlie y Tashakkori). La asimilación de datos se denomina “transformación” (Bazeley), “transformación y consolidación” (Greene) o “análisis de conversión mixta” (Teddlie y Tashakkori). Además, hemos incluido dos de las tres categorías propuestas por Creswell, pero sin limitar cada categoría a un diseño en MM. En efecto, Creswell y sus colaboradores limitan cada categoría a un diseño así: conectar las fases de QUAL y QUAN (diseño secuencial), comparar los resultados de QUAL y QUAN, y transformar los datos de QUAL o QUAN (diseño convergente) (Creswell y Plano Clark 2011; Guetterman, Fetters y Creswell 2015).
Tres tipos de integración en MM
Greene, Teddlie y Tashakkori (Greene 2007; Teddlie y Tashakkori 2003, 2009, 2010) sugieren tres principios de MM (complementariedad, tensión dialéctica y unificación) que justifican conceptualmente los tres tipos de integración propuestos (conexión de fases, comparación de resultados y asimilación de datos). Estos tres tipos de integración no se excluyen mutuamente (pueden combinarse) y no están asociados a un juicio de valor (por ejemplo, la conexión de fase no es una integración mejor o peor que la asimilación de datos).
- Conexión de fases. El principio de complementariedad se deriva de la literatura que sugiere que las interpretaciones de las ciencias (epistemología, ontología, metodología y teleología) asociadas a los métodos QUAL son diferentes y separadas de las asociadas a los métodos QUAN. Los métodos de recopilación y análisis de datos de QUAL y QUAN están separados. Los métodos y resultados de QUAL y QUAN se presentan por separado en la literatura, pero al menos una frase sugiere que los resultados de QUAL y QUAN son complementarios. La integración (transición cognitiva) se produce cuando hay una conexión entre dos fases (por ejemplo, entre una fase QUAL y una fase QUAN).
- Comparación de resultados. El principio de la tensión dialéctica proviene de la literatura que sugiere que las interpretaciones de las ciencias asociadas a los métodos QUAL y QUAN son diferentes e interdependientes (su yuxtaposición genera tensiones creativas de descubrimiento e innovación). Los métodos de recogida y análisis de datos de QUAL y QUAN están separados o interconectados en uno o más puntos en el tiempo, y los resultados están interconectados a través de un proceso de comparación. Se explicitan las similitudes, diferencias y contradicciones entre los resultados de QUAL y QUAN (guiados por una representación cognitiva de los resultados a crear). Por ejemplo, las discrepancias entre los resultados de QUAN y QUAL se mencionan en la literatura, y al menos una frase sugiere cómo resolverlas.
- Asimilación de datos. El tercer principio, la unificación, se centra en una cuestión o teoría o interpretación de la ciencia asociada a los métodos QUAL y QUAN. Corresponde a dos corrientes de pensamiento: por un lado, los métodos responden a las preguntas de la investigación y movilizan teorías que unifican el uso de MM sobre una pregunta o teoría (independientemente de las interpretaciones de las ciencias). Por otra parte, varias interpretaciones de las ciencias permiten directamente el uso de MM (unificación en una sola interpretación). Este principio justifica la asimilación de datos (guiada por una representación cognitiva de los resultados a crear). Los datos de QUAL y QUAN pueden transformarse en una sola forma de QUAL (temas) o QUAN (variables) o fusionarse caso por caso.
Aplicación
Marco conceptual
Proponemos un marco conceptual que incluye estos tres tipos de integración, nueve estrategias específicas y siete combinaciones de estrategias, para integrar las fases, resultados y datos de QUAL y QUAN en MM. Esta conceptualización se resume en el cuadro 1 y la figura 1 y sugiere que cualquier estudio que utilice MM puede combinar varias estrategias. Se inspira en el construccionismo social (Hacking 1999): cualquier estrategia produce un objeto de tipo mixto (mixed kind) por efecto de bucle (looping effect) entre las fases, resultados o datos de QUAL y QUAN. En otras palabras, cada estrategia se define por un recurso (una contribución en el proceso de gestión del proyecto de investigación mediante MM), un proceso (efecto de bucle) y un producto (objeto mixto). Cualquier combinación de estrategias multiplica los efectos de bucle y los objetos mixtos.
Para cada tipo de integración, las estrategias específicas que proponemos (sin limitar cada estrategia a un único diseño) corresponden a las estrategias básicas descritas por los autores y las autoras a menudo citadas en métodos mixtos. En la evaluación se suelen describir cuatro estrategias básicas: desarrollo de tipología o taxonomía, análisis de casos extremos, transformación de datos y consolidación o fusión de datos (Caracelli y Greene 1993). En las ciencias de la salud, las estrategias básicas que se suelen describir son la comparación de resultados (triangulación), seguimiento de un hilo conductor (follow a thread), la fusión de los datos de QUAL y QUAN para cada caso (meta-matriz), y la transformación de los datos de QUAL en QUAN (cuantificación) o de los datos de QUAN en QUAL (cualitativo) (O’Cathain, Murphy y Nicholl 2010; Sandelowski 2000). A continuación, se presentan las nueve estrategias de integración específicas de la MM.
Primer tipo de integración: conexión de fases (3 estrategias específicas)
Estrategia 1.1 Conectar una fase QUAL a una fase QUAN
En esta estrategia, el recurso consiste en los resultados de la Fase 1 QUAL (Creswell y Plano Clark 2011). El proceso es la conexión de los resultados de QUAL con la recopilación y el análisis de datos de la Fase 2 QUAN; por ejemplo, los investigadores utilizan los resultados de la Fase 1 QUAL para construir el cuestionario de la Fase 2 QUAN. El producto mixto es una recopilación/análisis de datos de QUAN que está informado (estructurado) por los resultados de QUAL. Con esta estrategia se logran, entre otros, los siguientes objetivos a) Desarrollar una tipología (fase 1-QUAL) y una taxonomía (fase 2-QUAN); b) Crear un instrumento (fase 1-QUAL) y utilizarlo para la medición (fase 2-QUAN); c) Validar un instrumento (validación de contenido QUAL y luego validación de construcción QUAN); o validación del contenido ecológico QUAL -representatividad de las preguntas- luego QUAN -relevancia de las preguntas-); d) diseñar una intervención (fase-1 QUAL) y evaluar su implementación (fase-2 QUAN); y e) construir un marco conceptual o teórico (fase-1 QUAL) y probarlo (fase-2 QUAN).
Estrategia 1.2 Conectar una fase QUAN a una fase QUAL
El recurso consiste en los resultados de la fase 1 QUAN (Creswell y Plano Clark, 2011). El proceso es la conexión de los resultados de QUAN con la recopilación y análisis de datos de la Fase 2 QUAL; por ejemplo, los investigadores utilizan los resultados de la Fase 1 QUAN para identificar las categorías de informantes clave de la Fase 2 QUAL. El producto mezclado es una recolección/análisis de datos de QUAL que se basa en los resultados de QUAN. Con esta estrategia se logran, entre otros, los siguientes objetivos a) validar un instrumento (los resultados QUAL pueden explorar explicaciones para los resultados QUAN); b) explicar los resultados QUAN utilizando los resultados QUAL obtenidos con una muestra intencionada de informantes clave, por ejemplo, para comprender mejor las diferencias entre grupos (intervención frente a control; favorecido frente a perjudicado); y c) ayudar a explicar los casos extremos.
Caso especial de 1.1 y 1.2: Seguir un hilo conductor entre las fases QUAL y QUAN
Este caso en particular se llama la estrategia de “hilo conductor” (follow the thread) (O’Cathain et al. 2010). El recurso se compone de los resultados de una fase QUAL o QUAN. El proceso consiste en conectar los resultados de esta fase con la recopilación de datos y el análisis de la siguiente fase (QUAN o QUAL), identificar un tema QUAL o una variable clave QUAN durante estas fases, y volver a analizar en profundidad los datos relacionados con este tema o variable de forma prospectiva y retrospectiva (metafóricamente como cuando se desenrolla un sendero de migas de pan en el camino a una cueva, y luego se sigue este sendero de nuevo al aire libre). El producto mezclado consiste en una recolección/análisis de datos de QUAL o QUAN que es informado por los resultados de QUAN o QUAL.
Segundo tipo de integración: comparación de resultados (3 estrategias específicas)
Estrategia 2.1. Comparación de los resultados obtenidos por separado
En esta estrategia, el recurso consiste en los resultados de QUAL y QUAN obtenidos mediante la recolección y análisis de datos por separado (Creswell y Plano Clark 2011). El proceso es una comparación por parte de los investigadores de las similitudes y diferencias entre los resultados de QUAL y QUAN, por ejemplo, yuxtaponiéndolos en una tabla con cada fila correspondiente a un tema principal de QUAL y la(s) variable(s) correspondiente(s). El producto mixto consiste en una interpretación o decisión. Normalmente, una tabla de comparación consta de cuatro columnas: subtítulo (columna 1), resultados QUAL (columna 2), resultados QUAN (columna 3) e interpretación o decisión (columna 4).
Estrategia 2.2. Comparación de los resultados obtenidos de manera interdependiente
El recurso consiste en los resultados de QUAL y QUAN obtenidos mediante la recopilación y el análisis interdependiente de datos (Creswell y Plano Clark 2011). Al igual que en la estrategia anterior, el proceso es una comparación por parte de los investigadores de las similitudes y diferencias entre los resultados de QUAL y QUAN. El producto mixto es una interpretación o decisión que tiene en cuenta explícitamente las interdependencias, por ejemplo, cuando una variable QUAN se deriva directamente de un tema QUAL (o participantes QUAL reclutados entre los participantes QUAN). Cuando existen interdependencias, los investigadores esperan principalmente ver similitudes, como la corroboración de los resultados de QUAL por los resultados de QUAN (o viceversa). Se pueden hacer varias hipótesis para explicar las diferencias, si las hubiera (cada diferencia puede suponer una amenaza para la validez interna de los resultados de la QUAN o la credibilidad de los resultados de la QUAL).
Caso especial de las estrategias 2.1 y 2.2: Divergencia de los resultados QUAL y QUAN
En este caso particular, los investigadores comparan los resultados QUAL y QUAN, centrándose en las discrepancias (contradicciones, discordias o disonancias). Como antes, el proceso es una comparación por parte de los investigadores de los resultados QUAL y QUAN. El producto mixto consiste en una interpretación o decisión para cada discrepancia. En la literatura de MM, encontramos ejemplos que ilustran dos estrategias principales que los investigadores utilizan para tratar las discrepancias entre los resultados de QUAL y QUAN: la reconciliación o el inicio de un nuevo proyecto de investigación (Pluye, Grad, Levine, y Nicolau 2009).
Tercer tipo de integración: asimilación de datos (3 estrategias específicas)
Estrategia 3.1. Transformación de datos QUAL en datos QUAN (cuantificación)
En esta estrategia, el recurso consiste en todos o algunos de los datos de QUAL de la investigación cualitativa, y los datos de QUAN. El proceso es la transformación o conversión de los datos QUAL en datos QUAN para que los datos QUAL transformados puedan ser analizados con los datos QUAN. Por ejemplo, los investigadores utilizan la antigua técnica de análisis cuantitativo del contenido (Neuendorf, 2002): transforman los temas clave en un pequeño número de variables, y los correspondientes datos QUAL en valores numéricos, utilizando una rejilla de codificación válida y precisa y un manual. El producto mixto consiste en datos QUAN (combinando datos QUAN y datos QUAL transformados en datos QUAN) que pueden ser analizados usando técnicas estadísticas estándar. El rigor de esta estrategia se basa en la validez y la fidelidad inter-jueces del análisis cuantitativo de contenido (siendo la hoja de registro y la guía de codificación los instrumentos de medición). En nuestra opinión, muchos investigadores están criticando incorrectamente esta estrategia con el argumento de que “reduciría” los datos QUAL. De hecho, no hay nada que impida que todos los datos QUAL sean analizados en paralelo. La transformación de los datos de QUAL en datos de QUAN produce un valor añadido en términos de análisis y resultados adicionales.
Estrategia 3.2. Transformación de los datos de QUAN en datos de QUAL
El recurso consiste en todos o parte de los datos QUAN de una investigación epidemiológica o estadística, y los datos QUAL. El proceso es la transformación o conversión de los datos QUAN en datos QUAL para que los datos QUAN transformados puedan ser analizados con los datos QUAL. Los investigadores utilizan análisis interpretativos (por ejemplo, temáticos) y transforman los resultados estadísticos en historias o narraciones (por ejemplo, organizados por temas) (Sandelowski, 2000). El producto mixto consiste en datos QUAL (combinando datos QUAL y datos QUAN transformados en datos QUAL) que pueden ser analizados de forma narrativa. Como en la estrategia anterior, no hay nada que impida que todos los datos QUAN sean analizados estadísticamente en paralelo. La transformación de los datos QUAN en datos QUAL proporciona un valor añadido (análisis y resultados adicionales).
Estrategia 3.3. Fusión de los datos de QUAL y QUAN
En esta última estrategia, el recurso consiste en casos (por ejemplo, individuos, organizaciones, eventos, etc.) y datos de QUAL y QUAN (O’Cathain et al. 2010). El proceso consiste en la fusión de los datos QUAL y QUAN caso por caso (análisis intra-caso) para permitir análisis entre casos. El producto mezclado consiste en un nuevo conjunto de datos que pueden analizarse de manera estadística (por ejemplo, la descripción de un caso y la comprobación de hipótesis) o narrativa (por ejemplo, la comparación de historias de casos). El rigor de esta estrategia se basa en la definición de los casos y en la recopilación de datos similares QUAL y QUAN para cada caso. Por ejemplo, los clínicos evaluaron los efectos cognitivos y el uso de la información encontrada en los recursos electrónicos especializados utilizando un cuestionario validado (estudio longitudinal QUAN); los casos se definieron como búsquedas de información en las que se utilizó la información clínica para un paciente específico. En cada caso se entrevistó a los clínicos y se describieron los efectos del uso de esta información en la salud de los pacientes (estudios de casos múltiples de QUAL), los datos QUAN y QUAL se fusionaron en viñetas clínicas (cada viñeta describía un caso), y estas viñetas se utilizaron para construir una “meta-matriz mixta” y estimar la proporción de pacientes cuya salud se benefició de las búsquedas de información de los clínicos (Pluye, Grad, Johnson-Lafleur et al. 2013; Pluye, Grad, Repchinsky et al. 2013).
Análisis reflexivo: Combinaciones de estrategias para integrar fases, resultados y datos QUAL y QUAN
Una combinación se define por uno o más elementos de un conjunto, independientemente del orden de selección. En la figura 1 se muestran las siete combinaciones posibles de las estrategias propuestas.
En este capítulo se describió el pluralismo de los métodos mixtos (MM) en cuanto a las interpretaciones de las ciencias (epistemología, ontología, metodología y teleología) y se recordó que los MM suelen requerir la colaboración de expertos en métodos QUAL y QUAN (por ejemplo, un supervisor de QUAL y un co-supervisor de QUAN para los estudiantes de doctorado) que tienen que conciliar su interpretación de las ciencias cuando éstas difieren. Además, en este capítulo se mencionan los principales tipos de especificaciones y criterios de calidad en la MM. A este conocimiento básico añadimos tres tipos de integración, nueve estrategias específicas de MM y todo un nuevo mundo a explorar con múltiples combinaciones posibles de estrategias para integrar las fases, resultados y datos de QUAL y QUAN.
Este capítulo ha contribuido al conocimiento de MM en términos de definición, práctica e innovación. Ha definido los conceptos de secuenciación y convergencia en relación con la literatura sobre gestión de proyectos, en este caso la gestión de proyectos de investigación o evaluación utilizando MM. Nuestra conceptualización contribuye al conocimiento sobre MM y es práctica. Puede guiar a los estudiantes, investigadores y evaluadores en la planificación, realización y evaluación de estudios y evaluaciones de programas utilizando la MM, particularmente en la salud global. En el siguiente capítulo ilustraremos todas estas estrategias y combinaciones con las investigaciones sobre la salud mundial. Discutiremos las fortalezas y debilidades de nuestras propuestas a la luz de esta investigación.
3 TIPOS DE INTEGRACIÓN Y 9 ESTRATEGIAS ESPECÍFICAS |
DEFINICIONES |
TIPO 1 : Conexión de fases |
Conectar fases QUAL y QUAN |
Fase QUAL a fase QUAN |
Conectar los resultados de una fase-1 QUAL con la recogida y análisis de una fase-2 QUAN [1]. |
Fase QUAN à fase QUAL |
Conectar los resultado de una fase-1 QUAN con la recogida y análisis de una fase-2 QUAL [1]. |
Caso particular de 1.1 et 1.2 : “Follow a thread” |
Analizar los datos QUAL (o QUAN) e identificar los principales temas (o variables) que necesitan una profundización ; escoger un tema (o variable) y reanalizar a través de los componentes QUAN (o QUAL) [2]. |
TIPO 2 : Comparación de resultados |
Comparar resultados QUAL y QUAN |
2.1. Resultados QUAL y QUAN obtenidos de manera separada |
Comparar las similitudes y diferencias entre los resultados QUAL et QUAN obtenidos de la recogida y el análisis de datos separados [1]. |
2.2. Resultados QUAL et QUAN obtenidos de manera interdependiente |
Comparar las similitudes y diferencias entre los resultados QUAL y QUAN obtenidos de la recogida y el análisis de datos interdependientes [1]. |
Caso particular de 2.1 y 2.2 : Divergencia de resultados QUAL y QUAN |
Comparar, destacando las discrepancias (contradicciones, incoherencias o disonancias) entre los resultados QUAL y QUAN [3]. |
TIPO 3 : Asimilación des datos |
Asimilar los datos QUAL et QUAN |
3.1. Datos QUAL en datos QUAN |
Asimilar los datos QUAL y QUAN transformando los datos QUAL en datos QUAN [1]. |
3.2. Datos QUAN en datos QUAL |
Asimilar los datos QUAL y QUAN transformando los datos QUAN en datos QUAL [1]. |
3.3. Fusión de datos QUAL y QUAN |
Asimilar los datos QUAL y QUAN fusionándolos para cada caso en una base de datos adicional [1]. |
TIPO 4 : Estrategias emergentes |
Descúbrelo observando la evolución de las tendencias en MM con eSRAP |
[1](Creswell et Plano Clark 2011); [2] (O’Cathain et al. 2010); [3](Pluye, Grad et al. 2009) |
TIPO 1 : Conexión de las fases |
|
TIPO 1 combinado |
|
|
|
|
con TIPO 2 |
|
|
|
|
|
|
TIPO 1 combinado |
TIPO 2 : Comparación de resultados |
|
TIPO 2 combinado |
|
con TIPO 2 |
|
|
con TIPO 3 |
|
y TIPO 3 |
|
|
|
|
|
TIPO 3 : Asimilación de datos |
|
TIPO 3 combinado |
|
|
|
|
con TIPO 1 |
|
|
|
|
|
|
|
Estrategias emergentes |
|
Combinaciones emergentes |
Referencias clave
Méthodes mixtes francophonie : http://methodesmixtesfrancophonie.pbworks.com
Esta nueva asociación internacional sin fines de lucro tiene como objetivo promover los métodos mixtos en francés. En 2018, ya cuenta con 121 miembros de 8 países diferentes (Alemania, Bélgica, Canadá, Francia, Rwanda, Senegal y Suiza). Ofrece apoyo metodológico, una bibliografía abierta de las publicaciones de los miembros y una lista de expertos, recursos y cursos de capacitación. En particular, ofrece acceso gratuito a la primera obra de referencia metodológica colectiva sobre métodos mixtos en francés (14 capítulos, 266 páginas): Bujold, M., Hong, Q. N., Ridde, V., Bourque, C. J., Dogba, M. J., Vedel, I. y Pluye, P. (2018). Oser les défis des méthodes mixtes en sciences sociales et sciences de la santé. Montréal : 117e Cahiers scientifiques de l’ACFAS.
Creswell, J. W. et Clark, V. L. P. (2018). Designing and conducting mixed methods research(3e éd.). Thousand Oaks, CA: Sage Publications.
Este es el libro metodológico más popular sobre métodos mixtos. Se detallan los pasos para llevar a cabo la investigación de métodos mixtos. Este libro es una guía práctica para los evaluadores, estudiantes e investigadores que se inician en la investigación de métodos mixtos. En él se ofrecen especificaciones para la realización de investigaciones con métodos mixtos, ejemplos de recopilación y análisis de datos y recomendaciones para redactar un protocolo o una publicación.
Tashakkori, A. et Teddlie, C. (2010). Handbook of mixed methods in social and behavioral research. Thousand Oaks, CA: Sage Publications.
Este libro de referencia colectiva incluye capítulos sobre prácticamente todos los aspectos importantes de los métodos mixtos en las ciencias sociales y de la salud. Está escrito por investigadores de varias disciplinas y países reconocidos en sus campos. Presenta un estado del arte de los conocimientos epistemológicos y metodológicos sobre los métodos mixtos. Es un compañero de los estudiantes e investigadores que utilizan métodos mixtos.
Referencias
Bazeley, P. (2009). Analyzing mixed methods data. Dans S. Andrew et E. Halcomb (dir.), Mixed methods research for nursing and the health sciences (p. x-x). Chichester : Wiley.
Bryman, A. (2006). Integrating quantitative and qualitative research: how is it done?. Qualitative Research, 6(1), 97-113.
Campbell, D. T. (1988). Qualitative knowing in action research. Dans S. Overman (dir.), Methodology and epistemology for social science: selected papers of Donald T. Campbell (p. 360-376). Chicago : The University of Chicago Press.
Caracelli, V. J. et Greene, J. C. (1993). Data analysis strategies for mixed-method evaluation designs. Educational Evaluation and Policy Analysis, 15(2), 195-207.
Creswell, J. W. et Clark, V. L. P. (2011). Designing and conducting mixed methods research (2e éd.). Thousand Oaks, CA: Sage Publications.
Dagenais, C., Nault-Brière, F., Dupont, D. et Dutil, J. (2008). Implementation and effects of a service coordination program for youths and their families in complex situations: A mixed evaluation design. Children and Youth Services Review, 30(8), 903-913.
De Waal, C. (2005). On pragmatism. Belmont : Wadsworth.
Gendron, S. (2001). La pratique participative en santé publique : l’émergence d’un paradigme (Thèse de doctorat). Université de Montréal, Montréal.
Greene, J. C. (2007). Mixed methods in social inquiry (édition, volume). San Francisco: Jossey Bass.
Greene, J. C. (2008). Is mixed methods social inquiry a distinctive methodology?. Journal of Mixed Methods Research, 2(1), 7-22.
doi: 10.1177/1558689807309969
Guetterman, T. C., Fetters, M. D. et Creswell, J. W. (2015). Integrating quantitative and qualitative results in health science mixed methods research through joint displays. The Annals of Family Medicine, 13(6), 554-561.
Hacking, I. (1999). The social construction of what?. Cambridge, MA: Harvard University Press.
International Standards Organization (ISO). (2009). Terminology work – Principles and methods.
http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=38109
Johnson, R. B., Onewuegbuzie, A. J. et Turner, L. A. (2007). Toward a definition of mixed methods research. Journal of Mixed Methods Research, 1(2), 112-133.
Langley, A., Mintzberg, H., Pitcher, P., Posada, E. et Saint-Macary, J. (1995). Opening up decision making: the view from the black stool. Organization Science, 6(3), 260-279.
Lisle, J. D. (2013). Exploring the value of integrated findings in a multiphase mixed methods evaluation of the continuous assessment program in the Republic of Trinidad and Tobago. International Journal of Multiple Research Approaches, 7(1), 27-49.
Neuendorf, K. A. (2002). The content analysis guidebook. Thousand Oaks, CA: Sage Publications.
Niglas, K. (2010). The multidimensional model of research methodology: an integrated set of continua. Dans A. Tashakkori et C. Teddlie (dir.), Handbook of mixed methods in social and behavioral research (2e éd., p. 215-236). Thousand Oaks, CA: Sage Publications.
O’Cathain, A, Murphy, E. et Nicholl, J. (2010). Three techniques for integrating data in mixed methods studies. British Medical Journal, 341, 1147-1150.
doi: 10.1136/bmj.c4587
Onwuegbuzie, A. J. et Combs, J. P. (2010). Emergent data analysis techniques in mixed methods research: a synthesis. Dans A. Tashakkori et C. Teddlie (dir.), Handbook of mixed methods in social and behavioral research (p. 397-430). Thousand Oaks, CA: Sage Publications.
Pace, R., Pluye, P., Bartlett, G., Macaulay, A. C., Salsberg, J., Jagosh, J. et Seller, R. (2012). Testing the reliability and efficiency of the pilot Mixed Methods Appraisal Tool (MMAT) for systematic mixed studies review. International Journal of Nursing Studies, 49(1), 47-53.
Pluye, P., Gagnon, M. P., Griffiths, F. et Johnson-Lafleur, J. (2009). A scoring system for appraising mixed methods research, and concomitantly appraising qualitative, quantitative and mixed methods primary studies in mixed studies reviews. International Journal of Nursing Studies, 46(4), 529-546.
Pluye, P., Grad, R. M., Johnson-Lafleur, J., Granikov, V., Shulha, M., Marlow, B. et Ricarte, I. (2013). The Number Needed to Benefit from Information (NNBI): proposal from a mixed methods research study with practicing family physicians. The Annals of Family Medicine, 11(6), 559-567.
doi: 10.1370/afm.1565
Pluye, P., Grad, R. M., Levine, A. et Nicolau, B. (2009). Understanding divergence of quantitative and qualitative data and results in mixed methods studies. International Journal of Multiple Research Approaches, 3(1), 58-72.
Pluye, P., Grad, R. M., Repchinsky, C., Jovaisas, B., Johnson-Lafleur, J., Carrier, M. E., Légaré, F. (2013). Four levels of outcomes of information-seeking: a mixed methods study in primary health care. Journal of the American Society for Information Science and Technology (JASIST), 64(1), 108–125.
Pluye, P. et Hong, Q. N. (2014). Combining the power of stories and the power of numbers: mixed methods research and mixed studies reviews. Annual Review of Public Health, 35, 29-45.
Pluye, P., Robert, E., Cargo, M., Bartlett, G., O’Cathain, A., Griffiths, F., Rousseau, M.C. (2011). Proposal: a mixed methods appraisal tool for systematic mixed studies reviews.
http://mixedmethodsappraisaltoolpublic.pbworks.com
Porta, M. (2008). A dictionary of epidemiology. New York : Oxford University Press.
Ridde, V. et Dagenais, C. (2012). Introduction générale à l’évaluation de programme. Dans V. Ridde et C. Dagenais (dir.), Approches et pratiques en évaluation de programme (p. 11-29). Montréal : Presses de l’Université de Montréal.
Roche, C. (2012, mai). Ontologie : entre terminologie et connaissance de spécialité. Communication présentée au GLAT – Terminologies : textes, discours et accès aux savoirs spécialisés, Gênes.
https://hal.archives-ouvertes.fr/hal-01180282/document
Sandelowski, M. (2000). Combining qualitative and quantitative sampling, data collection, and analysis techniques in mixed-method studies. Research in Nursing et Health, 23(3), 246-255.
Sayer, A. (2000). Realism and social science. Londres : Sage Publications.
Schwandt, T. A. (2007). Dictionary of qualitative inquiry (3e éd.). Thousand Oaks, CA: Sage Publications.
Souto, R. Q., Khanassov, V., Hong, Q. N., Bush, P. L., Vedel, I. et Pluye, P. (2015). Systematic mixed studies reviews: updating results on the reliability and efficiency of the mixed methods appraisal tool. International Journal of Nursing Studies, 52(1), 500-501.
Tashakkori, A. et Teddlie, C. (2010). Handbook of mixed methods in social and behavioral research. Thousand Oaks, CA: Sage Publications.
Teddlie, C. et Tashakkori, A. (2003). Major issues and controversies in the use of mixed methods in the social and behavioural sciences. Dans A. Tashakkori et C. Teddlie (dir.), Handbook of mixed methods in social and behavioral research (p. 3-50). Thousand Oaks, CA: Sage Publications.
Teddlie, C. et Tashakkori, A. (2009). Foundations of mixed methods research: Integrating quantitative and qualitative approaches in the social and behavioral sciences. Thousand Oaks, CA: Sage Publications.
Teddlie, C. et Tashakkori, A. (2010). Overview of contemporary issues in mixed methods research. Dans A. Tashakkori et C. Teddlie (dir.), Handbook of mixed methods in social and behavioral research (p. 1-41). Thousand Oaks, CA: Sage Publications.
Tyson, L. (2014). Critical theory today. New York: Routledge.
Van de Ven, A. H. (1992). Suggestions for studying strategy process: a research note. Strategic Management Journal, 13(5), 169-188.
Youngs, H. et Piggot-Irvine, E. (2011). The application of a multiphase triangulation approach to mixed methods: The research of an aspiring school principal development program. Journal of mixed methods research, 6(3), 184-198.
Resumen / Résumé / Abstract
Los métodos mixtos (MM) son cada vez más populares. Al utilizar los métodos mixtos, los investigadores integran métodos cualitativos (QUAL) y cuantitativos (QUAN) con respecto a las cosmovisiones, metodologías y diseños, preguntas de investigación, técnicas de recopilación y análisis de datos y resultados de estudios. Se han propuesto varias estrategias de integración, pero su conceptualización suele estar impulsada por el diseño, o ser fragmentada, o no haber sido probada empíricamente. Esto es un reto para la planificación y realización de estudios que utilizan métodos mixtos y para la formación de estudiantes de postgrado. Basado en la literatura metodológica, este capítulo presenta un marco conceptual que incluye tipos de integración, estrategias prácticas y posibles combinaciones de estrategias para integrar las fases, resultados y datos de QUAL y QUAN. En el siguiente capítulo, este marco se prueba utilizando una revisión de los estudios que utilizan métodos mixtos de 2015 con una descripción detallada del método. Esto apoya el marco, ilustra múltiples tipos de combinaciones y proporciona ejemplos de salud mundial. Estos dos capítulos complementarios contribuyen a avanzar en el conocimiento metodológico de los métodos mixtos a través de (a) un llamado a informar mejor sobre los estudios que utilizan métodos mixtos en artículos científicos, y (b) una conceptualización probada que comprende tres tipos de integración y nueve estrategias específicas, que explican las posibilidades actuales y futuras de combinar estrategias para integrar las fases, los resultados y los datos de QUAL y QUAN.
***
Les méthodes mixtes (MM) sont de plus en plus populaires. En utilisant les MM, les chercheuses et chercheurs intègrent des méthodes qualitatives (QUAL) et quantitatives (QUAN), par exemple au niveau des questions et devis de recherche, et des collectes et analyses des données. Plusieurs stratégies d’intégration ont été proposées, mais leur conceptualisation est généralement limitée, fragmentée, ou non testée scientifiquement. Cela constitue un défi pour planifier et effectuer des études utilisant les MM, et pour enseigner les MM. Fondé sur la littérature méthodologique, ce chapitre présente un cadre conceptuel incluant tous les types d’intégration connus, des stratégies pratiques et des combinaisons possibles de stratégies pour intégrer les phases, les résultats et les données QUAL et QUAN. Dans le chapitre suivant, ce cadre est testé avec une revue des études utilisant les MM. Cette revue illustre plusieurs types de combinaisons avec des études en santé mondiale. Ensemble, ces deux chapitres contribuent à faire avancer les connaissances méthodologiques par (a) un appel à une meilleure description des MM dans les publications scientifiques, et (b) une conceptualisation testée proposant trois types d’intégration et neuf stratégies spécifiques, et toutes les combinaisons possibles des stratégies pour intégrer les phases, résultats et données QUAL et QUAN.
***
Mixed methods (MM) are increasingly popular. In performing MM, researchers integrate qualitative (QUAL) and quantitative (QUAN) methods with respect to worldviews, methodologies and designs, research questions, data collection and analysis techniques, and study results. Several integration strategies have been proposed, but their conceptualization is usually design-driven, or fragmented, or not empirically tested. This is challenging for planning and conducting MM studies, and for training graduate students. Based on the methodological literature, this chapter presents a conceptual framework including types of integration, practical strategies, and possible combinations of strategies for integrating QUAL and QUAN phases, results and data. In the next chapter, this framework is tested using a review of 2015 MM studies with a method-detailed description. This supports the framework, illustrates multiple types of combinations, and provides global health examples. These two companion chapters contribute to advance methodological knowledge on MM via (a) a call for better reporting MM studies in scientific articles, and (b) a tested conceptualisation comprising three types of integration and nine specific strategies, which explain current and future possibilities for combining strategies to integrate QUAL and QUAN phases, results, and data.
***
Pierre Pluye es profesor titular en el Departamento de Medicina Familiar de la Universidad McGill, investigador principal del Fondo de Investigación de Quebec Salud (FRQS) y director del componente de desarrollo metodológico de la Unidad SOUTIEN SRAP de Quebec. Es miembro asociado de la Escuela de Ciencias de la Información de la Universidad McGill. Es especialista en medicina familiar y salud pública. Es doctor en promoción de la salud (Universidad de Montreal). Ha recibido premios a su carrera de los Institutos Canadienses de Investigación de la Salud (CIHR) y del FRQS. En 2017 fue elegido miembro de la Academia Canadiense de Ciencias de la Salud y recibió el premio “Investigador del Año” del Colegio de Médicos de Familia del Canadá. Tiene experiencia en métodos mixtos. Su investigación estudia los efectos de la información de los recursos electrónicos en los profesionales, los pacientes y el público.
Cita
Pierre Pluye (2020). Integración en métodos mixtos. Marco conceptual para la integración de fases, resultados y datos cualitativos y cuantitativos. En Evaluación de las intervenciones sanitarias en salud global. Métodos avanzados. Bajo la dirección de Valéry Ridde y Christian Dagenais, pp. 195-220. Québec: Éditions science et bien commun y Marseille: IRD Éditions.