6 Revisiones sistemáticas mixtas

Revisiones sistemáticas mixtas

Definición del método Las revisiones sistemáticas mixtas son revisiones de la literatura que utilizan un enfoque sistemático para combinar estudios cuantitativos, cualitativos y mixtos.

Fortalezas del método Utiliza un procedimiento explícito, transparente y reproducible Combina estudios cuantitativos, cualitativos y mixtos Permite explicar fenómenos complejos y multidimensionales Proporciona una imagen más completa de la literatura Desafíos del método Requiere tiempo y recursos para reducir al mínimo los sesgos en la detección, selección, divulgación e interpretación Requiere la integración de datos cuantitativos y cualitativos

En los últimos años se ha producido un desarrollo considerable de los métodos de síntesis de los trabajos científicos y un aumento de los tipos de revisiones, incluidos las revisiones sistemáticas mixtas. En el presente capítulo se describen brevemente los pasos de este método, haciendo hincapié en la síntesis de datos, uno de los pasos del proceso de revisión que supone el análisis de los datos para construir un conjunto coherente (Mays, Pope y Popay 2005).

Las revisiones mixtas de la literatura utilizan un enfoque sistemático e incluyen estudios que utilizan métodos cuantitativos, cualitativos y/o mixtos (Pluye y Hong 2014). Se utilizan otros términos para referirse a este tipo de revisión: revisión integradora (integrative review) (Whittemore y Knafl 2005) o revisión de métodos mixtos (mixed methods review) (Harden 2010). Por ello, aún no existe un consenso sobre la terminología. En este capítulo, utilizaremos el término “revisión sistemática mixta”.

La revisión sistemática mixta se basa en los principios de los métodos mixtos, es decir, la integración de las fases, los resultados y los datos cualitativos y cuantitativos, a fin de aprovechar su complementariedad (Creswell y otros, 2011).

En general, se pueden identificar tres tipos principales de estudios primarios: estudios cuantitativos, estudios cualitativos y estudios mixtos. Como se muestra en las zonas de intersección de la figura 1, una revisión que combine dos o tres tipos de estudios primarios puede considerarse mixta, siempre que se utilicen datos tanto cualitativos como cuantitativos (Pluye y Hong 2014). Además, dado que los estudios mixtos se caracterizan por la combinación de métodos cualitativos y cuantitativos (Creswell y otros, 2011), una revisión de esos estudios también puede considerarse mixta cuando se sintetizan datos cualitativos y cuantitativos. En otras palabras, la revisión de diferentes estudios dentro de la misma categoría no es mixta. Así, la combinación de los resultados de diferentes tipos de estudios cuantitativos (por ejemplo, ensayos aleatorios y no aleatorios) constituye una revisión cuantitativa, mientras que la combinación de los resultados de diferentes tipos de estudios cualitativos (por ejemplo, estudios de casos y etnografía) genera una revisión cualitativa.

Al combinar estudios cualitativos, cuantitativos y mixtos, la revisión sistemática mixta permite abordar cuestiones complejas y profundizar en la comprensión de los fenómenos observados. Permite: i) una mejor comprensión de los resultados de los estudios cuantitativos, ii) una generalización de los resultados de los estudios cualitativos, sobre la base de inferencias estadísticas, o iii) una corroboración de los conocimientos obtenidos mediante métodos cuantitativos y cualitativos (Pluye et al. 2009). Además, la revisión sistemática mixta puede proporcionar un panorama más amplio y completo de la bibliografía sobre un tema determinado, en particular combinando preguntas complementarias como: ¿Cuán eficaz es una intervención? ¿Por qué la intervención es efectiva o no? ¿Cómo funciona la intervención? ¿Cuáles son los obstáculos y los facilitadores para la aplicación de la intervención? Las respuestas a estas preguntas complementarias pueden tener consecuencias prácticas, como facilitar la toma de decisiones por parte de quienes formulan políticas, gestionan o prestan servicios clínicos.

Se han propuesto varias taxonomías de revisiones de la literatura. En ellas, se han identificado una diversad de tipos de revisiones que varían según varios criterios, como los objetivos perseguidos, los métodos (pasos) utilizados y el público destinatario (Cooper 1988; Grant y Booth 2009; Paré y otros 2015). La revisión sistemática mixta se considera el tipo más riguroso, ya que minimiza varios sesgos relacionados con la selección y el análisis de los estudios.

Todas las etapas de la revisión sistemática deben ser transparentes y explícitas para que pueda ser reproducido (Pluye et al. 2016). La revisión sistemática pretende responder a una pregunta claramente definida siguiendo un método sistemático y explícito para identificar los estudios pertinentes, evaluarlos y sintetizarlos (Chalmers, Hedges y Cooper 2002). En una revisión sistemática, hay múltiples fuentes de información. La búsqueda de literatura es realizada por bibliotecarios especializados y es exhaustiva (incluyendo la literatura gris). La selección, la evaluación de la calidad de los estudios incluidos y la recuperación de los datos son llevadas a cabo por al menos dos especialistas de forma independiente.

Aplicación del método

El propósito de esta sección es esbozar los pasos a seguir para realizar una revisión sistemática mixta. Para ilustrar estos pasos, utilizamos el ejemplo de una revisión sistemática mixta sobre las consecuencias no deseadas de una intervención basada en la financiación basada en los resultados. En el Recuadro 1 se describe qué es el FBR y se explica la pertinencia de una revisión sistemática mixta en este ámbito.

Recuadro 1. La financiación basada en resultados (FBR)

La financiación basada en resultados (FBR) es una intervención destinada a proporcionar incentivos financieros a los trabajadores y las trabajadoras de la salud para mejorar la calidad y la cantidad de la atención sanitaria. Esta intervención se ha desarrollado en países de altos ingresos y se ha extendido rápidamente a los países de ingresos bajos y medianos (LMIC) con el apoyo de organizaciones internacionales que han invertido en la reducción de la mortalidad materno-infantil. Existen varias denominaciones y modelos de intervención de FBR. Sobre la base del modelo del Banco Mundial (Fritsche, Soeters y Meessen 2014), se establecen acuerdos de rendimiento para definir indicadores y objetivos de rendimiento medibles y verificables. Los centros de salud y/o los trabajadores y las trabajadoras de la salud son pagados por cada servicio de salud predeterminado. También se ofrecen bonos según el nivel de calidad de la atención. Los evaluadores independientes realizan auditorías, incluso de los registros e instalaciones, para promover la transparencia y la rendición de cuentas.

Un conjunto cada vez mayor de investigaciones cualitativas y cuantitativas sugiere que la FBR puede tener consecuencias no intencionadas más allá de los efectos positivos esperados, es decir, cambios deseables o no desebles para los que hay una falta de acción o causalidad intencional y que se producen en un sistema social como resultado de una innovación. Para sintetizar los resultados de los estudios existentes y complementarios sobre la FBR, llevaremos a cabo una revisión sistemática mixta.

Se seleccionó este tipo de revisión por su capacidad de tener en cuenta la heterogeneidad de los estudios y la complejidad de las intervenciones. La literatura sobre la FBR se caracteriza por una multiplicidad de contextos de aplicación, metodologías, métodos de investigación, modelos de intervención y resultados. La síntesis de estos estudios complementarios es necesaria para adquirir una comprensión completa del estado actual de los conocimientos sobre esta compleja cuestión. Los resultados de esta revisión sistemática mixta permitirán, por una parte, crear un marco analítico preliminar para la investigación de las consecuencias imprevistas de la FBR en Burkina Faso y, por otra, ayudar a la adopción de decisiones sobre la aplicación de la FBR.

Como se presenta en el cuadro 1, las revisiones sistemáticas siguen principalmente ocho pasos. Los pasos de la revisión sistemática son similares a los de los estudios primarios, con la principal diferencia de que la unidad de análisis es un estudio (no participantes u organizaciones).

Tabla 1 : Etapas de la revisión sistemática y comparación con las etapas de un estudio primario

Revisión sistemática	Estudio primario
Formulación de una pregunta de investigación	Formulación de una pregunta de investigación
Definición de los criterios de elegibilidad	Definición de los criterios de elegibilidad
Identificación de las fuentes de los documentos	Identificación de las fuentes de datos
Realizar una búsqueda de literatura	Reclutamiento de participantes
Selección de estudios relevantes	Selección de los participantes
Evaluación de la calidad de los estudios seleccionados	No procede
Extracción de datos de estudios seleccionados	Recopilación de datos
Síntesis de los datos extraídos	Análisis de datos

A continuación, se describen brevemente los pasos de una revisión sistemática y se ilustran con el caso de la FBR. Al final del presente capítulo figura una lista de referencias metodológicas sobre el examen sistemático.

Paso 1: Formular una pregunta de investigación

En las revisiones sistemáticas mixtas, puede haber una o más preguntas para la búsqueda de literatura. Estas preguntas deben ser claras y precisas para poder centrarse en el tema. En nuestro caso sobre la FBR, formulamos la pregunta de la siguiente manera: ¿Cuáles son las consecuencias imprevistas de la FBR en los países de ingresos bajos y medios (LMIC)? Esta pregunta permite integrar los resultados cualitativos y cuantitativos. También podríamos haber añadido una pregunta complementaria como ¿Cuál es la importancia respectiva de estas consecuencias imprevistas? o ¿Qué estrategias se han puesto en marcha para hacer frente a estas consecuencias imprevistas? Nuestra elección de la redacción de la pregunta estuvo guiada por los recursos disponibles, así como por la utilidad y la relevancia. La redacción de la(s) pregunta(s) es importante porque influye en todos los pasos posteriores de la revisión.

Paso 2: Definir los criterios de elegibilidad

Los criterios de elegibilidad están asociados a los conceptos clave de la pregunta de investigación y consisten en criterios de inclusión y exclusión. La tabla 2 presenta los criterios desarrollados a partir de nuestra pregunta de investigación sobre la FBR. Es importante definir y justificar claramente cada criterio. Por ejemplo, decidimos excluir los estudios publicados antes del año 2000 porque la FRB se ha utilizado ampliamente en los países de ingresos bajos y medios desde el decenio de 2000. Además, limitamos la selección a los estudios científicos, es decir, estudios que consisten en una pregunta/objetivo de investigación, recopilación/análisis de datos (experimentales, de observación o de simulación) y resultados. La combinación de estudios cualitativos y cuantitativos aumenta el número de artículos que se han de sintetizar. Por consiguiente, es necesario mantener los criterios de selección tan reducidos como sea posible, es decir, centrarse en la(s) pregunta(s).

Tabla 2 : Criterios de inclusión y exclusión

	Criterio de inclusión	Criterio de exclusión
Problema	Baja calidad y cantidad de los servicios de salud	Problemas no relacionados con los servicios de salud
Intervención	Financiación basada en los resultados (incentivos del lado de la oferta)	No hay financiación o intervenciones basadas en los resultados que ofrezcan incentivos a los pacientes o a las compañías de seguros
Resultados	Consecuencias involuntarias	Sólo consecuencias intencionales
Lugar	Países de ingresos bajos y medios	Países de altos ingresos
Tipo de estudio	Estudios científicos con métodos cualitativos, cuantitativos o mixtos.	Estudios no científicos, protocolos de investigación, editoriales, directrices (es decir, texto sin recopilación de datos ni análisis utilizando una metodología de investigación)
Langues	Inglés, francés y español	Artículos escritos en un idioma distinto al inglés, francés y español
Años de publicación	2000 – 2016	Antes de 2000

Paso 3: Seleccionar las fuentes de información

Para garantizar que se identifiquen todos los estudios pertinentes al problema de investigación, se deben utilizar diversas fuentes de datos. Para este paso y el siguiente, se recomienda encarecidamente la colaboración con un bibliotecario o expertos en técnicas de búsqueda en bases de datos y otros tipos de fuentes. Para la revisión sistemática mixta sobre FBR, seleccionamos cinco bases de datos bibliográficas complementarias en los campos de la salud (MEDLINE, CINAHL, EMBASE), las humanidades y las ciencias sociales y económicas (FRANCIS, Business Source Premier). También se pueden utilizar otras fuentes de información para garantizar una búsqueda exhaustiva. Para nuestra revisión de la FBR, usamos otras cuatro fuentes de información adicionales:

a) Consultar la lista de artículos seleccionados de los exámenes sistemáticos sobre la FBR (Gorter y Meessen 2013; Witter y otros 2012) y la lista de referencias de los artículos seleccionados.

b) Buscar la literatura gris consultando los sitios de Internet sobre el tema (por ejemplo, www.rbfhealth.org, www.healthfinancingafrica.org, www.theglobalfund.org) y las tesis en la base de datos Proquest Dissertations & Theses Global.

c) Enviar la lista de artículos seleccionados a los investigadores con experiencia en la BFR para identificar los artículos pertinentes que faltan; y

d) Realizar una búsqueda de citas (es decir, buscar artículos que citen cada artículo seleccionado) en una base de datos bibliográfica especializada como Scopus o Google Scholar.

Paso 4: Desarrollar una estrategia de búsqueda de literatura

Para desarrollar una estrategia de búsqueda de literatura, es necesario identificar los términos relacionados con los conceptos clave en la pregunta de búsqueda. Para la revisión sistemática mixta de la FBR, desarrollamos una estrategia de búsqueda de bibliografía en torno a tres conceptos principales: consecuencias imprevistas, financiación basada en los resultados y países de ingresos bajos y medios (véase un ejemplo en el cuadro 3). Esta estrategia se adaptó para cada base de datos seleccionada. Una vez completada la búsqueda de literatura, todas las referencias deben ser exportadas a un software de gestión de documentos como Zotero, EndNote, RefWork o Mendeley. Dado que la búsqueda se realiza en varias bases de datos superpuestas, la misma referencia puede aparecer varias veces en el programa (duplicados). Estos duplicados se identifican y eliminan mediante métodos apropiados, como el método de Bramer et al (2016) o Rathbone et al (2015). Estos métodos identifican los duplicados seleccionando campos específicos (por ejemplo, autor, título, año, revista, página, volumen y número) en un orden determinado.

Tabla 3 : Ejemplo de una estrategia de búsqueda de literatura en PUBMED

Search	Query
#1	Search unintend* OR intend* OR unpredict* OR predict* OR unanticipat* OR anticipat* OR spillover* OR indirect* OR direct* OR unaware* OR aware* OR unexpect* OR expect* OR desirable* OR Undesirable* OR “cherry picking” OR “cream skimming” OR gaming* OR inequit* OR equit* [ALL]
#2	Search “pay for performance” OR “pay for value” OR “pay for quality” OR “P4P” OR “PBF” OR “value-based purchasing” OR (“monetary incentive” AND quality) OR (“monetary incentives” AND quality) OR (“financial incentive” AND quality) OR (“financial incentives” AND quality) OR (bonus AND quality) OR (bonuses AND quality) OR (reward AND quality) OR (rewards AND quality) OR “performance-based payment” OR “performance-based pay” OR “performance-based reimbursement” OR “performance-based financing” OR “performance-based contracting” OR “results-based financing” OR “output-based payment” OR “incentive reimbursement” OR “incentive reimbursements” OR “quality-based purchasing” OR “quality incentive” OR “quality incentives” [TIAB]
#3	Search “Developing Countries” OR “Africa” OR “Africa, Northern” OR “Africa South of the Sahara” OR “Africa, Central” OR “Africa, Eastern” OR “Africa, Southern” OR “Africa, Western” OR “Asia” OR “Asia, Central” OR “Asia, Southeastern” OR “Asia, Western” OR “Caribbean Region” OR “West Indies” OR “South America” OR “Latin America” OR Central America [MH]
#4	Search #1 AND #2 AND #3
#5	Limit #4 to ([english OR french OR spanish [LA]] AND [2000:2016 [DPJ]])

Los investigadores están interesados en desarrollar y probar filtros de búsqueda para identificar documentos relevantes sobre diferentes conceptos. Por ejemplo, se ha creado un filtro en Medline para identificar los estudios cuantitativos, cualitativos y mixtos (El Sherif et al. 2016), mientras que otro filtro identifica los documentos sobre los países de ingresos bajos y medios (Cochrane Effective Practice and Organisation of Care 2012). La utilización de filtros de búsqueda ayuda a facilitar la elaboración de estrategias de búsqueda de literatura y a orientar mejor los documentos potencialmente pertinentes.

Paso 5: Seleccionar los estudios

Este paso implica filtrar los resultados de la búsqueda de literatura para seleccionar estudios para su inclusión en la revisión sistemática mixta. La selección de los estudios se hace generalmente en dos partes. Primero se leen los títulos y resúmenes para juzgar la elegibilidad de los documentos en base a los criterios preestablecidos en el paso 2. En segundo lugar, los textos se leen en su totalidad. En una revisión sistemática, la selección de todo el material es llevada a cabo por dos revisores independientes a fin de reducir el sesgo de selección. Si hay desacuerdo, los revisores se reúnen para establecer un consenso y una tercera persona participa para decidir si el desacuerdo persiste después del debate. El acuerdo entre revisores se puede estimar usando el Kappa de Cohen. Al final de este proceso de selección, se presenta un diagrama de flujo que muestra el número de documentos retenidos y excluidos en cada etapa y las razones de la exclusión (Figura 2) (adaptado de las directrices de PRISMA de Moher y otros (2009), traducidas en Urrutia y Bonfill [2010]). La creación del diagrama de flujo requiere una gran organización desde el principio. Todo el proceso debe ser documentado (principio de transparencia).

Para reducir el número de títulos y resúmenes que deben filtrarse, se desarrolló un clasificador automático de textos sobre estudios científicos (CATES) a raíz de un estudio que comparaba el rendimiento de varios clasificadores automáticos (Langlois et al. 2018). Este clasificador clasifica automáticamente las publicaciones indexadas en (1) estudios científicos (cualitativos, cuantitativos y mixtos) y (2) otros tipos de trabajos (por ejemplo, comentarios, editoriales, revisión de la literatura, artículos metodológicos, descripción de programas y directrices). El CATES está disponible en esta dirección web y puede ser utilizado de forma gratuita: https://babel.iro.umontreal.ca/.

Paso 6: Evaluar la calidad de los estudios

En una revisión sistemática es importante evaluar la calidad de los estudios incluidos teniendo en cuenta los posibles sesgos, a fin de sacar conclusiones válidas sobre el estado de los conocimientos. La evaluación de la calidad de los estudios suele realizarse mediante instrumentos de evaluación crítica. Se dispone de una variedad de instrumentos para diversos métodos de investigación (Bai et al. 2012; Crowe y Sheppard 2011; Heyvaert et al. 2013). En el caso de la revisión sistemática mixta de FBR, la calidad de los estudios se evalúa utilizando una herramienta desarrollada específicamente para este tipo de revisión: la Herramienta de Evaluación de Métodos Mixtos (MMAT) (Pluye et al. 2011; Pluye et al. 2009; Souto et al. 2015; Pace et al. 2012). El MMAT permite la evaluación simultánea de cinco tipos de estudios: estudios cualitativos, ensayos controlados aleatorios, estudios analíticos cuantitativos, estudios descriptivos cuantitativos y estudios mixtos (Pluye et al. 2009). La última versión de esta herramienta incluye 25 ítems sobre la calidad metodológica de los estudios que se califican en una escala nominal (Si/No/No sé) (Hong et al. 2018). La evaluación de la calidad se utiliza para describir los artículos seleccionados e interpretar los datos de la síntesis. Esta herramienta puede ser descargada de este sitio web: http://mixedmethodsappraisaltoolpublic.pbworks.com/.

En la revisión sobre FBR, los resultados de esta evaluación no se utilizan para eliminar los estudios de baja calidad metodológica, ya que pueden seguir contribuyendo al conocimiento. Sus limitaciones se tienen en cuenta en los análisis de sensibilidad. Los análisis de sensibilidad exploran cómo se modifican los resultados obtenidos en la síntesis según la calidad de los estudios (Carroll y Booth 2015). Por ejemplo, estos análisis pueden utilizarse para comprobar si los resultados de la síntesis son similares cuando se eliminan los estudios de baja calidad. Por ejemplo, una similitud permite que los resultados se apoyen en un mayor número de estudios y hace que los resultados sean más precisos para los responsables de la toma de decisiones.

Paso 7: Extraer los datos

Este paso tiene por objeto reunir los datos (resultados de los estudios incluidos o datos primarios cuando se disponga de ellos) mediante un formulario de extracción que especifica todos los datos necesarios. Los datos extraídos se utilizan para describir los estudios incluidos (tabla de características), describir los resultados de los estudios incluidos (tabla de resultados) y sintetizar los datos.

Se requiere un marco conceptual o modelo teórico para orientar la selección de los datos que se han de extraer, a menos que el objetivo de la revisión sea construir dicho marco o modelo. Para nuestra revisión sistemática mixta sobre la FBR, desarrollamos un marco conceptual basado en la teoría de Rogers (2003) sobre la difusión de las innovaciones. Esta teoría sugiere que la interacción entre varias variables, como las características de los actores, la naturaleza del sistema social y la naturaleza y el uso de una nueva intervención, puede tener consecuencias diferentes a lo largo del tiempo. Así pues, de los artículos seleccionados extraemos los siguientes datos: autor, año, país, metodología y métodos, muestra (población y número), nombre de la intervención de la FBR, consecuencias imprevistas, naturaleza y uso de la FBR, características de los actores y naturaleza del sistema social. Si faltan datos de los artículos analizados, se contacta con el primer autor. Dos personas hacen la extracción de forma independiente para asegurar una comprensión coherente de los datos y reducir las fuentes de sesgo y error.

Paso 8: Sintetizar los datos extraídos

La síntesis tiene como objetivo analizar y combinar los datos extraídos y evaluados en un todo coherente. En la revisión sistemática mixta, la síntesis es más compleja debido a la inclusión de datos tanto cualitativos como cuantitativos. Se pueden adoptar diferentes formas de sintetizar los datos cualitativos y cuantitativos. En el recuadro 2 se definen las construcciones necesarias para comprender las diferentes formas de sintetizar los datos.

Recuadro 2: Definiciones de los constructos utilizados en las especificaciones de síntesis

Datos: En una revisión, los datos son los resultados de los estudios incluidos (o los datos primarios cuando se dispone de ellos). Los datos pueden ser cualitativos (QL) (por ejemplo, los temas identificados en las entrevistas) o cuantitativos (QT) (por ejemplo, los porcentajes identificados en una encuesta). Síntesis: En una revisión, el propósito de la síntesis es analizar los datos. Existen diversos métodos de síntesis que pueden definirse en dos categorías principales. La primera categoría incluye métodos de síntesis cuantitativa (QT) que analizan los datos sobre una variable específica utilizando métodos estadísticos básicos o más avanzados (por ejemplo, meta-análisis, síntesis bayesiana y meta-regresión). El segundo son los métodos de síntesis cualitativa (QL), que implican el análisis de datos para generar categorías, temas, construcciones o teorías como resultados (por ejemplo, meta-etnografía, síntesis temática y síntesis realista). En la actualidad, es posible identificar más de 20 métodos cualitativos y cuantitativos de síntesis (Barnett-Page y Thomas 2009; Dixon-Woods et al. 2005; Popay 2006; Sutton y Higgins 2008; Tricco et al 2016). En una revisión sistemática mixta, los métodos de síntesis utilizados en la misma revisión pueden ser sólo QL, sólo QT o una combinación de ambos (QL y QT). Resultados: En una revisión, los resultados son los de la síntesis de datos. Según los métodos de síntesis utilizados, los resultados del examen pueden ser QL (por ejemplo, temas o marco conceptual), o QT (por ejemplo, estadísticas descriptivas o tamaño del efecto), o ambos (QL y QT). Discusión: La discusión es una sección que tiene por objeto interpretar los resultados obtenidos y compararlos con las principales ideas publicadas en artículos de investigación o no investigación (por ejemplo, editoriales o comentarios influyentes o libros, guías de práctica, declaraciones de política pública, informes institucionales, etc.). Además, en esta sección se suelen exponer las limitaciones de la revisión y las recomendaciones. Secuencia: La secuencia se define desde una perspectiva de desarrollo entre las fases de síntesis. En una revisión mixta, se presenta una secuencia cuando los resultados de una fase informan la síntesis de una fase subsiguiente. Integración: La integración se define como la combinación de componentes cuantitativos y cualitativos dentro de un mismo estudio (Plano Clark e Ivankova 2015). En una revisión mixta, la integración puede producirse a nivel de los datos, los resultados de la síntesis, la interpretación o entre fases.

Diseño de la síntesis

Se realizó un análisis de 459 revisiones mixtas para examinar la forma en que se analizan los datos cualitativos y cuantitativos y para sugerir especificaciones de síntesis (Hong et al. 2017). Basándose en la literatura sobre métodos mixtos (Creswell et al., 2011), el análisis se realizó sobre los métodos de síntesis utilizados, la secuencia e integración de los datos cualitativos y cuantitativos. Se identificaron dos tipos principales de diseño para la síntesis: convergente y secuencial (figura 3). Estas especificaciones permiten comprender cómo se puede llevar a cabo la síntesis en una revisión sistemática mixta. Para cada una de estas especificaciones, es posible utilizar métodos de síntesis únicamente cualitativos, únicamente cuantitativos, o combinar métodos de síntesis cuantitativos y cualitativos (enfoque de síntesis mixta). A continuación, se presenta cada uno de estos diseños.

Diseño de síntesis convergente

En un diseño de síntesis convergente, los estudios cualitativos y cuantitativos se analizan simultáneamente. Dentro de estas especificaciones, es posible identificar tres niveles de integración, ya sea a nivel de datos, de resultados de síntesis o de interpretación.

Diseño de síntesis convergentes con integración a nivel de datos

Todos los estudios se analizan utilizando el mismo método de síntesis, que puede ser únicamente cualitativo o cuantitativo (figura 3). Esto implica la transformación de los datos, es decir, los datos cuantitativos se transforman en categorías o temas (síntesis cualitativa), o los datos cualitativos se transforman en variables y valores numéricos (síntesis cuantitativa).

Por ejemplo, la pregunta de investigación para nuestro caso sería “¿Cuáles son las consecuencias no deseadas de la FRB en los países de ingresos bajos y medios?”. Para responder a esta pregunta se puede utilizar un método de síntesis cualitativa, por ejemplo, una síntesis temática que extraiga los temas principales de todos los estudios seleccionados (Thomas y Harden 2008). En este ejemplo, la transformación consiste en interpretar los datos de los estudios cuantitativos (frecuencias, tamaños de los efectos) cualitativamente (en términos de temas).

Si un investigador quisiera proporcionar estadísticas sobre las consecuencias imprevistas de la FBR, tendría que realizar, por ejemplo, un análisis cuantitativo del contenido, que implica asignar códigos (unas pocas variables clave y los valores numéricos asociados) a los resultados del estudio basados en un esquema de codificación validado y preciso (Neuendorf 2002). De esta manera, los códigos asignados a los estudios pueden ser analizados estadísticamente. La transformación se produce porque se asignarán valores numéricos a los datos de los estudios cualitativos.

Diseño de síntesis convergentes con integración a nivel de los resultados de la síntesis

Los datos cualitativos y cuantitativos se analizan y presentan por separado, pero se integran utilizando un método de síntesis diferente (figura 3). La integración puede consistir en comparar o yuxtaponer los resultados de las dos síntesis mediante tablas o matrices, o puede implicar un análisis secundario o de subgrupos.

En este diseño de síntesis, suele haber una pregunta de investigación general y subpreguntas. Por ejemplo, para responder a la pregunta “¿Cuáles son las consecuencias no deseadas de la FBR?” puede haber dos subpreguntas, “¿Cuáles son las consecuencias no deseadas en la satisfacción del cuidador?” y “¿Cuáles son las consecuencias no deseadas en la cantidad de atención médica proporcionada?”.

Para responder a estas preguntas, pueden ser necesarias tres síntesis que combinen métodos cualitativos y cuantitativos: a) una síntesis cualitativa de las consecuencias imprevistas en la satisfacción de los cuidadores, b) una síntesis meta-analítica cuantitativa de ensayos aleatorios de la cantidad de atención sanitaria, y c) una yuxtaposición de los resultados de las dos síntesis para examinar la relación entre la satisfacción de los cuidadores y la cantidad de atención prestada.

Diseño de síntesis convergentes con integración a nivel de la interpretación

Los datos cualitativos y cuantitativos se sintetizan y presentan por separado. La integración tiene lugar sólo cuando se interpretan los resultados en la discusión (Figura 3).

En este diseño de síntesis, se abordan en general cuestiones de investigación separadas y complementarias. Por ejemplo, “¿Es efectiva la FBR?”, “¿Cuál es la rentabilidad de la FBR?”, “¿Cuáles son las consecuencias no deseadas de la FBR?” y “¿Cuáles son las cuestiones éticas relacionadas con la FBR?”.

Para responder a estas preguntas de investigación complementarias, se necesitan métodos de síntesis tanto cualitativos como cuantitativos. Por ejemplo, las síntesis cuantitativas pueden responder a las dos primeras preguntas sobre la eficacia y la rentabilidad. Las síntesis cualitativas pueden analizar los estudios cualitativos sobre cuestiones éticas y consecuencias no deseadas. En la discusión, se resumirán las conclusiones generales sobre la eficacia, la rentabilidad, las consecuencias imprevistas y las cuestiones éticas. Además, se formularán recomendaciones sobre la evaluación y la aplicación de los marcos reguladores. Este tipo de especificación se observa, entre otros, en los informes de evaluación de la tecnología sanitaria, en los que la evaluación debe tener en cuenta diversas dimensiones (por ejemplo, la eficacia, la eficiencia, la seguridad, las repercusiones éticas, psicológicas, organizativas y económicas) (Busse et al. 2002).

Diseño de síntesis secuencial

Una cita de resumen secuencial implica al menos dos fases de síntesis dependientes. Los resultados de una primera fase en la que se sintetizan los datos cualitativos y/o cuantitativos informan una segunda fase de síntesis (figura 3).

En un diseño de síntesis secuencial, puede haber una pregunta de investigación o preguntas dependientes. Por ejemplo, las preguntas pueden ser “¿Cuáles son las consecuencias no deseadas de la FBR?” y “¿Cuál es la importancia relativa de estas consecuencias no deseadas?”. Para responder a estas preguntas, se requieren dos fases. Una síntesis cualitativa inicial (Fase 1) desarrollará una lista de consecuencias no deseadas. A partir de esta lista (resultados de la fase 1), se analizan los estudios cuantitativos mediante un método de síntesis cuantitativa (fase 2) para determinar la importancia relativa de las consecuencias imprevistas. De este modo se cuantificará la importancia de las consecuencias imprevistas y se identificarán las lagunas de conocimiento, es decir, las consecuencias que no se han estudiado en los estudios cuantitativos.

En los últimos ejemplos presentados se utiliza un enfoque de síntesis mixto (es decir, el uso de métodos de síntesis tanto cualitativos como cuantitativos en el mismo examen). En función de las preguntas de investigación, es posible utilizar sólo métodos de síntesis cualitativos o sólo métodos de síntesis cuantitativos. Por ejemplo, los métodos de síntesis cualitativa pueden utilizarse en ambas fases de un diseño de síntesis secuencial. En la primera fase, se utiliza un método de síntesis inductiva para definir los temas principales. Luego, en una segunda fase, los estudios se analizan de forma deductiva en base a los temas identificados.

Análisis reflexivo

La robustez de una revisión sistemática es su enfoque explícito, transparente y reproducible. Se han elaborado varias directrices para la presentación de informes sobre una revisión sistemático, la más conocida de las cuales es PRISMA (Moher et al. 2009).

Varios sesgos de investigación pueden minimizarse siguiendo este enfoque. Un primer sesgo potencial es el de detección, que está relacionado con la búsqueda de literatura. Con el fin de asegurar que se identifiquen todos los estudios pertinentes a la pregunta de investigación (búsqueda exhaustiva), es importante diversificar las fuentes documentales, utilizar varias bases de datos y elaborar estrategias rigurosas de búsqueda de documentos con bibliotecarios especializados. Un segundo sesgo es el de selección. Es importante evitar la selección arbitraria de los estudios definiendo criterios claros y hacer participar a dos personas en la selección. Un tercer sesgo que debe considerarse es el de la divulgación de los resultados; el más conocido es el de publicación. De hecho, es más probable que se publique un estudio con resultados positivos y más rápidamente (Dubben y Beck-Bornholdt 2005). Esto lleva a una sobrerrepresentación de los estudios primarios que demuestran efectos positivos y puede afectar a las conclusiones de la revisión. Se recomienda diversificar las fuentes de datos y los tipos de documentos que se incluirán. Por ejemplo, realizar una búsqueda de la literatura gris para incluir informes científicos y tesis inéditas. Además, es posible que exista un sesgo de publicación selectiva (Martin, Renaud y Dagenais 2013), es decir, los autores informan de más consecuencias intencionadas y esperadas de las intervenciones que de consecuencias no intencionadas e inesperadas, lo que constituye un reto en nuestro ejemplo sobre la FBR. Por último, el sesgo relacionado con el evaluador y su interpretación de los estudios puede reducirse al mínimo si se involucra a por lo menos dos personas en la evaluación y síntesis de los estudios. En una revisión sistemática mixta, se recomienda contar con un equipo con conocimientos complementarios en metodologías y técnicas de investigación cualitativas y cuantitativas, para facilitar la síntesis y la evaluación de la calidad de los estudios (Pluye y Hong 2014, Pluye et al., 2016).

Las desventajas de un enfoque sistemático son principalmente que requiere tiempo y recursos. Según el objetivo de la revisión, el número de personas que participan, el número de estudios que se analizan y la síntesis que se realiza, la duración de una revisión sistemática puede variar entre 6 y 24 meses (Khangura y otros, 2012). Así pues, es importante garantizar la disponibilidad de recursos y justificar la elección de llevar a cabo una revisión sistemática mixta, por ejemplo, queriendo aprovechar la complementariedad de los datos cualitativos y cuantitativos para explicar un fenómeno complejo y multidimensional.

Los exámenes sistemáticos pueden realizarse utilizando programas informáticos básicos (como Word o Excel) o especializados, según los métodos de síntesis elegidos (como QDA Miner, NVivo, SPSS, RevMan). Además, se han desarrollado varios paquetes de software especializados para revisiones sistemáticas como DistillerSR, Covidence y EPPI Reviewer. Estos programas informáticos están concebidos para facilitar la gestión de los datos y pueden utilizarse en las diferentes etapas de la revisión sistemática, desde la selección de los artículos hasta la extracción y el análisis de los datos. Exceptuando algunos programas informáticos disponibles gratuitamente en línea (por ejemplo, QDA Miner Lite), generalmente se exigen cuotas mensuales o anuales. La utilización de estos derechos depende de los recursos disponibles y de la complejidad y el tamaño de la revisión.

No siempre es posible realizar una revisión sistemática. En una revisión para una tesis doctoral o una revisión rápida para un gerente, es raro que se disponga de recursos y tiempo suficientes para realizar una revisión sistemática. Como resultado, un estudiante de posgrado o un profesional puede comenzar por realizar una revisión de las revisiones existentes. Si no hay revisiones, se puede hacer una búsqueda de estudios pertinentes con la ayuda de un bibliotecario en una base de datos bibliográfica para obtener una muestra de estudios. Luego, la selección, la evaluación de la calidad de los estudios incluidos y la recuperación de los datos son realizadas por un solo investigador. Seguir estos pasos ahorra mucho tiempo en comparación con una búsqueda bibliográfica no estructurada y produce un capítulo o informe de tesis convincente (es decir, un examen no exhaustivo pero transparente y reproducible).

Una de las dificultades encontradas en la revisión sistemática mixta es la integración, es decir, la combinación o conexión de componentes cualitativos y cuantitativos. Por ejemplo, en una revisión se podrían examinar cuestiones como la eficacia de la FBR, su rentabilidad y sus consecuencias no deseadas. Estas cuestiones implican diferentes tipos de estudios y pueden ser objeto de revisiones separadas. Lo que caracteriza una revisión mixta es que todas las conclusiones se integran para proporcionar una comprensión más profunda de la FBR y hacer recomendaciones más específicas. Sin esta integración, una revisión no podría considerarse como mixta, sino más bien como un estudio que incluye varias revisiones independientes. Por lo tanto, es esencial describir cómo se integran los datos. Los diseños de síntesis presentados ofrecen soluciones prácticas para integrar los datos. Además, en el capítulo 7 se presentan diversas estrategias de integración para los estudios primarios. Estas estrategias pueden explorarse para su uso en revisiones sistemáticas. En los artículos que informen sobre revisiones sistemáticas mixtas, la discusión debería, como mínimo, resumir la forma en que los resultados de los datos cualitativos y cuantitativos se comparan o complementan entre sí. Debería reflejar el valor añadido de esta integración y sus limitaciones.

La revisión sistemática mixta es una forma de síntesis de los conocimientos en evolución. El número de artículos que reportan revisiones sistemáticas mixtas ha aumentado exponencialmente desde 2010. Los beneficios de una revisión sistemática mixta pueden ser considerables, en particular para responder a preguntas complejas, aprovechar los datos cuantitativos y cualitativos complementarios y tener una comprensión profunda y completa de un fenómeno. Las investigaciones sobre revisiones sistemáticas mixtas son todavía jóvenes y los próximos años prometen desarrollos conceptuales y metodológicos.

Referencias clave

Heyvaert, M., Hannes, K. et Onghena, P. (2016). Using mixed methods research synthesis for literature reviews: The mixed methods research synthesis approach (vol. 4). Thousand Oaks, CA: Sage Publications.

Libro metodológico sobre la revisión mixta, escrito por investigadores en ciencias sociales, psicología y pedagogía de la Universidad de Lovaina, Bélgica. Se detallan los diferentes pasos para realizar una revisión mixta, comenzando por la redacción de un protocolo, seguido de la búsqueda de documentos pertinentes, la evaluación de la calidad de los estudios, la extracción y síntesis de datos y la publicación de una revisión mixta.

Martin, V., Renaud, J. et Dagenais, P. (2013). Les normes de production des revues systématiques : guide méthodologique.
https://www.inesss.qc.ca/fileadmin/doc/INESSS/DocuMetho/INESSS_Normes_production_revues_systematiques.pdf

Guía metodológica, escrita en francés, que propone 33 normas para la elaboración de revisiones sistemáticas. La presente guía no trata específicamente de las revisiones mixtas, pero ofrece una excelente descripción de los pasos a seguir para realizar una revisión sistemática. Fue producida por investigadores del Instituto Nacional de Excelencia en Salud y Servicios Sociales (INESSS), organización francófona cuya misión es promover la excelencia clínica y la utilización eficaz de los recursos en el sector de la salud y los servicios sociales en Quebec, Canadá.

Suri, H. (2014). Towards methodologically inclusive research synthesis. Abingdon, UK : Routledge.

Libro metodológico sobre revisiones mixtas escrito por una investigadora en educación de la Universidad de Deakinen (Australia). El libro tiene 11 capítulos, el primero de los cuales trata de los avances metodológicos en la síntesis, los principios de la síntesis y las orientaciones epistemológicas. En los capítulos finales se explica cómo realizar un revisión mixta, es decir, la formulación de un objetivo, la búsqueda de bibliografía, la evaluación, la síntesis y la interpretación de los datos.

Collaboration Cochrane : http://www.cochrane.org/

La Colaboración Cochrane es una organización internacional sin ánimo de lucro dedicada a promover la práctica de la salud basada en la evidencia. Tiene más de 30.000 colaboradores en más de 120 países. Ofrece apoyo metodológico y capacitación en materia de revisión sistemática. El Centro Cochrane Iberoamericano (CCIb) es uno de los 14 centros internacionales de Cochrane (https://es.cochrane.org/). Su ámbito de responsabilidad comprende España, Portugal, Andorra y todos los países hispanohablantes de América Latina. Además, dispone de un libro de referencia metodológica sobre revisiones sistemáticas de forma gratuita: Cochrane Handbook for Systematic Reviews of Interventions (http://handbook.cochrane.org/).

Collaboration Campbell : http://www.campbellcollaboration.org/

La Colaboración Campbell es una organización similar a la Colaboración Cochrane, especializada en las ciencias sociales, específicamente en las áreas de justicia, educación, desarrollo internacional y bienestar social.

Toolkit for Mixed Studies Reviews : http://toolkit4mixedstudiesreviews.pbworks.com

Este sitio web sobre la revisión mixta es producido por investigadores de la Universidad McGill en Canadá. Se pretende que sea un sitio web de colaboración en el que se invite a todos los interesados en este método a participar en su mantenimiento. Los pasos de la revisión sistemática mixta se describen en profundidad.

Referencias

Bai, A., Shukla, V. K., Bak, G.  et Wells, G. (2012). Quality assessment tools project report. Ottawa : Canadian Agency for Drugs and Technologies in Health.

Barnett-Page, E. et Thomas, J. (2009). Methods for the synthesis of qualitative research: A critical review. BMC Medical Research Methodology, 9(1), 59.
doi: 10.1186/1471-2288-9-59

Bramer, W.M., Giustini, D., de Jonge, G. B., Holland, L. et Bekhuis, T. (2016). De-duplication of database search results for systematic reviews in EndNote. Journal of the Medical Library Association : JMLA, 104(3), 240-243.
doi: 10.3163/1536-5050.104.3.014

Busse, R., Orvain, J., Velasco, M., Perleth, M., Drummond, M., Jørgensen, T., … et Wild, C. (2002). Best practice in undertaking and reporting health technology assessments. International Journal of Technology Assessment in Health Care, 18(2), 361-422.
doi: 10.1017/S0266462302000284

Carroll, C. et Booth, A. (2015). Quality assessment of qualitative evidence for systematic review and synthesis: Is it meaningful, and if so, how should it be performed? Research Synthesis Methods, 6(2), 149-154.
doi: 10.1002/jrsm.1128

Chalmers, I., Hedges, L. V. et Cooper, H. (2002). A brief history of research synthesis. Evaluation and the Health Professions, 25(1), 12-37.
doi: 10.1177/0163278702025001003

Cochrane Effective Practice and Organisation of Care. 2012. LMIC Filters.
http://epoc.cochrane.org/lmic-filters

Cooper, H.M. (1988). Organizing knowledge syntheses: A taxonomy of literature reviews. Knowledge in Society, 1(1), 104-126.

Creswell, J. W., Klassen, A. C., Clark, V. L. P. et Smith, K. C. (2011). Best Practices for Mixed Methods Research in the Health Sciences. Site du National Institutes of Health, Office of Behavioral and Social Sciences Research.
http://obssr.od.nih.gov/mixed_methods_research

Crowe, M. et Sheppard, L. (2011). A review of critical appraisal tools show they lack rigor: alternative tool structure is proposed. Journal of Clinical Epidemiology, 64(1), 79-89.
doi: 10.1016/j.jclinepi.2010.02.008

Dixon-Woods, M., Agarwal, S., Jones, D., Young, B. et Sutton, A. (2005). Synthesising qualitative and quantitative evidence: A review of possible methods. Journal of Health Services Research and Policy, 10(1), 45 – 53.
doi: 10.1258/1355819052801804

Dubben, H.-H. et Beck-Bornholdt, H.-P. (2005). Systematic review of publication bias in studies on publication bias. British Medical Journal, 331(7514), 433-434.

El Sherif, R., Pluye, P., Gore, G., Granikov, V.  et Hong, Q. N. (2016). Performance of a mixed filter to identify relevant studies for mixed studies reviews. Journal of the Medical Library Association : JMLA, 104(1), 47-51.

Fritsche, G.B., Soeters, R.  et Meessen, B. (2014). Boîte à outils : financement basé sur la performance. Montreuil, FRA : Pearson France.

Gedda, M. (2015). Traduction française des lignes directrices PRISMA pour l’écriture et la lecture des revues systématiques et des méta-analyses. Kinésithérapie, la Revue, 15 (157), 39-44.

Gorter, A. C. et Meessen, B. (2013). Evidence review, results-based financing of maternal and newborn health care in low-and lower-middle-income countries. Germany: Study commissioned and funded by the German Federal Ministry for Economic Cooperation and Development through the sector project PROFILE at Deutsche Gesellschaft für Internationale Zusammenarbeit, Bonn et Eschborn.

Grant, M.J. et Booth, A. (2009). A typology of reviews: An analysis of 14 review types and associated methodologies. Health Information and Librairies Journal, 26(2), 91-108.
doi: 10.1111/j.1471-1842.2009.00848.x

Harden, A. (2010). Mixed-methods systematic reviews: Integrating quantitative and qualitative findings. Focus, (25), 1-7.

Heyvaert, M., Hannes, K., Maes, B. et Onghena, P. (2013). Critical appraisal of mixed methods studies. Journal of Mixed Methods Research, 7(4), 302-327.
doi: 10.1177/1558689813479449

Hong, Q. N., Pluye, P., Bujold, M. et Wassef, M. (2017). Convergent and sequential synthesis designs: Implications for conducting and reporting systematic reviews of qualitative and quantitative evidence. Systematic Reviews, 6(1), 61.
doi: 10.1186/s13643-017-0454-2

Hong, Q. N., Pluye, P., Fàbregues, S., Bartlett, G., Boardman, F., Cargo, M., Dagenais, P., Gagnon, M.-P., Griffiths, F., Nicolau, B., O’Cathain, A., Rousseau, M.-C. et Vedel, I. 2018. « Mixed Methods Appraisal Tool (MMAT), version 2018 ». Registration of Copyright (#1148552), Canadian Intellectual Property Office, Industry Canada.

Khangura, S., Konnyu, K., Cushman, R., Grimshaw, J. et Moher, D. (2012). Evidence summaries: The evolution of a rapid review approach. Systematic Reviews, 1(1), 1-9.
doi: 10.1186/2046-4053-1-10

Langlois, A., Nie, J. Y., Thomas, J., Hong, Q. N. et Pluye, P. 2018. « Discriminating Between Empirical Studies and Nonempirical Works Using Automated Text Classification ». Research Synthesis Methods.
doi: 10.1002/jrsm.1317

Martin, V., Renaud, J. et Dagenais, P. (2013). Les normes de production des revues systématiques : guide méthodologique. Montréal, QC : Institut national d’excellence en santé et en services sociaux (INESSS).

Mays, N., Pope, C. et Popay, J. (2005). Systematically reviewing qualitative and quantitative evidence to inform management and policy-making in the health field. Journal of Health Services Research and Policy, 10(Suppl. 1), 6 – 20.
doi: 10.1258/1355819054308576

Moher, D., Liberati, A., Tetzlaff, J. et Altman, D. G. (2009). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. Public Library of Science : Medicine, 6(7), :e1000097.
doi: 10.1371/journal.pmed.1000097

Neuendorf, K. A. (2002). The content analysis guidebook. Thousand Oaks, CA: Sage Publications.

Pace, R., Pluye, P., Bartlett, G., Macaulay, A. C., Salsberg, J., Jagosh, J.  et Seller, R. (2012). Testing the reliability and efficiency of the pilot Mixed Methods Appraisal Tool (MMAT) for systematic mixed studies review. International Journal of Nursing Studies, 49(1), 47-53.
doi: 10.1016/j.ijnurstu.2011.07.002

Paré, G., Trudel, M.-C., Jaana, M. et Kitsiou, S. (2015). Synthesizing information systems knowledge: A typology of literature reviews. Information et Management, 52(2), 183-199.

Clark, V. L. P. et Ivankova, N. V (dir.). (2015). Mixed methods research: A guide to the field (vol. 3). Thousand Oaks, CA: Sage Publications.

Pluye, P., Gagnon, M. P., Griffiths, F. et Johnson-Lafleur, J. (2009). A scoring system for appraising mixed methods research, and concomitantly appraising qualitative, quantitative and mixed methods primary studies in mixed studies reviews. International Journal of Nursing Studies, 46(4), 529-46.
doi: 10.1016/j.ijnurstu.2009.01.009

Pluye, P. et Hong, Q. N. (2014). Combining the power of stories and the power of numbers: Mixed methods research and mixed studies reviews. Annual Review of Public Health, 35, 29-45.
doi: 10.1146/annurev-publhealth-032013-182440

Pluye, P., Hong, Q. N., Bush, P. L. et Vedel, I. (2016). Opening-up the definition of systematic literature review: The plurality of worldviews, methodologies and methods for reviews and syntheses. Journal of Clinical Epidemiology, 73, 2-5.
doi:dx.doi.org/10.1016/j.jclinepi.2015.08.033

Pluye, P., Robert, E., Cargo, M., Bartlett, G., O’Cathain, A., Griffiths, F., … et Rousseau, M.C. (2011). Proposal: A mixed methods appraisal tool for systematic mixed studies reviews. Montréal : McGill University, 1-8.
http://mixedmethodsappraisaltoolpublic.pbworks.com/

Popay, J (dir.). (2006). Moving beyond effectiveness in evidence synthesis: Methodological issues in the synthesis of diverse sources of evidence. Londres, UK : National Institute for Health and Care Excellence (NICE).

Rathbone, J., Carter, M., Hoffmann, T. et Glasziou, P. (2015). Better duplicate detection for systematic reviewers: Evaluation of Systematic Review Assistant-Deduplication Module. Systematic Reviews, 4(1), 6.

Rogers, E. M. (2003). Diffusion of Innovations (5^e éd.). New York : Free Press.

Souto, R. Q., Khanassov, V., Hong, Q. N., Bush, P. L., Vedel, I. et Pluye, P. (2015). Systematic mixed studies reviews: Updating results on the reliability and efficiency of the Mixed Methods Appraisal Tool. International Journal of Nursing Studies, 52(1), 500-501.
doi: 10.1016/j.ijnurstu.2014.08.010

Sutton, A.J. et Higgins, J. (2008). Recent developments in meta‐analysis. Statistics in Medicine, 27(5), 625-650.
doi: 10.1002/sim.2934

Thomas, J. et Harden, A. (2008). Methods for the thematic synthesis of qualitative research in systematic reviews. BMC Medical Research Methodology, 8, 45.
doi: 10.1186/1471-2288-8-45

Tricco, A. C., Soobiah, C., Antony, J., Cogo, E., MacDonald, H., Lillie, E., … et Perrier, L. (2016). A scoping review identifies multiple emerging knowledge synthesis methods, but few studies operationalize the method. Journal of Clinical Epidemiology, 73, 19-28.
doi: 10.1016/j.jclinepi.2015.08.030

Whittemore, R. et Knafl, K. (2005). The integrative review: Updated methodology. Journal of Advanced Nursing, 52(5), 546-553.
doi: 10.1111/j.1365-2648.2005.03621.x

Witter, S., Fretheim, A., Kessy, F. L. et Lindahl, A. K. (2012). Paying for performance to improve the delivery of health interventions in low-and middle-income countries. Cochrane Database of Systematic Review, (2), CD007899.

Resumen / Résumé / Abstract

Las revisiones sistemáticas de estudios mixtos son revisiones de la literatura que utilizan un enfoque sistemático para combinar estudios cuantitativos, cualitativos y de métodos mixtos. Su popularidad va en aumento debido a su potencial para proporcionar una comprensión profunda de las intervenciones y los problemas de salud complejos. En este capítulo se presentan ocho pasos de revisiones sistemáticas de estudios mixtos: (a) formular una pregunta de revisión, (b) definir los criterios de elegibilidad, (c) identificar las fuentes de información, (d) seleccionar los estudios pertinentes, (e) evaluar la calidad de los estudios, (f) extraer los datos y (g) sintetizar los datos extraídos de los estudios incluidos. Estos pasos se ilustran con un ejemplo de revisión sistemática de estudios mixtos sobre las consecuencias no deseadas de la intervención financiera basada en el desempeño. Además, para proporcionar orientación sobre cómo combinar la evidencia cualitativa y cuantitativa, se presentan cuatro diseños de síntesis: a) diseño de síntesis convergente basado en datos, b) diseño de síntesis convergente basado en resultados, c) diseño de síntesis convergente basado en resultados paralelos, y d) diseño de síntesis secuencial. Este capítulo termina con algunos de los desafíos que se pueden encontrar al realizar una revisión sistemática de estudios mixtos.

***

Les revues systématiques mixtes sont des revues de littérature utilisant une approche systématique pour combiner des études quantitatives, qualitatives et mixtes. Elles sont de plus en plus populaires, car elles permettent une compréhension approfondie des phénomènes et interventions complexes. Dans ce chapitre, huit étapes de la revue systématique mixte sont présentées : (a) formulation d’une question de recherche, (b) définition des critères d’éligibilité, (c) identification des sources documentaires, (d) (élaboration de stratégie de recherche documentaire, (e) sélection des études pertinentes, (f) évaluation de la qualité des études retenues, (g) extraction des données des études retenues et (h) synthèse des données extraites. Ces étapes sont illustrées à partir d’un exemple tiré d’une revue systématique mixte sur les conséquences non intentionnelles d’une intervention reposant sur le financement basé sur les résultats. De plus, afin de guider l’intégration des données quantitatives et qualitatives, quatre devis de synthèse sont présentés : (a) devis de synthèse convergent avec intégration au niveau des données, (b) devis de synthèse convergent avec intégration au niveau des résultats de synthèse, (c) devis de synthèse convergent avec intégration au niveau de l’interprétation et (d) devis de synthèse séquentiel. Enfin, quelques défis des revues systématiques mixtes sont présentés dans l’analyse réflexive.

***

Systematic mixed studies reviews are literature reviews using a systematic approach to combine quantitative, qualitative and mixed methods studies. They are growing in popularity owing to their potential to provide a deep understanding of complex health interventions and problems. In this chapter, eight steps of systematic mixed studies reviews are presented: (a) formulate a review question, (b) define eligibility criteria, (c) identify sources of information, (d) select relevant studies, (e) appraise the quality of studies, (f) extract data and (g) synthesize extracted data from included studies. These steps are illustrated using an example of systematic mixed studies review on unintended consequences of performance-based financing intervention. Also, to provide guidance on how to combine qualitative and quantitative evidence, four synthesis designs are presented: (a) data-based convergent synthesis design, (b) results-based convergent synthesis design, (c) parallel-results convergent synthesis design, and (d) sequential synthesis design. This chapter ends with some challenges that can be encountered when conducting a systematic mixed studies review.

***

Quan Nha Hong es candidata al doctorado en el Departamento de Medicina Familiar de la Universidad McGill y becaria de los Institutos Canadienses de Investigación en Salud (CIHR). Tiene formación como terapeuta ocupacional. Tiene una Maestría en Ciencias Clínicas de la Université de Sherbrooke y una Maestría en Evaluación y Gestión de Tecnologías de la Salud de la Université de Montréal. Le interesan los exámenes sistemáticos, los métodos de síntesis, los métodos mixtos y la evaluación de la calidad metodológica de los estudios. Su proyecto de doctorado se centra en la actualización de un instrumento de evaluación de la calidad de los estudios cuantitativos, cualitativos y de métodos mixtos, el Mixed Methods Appraisal Tool (MMAT).

Anne-Marie Turcotte-Tremblay es candidata al doctorado en salud pública con especialización en organización de la atención de la salud en la École de santé publique de l’Université de Montréal (ESPUM). También está afiliada al Instituto de Investigación en Salud Pública de la Universidad de Montreal (IRSPUM). Su tesis doctoral se centra en las consecuencias imprevistas de la financiación basada en los resultados combinada con medidas de protección social en Burkina Faso. Anne-Marie es becaria del Instituto Canadiense de Investigación de la Salud (CIHR). Ha coordinado varios proyectos internacionales de investigación sobre la salud de la población. Anne-Marie está interesada en la evaluación de las intervenciones para reducir las desigualdades sociales en materia de salud.

Pierre Pluye es profesor titular del Departamento de Medicina Familiar de la Universidad McGill, investigador principal del Fondo de Investigación de Quebec Salud (FRQS) y director del componente de Desarrollo Metodológico de la Unidad SOUTIEN SRAP de Quebec. Es miembro asociado de la Escuela de Ciencias de la Información de la Universidad McGill. Es especialista en medicina familiar y salud pública. Es doctor en promoción de la salud (Universidad de Montreal). Ha recibido premios a su carrera de los Institutos Canadienses de Investigación de la Salud (CIHR) y del FRQS. En 2017 fue elegido miembro de la Academia Canadiense de Ciencias de la Salud y recibió el premio “Investigador del Año” del Colegio de Médicos de Familia del Canadá. Tiene experiencia en métodos mixtos. Su investigación estudia los efectos de la información de los recursos electrónicos en los profesionales, los pacientes y el público.

Cita

Quan Nha Hong, Anne-Marie Turcotte-Tremblay y Pierre Pluye (2020). Revisiones sistemáticas mixtas. Un ejemplo sobre la financiación basada en los resultados. En Evaluación de las intervenciones sanitarias en salud global. Métodos avanzados. Bajo la dirección de Valéry Ridde y Christian Dagenais, pp. 165-194. Québec: Éditions science et bien commun y Marseille: IRD Éditions.