9 Métodos cuasi-experimentales

Métodos cuasi-experimentales

Definición del método El término “cuasiexperimental” se refiere a “un experimento con una intervención determinada, resultados de salud medidos y al menos dos unidades experimentales (grupo de intervención y control), pero sin el uso de la aleatoriedad para crear las condiciones de inferencia causal” (Cook, Campbell y otros, 1979).

Fortalezas del método Los métodos cuasiexperimentales son un diseño de estudio alternativo a los ensayos controlados aleatorios, atractivo cuando estos últimos son difíciles o imposibles de realizar. De hecho, estos métodos también permiten utilizar el paradigma contrafactual de causalidad sobre la base de situaciones observadas en las que no hay asignación deliberada y aleatoria a los grupos de intervención y control.

Desafíos del método El método cuasi-experimental requiere que se respeten hipótesis de trabajo adicionales. A veces estas suposiciones son imposibles de verificar empíricamente. Los efectos que se estiman pueden variar con respecto a las poblaciones involucradas y, como en los ensayos aleatorios controlados, es importante distinguir la validez interna y externa.

La evaluación de los resultados de las políticas públicas en la salud de las poblaciones es un ámbito que se ha desarrollado especialmente en los últimos años. La evaluación del impacto difiere de otros tipos de evaluaciones, como la evaluación de la implantación (Sabatier y Mazmanian 1980; Belaid y Ridde 2012) o la evaluación económica (Brousselle y Lessard 2011; Drummond, Sculpher y otros 2015, Brousselle, Benmarhnia y otros 2016). La evaluación de los resultados de las políticas públicas en la salud de las poblaciones es esencial por varias razones (Champagne, Contandriopoulos y otros, 2009; Macintyre, 2010). Ayuda a: i) asegurar que esas políticas contribuyan a mejorar el estado de salud de la población, que es uno de los mandatos de la salud pública, ii) asegurar que los objetivos de un programa de salud pública se cumplan realmente, iii) probar nuevas intervenciones y decidir si se mantienen, modifican o suspenden las existentes, y iv) asegurar que los recursos públicos se utilicen eficazmente. En pocas palabras, el objetivo principal de este tipo de evaluación es atribuir cambios a una intervención concreta con respecto a un indicador de salud específico. En otras palabras, se trata de atribuir un efecto causal a una intervención sobre un indicador de salud en un contexto particular.

El concepto de inferencia causal 

La noción de inferencia causal es fundamental para muchas disciplinas hoy en día, entre ellas la econometría, la psicología social y la epidemiología. Uno de los modelos más utilizados para identificar los efectos causales se basa en la noción contrafáctica (Susser 2001; Pearl 2009; Naimi y Kaufman 2015). Por ejemplo, para evaluar si los cambios en los resultados de salud son directamente atribuibles a una intervención, se compararían los cambios en los resultados de salud en un grupo observado (denominado “factual”) con un grupo hipotético similar o intercambiable (denominado “contrafactual”) que se distingue por una sola característica; no recibir la intervención. Así, el efecto causal se mediría por el contraste entre el grupo de hechos y el grupo contrafáctico. El problema fundamental de la causalidad (Holland 1986; Kaufman 2007) es que, por definición, este grupo contrafáctico no es directamente observable. Así pues, se ha propuesto la aleatorización como solución a este problema, manteniendo al mismo tiempo la intercambiabilidad y la sustitución entre los grupos de intervención y los de no intervención, y asegurando que no se violen las hipótesis que permiten la inferencia causal, de modo que la intervención sólo pueda afectar a los resultados de salud del grupo donde se efectúa, por ejemplo. En particular, la aleatorización permite superar la cuestión crucial de tener en cuenta factores de confusión que pueden o no medirse (Bonell, Hargreaves et al. 2011). Así pues, se han introducido y utilizado ensayos controlados aleatorios (ECA) en salud y en ciencias sociales: un grupo se asigna al azar a la intervención (o al tratamiento) y un grupo no. Esta asignación aleatoria garantiza que no haya diferencias entre los dos grupos antes de la intervención, es decir, que no haya ningún sesgo de confusión, medido o no medido. Sin embargo, este tipo de experimentación, en la que se elige deliberadamente un grupo para intervenir y no el otro (el grupo de control), no es factible en muchas situaciones, ni por el costo ni por razones éticas (Royall 1991; Hawe, Shiell y otros 2004; Moore y Moore 2011; Petticrew, Chalabi y otros 2011).

Los “experimentos naturales” son un excelente diseño de estudio alternativo a los ECA porque permiten utilizar el paradigma contrafáctico para estimar la causalidad sobre la base de las situaciones observadas y sin una asignación deliberada y aleatoria de los grupos de intervención y control (Bor 2016). Para ello se han desarrollado métodos cuasiexperimentales (MCE) para diseñar grupos contrafácticos basados únicamente en datos observados. El término “cuasiexperimental” se refiere a un “experimento con una intervención determinada, resultados de salud medidos y dos unidades experimentales (grupos de intervención y control), pero sin utilizar la aleatoriedad para crear las condiciones para la inferencia causal” (Cook, Campbell et al. 1979: 14); Shadish y Cook 2009). De esta manera, el uso de los MCE puede imitar los resultados que se producirían en un ECA, mientras que sólo se utilizan las situaciones existentes. Se han desarrollado varios MEC para evaluar los efectos de la política pública y están empezando a utilizarse en la salud pública.

Alcance del capítulo

El propósito de este capítulo es presentar dos de los principales métodos cuasiexperimentales (MCE) y su aplicación en un estudio para evaluar el efecto de la edad mínima legal para el consumo de alcohol en los y las jóvenes. Estos métodos cuasiexperimentales están concebidos para tener en cuenta los factores de confusión no medidos que pueden tener un impacto significativo en la validez de las previsiones. Los métodos que sólo permiten tener en cuenta los factores de confusión medidos, como los métodos de comparación que utilizan propensity score, por ejemplo, se describen a veces como MCE (Shadish, Luellen et al. 2006; Austin 2011). En este capítulo, sin embargo, no los discutiremos. En su lugar, nos centraremos en dos tipos de MCE: el método de “diferencia en diferencias” (DD), y un tipo particular de variable instrumental, el enfoque de “regresión de discontinuidad” (RD).

Las variables instrumentales para evaluar el impacto de las políticas públicas se utilizan comúnmente en la econometría (Newhouse y McClellan 1998; Hernán y Robins 2006), donde se utiliza una terminología diferente. En pocas palabras, una variable instrumental es una variable que estará altamente correlacionada con la probabilidad de beneficiarse de una intervención, pero no estará relacionada con el resultado sanitario de interés. Así pues, esta variable instrumental puede utilizarse para abordar los posibles sesgos de confusión (medidos o no medidos) en la relación entre la probabilidad de beneficiarse de la intervención y los posibles cambios en el resultado sanitario de interés (véase Angrist y Pischke 2008 y 2014). En particular, las variables geográficas (límites, altitud, precipitaciones, etc.) o genéticas pueden utilizarse como variables instrumentales. No discutiremos el caso general de las variables instrumentales en este capítulo. Del mismo modo, no discutiremos los análisis de series temporales continuas como un método de evaluación de los efectos de las políticas públicas (véase Fuller, Sahlqvist y otros, 2012; Benmarhnia, Zunzunegui y otros, 2014; Kontopantelis, Doran y otros, 2015).

El objetivo general de este capítulo es describir dos MCE, aplicarlos empíricamente a un ejemplo basado en la simulación y proporcionar todos los elementos, incluidas las hipótesis preliminares que se han de probar, los diversos pasos que se han de dar y la sintaxis para realizar los análisis con los programas R y Stata. Esto permitirá a los/as lectores/as reproducir este tipo de análisis en su contexto de evaluación.

Todos estos recursos informáticos, así como la sintaxis para aplicarlos a otras cuestiones de investigación, pueden encontrarse en línea en https://github.com/walkabilly/methode_evaluation  ¡Aprovechadlo!

Estableciendo el contexto para la evaluación: Intervenciones para reducir el consumo de alcohol entre los y las jóvenes

En este capítulo, utilizaremos el cambio de la edad mínima legal para el consumo de alcohol, como ejemplo de política pública para reducir el consumo de alcohol entre los y las jóvenes.

El consumo de alcohol contribuye de manera significativa a la carga de morbilidad y mortalidad entre los/as adolescentes y adultos jóvenes en muchos países (Rehm, Gmel y otros, 2003). Hay muchas intervenciones destinadas a prevenir el consumo de alcohol entre los y las jóvenes. Durante muchos decenios, varios países han establecido una edad mínima legal para beber (Carpenter y Dobkin 2011). A pesar de este marco jurídico y de muchas otras intervenciones de salud pública destinadas a reducir el consumo de alcohol entre los y las jóvenes, el alcohol sigue siendo un factor importante de mortalidad. Así pues, varios países han decidido aumentar la edad legal de consumo de alcohol con el fin de reducir el consumo de alcohol y prevenir los accidentes atribuibles al consumo. En los últimos años se han publicado algunos estudios que evalúan este tipo de política pública con MCE de tipo DD o RD (Donald y Lang 2007; Carpenter y Dobkin 2009; Yörük y Yörük 2012). Presentaremos cómo aplicar dos enfoques sobre una base de datos simulados, para estimar los efectos de este tipo de política pública sobre el consumo de alcohol entre los y las jóvenes.

Presentación y aplicación de los métodos propuestos

Método de “diferencia en diferencias”

Visión general del método DD

El método de diferencias en diferencias (DD) utiliza uno o más grupos de control para aproximar la trayectoria de un grupo contrafáctico que no recibió una intervención que sería intercambiable con el grupo que recibió la intervención. Por ejemplo, el grupo o grupos de control podrían ser un país o región que nunca ha recibido la intervención o que la recibió en un momento distinto del grupo de intervención. El principal supuesto que debe tenerse en cuenta en este tipo de enfoque es que, en ausencia de la intervención, las tendencias del grupo de control son un buen indicador de las tendencias del grupo que recibirá la intervención (Angrist y Pischke 2008; Dimick y Ryan 2014). En otras palabras, si no se hubiera producido la intervención, las tendencias entre los dos grupos con respecto al indicador de interés se mantendrían constantes.

Consideremos esquemáticamente dos Estados en el mismo país, con cuatro períodos de observación (2009 [t0], 2010 [t1], 2011 [t2], 2012 [t3]), un Estado que realiza la intervención en 2010 (t1) y el otro Estado que no hace nada. Suponiendo y/o verificando que los dos estados son intercambiables, se estimaría primero la primera diferencia, que sería, por ejemplo, la diferencia de prevalencia de consumo de alcohol entre los dos estados en todos los períodos de tiempo. Luego se estima la misma diferencia controlando el efecto del tiempo y el estado. La hipótesis nula (es decir, que la intervención no tiene ningún efecto sobre el consumo de alcohol de los y las jóvenes) implicaría que estas dos diferencias se mantienen iguales a lo largo del tiempo. Por lo tanto, si los dos estados son intercambiables y se cumple la hipótesis de la DS, entonces cualquier diferencia entre estas dos diferencias puede ser interpretada como el efecto de la intervención sobre el consumo de alcohol de los y las jóvenes en el estado de intervención.

Descripción de los datos

El objetivo de este estudio es estimar el impacto en el consumo de alcohol de una política pública organizada en 2011 y habiendo aumentado la edad legal para el consumo de alcohol de 18 a 19 años en 10 estados del país.

A fin de presentar la aplicación del método de diferencias en diferencias, creamos una base de datos simulada que contiene datos similares a los de un censo nacional. Asumimos que 20.000 encuestados de entre 16 y 25 años de edad fueron muestreados en 20 estados. La probabilidad de selección entre los encuestados es igual para cada estado. Asumimos una probabilidad igual de selección para evitar la necesidad de ponderación. Sin embargo, es totalmente posible incluir pesos en la aplicación de este método.

El censo contiene las siguientes variables:

• stateID: el identificador único de los estados.
• individualID: el identificador único de los encuestados.
• Conocimiento: una variable individual de conocimiento sobre el alcohol. Un aumento del valor indica un mayor conocimiento sobre el impacto negativo del alcohol.
• timeEffect: indica el año con valores entre 2009 y 2012 inclusive.
• Ley: variable binaria que indica si el Estado ha aprobado o no una legislación que aumenta la edad de consumo de alcohol de 18 a 19 años (es decir, política pública).
• Edad: una variable que indica la edad del encuestado.
• consParSem: número de bebidas por semana por el demandado.

Por lo tanto, tenemos los datos necesarios para hacer un análisis de diferencias en las diferencias. La base de datos simulada que se presenta aquí es típica para un análisis de DD. Incluye datos de varios años (dos años como mínimo), de diferentes estados, una política aplicada de manera diferente en diferentes años entre los estados. Estas condiciones son necesarias para construir el contrafactual y realizar el análisis de SD.

Construyendo un contrafactual

El contrafáctico está representado por una condición inobservable en la que no se aplica la política pública. Si el contrafáctico es válido, asumimos que no hay cambios en el consumo de alcohol en los estados donde no se aplica la política, y por lo tanto no hay efecto de la política pública. Hemos incluido ajustes por tiempo, estado, edad y conocimiento de los efectos negativos del alcohol en la salud para crear el contrafactual más plausible. Para validar el supuesto principal del método DD, también tenemos que suponer que la pendiente del consumo semanal a lo largo del tiempo sigue la misma trayectoria en los estados de intervención y control (véase la figura 1).

Estimación del impacto de la política pública

Antes de proceder a la estimación del efecto de la política pública, se requieren procedimientos estándar depuración de los datos. Nuestros datos simulados no contienen ningún dato perdido o atípico. Dada la distribución de nuestra variable de interés (número de bebidas por semana), utilizaremos un modelo binomial negativo (para más detalles, ver Hilbe 2011).

Para estimar el efecto de la ley sobre el consumo de alcohol usando el método DD, procederemos en cuatro etapas.

Etapa 1: El primer paso es incluir la variable de intervención (ley) que indica si un estado ha aprobado o no la ley que aumenta la edad de beber de 18 a 19 años. El modelo 1 (cuadro 1) presenta el resultado de incluir la variable ley en el modelo. El efecto de la ley es una reducción de aproximadamente una unidad de consumo de alcohol por persona entre los y las jóvenes de 16 a 25 años de edad (Beta: -1,11, 95% CI -1,08 a -1,13). La variable ley es una comparación burda entre los grupos de tratamiento y control, ya que no controla dos factores importantes, el efecto del tiempo y las diferencias de estado.

Etapa 2: El modelo 2 (Tabla 1) añade un efecto fijo para la variable temporal. Para ello, incluimos una variable categórica para cada año. La inclusión de esta variable controla el efecto secular del consumo de alcohol a lo largo del tiempo, sin restricción lineal en el efecto del tiempo. El efecto estimado de la variable de la ley sobre nuestra variable de interés sigue siendo similar al paso anterior con una reducción de aproximadamente una unidad de consumo de alcohol por persona entre los y las jóvenes de 16 a 25 años (Beta: -1.08, 95% CI -1.08 a -1.03).

Etapa 3: El modelo 3 (Tabla 1) añade un efecto fijo para los estados. Incluimos una variable categórica para cada estado. La inclusión de esta variable controla cualquier característica específica observable e inobservable a nivel estatal que sea invariable en el tiempo. La inclusión de los efectos fijos por tiempo (véase Etapa 2) y por estado permite estimar el efecto intraestatal antes y después de la ley entre los estados con tratamiento, los que organizan la ley, y los estados que controlan, los que no lo hacen. En el Modelo 3, el efecto estimado de la variable ley sobre nuestra variable de interés sigue siendo estadísticamente significativo, pero la magnitud de la asociación se reduce (-0,32, IC del 95%: -0,39 a -0,24).

Etapa 4: En el Modelo 4 (Tabla 1), añadimos las dos variables individuales, nivel de conocimiento y edad. La inclusión de estas variables no cambia nuestra estimación del efecto de la ley sobre el consumo (-0,32; IC del 95%: -0,39 a -0,24).

Tabla 1 : Resultados de los modelos de Diferencia en Diferencias

	Modelo 1 Beta (95% CI)	Modelo 2 Beta (95% CI)	Modelo 3 Beta (95% CI)	Modelo 4 Beta (95% CI)
Intercepto	2.23 (2,21 a 2.24)	2.21 (2,19 a 2.24)	2.12 (2,07 a 2.18)	2.14 (2,02 a 2.25)
Ley
No	1	1	1
Si	-1,11 (-1,08 a -1,13)	-1,11 (-1,13 a -1,08)	-0,32 (-0,39 a -0,24)	-0,32 (-0,39 a -0,24)
Años
2009		1	1
2010		0.04 (0,00 a 0.07)	0.03 (-0,01 a 0.06)	0.03 (-0,01 a 0.06)
2011		0.04 (0,00 a 0.07)	0.04 (0,00 a 0.07)	0.04 (0,00 a 0.07)
2012		-0.02 (-0,06 a 0.01)	-0,04 (-0,07 a 0.00)	-0,04 (-0,07 a 0.00)
Conocimientos				0.00 (-0,01 a 0.00)
Edad				0.00 (-0,01 a 0.00)

Conclusión

Usando el método DD, pudimos estimar el efecto de una política pública para cambiar la edad legal de consumo de alcohol en los y las jóvenes de 16 a 25 años. Encontramos que esta política pública contribuyó a la reducción del consumo de alcohol en este grupo de edad.

De esta manera, utilizando los contrastes entre los estados en cuanto a la fecha de implementación de esta política pública, pudimos construir situaciones contrafácticas que nos permitieron comparar los cambios observados en el consumo de alcohol entre los y las jóvenes de 16 a 25 años con lo que hubiera ocurrido sin la implementación de esta política.

El método de “regresión de la discontinuidad”

Presentación general del método RD

La regresión de la discontinuidad (RD) puede utilizarse cuando una intervención se basa en un umbral específico de una variable continua para determinar la elegibilidad para esa intervención. Este umbral puede ser la edad (como en nuestro ejemplo), el nivel de ingresos (Andalón 2011) o los marcadores biológicos como las células CD4, las células del sistema inmunológico afectadas por el VIH (Bor, Moscoe et al. 2014) por ejemplo. Todos los individuos de un lado del umbral recibirán la intervención mientras que los del otro lado no. La idea general de este enfoque es considerar como intercambiables a los individuos que están muy cerca de un lado del umbral y al otro lado del mismo, considerando la elección del umbral en su valor preciso como aleatoria. Así pues, el grupo contrafáctico se construye a partir de una situación en la que no habría discontinuidad en el umbral de elegibilidad para la intervención. Así pues, se podrá inferir que una diferencia en los resultados sanitarios entre los dos grupos será la causa del establecimiento de este umbral. Se requieren varios pasos para realizar un análisis de tipo RD a fin de probar varias hipótesis relativas a la intercambiabilidad entre los dos grupos, y la elección de modelos de regresión. Estas siete Etapas se detallan a continuación.

Descripción de los datos

El objetivo de nuestro estudio es estimar el impacto de la edad legal de consumo de alcohol en los y las jóvenes. Para presentar la aplicación del método de regresión de la discontinuidad, creamos una base de datos simulada. La base de datos simulada contiene datos por cada 1.000 personas de 19 a 23 años de edad. Al igual que en el caso del análisis DD, no se incluyeron pesos en los análisis aquí, pero esto todavía es posible.

Una variable de interés es el consumo de alcohol. Tenemos datos por cada 1.000 personas de 19 a 23 años.

La base de datos contiene las cinco siguientes variables: 

• id: el identificador único para los encuestados.
• Edad: una variable que indica la edad del encuestado.
• propAlcDía: el número de bebidas por día consumidas por el encuestado.
• fruta: consumo semanal de frutas y verduras.
• Cigarrillo: consumo semanal de cigarrillos.

1. Definir el umbral

Los datos requieren un umbral de probabilidad de consumo en relación con una variable de atribución continua. En nuestro ejemplo, la edad es la variable de atribución. Aquí, la mayoría de edad es de 21 años. Así, antes de los 21 años de edad el consumo de alcohol no es legal y después de los 21 años de edad sí lo es. Esto es una clara ruptura a la edad de 21 años.

2. Comprobar que no hay sesgo o error de medición de la variable de interés en relación con el punto de corte para el consumo de alcohol.

Un sesgo o error de medición para la variable de interés relativa al umbral creará un sesgo sistemático en las estimaciones de RD. Por ejemplo, si se subestima el consumo de alcohol entre los participantes menores de 21 años, ya sea porque los encuestados no dan respuestas reales (o se niegan a responder) porque el comportamiento es ilegal, la estimación de RD es sistemáticamente sesgada (Imbens y Lemieux 2008). En nuestro caso, asumimos que no hay sesgo o error de medición para la variable de interés.

3. Verificar que la variable de atribución es continua y se mide con precisión

En la tercera etapa, visualizamos un histograma, un gráfico “Q-Q”, y realizamos una prueba de Shapiro-Wilk para asegurarnos de que la variable de asignación continua está distribuida uniformemente. Una variable de atribución que no sea continua será problemática en el contexto del método de regresión de la discontinuidad, ya que es posible que existan varios umbrales. Por ejemplo, si existe la variable de atribución y varios umbrales, no es posible identificar un efecto causal ya que es posible un efecto en cada umbral. La variable de edad en nuestra muestra es consistente.

4. Visualizar la variable de atribución por la variable de interés

En la cuarta etapa, visualizamos la variable de atribución en el eje X con las variables de interés en el eje Y. La figura 2 muestra estas relaciones. Presentamos los datos completos antes y después de los 21 años de edad usando opciones de gráficos específicos. El loess de alisado es el gráfico por defecto creado por el comando rRDobust con binning (imitando el método de varianza uniformemente espaciada usando estimadores de espaciado) y alisado con polinomio de 4º orden. Se recomienda presentar un gráfico con los datos de los contenedores (Calonico, Cattaneo et al. 2015).

5. Comparación de variables de interés y co-variables

En la quinta etapa, queremos verificar que los dos grupos son intercambiables, excepto la variable de interés de la salud. Comparamos la media y la desviación estándar de la variable de interés antes y después de 21 años. También examinamos esto para dos co-variables, el consumo de frutas y verduras y el consumo de cigarrillos (Tabla 2). Dada la premisa de que la política sólo influye en el consumo de alcohol, la política no debe influir en otros comportamientos. La idea de este paso es asegurar que, excepto en el caso del consumo de alcohol, no haya otra discontinuidad en el mismo límite (es decir, a los 21 años) para otras variables de la muestra.

DE: Desviación estándar.

6. Seleccione el rango de muestra seleccionado

Una premisa importante del método RD es que los grupos a ambos lados del umbral son intercambiables. Esto significa que deben ser similares para cualquier característica que no sea la variable de atribución (la edad en nuestro ejemplo) y la variable de salud de interés. Hay varios métodos propuestos para seleccionar el ancho de banda. El ancho de banda define el rango de la muestra seleccionada para la regresión. Es muy importante ya que define la plausibilidad de que los grupos a ambos lados del umbral sean intercambiables. El ancho de banda es típicamente estimado con una estimación del núcleo. Aquí proponemos dos métodos de selección, a saber: MSE (Mean Square Error Optimal Bandwidth Selector) y CER (Coverage Error Rate Optimal Bandwidth Selector)). (Imbens y Kalyanaraman 2011, Calonico, Cattaneo et al. 2015) y tres métodos diferentes de estimación del núcleo (triangular, Epanechnikov y uniforme). Los métodos de selección de ancho de banda están disponibles con el programa rdrobust para R (Calonico, Cattaneo et al. 2015) y Stata (Calonico, Cattaneo et al. 2014).

La selección del ancho de banda puede influir en el tamaño de la muestra y en la muestra para respetar el hecho de que los dos grupos a cada lado del umbral son intercambiables. En nuestro ejemplo, nuestra muestra de 1.000 encuestados no se ve afectada por la elección de ancho de banda, con 484 encuestados de la derecha y 516 de la izquierda incluidos en el análisis para una selección de ancho de banda de IK MSE con una estimación de núcleo triangular o una selección de ancho de banda de CT con una estimación de núcleo uniforme (véase la tabla 3 para los resultados completos).

En nuestro caso, elegiremos el método MSE con estimación de núcleo triangular para los análisis, es decir, el método por defecto bajo R con rdrobust. Independientemente de la elección, es necesario realizar análisis de sensibilidad para asegurar que el resultado no se vea afectado por la elección del modelo.

7. Estimación del efecto de la política pública mediante modelos de regresión

Primero, estimamos el efecto de la política con una regresión lineal en la muestra completa. La estimación de la regresión lineal es un aumento de la bebida de 0,6 por semana (95% CI 0,6 a 0,7). Con la muestra completa, la premisa de que los grupos a ambos lados del corte son intercambiables es menos plausible. Para estimar un efecto plausible, estimamos la regresión con discontinuidad con el método IEM y la estimación del núcleo triangular. La regresión incluye ahora 484 encuestados a la izquierda (antes de los 21 años) y 516 encuestados a la derecha (después de los 21 años) (Tabla 4). La regresión se estima con una regresión local lineal y una corrección local cuadrática. La estimación no se ve influida por el método de selección del ancho de banda, lo que indica que el resultado es robusto.

Tabla 3 : Estimación del efecto del consumo de alcohol con RD

	Bandwidth MSE Beta (95% CI)	Bandwidth CER Beta (95% CI)
Convencional	0.88 (0,2 a 1,5)	0.80 (0,0 a 1,6)
Corregido por los sesgo	0.80 (0,2 a 1,4)	0.75 (-0,0 a 1,5)
Robusto	0.80 (0,0 a 1,6)	0.75 (-0,1 a 1,6)

Los resultados muestran que el estar en el grupo de edad legal para beber aumenta en aproximadamente una unidad de consumo de alcohol por semana (95% CI 0.2 a 1.5). Los análisis de sensibilidad (CER corregidos por sesgos y robusto) muestran que la estimación puede ser sensible a la elección del modelo. El/la investigador/a debe ser cauteloso/a al interpretar y comunicar los resultados.

Conclusión

Usando el método de RD, pudimos estimar el efecto de la edad mínima legal para beber en el consumo de alcohol entre los 19-23 años. Encontramos que el consumo de alcohol aumenta en una unidad de consumo por semana cuando se pasa de los 20 a los 21 años de edad, lo que indica que esta política pública tiene un efecto sobre el consumo de alcohol entre los y las jóvenes de 19 a 23 años.

Utilizando los contrastes entre los y las jóvenes de 19-20 y 21-23 años, pudimos construir un contrafactual que nos permitió comparar los cambios observados en el consumo de alcohol entre los y las jóvenes de 19-23 años con lo que habría ocurrido sin la aplicación de esta política pública.

Discusión

En este capítulo hemos presentado dos métodos cuasiexperimentales en el contexto de la evaluación de los efectos de las políticas públicas sobre la salud. Hemos demostrado que estos enfoques pueden ser buenas alternativas cuando los ensayos controlados aleatorios no son factibles. Presentamos dos enfoques principales: el método de diferencia en la diferencia y el enfoque de regresión de la discontinuidad. Estos dos enfoques permiten explotar diferentes situaciones de experimentos naturales. En el caso del método de diferencias en las diferencias, se utilizó por primera vez la fecha de aplicación de la intervención para comparar los cambios en los indicadores de salud con el grupo de control. En el caso del enfoque de regresión con discontinuidad, en cambio, se explotó una característica específica de la intervención, a saber, la edad legal para beber. Ambos enfoques tienen por objeto responder a la misma pregunta, pero la principal diferencia radica en el efecto que se estima y en la población a la que se pueden generalizar estos resultados. En el primer caso, se cuantifica un efecto medio del tratamiento que toma la población en su conjunto (es importante señalar que también es posible cuantificar el efecto en subgrupos de la población). En el segundo caso, se cuantifica un promedio local total del efecto del tratamiento en la población incluida en el análisis (es decir, las personas de 19 a 23 años), de modo que los resultados no pueden extrapolarse a otros grupos de edad en particular.

Se han descrito todos los pasos necesarios para llevar a cabo este tipo de análisis y las hipótesis que se van a probar. Estos enfoques, especialmente desarrollados en el campo de la econometría, se han utilizado ampliamente para evaluar la eficacia de las intervenciones sanitarias en los países de ingresos bajos y medios, en particular en lo que respecta a los programas de transferencia de efectivo (condicional o no) (Andalón 2011) o a los programas de acceso a la atención (Dimick y Ryan 2014). Es importante señalar que es posible llevar a cabo este tipo de evaluación utilizando los datos ya reunidos en los países de ingresos bajos y medios, lo que permite realizar una gran cantidad de investigaciones en el futuro.

En este capítulo hemos abordado un solo tipo de evaluación, a saber, la evaluación de los efectos o impactos de una política pública, movilizando la noción de inferencia causal. Inevitablemente, este tipo de evaluación es complementario de otros tipos, como las evaluaciones de la aplicación, que movilizan diferentes metodologías. Por último, hemos abordado aquí el impacto de las políticas públicas en la salud de la población estudiada en su conjunto. Sin embargo, es posible, incluso sistemático, que los efectos de una política pública no se distribuyan homogéneamente entre varios subgrupos de una población. Este aspecto, a través de la noción de equidad, se aborda por lo tanto en el siguiente capítulo.

Referencias clave

Angrist, J. D. et Pischke, J.-S. (2014). Mastering metrics : The Path from Cause to Effect. Lieu d’édition : Princeton University Press.

Este libro es una excelente introducción a los métodos cuasi-experimentales y otros enfoques comúnmente utilizados en la econometría y la epidemiología. Se trata de una versión más accesible que la de Mostly harmless econometrics: An empiricist’s companion (Princeton University Press, 2008) de los mismos autores, que es más detallada pero de más difícil acceso.

Bor, J. (2016). Capitalizing on natural experiments to improve our understanding of population health. American Journal of Public Health, 106(8), 1388.

Este artículo, muy corto y de fácil acceso, es un muy buen resumen del concepto de los experimentos naturales y de cómo su explotación puede ser una excelente alternativa a los ensayos controlados aleatorios.  

Deaton, A. et Cartwright, N. (2017). Understanding and misunderstanding randomized controlled trials. Social Science et Medicine, volume(numéro), p.-p.

En este artículo se resume gran parte de la labor realizada en los últimos años con el fin de aclarar lo que son los ensayos controlados aleatorios y, especialmente, lo que no son. Este artículo, y los numerosos comentarios que lo acompañan, deben leerse para comprender los límites y ventajas de este tipo de enfoque, que lamentablemente se malinterpreta y moviliza con demasiada frecuencia.

Referencias

Andalón, M. (2011). Oportunidades to reduce overweight and obesity in Mexico? Health economics, 20(S1), 1-18.

Angrist, J. D. et Pischke, J.-S. (2008). Mostly harmless econometrics: An empiricist’s companion. Princeton : Princeton University Press.

Angrist, J. D. et Pischke, J.-S. (2014). Mastering metrics : The path from cause to effect. Princeton : Princeton University Press.

Austin, P. C. (2011). An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate behavioral research, 46(3), 399-424.

Belaid, L. et Ridde, V. (2012). An implementation evaluation of a policy aiming to improve financial access to maternal health care in Djibo district, Burkina Faso. BMC pregnancy and childbirth, 12(1), 1.

Benmarhnia, T., Zunzunegui, M.-V., Llácer, A. et Béland, F. (2014). Impact of the economic crisis on the health of older persons in Spain: research clues based on an analysis of mortality. SESPAS report 2014. Gaceta Sanitaria. 28, 137-141.

Bonell, C. P., Hargreaves, J., Cousens, S., Ross, D., Hayes, R., Petticrew, M. et Kirkwood, B. (2011). Alternatives to randomisation in the evaluation of public health interventions: design challenges and solutions. Journal of Epidemiology and Community Health, 65(7): 582-587.

Bor, J. (2016). Capitalizing on natural experiments to improve our understanding of population health. American Journal of Public Health, 106(8), 1388.

Bor, J., Moscoe, E., Mutevedzi, P., Newell, M.-L. et Bärnighausen, T. (2014). Regression discontinuity designs in epidemiology: causal inference without randomized trials. Epidemiology, 25(5), 729-737.

Brousselle, A., Benmarhnia, T. et Benhadj, L. (2016). What are the benefits and risks of using return on investment to defend public health programs?. Preventive Medicine Reports, 3, 135-138.

Brousselle, A. et Lessard, C. (2011). Economic evaluation to inform health care decision-making: promise, pitfalls and a proposal for an alternative path. Social science et medicine,72(6), 832-839.

Calonico, S., Cattaneo, M. D. et Farrell, M. H. (2015). On the effect of bias estimation on coverage accuracy in nonparametric inference. Journal of the American Statistical Association, 113(522), 767-779.

Calonico, S., Cattaneo, M. D. et Titiunik, R. (2014). Robust data-driven inference in the regression-discontinuity design. Stata Journal, 14(4), 909-946.

Calonico, S., Cattaneo, M. D. et Titiunik, R. (2015). Optimal data-driven regression discontinuity plots. Journal of the American Statistical Association, 110(512), 1753-1769.

Calonico, S., Cattaneo, M. D. et Titiunik, R. (2015). rdrobust: An r package for robust nonparametric inference in regression-discontinuity designs. R Journal,7(1), 38-51.

Carpenter, C. et Dobkin, C. (2009). The effect of alcohol consumption on mortality: regression discontinuity evidence from the minimum drinking age. American Economic Journal: Applied Economics, 1(1), 164-182.

Carpenter, C. et Dobkin, C. (2011). The minimum legal drinking age and public health. The Journal of Economic Perspectives, 25(2), 133-156.

Champagne, F., Contandriopoulos, A.-P., Brousselle, A., Hartz, Z. et Denis, J.-L. (2009). L’évaluation dans le domaine de la santé : concepts et méthodes. In L’évaluation : Concepts et méthodes. Montréal : Presses de l’Université de Montréal.

Cook, T. D., Campbell, D. T. et Day, A. (1979). Quasi-experimentation : Design et analysis issues for field settings. Boston : Houghton Mifflin.

Dimick, J. B. et Ryan, A. M. (2014). Methods for evaluating changes in health care policy: the difference-in-differences approach. Jama, 312(22), 2401-2402.

Donald, S. G. et Lang, K. (2007). Inference with difference-in-differences and other panel data. The review of Economics and Statistics, 89(2), 221-233.

Drummond, M. F., Sculpher, M. J., Claxton, K., Stoddart, G. L. et Torrance, G. W. (2015). Methods for the economic evaluation of health care programmes. Lieu d’édition : Oxford University Press.

Fuller, D., Sahlqvist, S., Cummins, S. et Ogilvie, D. (2012). The impact of public transportation strikes on use of a bicycle share program in London: interrupted time series design. Preventive medicine, 54(1), 74-76.

Hawe, P., Shiell, A. et Riley, T. (2004). Complex interventions: how “out of control” can a randomised controlled trial be?. Penelope, 328, 1561-1563.

Hernán, M. A. et Robins, J. M. (2006). Instruments for causal inference: an epidemiologist’s dream?. Epidemiology, 17(4), 360-372.

Hilbe, J. M. (2011). Negative binomial regression. Cambridge : Cambridge University Press.

Holland, P. W. (1986). Statistics and causal inference. Journal of the American statistical Association, 81(396), 945-960.

Imbens, G. et Kalyanaraman, K. (2011). Optimal bandwidth choice for the regression discontinuity estimator. The Review of economic studies, 79(3), 933-959.

Imbens, G. W. et Lemieux, T. (2008). Regression discontinuity designs: A guide to practice. Journal of Econometrics, 142(2), 615-635.

Kaufman, J. S. (2007). Making causal inferences about macrosocial factors as a basis for public health policies. Macrosocial Determinants of Population Health, chapter 17, 355-373.

Kontopantelis, E., Doran, T., Springate, D. A., Buchan, I. et Reeves, D. (2015). Regression based quasi-experimental approach when randomisation is not an option: interrupted time series analysis. British Medical Journal, 350, h2750.

Macintyre, S. (2010). Good intentions and received wisdom are not good enough: the need for controlled trials in public health. Journal of Epidemiology and Community Health, 65(7), 564-567.

Moore, L. et Moore, G. F. (2011). Public health evaluation: which designs work, for whom and under what circumstances?. Journal of Epidemiology and Community Health, 65(7), 596-597.

Naimi, A. I. et Kaufman, J. S. (2015). Counterfactual theory in social epidemiology: reconciling analysis and action for the social determinants of health. Current Epidemiology Reports, 2(1), 52-60.

Newhouse, J. P. et McClellan, M. (1998). Econometrics in outcomes research: the use of instrumental variables. Annual Review of Public Health, 19(1), 17-34.

Pearl, J. (2009). Causality. Cambridge : Cambridge University Press.

Petticrew, M., Chalabi, Z. et Jones, D. R. (2011). To RCT or not to RCT: deciding when ‘more evidence is needed’ for public health policy and practice. Journal of Epidemiology and Community Health, 66(5), 391-396.

Rehm, J., Gmel, G., Sempos, C. T. et Trevisan, M. (2003). Alcohol-related morbidity and mortality. Alcohol Research et Health, 27(1), 39-51.

Royall, R. M. (1991). Ethics and statistics in randomized clinical trials. Statistical Science, 6(1), 52-62.

Sabatier, P. et Mazmanian, D. (1980). The implementation of public policy: A framework of analysis. Policy Studies Journal, 8(4), 538-560.

Shadish, W. R. et Cook, T. D. (2009). The renaissance of field experimentation in evaluating interventions. Annual Review of Psychology, 60, 607-629.

Shadish, W. R., Luellen, J. K. et Clark, M. (2006). Propensity Scores and Quasi-Experiments: A Testimony to the Practical Side of Lee Sechrest. Dans R. R. Bootzin et P. E. McKnight (dir.), Strengthening research methodology: Psychological measurement and evaluation (p. 143-157). Washington, DC : American Psychological Association.

Susser, M. (2001). Glossary: causality in public health science. Journal of Epidemiology and Community Health, 55(6), 376-378.

Yörük, C. E. et Yörük, B. K. (2012). The impact of drinking on psychological well-being: Evidence from minimum drinking age laws in the United States. Social Science et Medicine, 75(10), 1844-1854.

Resumen / Résumé / Abstract

Se han desarrollado métodos cuasi-experimentales para evaluar los “experimentos naturales”, un diseño alternativo a los ensayos controlados aleatorios que se basa en la noción de lo contrafactual para estimar los efectos causales. El objetivo de este capítulo es describir métodos cuasi-experimentales, aplicarlos empíricamente a un ejemplo y proporcionar todos los elementos de la evaluación, permitiendo al lector reproducir estos análisis (en R y Stata) en su contexto dado. El objetivo principal de este tipo de evaluación de políticas es atribuir un efecto causal de una intervención a un indicador de salud. Aplicamos estos métodos para estimar el impacto de una política que aumenta el consumo mínimo legal de alcohol en el consumo de alcohol entre los jóvenes. En esta evaluación se utilizan dos tipos de métodos cuasiexperimentales: el método de la Diferencia de Diferencias (DD) y el enfoque de regresión discontinua (RD). Demostramos que estos enfoques pueden ser buenas soluciones para evaluar las políticas cuando los ensayos controlados aleatorios son imposibles. Estas herramientas de evaluación pueden utilizarse para garantizar que las políticas contribuyan a mejorar la salud de la población, para informar y decidir si se mantienen, modifican o interrumpen las intervenciones existentes y para garantizar que los recursos públicos se utilicen de manera eficaz.

***

Les méthodes quasi-expérimentales (MQE) sont des alternatives aux essais contrôlés randomisés, qui permettent, en se basant sur le modèle contre-factuel, d’évaluer les effets d’interventions en exploitant des expérimentations naturelles. L’objectif de ce chapitre est d’introduire deux MQE, à savoir la me la méthode de Différence dans les Différences (DD) ainsi que l’approche de Régression avec Discontinuité (RD). Leur application afin d’évaluer l’effet de l’âge légal minimum sur la consommation d’alcool chez les jeunes est ensuite présentée. Sont présentées toutes les étapes nécessaires et les codes statistiques (pour R et Stata) permettant de reproduire ce type d’analyse. Ces approches constituent de bonnes solutions lorsque des essais contrôlés randomisés sont impossibles ou difficiles à mener, permettant de s’assurer que des objectifs d’un programme de santé publique sont bel et bien atteints, de décider quant au maintien, à la modification ou à l’arrêt d’interventions existantes et de s’assurer que les ressources publiques sont utilisées de manière efficace.

***

Quasi-experimental methods have been developed to evaluate ‘natural experiments,’ an alternative design to randomized controlled trials that relies on the notion of the counterfactual to estimate causal effects. The objective of this chapter is to describe quasi-experimental methods, apply them empirically to an example, and provide all elements of the evaluation, allowing the reader to reproduce these analyses (in R and Stata) in their given context. The main objective of this type of policy evaluation is to attribute a causal effect of an intervention on a health indicator. We apply these methods to estimate the impact of a policy raising minimum legal drinking on alcohol consumption among young people. Two types of quasi-experimental methods are used in this evaluation: the Difference in Differences (DD) method and the discontinuous regression (RD) approach. We show that these approaches can be good solutions to evaluate policies when randomized controlled trials are impossible. These evaluation tools can be used to ensure that policies contribute to the improvement of population health, to inform and decide whether to maintain, modify or discontinue existing interventions and to ensure public resources are used effectively.

***

Tarik Benmarhnia es Profesor Adjunto de Epidemiología de la Universidad de California en San Diego en el Instituto Scrippset de Oceanografía de la Facultad de Medicina. Realizó su doctorado en Epidemiología en la Universidad de Montreal y en la Université Paris Sud. También es investigador asociado en Chile y Francia y miembro del consejo editorial de Environmental Health Perspectives. Sus investigaciones se centran en los efectos de los fenómenos extremos en la salud, con especial atención a las poblaciones vulnerables y las consecuencias para las políticas públicas. También está elaborando enfoques metodológicos para evaluar el efecto de las políticas ambientales en la salud, como las medidas de adaptación al cambio climático y las medidas de control de la contaminación atmosférica.

Daniel Fuller ocupa una cátedra de investigación sobre actividad física de la población en la Universidad Memorial de St. Su investigación se centra en las tecnologías portátiles para estudiar la actividad física, las intervenciones de transporte y la desigualdad en los espacios urbanos. Su trabajo metodológico se centra en los métodos de experimentación natural y el aprendizaje de las máquinas. Dan tiene una Maestría en Kinesiología de la Universidad de Saskatchewan, un Doctorado en Salud Pública de la Universidad de Montreal y realizó investigaciones postdoctorales en el Departamento de Salud Comunitaria y Epidemiología de la Universidad de Saskatchewan. Daniel es codirector del equipo de Factores de Vecindad del Consorcio de Investigación de Salud Ambiental Urbana Canadiense (CANUE) e investigador principal del equipo INTERACT.

Cita

Tarik Benmarhnia y Daniel Fuller (2020). Métodos cuasi-experimentales. El efecto de la edad mínima legal sobre el consumo de alcohol entre los y las jóvenes en los Estados Unidos. En Evaluación de las intervenciones sanitarias en salud global. Métodos avanzados. Bajo la dirección de Valéry Ridde y Christian Dagenais, pp. 249-275. Québec: Éditions science et bien commun y Marseille: IRD Éditions.