Eficacia y efectividad: cómo leer un estudio de vacuna

Índice
- Eficacia y efectividad: dos preguntas diferentes
- Cómo el ensayo clínico mide la eficacia
- Del ensayo al mundo real: la efectividad
- El diseño de prueba negativa
- Otros diseños de campo: tamizaje y brote
- Reducción relativa, reducción absoluta y NNV
- En la práctica: guía para leer un estudio de vacuna
- Cómo NEXO ayuda a entrenar ese razonamiento
- Preguntas frecuentes
- Mensajes para llevar
- Referencias
Toda noticia sobre vacuna trae un número de protección. A veces viene de un ensayo clínico con decenas de miles de voluntarios sorteados; a veces, de registros de salud de millones de personas vacunadas en la rutina. Los dos números responden a preguntas diferentes y se equivocan por motivos diferentes. Leer un estudio de vacuna empieza por saber qué pregunta hace.
La Organización Mundial de la Salud (OMS) separa las dos situaciones en sus guías: la evaluación clínica antes del registro, con reglas para ensayos (OMS, 2017), y la evaluación de la efectividad después de la introducción, con diseños observacionales (OMS, 2017; OMS, 2021). Este texto sigue esa división.
El recorrido pasa por la eficacia en el ensayo, por la efectividad en el mundo real, por el sesgo del vacunado sano, por el diseño test negativo, por métodos rápidos de campo y por la diferencia entre reducción relativa, reducción absoluta y número necesario para vacunar (NNV).
Puntos principales
- Eficacia es la protección medida en ensayo aleatorizado; efectividad es la protección observada en el uso de rutina (OMS, 2021).
- En un ensayo de vacuna de ARN contra la covid-19, la covid-19 se confirmó en 8 vacunados y en 162 participantes del grupo placebo, una eficacia de 95 de cada 100 (Polack, 2020).
- Un estudio de efectividad con casi 600 mil personas por grupo encontró una protección similar a la del ensayo (Dagan, 2021).
- Los estudios observacionales pueden hallar protección donde es imposible, como antes de la temporada de influenza, por el sesgo del vacunado sano (Lipsitch, 2016).
- El diseño test negativo reduce la confusión por la búsqueda de atención, a cambio de supuestos propios (OMS, 2017; Lewnard, 2018).
- La misma reducción relativa puede significar NNV muy diferentes, según el riesgo basal (Olliaro, 2021).
Sumario
- Eficacia y efectividad: dos preguntas diferentes
- Cómo el ensayo clínico mide la eficacia
- Del ensayo al mundo real: la efectividad
- El diseño test negativo
- Otros diseños de campo: tamizaje y brote
- Reducción relativa, reducción absoluta y NNV
- En la práctica: recorrido para leer un estudio de vacuna
- Cómo NEXO ayuda a entrenar este razonamiento
- Preguntas frecuentes
- Take-home messages
Eficacia y efectividad: dos preguntas diferentes
Eficacia es cuánto protege la vacuna en condiciones controladas: participantes elegidos por criterios definidos, sorteo entre vacuna y placebo, esquema aplicado en el intervalo correcto, vigilancia activa y confirmación de laboratorio de los casos. Efectividad es cuánto protege en el uso de rutina, con personas de todas las edades y enfermedades, retrasos en el esquema, transporte y conservación reales y virus que cambian con el tiempo (OMS, 2021).
La cuenta de base es la misma en los dos casos. La protección es uno menos el riesgo relativo: si los vacunados enferman con un quinto del riesgo de los no vacunados, la vacuna evitó 4 de cada 5 enfermedades que habrían ocurrido. Lo que cambia es cómo cada diseño estima ese riesgo relativo y qué sesgos entran en la estimación. Los dos diseños usan esa lógica: el ensayo compara tasas de ataque entre los grupos sorteados (Orenstein, 1985), y la cohorte de registros estima la efectividad como uno menos la razón de riesgos (Dagan, 2021).
Efecto directo, indirecto e impacto del programa
Una vacuna actúa en más de un nivel. El efecto directo es la protección de quien recibió la vacuna, comparado con quien no la recibió. El efecto indirecto es la protección de quien quedó sin vacuna porque la circulación del agente cayó alrededor. El efecto global de un programa suma los dos, y los estudios de series temporales, muchas veces descartados como "ecológicos", son el único diseño observacional capaz de medirlo (Lipsitch, 2016).
La OMS separa por eso los estudios de efectividad de los estudios de impacto, que miran la carga de la enfermedad en la población después de la introducción de la vacuna (OMS, 2021). Quien lee necesita saber si el número habla del individuo vacunado o de la población entera.
Cómo el ensayo clínico mide la eficacia
El ensayo aleatorizado es el estándar para registrar una vacuna. La OMS reúne en una guía lo que las autoridades reguladoras esperan de la evaluación clínica de vacunas, con capítulos sobre inmunogenicidad, eficacia y seguridad y con la exigencia de que los casos cumplan una definición prevista en el protocolo (OMS, 2017). El sorteo equilibra, en promedio, todo lo que puede influir en el riesgo, incluso lo que nadie midió. Por eso la comparación es justa, como discutimos en ensayos aleatorizados.
Al leer la sección de métodos de un ensayo de vacuna, cuatro definiciones pesan más. La primera es el desenlace primario, que puede ser infección, enfermedad sintomática, hospitalización o muerte, y cada elección da un número diferente. La segunda es la confirmación del caso, con síntomas y prueba de laboratorio, para evitar contar otras enfermedades. La tercera es la ventana de conteo, es decir, a partir de cuántos días después de la última aplicación los casos entran en el análisis. La cuarta es la población del análisis: todos los sorteados o solo quienes completaron el esquema según el protocolo. Olliaro y colaboradores muestran que los ensayos de las primeras vacunas contra la covid-19 diferían justamente en esos puntos, lo que dificulta compararlos entre sí (Olliaro, 2021).
Un ejemplo: el ensayo de vacuna de ARN contra la covid-19
En el ensayo que llevó al registro de la primera vacuna de ARN mensajero, 43.548 participantes fueron sorteados para vacuna o placebo. A partir de 7 días después de la segunda aplicación, la covid-19 se confirmó en 8 vacunados y en 162 participantes del grupo placebo, una eficacia estimada de 95 de cada 100, con intervalo de credibilidad de 90,3 a 97,6 (Polack, 2020). De los 10 cuadros graves después de la primera aplicación, 9 ocurrieron en el grupo placebo (Polack, 2020).
El mismo artículo muestra los límites del diseño. La mediana del seguimiento de seguridad fue de 2 meses (Polack, 2020). La OMS recuerda que la mayoría de esos ensayos usó la covid-19 sintomática como desenlace primario, que muchos participantes del grupo placebo recibirían la vacuna antes del fin del estudio y que preguntas como la protección contra enfermedad grave y muerte y la duración de la protección quedarían para los estudios de efectividad (OMS, 2021). Los eventos adversos raros piden otros diseños, como la serie de casos autocontrolada.
Lo que la eficacia todavía deja abierto
El ensayo mide el efecto directo en quienes participaron, en condiciones controladas. La OMS enumera lo que solo la evaluación después de la introducción responde: el desempeño con cadena de frío real, con esquemas atrasados o incompletos, en la población general, incluidos grupos excluidos de los ensayos, y ante variantes diferentes (OMS, 2021).
Del ensayo al mundo real: la efectividad
En la rutina, nadie sortea quién se vacuna. Los estudios de efectividad comparan vacunados y no vacunados que llegaron a ese estado por elección, acceso o indicación, y toda diferencia entre los grupos que influya en el riesgo contamina la estimación. La lectura crítica de estudios observacionales vale aquí por completo.
Un ejemplo de cohorte emparejada
Poco después del inicio de la vacunación contra la covid-19 en Israel, un estudio usó los registros de una gran organización de salud y emparejó cada vacunado con un no vacunado de características parecidas, formando dos grupos de 596.618 personas. A partir de 7 días después de la segunda aplicación, la efectividad estimada fue de 92 de cada 100 contra infección documentada, 94 contra enfermedad sintomática, 87 contra hospitalización y 92 contra enfermedad grave (Dagan, 2021). Los autores concluyeron que el resultado era compatible con el del ensayo (Dagan, 2021).
Los autores declararon haber diseñado el estudio para emular un ensayo objetivo (Dagan, 2021). Hernán y Robins proponen exactamente eso: escribir el protocolo del ensayo que se querría hacer, con criterios de elegibilidad, estrategias comparadas, forma de asignación, período de seguimiento, desenlace, contraste causal y estrategia de análisis, y luego usar los datos para imitarlo (Hernán y Robins, 2016). La elección del momento cero del seguimiento recibe atención especial, porque los errores en ese punto crean sesgos comunes (Hernán y Robins, 2016).
El sesgo del vacunado sano
Quien busca la vacuna suele cuidar más de su salud, tener más acceso a servicios y, en personas mayores, estar menos frágil. Eso hace que el grupo vacunado parezca protegido de desenlaces que la vacuna no podría evitar, el llamado sesgo del vacunado sano (OMS, 2017). El efecto de la vacuna de influenza sobre la mortalidad solo debería aparecer durante la temporada; cualquier ventaja de los vacunados en los meses anteriores indica sesgo (Lipsitch, 2016).
Un estudio con personas mayores puso a prueba esa idea al separar la mortalidad antes, durante y después de la temporada. La mayor reducción apareció justamente antes de la circulación del virus, y los ajustes estadísticos habituales para el estado de salud llegaron a aumentar la sobreestimación (Lipsitch, 2016). Lipsitch y colaboradores llaman a este recurso control negativo: medir la asociación de la vacuna con algo que no puede afectar, o en un periodo en el que no puede actuar (Lipsitch, 2016).
Además del vacunado sano, la OMS enumera otras distorsiones importantes en los estudios observacionales. Una es la confusión por la búsqueda de atención y por el riesgo de exposición. Otra es la clasificación errónea del desenlace por error diagnóstico. La infección previa y las falsas inferencias de caída de la protección completan la lista (OMS, 2021). El razonamiento del control negativo se parece al de la comparación entre observado y esperado en la farmacovigilancia.
El diseño de prueba negativa
El diseño de prueba negativa se usa cada vez más para estimar la efectividad anual de la vacuna de influenza (OMS, 2017), y la OMS lo recomienda como el método más eficiente y viable para evaluar vacunas contra la covid-19 en países de renta baja y media (OMS, 2021). La idea es simple: entran en el estudio todas las personas que buscan atención con un cuadro respiratorio agudo, y todas se hacen la prueba de laboratorio.

Quien da positivo es caso; quien da negativo es control. La efectividad es uno menos la razón entre la probabilidad de estar vacunado en los casos y la probabilidad de estar vacunado en los controles (OMS, 2017). Como casos y controles buscaron el mismo servicio por el mismo tipo de síntoma, en general vienen de las mismas comunidades, y la diferencia de comportamiento entre quien busca y quien evita la atención pesa menos (OMS, 2017; Sullivan, 2016).
Un ejemplo numérico hipotético
Imagine 1.000 adultos atendidos con síndrome gripal en una temporada. De ellos, 200 dan positivo para influenza, y 40 de esos estaban vacunados, o 1 de cada 5. De los 800 negativos, 320 estaban vacunados, o 2 de cada 5. La probabilidad de vacuna en los casos es 40 sobre 160, un cuarto; en los controles, 320 sobre 480, dos tercios. La razón entre las dos es 0,375, y la efectividad estimada queda cerca de 62 de cada 100, siguiendo la fórmula de la guía de la OMS (OMS, 2017).
Los supuestos que sostienen el diseño
La ventaja tiene un costo en supuestos. Para que la estimación sea válida, hay que aceptar (OMS, 2017; Lewnard, 2018):
- que la vacuna de influenza proteja solo contra la influenza, sin alterar las otras causas del cuadro respiratorio que generan los controles;
- que el estudio se limite al periodo de circulación del virus y trate el tiempo de calendario como posible confusor;
- que los criterios de entrada y de prueba sean estrictos e iguales para todos;
- que la decisión de vacunarse no esté ligada a la exposición ni a la susceptibilidad.
Lewnard y colaboradores mostraron que la razón de probabilidades recupera el efecto directo de la vacuna solo bajo dos condiciones: decisiones de vacunación sin relación con la exposición o la susceptibilidad y protección del tipo "todo o nada"; fuera de ellas, la estimación queda sesgada, y el diseño puede dejar de corregir la búsqueda de atención si los criterios de inclusión y prueba son laxos (Lewnard, 2018). La OMS añade que los controles inscritos fuera de la temporada deben excluirse del análisis (OMS, 2017).
La prueba importa
Como todo depende de clasificar bien casos y controles, la calidad del examen entra en la cuenta. La guía de la OMS muestra que, con una especificidad casi perfecta, como en la PCR, incluso una sensibilidad de 70 por cada 100 tiene un impacto despreciable en la estimación (OMS, 2017). La especificidad pesa más: un falso positivo lleva un control al grupo de casos. El razonamiento sobre probabilidad pretest ayuda a ver por qué el mismo examen rinde más en el pico de la temporada que en los meses de poca circulación.
La guía también pide cautela con los desenlaces graves. En los hospitales, las enfermedades cardíacas y pulmonares crónicas aumentan al mismo tiempo la probabilidad de vacunación y de internación por síntomas respiratorios, y los criterios de entrada demasiado amplios llenan el grupo control de pacientes con exacerbaciones de esas enfermedades (OMS, 2017).
Otros diseños de campo: tamizaje y brote
Antes de los grandes bancos de datos, los equipos de vigilancia ya necesitaban saber rápido si una vacuna funcionaba. Un artículo publicado en el boletín de la OMS en 1985 organizó los métodos de campo disponibles: tamizaje, investigación de brote, tasa de ataque secundario en familias, evaluación de cobertura y caso-control (Orenstein, 1985).

El método de tamizaje
El método de tamizaje pide solo dos números: la proporción de casos que estaban vacunados y la cobertura vacunal en la población de donde provinieron los casos (Orenstein, 1985). La efectividad es la diferencia entre la cobertura y la proporción de vacunados entre los casos, dividida por la cobertura multiplicada por la proporción de no vacunados entre los casos (Orenstein, 1985).
Un ejemplo hipotético muestra la lógica. Si 9 de cada 10 niños de una región están vacunados contra el sarampión y la mitad de los casos ocurre en vacunados, la cuenta da una efectividad cercana a 89 por cada 100 (Orenstein, 1985). El número sorprende a quien mira solo la proporción de casos en vacunados: con cobertura alta, incluso una vacuna muy buena deja muchos casos entre vacunados, porque casi todos están vacunados. La tasa básica es la pieza que falta en esa lectura intuitiva.
El método es rápido, pero tosco. Orenstein y colaboradores advierten que indica la necesidad de una evaluación más cuidadosa, sin servir para estimaciones precisas, y que la efectividad puede sobreestimarse si la cobertura se sobreestima, sobre todo por encima de 8 por cada 10 (Orenstein, 1985). La guía de la OMS agrega que el método depende por completo de datos correctos de cobertura en la población de donde provinieron los casos y que ajustar confundidores exige coberturas separadas por subgrupo (OMS, 2017).
Investigación de brote
En un brote, el equipo cuenta casos entre vacunados y no vacunados de una población bien definida, como una escuela, y compara las tasas de ataque. Orenstein y colaboradores consideran el brote en un entorno definido, como aldea, ciudad o escuela, probablemente la mejor situación para medir la protección, siempre que la tasa de ataque sea alta y los registros de vacunación sean buenos (Orenstein, 1985). La cobertura y el estado vacunal provienen de carnés y registros, y un registro deficiente distorsiona todo lo que viene después.
Reducción relativa, reducción absoluta y NNV
La eficacia y la efectividad son reducciones relativas del riesgo. Dicen qué fracción de los casos esperados evitó la vacuna, pero no cuántos casos representa eso. Para eso hay que conocer el riesgo basal, el mismo razonamiento de efecto relativo y efecto absoluto usado para cualquier tratamiento.
El número necesario para vacunar es el inverso de la reducción absoluta: cuántas personas deben vacunarse para evitar un caso más en el período estudiado (Olliaro, 2021).
Los ensayos de la covid-19 en números absolutos
Olliaro y colaboradores recalcularon los ensayos de las primeras vacunas contra la covid-19. En el ensayo de la vacuna de ARN, el riesgo de covid-19 en el grupo placebo fue de cerca de 0,9 por cada 100 participantes en el período del estudio, y el NNV quedó en 119 (Olliaro, 2021). En otros ensayos, los NNV variaron de 78 a 108, con reducciones relativas entre 67 y 95 por cada 100 (Olliaro, 2021).
El mismo artículo muestra cómo el NNV depende del escenario. En una de las vacunas, la reducción relativa se mantuvo estable entre 66 y 67 por cada 100, pero la tasa de ataque subió de 1,8 a 2,4 por cada 100, y el NNV cayó de 84 a 64 (Olliaro, 2021). La vacuna era la misma; lo que cambió fue el riesgo alrededor. El artículo hace la misma cuenta para la cohorte de Israel: reducción relativa de 94 por cada 100, casi igual a la del ensayo, pero NNV de 217, frente a 119 en el ensayo (Olliaro, 2021).
Por qué el NNV de un ensayo no se traslada
El NNV vale para el tiempo de seguimiento, la población y la circulación del estudio. Un ensayo de pocos meses, hecho en una fase de transmisión moderada, da un NNV alto que nada dice sobre un año entero de pandemia o sobre personas mayores con riesgo mucho mayor. Olliaro y colaboradores defienden reportar las dos medidas, relativa y absoluta, para evitar lecturas sesgadas en cualquier dirección (Olliaro, 2021). Los comités que recomiendan vacunas hacen ese puente al ponderar la evidencia por el marco de la evidencia a la decisión.
En la práctica: guía para leer un estudio de vacuna
Cada diseño tiene una pregunta, una fortaleza y un punto débil típico. La tabla resume lo que describen las fuentes.
| Diseño | Qué estima | Fortaleza principal | Punto débil típico | Fuente |
|---|---|---|---|---|
| Ensayo aleatorizado | Eficacia directa | El sorteo equilibra factores medidos y no medidos | Seguimiento corto, pocos casos graves | Polack, 2020 |
| Cohorte con registros | Efectividad directa | Gran número de personas y desenlaces graves | Sesgo del vacunado sano | Dagan, 2021 |
| Test negativo | Efectividad directa | Reduce la confusión por la búsqueda de atención | Supuestos difíciles de probar | OMS, 2017 |
| Método de tamizaje | Efectividad aproximada | Rapidez, pocos datos | Sensible a error en la cobertura | Orenstein, 1985 |
| Series temporales del programa | Efecto global | Mide efectos directos e indirectos juntos | Tendencias ajenas a la vacuna | Lipsitch, 2016 |
| Emulación de ensayo objetivo | Efecto de estrategias | Explicita el momento cero y los criterios | Depende de la calidad de los registros | Hernán y Robins, 2016 |
Preguntas para hacer a cualquier estudio
Ante un número de protección, estas preguntas ayudan a decidir cuánto confiar en él:
- ¿Cuál es el efecto estimado: directo, indirecto o del programa?
- ¿Cuál es el desenlace, y cómo se confirmó el caso?
- ¿A partir de cuándo se contaron los casos después de la aplicación?
- ¿Cómo llegaron los grupos al estado vacunal, y qué se hizo contra el sesgo del vacunado sano?
- ¿Hubo control negativo, como un período sin circulación del agente?
- ¿Cuál es el riesgo basal, y cuál la reducción absoluta y el NNV?
- ¿Concuerdan los resultados de diferentes diseños?
La concordancia entre diseños diferentes es una de las señales más fuertes. Cuando el ensayo y la cohorte de registros llegan a estimaciones parecidas, como en la covid-19 (Dagan, 2021), es menos probable que un sesgo propio de uno de los diseños explique el resultado. La lista de diseños de estudio y sus puntos débiles complementa esta guía.
De la evidencia a la recomendación
Las guías de la OMS para estudios de efectividad de vacunas de influenza y de covid-19 traen protocolos estandarizados, para que países diferentes midan lo mismo de la misma forma y los resultados puedan sumarse (OMS, 2017; OMS, 2021). Esas estimaciones alimentan el grupo consultivo de expertos en inmunización de la OMS, el SAGE, y luego a los comités nacionales, como explicamos en el SAGE y las recomendaciones globales de la OMS. Ponderar beneficios y daños esperados es el mismo ejercicio de la toma de decisiones clínicas, ahora a escala poblacional.
Cómo NEXO ayuda a entrenar ese razonamiento
En NEXO, el caso del día es ficticio, con presentación clínica real y hasta seis pistas progresivas, y tú propones el diagnóstico buscando el código en la CIE-10. Ponderar la probabilidad de una enfermedad prevenible por vacuna según la historia vacunal, la edad y la época del año es el tipo de razonamiento que entrenan las pistas. Saber cómo se arma el código de la CIE-10 acelera la búsqueda.
Los límites de uso del juego están descritos en la página de economía de NEXO. Si investigas la enseñanza del razonamiento clínico, la página para Researcher explica cómo entrar en contacto. Los profesionales que escriben o revisan casos encuentran información en la página de Curator, y quienes producen contenido de salud pueden conocer la página de Creators.
Preguntas frecuentes
¿Cuál es la diferencia entre eficacia y efectividad?
La eficacia es la protección medida en un ensayo aleatorizado, en condiciones controladas. La efectividad es la protección observada en el uso rutinario, estimada por estudios observacionales (OMS, 2021).
Si muchos casos ocurren en vacunados, ¿falló la vacuna?
Depende de la cobertura. Con 9 de cada 10 personas vacunadas, la mitad de los casos entre vacunados todavía corresponde a una efectividad cercana a 89 de cada 100, por el método de cribado (Orenstein, 1985).
¿Qué es el diseño de prueba negativa?
Un estudio en el que todas las personas atendidas con determinado cuadro se hacen la prueba; los positivos son casos y los negativos, controles. La efectividad surge de la comparación de la vacunación entre los dos grupos (OMS, 2017).
¿Por qué los estudios observacionales a veces exageran la protección?
Por el sesgo del vacunado sano: quien se vacuna suele tener un riesgo basal menor. En personas mayores, la vacuna de influenza pareció reducir la muerte incluso antes de la temporada (Lipsitch, 2016).
Una eficacia de 95 de cada 100, ¿quiere decir que 5 de cada 100 vacunados enferman?
Quiere decir que los vacunados tuvieron cerca de un vigésimo del riesgo del grupo placebo. La fracción de vacunados que enferma depende de la circulación y del tiempo de seguimiento (Polack, 2020; Olliaro, 2021).
¿Qué es el NNV?
Es el número de personas que necesitan vacunarse para evitar un caso en el periodo estudiado, el inverso de la reducción absoluta del riesgo (Olliaro, 2021).
Mensajes para llevar
- La eficacia viene del ensayo aleatorizado; la efectividad, del uso rutinario. Ambas son uno menos el riesgo relativo.
- Diga siempre qué efecto estima el estudio: directo, indirecto o del programa.
- El sesgo del vacunado sano puede crear protección donde es imposible; los controles negativos ayudan a detectarlo.
- El diseño de prueba negativa reduce la confusión por la búsqueda de atención, pero depende de supuestos y de criterios estrictos.
- Con cobertura alta, muchos casos en vacunados son esperables incluso con una vacuna muy buena.
- La reducción relativa sin riesgo basal es media información: pida la reducción absoluta y el NNV.
Juegue el caso del día en NEXO.
Referencias
- World Health Organization. Evaluation of COVID-19 vaccine effectiveness: interim guidance, 17 March 2021. Geneva: WHO; 2021. Página de la OMS.
- World Health Organization. Evaluation of influenza vaccine effectiveness: a guide to the design and interpretation of observational studies. Geneva: WHO; 2017. Página de la OMS.
- World Health Organization. Guidelines on clinical evaluation of vaccines: regulatory expectations. WHO Technical Report Series 1004, Annex 9. Geneva: WHO; 2017. Página de la OMS.
- Orenstein WA, Bernier RH, Dondero TJ, Hinman AR, et al. Field evaluation of vaccine efficacy. Bull World Health Organ. 1985;63(6):1055-1068. PMID 3879673. PMC2536484.
- Polack FP, Thomas SJ, Kitchin N, Absalon J, et al. Safety and Efficacy of the BNT162b2 mRNA Covid-19 Vaccine. N Engl J Med. 2020;383(27):2603-2615. PMID 33301246. DOI 10.1056/NEJMoa2034577.
- Dagan N, Barda N, Kepten E, Miron O, et al. BNT162b2 mRNA Covid-19 Vaccine in a Nationwide Mass Vaccination Setting. N Engl J Med. 2021;384(15):1412-1423. PMID 33626250. DOI 10.1056/NEJMoa2101765.
- Hernán MA, Robins JM. Using Big Data to Emulate a Target Trial When a Randomized Trial Is Not Available. Am J Epidemiol. 2016;183(8):758-764. PMID 26994063. DOI 10.1093/aje/kwv254.
- Lipsitch M, Jha A, Simonsen L. Observational studies and the difficult quest for causality: lessons from vaccine effectiveness and impact studies. Int J Epidemiol. 2016;45(6):2060-2074. PMID 27453361. DOI 10.1093/ije/dyw124.
- Sullivan SG, Tchetgen Tchetgen EJ, Cowling BJ. Theoretical Basis of the Test-Negative Study Design for Assessment of Influenza Vaccine Effectiveness. Am J Epidemiol. 2016;184(5):345-353. PMID 27587721. DOI 10.1093/aje/kww064.
- Lewnard JA, Tedijanto C, Cowling BJ, Lipsitch M. Measurement of Vaccine Direct Effects Under the Test-Negative Design. Am J Epidemiol. 2018;187(12):2686-2697. PMID 30099505. DOI 10.1093/aje/kwy163.
- Olliaro P, Torreele E, Vaillant M. COVID-19 vaccine efficacy and effectiveness – the elephant (not) in the room. Lancet Microbe. 2021;2(7):e279-e280. PMID 33899038. DOI 10.1016/S2666-5247(21)00069-0.


