Эффективность и действенность: читаем исследование вакцины

Любая новость о вакцине содержит число, отражающее защиту. Иногда оно приходит из клинического испытания с десятками тысяч случайно отобранных добровольцев; иногда — из медицинских записей миллионов привитых в рутинной практике. Эти два числа отвечают на разные вопросы и ошибаются по разным причинам. Чтение исследования вакцины начинается с понимания того, на какой вопрос оно отвечает.

Всемирная организация здравоохранения (ВОЗ) разделяет эти две ситуации в своих руководствах: клиническая оценка до регистрации, с правилами для испытаний (ВОЗ, 2017), и оценка эффективности после внедрения, с наблюдательными дизайнами (ВОЗ, 2017; ВОЗ, 2021). Этот текст следует такому разделению.

Обзор охватывает эффективность в испытании, эффективность в реальных условиях, смещение здорового вакцинированного, дизайн с отрицательным тестом, быстрые полевые методы и разницу между относительным снижением, абсолютным снижением и числом, необходимым для вакцинации (ЧНВ).

Основные моменты

• Эффективность в испытании — это защита, измеренная в рандомизированном исследовании; эффективность в реальных условиях — это защита, наблюдаемая при рутинном применении (ВОЗ, 2021).
• В испытании РНК-вакцины против covid-19 covid-19 была подтверждена у 8 вакцинированных и у 162 участников группы плацебо, что соответствует эффективности 95 из 100 (Polack, 2020).
• Исследование эффективности с почти 600 тысячами человек в каждой группе выявило защиту, сходную с таковой в испытании (Dagan, 2021).
• Наблюдательные исследования могут обнаружить защиту там, где она невозможна, например, до сезона гриппа, из-за смещения здорового вакцинированного (Lipsitch, 2016).
• Дизайн с отрицательным тестом снижает смещение, связанное с обращением за медицинской помощью, ценой собственных допущений (ВОЗ, 2017; Lewnard, 2018).
• Одно и то же относительное снижение может означать очень разные ЧНВ в зависимости от исходного риска (Olliaro, 2021).

Содержание

• Эффективность в испытании и эффективность в реальных условиях: два разных вопроса
• Как клиническое испытание измеряет эффективность
• От испытания к реальным условиям: эффективность в реальных условиях
• Дизайн с отрицательным тестом
• Другие полевые дизайны: скрининг и вспышка
• Относительное снижение, абсолютное снижение и ЧНВ
• На практике: руководство по чтению исследования вакцины
• Как NEXO помогает тренировать это мышление
• Часто задаваемые вопросы
• Ключевые выводы

Эффективность в испытании и эффективность в реальных условиях: два разных вопроса

Эффективность в испытании — это то, насколько вакцина защищает в контролируемых условиях: участники, отобранные по определённым критериям, случайное распределение между вакциной и плацебо, схема, применённая с правильным интервалом, активное наблюдение и лабораторное подтверждение случаев. Эффективность в реальных условиях — это то, насколько она защищает при рутинном применении, с людьми всех возрастов и с разными заболеваниями, задержками в схеме, реальными условиями транспортировки и хранения и вирусами, которые меняются со временем (ВОЗ, 2021).

Базовый расчёт в обоих случаях одинаков. Защита — это единица минус относительный риск: если вакцинированные заболевают с риском, составляющим одну пятую от риска непривитых, то вакцина предотвратила 4 из каждых 5 заболеваний, которые произошли бы. Различается то, как каждый дизайн оценивает этот относительный риск и какие смещения входят в оценку. Оба дизайна используют эту логику: испытание сравнивает показатели заболеваемости между рандомизированными группами (Orenstein, 1985), а когорта по записям оценивает эффективность в реальных условиях как единицу минус отношение рисков (Dagan, 2021).

Прямой, непрямой эффект и влияние программы

Вакцина действует на нескольких уровнях. Прямой эффект — это защита получивших вакцину по сравнению с не получившими. Непрямой эффект — это защита тех, кто остался без вакцины, потому что циркуляция возбудителя снизилась вокруг. Общий эффект программы складывается из обоих, и исследования временных рядов, часто отвергаемые как «экологические», являются единственным наблюдательным дизайном, способным его измерить (Lipsitch, 2016).

Поэтому ВОЗ разделяет исследования эффективности в реальных условиях и исследования влияния, которые смотрят на бремя болезни в популяции после внедрения вакцины (ВОЗ, 2021). Читателю нужно знать, относится ли число к отдельному вакцинированному или ко всей популяции.

Как клиническое испытание измеряет эффективность

Рандомизированное исследование — стандарт для регистрации вакцины. ВОЗ собрала в руководстве то, что органы регулирования ожидают от клинической оценки вакцин, с главами об иммуногенности, эффективности и безопасности и с требованием, чтобы случаи соответствовали определению, предусмотренному протоколом (ВОЗ, 2017). Рандомизация в среднем уравновешивает всё, что может влиять на риск, включая то, что никто не измерял. Поэтому сравнение справедливо, как мы обсуждали в разделе рандомизированные исследования.

При чтении раздела методов исследования вакцины четыре определения весят больше всего. Первое — первичная конечная точка, которой может быть инфекция, симптоматическое заболевание, госпитализация или смерть, и каждый выбор даёт другое число. Второе — подтверждение случая, с симптомами и лабораторным тестом, чтобы не засчитывать другие болезни. Третье — окно подсчёта, то есть с какого дня после последнего введения случаи входят в анализ. Четвёртое — популяция анализа: все рандомизированные или только те, кто завершил схему согласно протоколу. Оллиаро и соавторы показывают, что исследования первых вакцин против covid-19 различались именно в этих пунктах, что затрудняет их сравнение между собой (Olliaro, 2021).

Пример: исследование РНК-вакцины против covid-19

В исследовании, которое привело к регистрации первой мРНК-вакцины, 43 548 участников были рандомизированы в группы вакцины или плацебо. Начиная с 7 дней после второго введения covid-19 была подтверждена у 8 вакцинированных и у 162 участников группы плацебо, расчётная эффективность 95 из 100, с интервалом достоверности от 90,3 до 97,6 (Polack, 2020). Из 10 тяжёлых случаев после первого введения 9 произошли в группе плацебо (Polack, 2020).

Та же статья показывает пределы дизайна. Медиана наблюдения за безопасностью составила 2 месяца (Polack, 2020). ВОЗ напоминает, что большинство таких исследований использовали симптоматическую covid-19 как первичную конечную точку, что многие участники группы плацебо получили бы вакцину до конца исследования и что вопросы, такие как защита от тяжёлого заболевания и смерти и длительность защиты, остались бы для исследований эффективности в реальных условиях (ВОЗ, 2021). Редкие нежелательные явления требуют других дизайнов, например самоконтролируемой серии случаев.

Что эффективность всё ещё оставляет открытым

Исследование измеряет прямой эффект у тех, кто участвовал, в контролируемых условиях. ВОЗ перечисляет то, на что отвечает только оценка после внедрения: работа с реальной холодовой цепью, с задержанными или неполными схемами, в общей популяции, включая группы, исключённые из исследований, и при разных вариантах (ВОЗ, 2021).

От исследования к реальному миру: эффективность в реальных условиях

В повседневной практике никто не рандомизирует тех, кто вакцинируется. Исследования эффективности в реальных условиях сравнивают вакцинированных и невакцинированных, пришедших к этому состоянию по выбору, доступу или показаниям, и любое различие между группами, влияющее на риск, искажает оценку. Критическое чтение обсервационных исследований здесь применимо в полной мере.

Пример парной когорты

Вскоре после начала вакцинации против covid-19 в Израиле исследование использовало записи крупной организации здравоохранения и сопоставило каждого вакцинированного с невакцинированным со схожими характеристиками, образовав две группы по 596 618 человек. Начиная с 7 дней после второго введения расчётная эффективность составила 92 из 100 против документированной инфекции, 94 против симптоматического заболевания, 87 против госпитализации и 92 против тяжёлого заболевания (Dagan, 2021). Авторы заключили, что результат совместим с результатом исследования (Dagan, 2021).

Авторы заявили, что разработали исследование так, чтобы имитировать целевое исследование (Dagan, 2021). Эрнан и Робинс предлагают именно это: написать протокол исследования, которое хотелось бы провести, с критериями включения, сравниваемыми стратегиями, способом распределения, периодом наблюдения, конечной точкой, причинным контрастом и стратегией анализа, а затем использовать данные, чтобы его имитировать (Hernán e Robins, 2016). Выбору нулевого момента наблюдения уделяется особое внимание, потому что ошибки в этой точке создают распространённые смещения (Hernán e Robins, 2016).

Смещение здорового вакцинированного

Кто ищет вакцину, обычно больше заботится о здоровье, имеет лучший доступ к услугам и, среди пожилых, менее хрупок. Из-за этого вакцинированная группа выглядит защищённой от исходов, которых вакцина не могла бы предотвратить, — так называемое смещение здорового вакцинированного (ВОЗ, 2017). Эффект вакцины против гриппа на смертность должен проявляться только в течение сезона; любое преимущество вакцинированных в предыдущие месяцы указывает на смещение (Lipsitch, 2016).

Исследование среди пожилых проверило эту идею, разделив смертность до, во время и после сезона. Наибольшее снижение появилось как раз до циркуляции вируса, а обычные статистические поправки на состояние здоровья даже усилили завышение (Lipsitch, 2016). Lipsitch и коллеги называют этот приём отрицательным контролем: измерять связь вакцины с тем, на что она не может повлиять, или в период, когда она не может действовать (Lipsitch, 2016).

Помимо здорового вакцинированного, ВОЗ перечисляет другие важные искажения в наблюдательных исследованиях. Одно — конфаундинг из-за обращения за помощью и риска экспозиции. Другое — неверная классификация исхода из-за ошибки диагностики. Предшествующая инфекция и ложные выводы о снижении защиты дополняют список (ВОЗ, 2021). Логика отрицательного контроля похожа на логику сравнения наблюдаемого и ожидаемого в фармаконадзоре.

Дизайн с отрицательным тестом

Дизайн с отрицательным тестом всё чаще используется для оценки ежегодной эффективности вакцины против гриппа (ВОЗ, 2017), и ВОЗ рекомендует его как наиболее эффективный и осуществимый метод оценки вакцин против covid-19 в странах с низким и средним доходом (ВОЗ, 2021). Идея проста: в исследование входят все, кто обращается за помощью с острым респираторным синдромом, и все проходят лабораторный тест.

У кого тест положительный — тот случай; у кого отрицательный — контроль. Эффективность — это единица минус отношение шансов быть вакцинированным среди случаев к шансу быть вакцинированным среди контролей (ВОЗ, 2017). Поскольку случаи и контроли обратились в одну и ту же службу из-за однотипных симптомов, они обычно происходят из одних и тех же сообществ, и разница в поведении между теми, кто ищет помощь, и теми, кто её избегает, весит меньше (ВОЗ, 2017; Sullivan, 2016).

Гипотетический числовой пример

Представьте 1.000 взрослых, обратившихся с гриппоподобным синдромом за сезон. Из них у 200 положительный тест на грипп, и 40 из них были вакцинированы, то есть 1 из 5. Из 800 с отрицательным результатом 320 были вакцинированы, то есть 2 из 5. Шанс вакцинации среди случаев — 40 к 160, одна четверть; среди контролей — 320 к 480, две трети. Отношение двух шансов равно 0,375, и оценка эффективности составляет около 62 на 100, по формуле из руководства ВОЗ (ВОЗ, 2017).

Допущения, на которых держится дизайн

Преимущество требует допущений. Чтобы оценка была валидной, нужно принять (ВОЗ, 2017; Lewnard, 2018):

• что вакцина против гриппа защищает только от гриппа и не меняет другие причины респираторного синдрома, из которых формируются контроли;
• что исследование ограничено периодом циркуляции вируса и учитывает календарное время как возможный конфаундер;
• что критерии включения и тестирования строгие и одинаковые для всех;
• что решение о вакцинации не связано с экспозицией или восприимчивостью.

Lewnard и коллеги показали, что отношение шансов восстанавливает прямой эффект вакцины только при двух условиях: решения о вакцинации не связаны с экспозицией или восприимчивостью и защита типа «всё или ничего»; вне их оценка смещена, и дизайн может перестать корректировать обращение за помощью, если критерии включения и тестирования нестрогие (Lewnard, 2018). ВОЗ добавляет, что контроли, включённые вне сезона, нужно исключать из анализа (ВОЗ, 2017).

Тест имеет значение

Поскольку всё зависит от правильной классификации случаев и контролей, качество обследования тоже входит в расчёт. Руководство ВОЗ показывает, что при почти идеальной специфичности, как у ПЦР, даже чувствительность 70 из 100 имеет пренебрежимо малый эффект на оценку (ВОЗ, 2017). Специфичность весит больше: ложноположительный результат переносит контроль в группу случаев. Рассуждение о предтестовой вероятности помогает понять, почему то же обследование даёт больше в пик сезона, чем в месяцы низкой циркуляции.

Руководство также призывает к осторожности с тяжёлыми исходами. В больницах хронические болезни сердца и лёгких одновременно повышают шанс и вакцинации, и госпитализации из-за респираторных симптомов, а слишком широкие критерии включения наполняют группу контроля пациентами с обострениями этих болезней (ВОЗ, 2017).

Другие полевые схемы: скрининг и вспышка

До появления больших баз данных эпидемиологическим командам уже нужно было быстро понимать, работает ли вакцина. Статья, опубликованная в бюллетене ВОЗ в 1985 году, систематизировала доступные полевые методы: скрининг, расследование вспышки, вторичную атаку в семьях, оценку охвата и случай-контроль (Orenstein, 1985).

Метод скрининга

Метод скрининга требует всего двух чисел: доли случаев, которые были вакцинированы, и охвата вакцинацией в популяции, откуда пришли случаи (Orenstein, 1985). Эффективность — это разность между охватом и долей вакцинированных среди случаев, делённая на охват, умноженный на долю невакцинированных среди случаев (Orenstein, 1985).

Гипотетический пример показывает логику. Если 9 из 10 детей в регионе вакцинированы против кори и половина случаев приходится на вакцинированных, расчёт даёт эффективность около 89 из 100 (Orenstein, 1985). Число удивляет тех, кто смотрит только на долю случаев среди вакцинированных: при высоком охвате даже очень хорошая вакцина оставляет много случаев среди вакцинированных, потому что вакцинированы почти все. Базовый коэффициент — недостающий элемент этой интуитивной картины.

Метод быстрый, но грубый. Orenstein и соавторы предупреждают, что он указывает на необходимость более тщательной оценки и не годится для точных расчётов, а эффективность может быть завышена, если завышен охват, особенно выше 8 из 10 (Orenstein, 1985). Руководство ВОЗ добавляет, что метод полностью зависит от корректных данных об охвате в популяции, откуда пришли случаи, а для поправки на конфаундеры нужны отдельные охваты по подгруппам (ВОЗ, 2017).

Расследование вспышки

При вспышке команда считает случаи среди вакцинированных и невакцинированных в чётко определённой популяции, например в школе, и сравнивает показатели атаки. Orenstein и соавторы считают вспышку в определённой среде — деревне, городе или школе — вероятно, лучшей ситуацией для измерения защиты, при условии что показатель атаки высок, а записи о вакцинации хороши (Orenstein, 1985). Охват и прививочный статус берутся из прививочных сертификатов и записей, и ошибочная запись искажает всё, что следует за ней.

Относительное снижение, абсолютное снижение и NNV

Эффективность вакцины и эффективность в полевых условиях — это относительные снижения риска. Они говорят, какую долю ожидаемых случаев предотвратила вакцина, но не сколько случаев это составляет. Для этого нужно знать базовый риск — то же рассуждение об относительном и абсолютном эффекте, что и для любого лечения.

Число, необходимое для вакцинации, — это величина, обратная абсолютному снижению: сколько человек нужно вакцинировать, чтобы предотвратить один дополнительный случай за изучаемый период (Olliaro, 2021).

Испытания вакцин против covid-19 в абсолютных числах

Olliaro и соавторы пересчитали испытания первых вакцин против covid-19. В испытании РНК-вакцины риск covid-19 в группе плацебо составил около 0,9 из 100 участников за период исследования, а NNV оказалось равным 119 (Olliaro, 2021). В других испытаниях NNV варьировало от 78 до 108 при относительном снижении от 67 до 95 из 100 (Olliaro, 2021).

В той же статье показано, как NNV зависит от обстановки. В одной из вакцин относительное снижение оставалось стабильным на уровне 66–67 на 100, но заболеваемость выросла с 1,8 до 2,4 на 100, а NNV упал с 84 до 64 (Olliaro, 2021). Вакцина была та же; изменился риск вокруг. В статье тот же расчёт сделан для израильской когорты: относительное снижение 94 на 100, почти как в испытании, но NNV 217 против 119 в испытании (Olliaro, 2021).

Почему NNV из испытания не переносится

NNV действителен для срока наблюдения, популяции и циркуляции возбудителя в исследовании. Испытание длиной в несколько месяцев, проведённое в фазе умеренной передачи, даёт высокий NNV, который ничего не говорит о целом годе пандемии или о пожилых людях с гораздо более высоким риском. Olliaro и соавторы предлагают сообщать обе меры, относительную и абсолютную, чтобы избежать смещённых трактовок в любую сторону (Olliaro, 2021). Комитеты, рекомендующие вакцины, делают этот переход, взвешивая доказательства по схеме от доказательств к решению.

На практике: как читать исследование вакцины

У каждого дизайна есть свой вопрос, своя сильная сторона и типичная слабость. В таблице собрано то, что описывают источники.

Дизайн	Что оценивает	Главная сильная сторона	Типичная слабость	Источник
Рандомизированное испытание	Прямая эффективность	Рандомизация уравновешивает измеренные и неизмеренные факторы	Короткое наблюдение, мало тяжёлых случаев	Polack, 2020
Когорта по записям	Прямая результативность	Большое число людей и тяжёлых исходов	Смещение здорового вакцинированного	Dagan, 2021
Тест-негативный дизайн	Прямая результативность	Снижает смещение из-за обращения за помощью	Допущения трудно проверить	ВОЗ, 2017
Метод скрининга	Приблизительная результативность	Быстрота, мало данных	Чувствителен к ошибке в охвате	Orenstein, 1985
Временные ряды программы	Общий эффект	Измеряет прямые и непрямые эффекты вместе	Тренды, не связанные с вакциной	Lipsitch, 2016
Эмуляция целевого испытания	Эффект стратегий	Явно задаёт нулевой момент и критерии	Зависит от качества записей	Hernán и Robins, 2016

Вопросы к любому исследованию

Когда видите число защиты, эти вопросы помогают решить, насколько ему доверять:

1. Какой эффект оценивается: прямой, непрямой или эффект программы?
2. Какой исход и как был подтверждён случай?
3. С какого момента после введения считали случаи?
4. Как группы пришли к вакцинальному статусу и что сделано против смещения здорового вакцинированного?
5. Был ли отрицательный контроль, например период без циркуляции возбудителя?
6. Каков базовый риск, каково абсолютное снижение и NNV?
7. Согласуются ли результаты разных дизайнов?

Согласие между разными дизайнами — один из самых сильных признаков. Когда испытание и когорта по записям дают близкие оценки, как при covid-19 (Dagan, 2021), становится менее вероятно, что результат объясняется смещением, свойственным одному из дизайнов. Список дизайнов исследований и их слабых мест дополняет этот план.

От доказательств к рекомендации

Руководства ВОЗ по исследованиям результативности вакцин против гриппа и covid-19 содержат стандартные протоколы, чтобы разные страны измеряли одно и то же одинаково и результаты можно было суммировать (ВОЗ, 2017; ВОЗ, 2021). Эти оценки поступают в консультативную группу экспертов ВОЗ по иммунизации, SAGE, а затем в национальные комитеты, как мы объясняли в SAGE и глобальные рекомендации ВОЗ. Взвешивание ожидаемых пользы и вреда — то же упражнение, что и принятие клинического решения, теперь в масштабе популяции.

Как NEXO помогает тренировать это рассуждение

В NEXO случай дня вымышленный, с реальной клинической картиной и до шести последовательных подсказок, а вы предлагаете диагноз, ища код в МКБ-10. Взвешивать вероятность болезни, предотвращаемой вакциной, с учётом вакцинального анамнеза, возраста и времени года — именно такое рассуждение тренируют подсказки. Знание того, как устроен код МКБ-10, ускоряет поиск.

Ограничения использования игры описаны на странице экономики NEXO. Если вы исследуете обучение клиническому рассуждению, страница для Researcher объясняет, как связаться. Специалисты, которые пишут или проверяют случаи, найдут информацию на странице Curator, а те, кто создаёт контент о здоровье, могут познакомиться со страницей Creators.

Частые вопросы

В чём разница между эффективностью и результативностью?

Эффективность — это защита, измеренная в рандомизированном исследовании в контролируемых условиях. Реальная эффективность — это защита, наблюдаемая при рутинном применении, оценённая в обсервационных исследованиях (ВОЗ, 2021).

Если много случаев возникает у вакцинированных, значит ли это, что вакцина не сработала?

Зависит от охвата. Если вакцинированы 9 из каждых 10 человек, половина случаев среди вакцинированных всё ещё соответствует реальной эффективности около 89 из 100 по методу скрининга (Orenstein, 1985).

Что такое дизайн с отрицательным контролем?

Исследование, в котором все обратившиеся с определённой клинической картиной проходят тест; положительные — это случаи, отрицательные — контроли. Реальная эффективность определяется сравнением вакцинации между двумя группами (ВОЗ, 2017).

Почему обсервационные исследования иногда завышают защиту?

Из-за смещения здорового вакцинированного: у тех, кто вакцинируется, обычно ниже исходный риск. У пожилых вакцина против гриппа, казалось, снижала смертность ещё до начала сезона (Lipsitch, 2016).

Означает ли эффективность 95 из 100, что заболевают 5 из каждых 100 вакцинированных?

Это означает, что у вакцинированных риск был примерно в двадцать раз ниже, чем в группе плацебо. Доля заболевших среди вакцинированных зависит от циркуляции вируса и длительности наблюдения (Polack, 2020; Olliaro, 2021).

Что такое NNV?

Это число людей, которых нужно вакцинировать, чтобы предотвратить один случай за период исследования, — величина, обратная абсолютному снижению риска (Olliaro, 2021).

Главные выводы

• Эффективность происходит из рандомизированного исследования; реальная эффективность — из рутинного применения. Обе равны единице минус относительный риск.
• Всегда указывайте, какой эффект оценивает исследование: прямой, непрямой или эффект программы.
• Смещение здорового вакцинированного может создать защиту там, где она невозможна; отрицательные контроли помогают его выявить.
• Дизайн с отрицательным контролем уменьшает смещение из-за обращения за помощью, но зависит от допущений и строгих критериев.
• При высоком охвате многие случаи среди вакцинированных ожидаемы даже при очень хорошей вакцине.
• Относительное снижение без исходного риска — половина информации: запрашивайте абсолютное снижение и NNV.

Играйте в случай дня в NEXO.

Литература

1. World Health Organization. Evaluation of COVID-19 vaccine effectiveness: interim guidance, 17 March 2021. Geneva: WHO; 2021. Страница ВОЗ.
2. World Health Organization. Evaluation of influenza vaccine effectiveness: a guide to the design and interpretation of observational studies. Geneva: WHO; 2017. Страница ВОЗ.
3. World Health Organization. Guidelines on clinical evaluation of vaccines: regulatory expectations. WHO Technical Report Series 1004, Annex 9. Geneva: WHO; 2017. Страница ВОЗ.
4. Orenstein WA, Bernier RH, Dondero TJ, Hinman AR, et al. Field evaluation of vaccine efficacy. Bull World Health Organ. 1985;63(6):1055-1068. PMID 3879673. PMC2536484.
5. Polack FP, Thomas SJ, Kitchin N, Absalon J, et al. Safety and Efficacy of the BNT162b2 mRNA Covid-19 Vaccine. N Engl J Med. 2020;383(27):2603-2615. PMID 33301246. DOI 10.1056/NEJMoa2034577.
6. Dagan N, Barda N, Kepten E, Miron O, et al. BNT162b2 mRNA Covid-19 Vaccine in a Nationwide Mass Vaccination Setting. N Engl J Med. 2021;384(15):1412-1423. PMID 33626250. DOI 10.1056/NEJMoa2101765.
7. Hernán MA, Robins JM. Using Big Data to Emulate a Target Trial When a Randomized Trial Is Not Available. Am J Epidemiol. 2016;183(8):758-764. PMID 26994063. DOI 10.1093/aje/kwv254.
8. Lipsitch M, Jha A, Simonsen L. Observational studies and the difficult quest for causality: lessons from vaccine effectiveness and impact studies. Int J Epidemiol. 2016;45(6):2060-2074. PMID 27453361. DOI 10.1093/ije/dyw124.
9. Sullivan SG, Tchetgen Tchetgen EJ, Cowling BJ. Theoretical Basis of the Test-Negative Study Design for Assessment of Influenza Vaccine Effectiveness. Am J Epidemiol. 2016;184(5):345-353. PMID 27587721. DOI 10.1093/aje/kww064.
10. Lewnard JA, Tedijanto C, Cowling BJ, Lipsitch M. Measurement of Vaccine Direct Effects Under the Test-Negative Design. Am J Epidemiol. 2018;187(12):2686-2697. PMID 30099505. DOI 10.1093/aje/kwy163.
11. Olliaro P, Torreele E, Vaillant M. COVID-19 vaccine efficacy and effectiveness – the elephant (not) in the room. Lancet Microbe. 2021;2(7):e279-e280. PMID 33899038. DOI 10.1016/S2666-5247(21)00069-0.