Eficácia e efetividade: como ler um estudo de vacina

Toda notícia sobre vacina traz um número de proteção. Às vezes ele vem de um ensaio clínico com dezenas de milhares de voluntários sorteados; às vezes, de registros de saúde de milhões de pessoas vacinadas na rotina. Os dois números respondem a perguntas diferentes e erram por motivos diferentes. Ler um estudo de vacina começa por saber qual pergunta ele faz.

A Organização Mundial da Saúde (OMS) separa as duas situações nos seus guias: a avaliação clínica antes do registro, com regras para ensaios (OMS, 2017), e a avaliação da efetividade depois da introdução, com desenhos observacionais (OMS, 2017; OMS, 2021). Este texto segue essa divisão.

O roteiro passa pela eficácia no ensaio, pela efetividade no mundo real, pelo viés do vacinado saudável, pelo desenho teste-negativo, por métodos rápidos de campo e pela diferença entre redução relativa, redução absoluta e número necessário para vacinar (NNV).

Principais pontos

• Eficácia é a proteção medida em ensaio randomizado; efetividade é a proteção observada no uso de rotina (OMS, 2021).
• Num ensaio de vacina de RNA contra a covid-19, a covid-19 foi confirmada em 8 vacinados e em 162 participantes do grupo placebo, uma eficácia de 95 em cada 100 (Polack, 2020).
• Um estudo de efetividade com quase 600 mil pessoas por grupo encontrou proteção semelhante à do ensaio (Dagan, 2021).
• Estudos observacionais podem achar proteção onde ela é impossível, como antes da temporada de influenza, por causa do viés do vacinado saudável (Lipsitch, 2016).
• O desenho teste-negativo reduz o confundimento pela procura por atendimento, em troca de pressupostos próprios (OMS, 2017; Lewnard, 2018).
• A mesma redução relativa pode significar NNV muito diferentes, conforme o risco basal (Olliaro, 2021).

Sumário

• Eficácia e efetividade: duas perguntas diferentes
• Como o ensaio clínico mede a eficácia
• Do ensaio ao mundo real: a efetividade
• O desenho teste-negativo
• Outros desenhos de campo: triagem e surto
• Redução relativa, redução absoluta e NNV
• Na prática: roteiro para ler um estudo de vacina
• Como o NEXO ajuda a treinar esse raciocínio
• Perguntas frequentes
• Take-home messages

Eficácia e efetividade: duas perguntas diferentes

Eficácia é quanto a vacina protege em condições controladas: participantes escolhidos por critérios definidos, sorteio entre vacina e placebo, esquema aplicado no intervalo certo, vigilância ativa e confirmação laboratorial dos casos. Efetividade é quanto ela protege no uso de rotina, com pessoas de todas as idades e doenças, atrasos no esquema, transporte e conservação reais e vírus que mudam com o tempo (OMS, 2021).

A conta de base é a mesma nos dois casos. A proteção é um menos o risco relativo: se os vacinados adoecem com um quinto do risco dos não vacinados, a vacina evitou 4 de cada 5 adoecimentos que teriam acontecido. O que muda é como cada desenho estima esse risco relativo e que vieses entram na estimativa. Os dois desenhos usam essa lógica: o ensaio compara taxas de ataque entre os grupos sorteados (Orenstein, 1985), e a coorte de registros estima a efetividade como um menos a razão de riscos (Dagan, 2021).

Efeito direto, indireto e impacto do programa

Uma vacina age em mais de um nível. O efeito direto é a proteção de quem recebeu a vacina, comparado com quem não recebeu. O efeito indireto é a proteção de quem ficou sem vacina porque a circulação do agente caiu ao redor. O efeito global de um programa soma os dois, e os estudos de séries temporais, muitas vezes descartados como "ecológicos", são o único desenho observacional capaz de medi-lo (Lipsitch, 2016).

A OMS separa por isso os estudos de efetividade dos estudos de impacto, que olham a carga da doença na população depois da introdução da vacina (OMS, 2021). Quem lê precisa saber se o número fala do indivíduo vacinado ou da população inteira.

Como o ensaio clínico mede a eficácia

O ensaio randomizado é o padrão para registrar uma vacina. A OMS reúne num guia o que as autoridades reguladoras esperam da avaliação clínica de vacinas, com capítulos sobre imunogenicidade, eficácia e segurança e com a exigência de que os casos atendam a uma definição prevista no protocolo (OMS, 2017). O sorteio equilibra, em média, tudo o que pode influenciar o risco, inclusive o que ninguém mediu. Por isso a comparação é justa, como discutimos em ensaios randomizados.

Ao ler a seção de métodos de um ensaio de vacina, quatro definições pesam mais. A primeira é o desfecho primário, que pode ser infecção, doença sintomática, internação ou morte, e cada escolha dá um número diferente. A segunda é a confirmação do caso, com sintomas e teste laboratorial, para evitar contar outras doenças. A terceira é a janela de contagem, ou seja, a partir de quantos dias depois da última aplicação os casos entram na análise. A quarta é a população da análise: todos os sorteados ou só quem completou o esquema conforme o protocolo. Olliaro e colaboradores mostram que os ensaios das primeiras vacinas contra a covid-19 diferiam justamente nesses pontos, o que dificulta compará-los entre si (Olliaro, 2021).

Um exemplo: o ensaio de vacina de RNA contra a covid-19

No ensaio que levou ao registro da primeira vacina de RNA mensageiro, 43.548 participantes foram sorteados para vacina ou placebo. A partir de 7 dias depois da segunda aplicação, a covid-19 foi confirmada em 8 vacinados e em 162 participantes do grupo placebo, uma eficácia estimada de 95 em cada 100, com intervalo de credibilidade de 90,3 a 97,6 (Polack, 2020). Dos 10 quadros graves depois da primeira aplicação, 9 ocorreram no grupo placebo (Polack, 2020).

O mesmo artigo mostra os limites do desenho. A mediana do seguimento de segurança foi de 2 meses (Polack, 2020). A OMS lembra que a maioria desses ensaios usou a covid-19 sintomática como desfecho primário, que muitos participantes do grupo placebo receberiam a vacina antes do fim do estudo e que perguntas como a proteção contra doença grave e morte e a duração da proteção ficariam para os estudos de efetividade (OMS, 2021). Eventos adversos raros pedem outros desenhos, como a série de casos autocontrolada.

O que a eficácia ainda deixa em aberto

O ensaio mede o efeito direto em quem participou, em condições controladas. A OMS lista o que só a avaliação depois da introdução responde: o desempenho com cadeia de frio real, com esquemas atrasados ou incompletos, na população geral, incluindo grupos excluídos dos ensaios, e diante de variantes diferentes (OMS, 2021).

Do ensaio ao mundo real: a efetividade

Na rotina, ninguém sorteia quem se vacina. Os estudos de efetividade comparam vacinados e não vacinados que chegaram a esse estado por escolha, acesso ou indicação, e toda diferença entre os grupos que influencie o risco contamina a estimativa. A leitura crítica de estudos observacionais vale aqui por inteiro.

Um exemplo de coorte pareada

Logo depois do início da vacinação contra a covid-19 em Israel, um estudo usou os registros de uma grande organização de saúde e pareou cada vacinado a um não vacinado com características parecidas, formando dois grupos de 596.618 pessoas. A partir de 7 dias depois da segunda aplicação, a efetividade estimada foi de 92 em cada 100 contra infecção documentada, 94 contra doença sintomática, 87 contra internação e 92 contra doença grave (Dagan, 2021). Os autores concluíram que o resultado era compatível com o do ensaio (Dagan, 2021).

Os autores declararam ter desenhado o estudo para emular um ensaio-alvo (Dagan, 2021). Hernán e Robins propõem exatamente isso: escrever o protocolo do ensaio que se gostaria de fazer, com critérios de elegibilidade, estratégias comparadas, forma de alocação, período de seguimento, desfecho, contraste causal e estratégia de análise, e então usar os dados para imitá-lo (Hernán e Robins, 2016). A escolha do momento zero do seguimento recebe atenção especial, porque erros nesse ponto criam vieses comuns (Hernán e Robins, 2016).

O viés do vacinado saudável

Quem procura a vacina costuma cuidar mais da saúde, ter mais acesso a serviços e, em idosos, estar menos frágil. Isso faz o grupo vacinado parecer protegido de desfechos que a vacina não poderia evitar, o chamado viés do vacinado saudável (OMS, 2017). O efeito da vacina de influenza sobre a mortalidade só deveria aparecer durante a temporada; qualquer vantagem dos vacinados nos meses anteriores indica viés (Lipsitch, 2016).

Um estudo com idosos testou essa ideia ao separar a mortalidade antes, durante e depois da temporada. A maior redução apareceu justamente antes da circulação do vírus, e os ajustes estatísticos habituais para o estado de saúde chegaram a aumentar a superestimativa (Lipsitch, 2016). Lipsitch e colaboradores chamam esse recurso de controle negativo: medir a associação da vacina com algo que ela não pode afetar, ou num período em que ela não pode agir (Lipsitch, 2016).

Além do vacinado saudável, a OMS lista outras distorções importantes nos estudos observacionais. Uma é o confundimento pela procura por atendimento e pelo risco de exposição. Outra é a classificação errada do desfecho por erro diagnóstico. A infecção prévia e as falsas inferências de queda da proteção completam a lista (OMS, 2021). O raciocínio do controle negativo se parece com o da comparação entre observado e esperado na farmacovigilância.

O desenho teste-negativo

O desenho teste-negativo é cada vez mais usado para estimar a efetividade anual da vacina de influenza (OMS, 2017), e a OMS o recomenda como o método mais eficiente e viável para avaliar vacinas contra a covid-19 em países de renda baixa e média (OMS, 2021). A ideia é simples: entram no estudo todas as pessoas que procuram atendimento com um quadro respiratório agudo, e todas fazem o teste laboratorial.

Quem testa positivo é caso; quem testa negativo é controle. A efetividade é um menos a razão entre a chance de estar vacinado nos casos e a chance de estar vacinado nos controles (OMS, 2017). Como casos e controles procuraram o mesmo serviço pelo mesmo tipo de sintoma, vêm em geral das mesmas comunidades, e a diferença de comportamento entre quem busca e quem evita atendimento pesa menos (OMS, 2017; Sullivan, 2016).

Um exemplo numérico hipotético

Imagine 1.000 adultos atendidos com síndrome gripal numa temporada. Deles, 200 testam positivo para influenza, e 40 desses estavam vacinados, ou 1 em cada 5. Dos 800 negativos, 320 estavam vacinados, ou 2 em cada 5. A chance de vacina nos casos é 40 para 160, um quarto; nos controles, 320 para 480, dois terços. A razão entre as duas é 0,375, e a efetividade estimada fica perto de 62 em cada 100, seguindo a fórmula do guia da OMS (OMS, 2017).

Os pressupostos que sustentam o desenho

A vantagem cobra pressupostos. Para que a estimativa seja válida, é preciso aceitar (OMS, 2017; Lewnard, 2018):

• que a vacina de influenza proteja só contra a influenza, sem alterar as outras causas do quadro respiratório que geram os controles;
• que o estudo se limite ao período de circulação do vírus e trate o tempo de calendário como possível confundidor;
• que os critérios de entrada e de testagem sejam rígidos e iguais para todos;
• que a decisão de se vacinar não esteja ligada à exposição ou à suscetibilidade.

Lewnard e colaboradores mostraram que a razão de chances recupera o efeito direto da vacina só sob duas condições: decisões de vacinação sem relação com exposição ou suscetibilidade e proteção do tipo "tudo ou nada"; fora delas, a estimativa fica enviesada, e o desenho pode deixar de corrigir a procura por atendimento se os critérios de inclusão e testagem forem frouxos (Lewnard, 2018). A OMS acrescenta que controles inscritos fora da temporada precisam ser excluídos da análise (OMS, 2017).

O teste importa

Como tudo depende de classificar bem casos e controles, a qualidade do exame entra na conta. O guia da OMS mostra que, com especificidade quase perfeita, como na PCR, mesmo uma sensibilidade de 70 em cada 100 tem impacto desprezível na estimativa (OMS, 2017). A especificidade pesa mais: um falso positivo leva um controle para o grupo de casos. O raciocínio sobre probabilidade pré-teste ajuda a ver por que o mesmo exame rende mais no pico da temporada do que nos meses de pouca circulação.

O guia também pede cautela com desfechos graves. Em hospitais, doenças cardíacas e pulmonares crônicas aumentam ao mesmo tempo a chance de vacinação e de internação por sintomas respiratórios, e critérios de entrada amplos demais enchem o grupo-controle de pacientes com exacerbações dessas doenças (OMS, 2017).

Outros desenhos de campo: triagem e surto

Antes dos grandes bancos de dados, as equipes de vigilância já precisavam saber depressa se uma vacina estava funcionando. Um artigo publicado no boletim da OMS em 1985 organizou os métodos de campo disponíveis: triagem, investigação de surto, taxa de ataque secundário em famílias, avaliação de cobertura e caso-controle (Orenstein, 1985).

O método de triagem

O método de triagem pede só dois números: a proporção de casos que estavam vacinados e a cobertura vacinal na população de onde os casos vieram (Orenstein, 1985). A efetividade é a diferença entre a cobertura e a proporção de vacinados entre os casos, dividida pela cobertura multiplicada pela proporção de não vacinados entre os casos (Orenstein, 1985).

Um exemplo hipotético mostra a lógica. Se 9 em cada 10 crianças de uma região estão vacinadas contra o sarampo e metade dos casos ocorre em vacinados, a conta dá uma efetividade perto de 89 em cada 100 (Orenstein, 1985). O número surpreende quem olha só a proporção de casos em vacinados: com cobertura alta, mesmo uma vacina muito boa deixa muitos casos entre vacinados, porque quase todos são vacinados. A taxa básica é a peça que falta nessa leitura intuitiva.

O método é rápido, mas grosseiro. Orenstein e colaboradores advertem que ele indica a necessidade de uma avaliação mais cuidadosa, sem servir para estimativas precisas, e que a efetividade pode ser superestimada se a cobertura for superestimada, sobretudo acima de 8 em cada 10 (Orenstein, 1985). O guia da OMS acrescenta que o método depende inteiramente de dados corretos de cobertura na população de onde vieram os casos e que ajustar confundidores exige coberturas separadas por subgrupo (OMS, 2017).

Investigação de surto

Num surto, a equipe conta casos entre vacinados e não vacinados de uma população bem definida, como uma escola, e compara as taxas de ataque. Orenstein e colaboradores consideram o surto em ambiente definido, como aldeia, cidade ou escola, provavelmente a melhor situação para medir a proteção, desde que a taxa de ataque seja alta e os registros de vacinação sejam bons (Orenstein, 1985). A cobertura e o estado vacinal vêm de cadernetas e registros, e um registro falho distorce tudo o que vem depois.

Redução relativa, redução absoluta e NNV

A eficácia e a efetividade são reduções relativas do risco. Elas dizem que fração dos casos esperados a vacina evitou, mas não quantos casos isso representa. Para isso é preciso conhecer o risco basal, o mesmo raciocínio de efeito relativo e efeito absoluto usado para qualquer tratamento.

O número necessário para vacinar é o inverso da redução absoluta: quantas pessoas precisam ser vacinadas para evitar um caso a mais no período estudado (Olliaro, 2021).

Os ensaios da covid-19 em números absolutos

Olliaro e colaboradores recalcularam os ensaios das primeiras vacinas contra a covid-19. No ensaio da vacina de RNA, o risco de covid-19 no grupo placebo foi de cerca de 0,9 em cada 100 participantes no período do estudo, e o NNV ficou em 119 (Olliaro, 2021). Em outros ensaios, os NNV variaram de 78 a 108, com reduções relativas entre 67 e 95 em cada 100 (Olliaro, 2021).

O mesmo artigo mostra como o NNV depende do cenário. Numa das vacinas, a redução relativa ficou estável entre 66 e 67 em cada 100, mas a taxa de ataque subiu de 1,8 para 2,4 em cada 100, e o NNV caiu de 84 para 64 (Olliaro, 2021). A vacina era a mesma; o que mudou foi o risco ao redor. O artigo faz a mesma conta para a coorte de Israel: redução relativa de 94 em cada 100, quase igual à do ensaio, mas NNV de 217, contra 119 no ensaio (Olliaro, 2021).

Por que o NNV de um ensaio não se transporta

O NNV vale para o tempo de seguimento, a população e a circulação do estudo. Um ensaio de poucos meses, feito numa fase de transmissão moderada, dá um NNV alto que nada diz sobre um ano inteiro de pandemia ou sobre idosos com risco muito maior. Olliaro e colaboradores defendem relatar as duas medidas, relativa e absoluta, para evitar leituras enviesadas em qualquer direção (Olliaro, 2021). Os comitês que recomendam vacinas fazem essa ponte ao pesar a evidência pelo quadro da evidência à decisão.

Na prática: roteiro para ler um estudo de vacina

Cada desenho tem uma pergunta, uma força e um ponto fraco típico. A tabela resume o que as fontes descrevem.

Desenho	O que estima	Força principal	Ponto fraco típico	Fonte
Ensaio randomizado	Eficácia direta	Sorteio equilibra fatores medidos e não medidos	Seguimento curto, poucos casos graves	Polack, 2020
Coorte com registros	Efetividade direta	Grande número de pessoas e desfechos graves	Viés do vacinado saudável	Dagan, 2021
Teste-negativo	Efetividade direta	Reduz o confundimento pela procura por atendimento	Pressupostos difíceis de testar	OMS, 2017
Método de triagem	Efetividade aproximada	Rapidez, poucos dados	Sensível a erro na cobertura	Orenstein, 1985
Séries temporais do programa	Efeito global	Mede efeitos diretos e indiretos juntos	Tendências alheias à vacina	Lipsitch, 2016
Emulação de ensaio-alvo	Efeito de estratégias	Explicita momento zero e critérios	Depende da qualidade dos registros	Hernán e Robins, 2016

Perguntas para fazer a qualquer estudo

Diante de um número de proteção, estas perguntas ajudam a decidir quanto confiar nele:

1. Qual o efeito estimado: direto, indireto ou do programa?
2. Qual o desfecho, e como o caso foi confirmado?
3. A partir de quando os casos foram contados depois da aplicação?
4. Como os grupos chegaram ao estado vacinal, e o que foi feito contra o viés do vacinado saudável?
5. Houve controle negativo, como um período sem circulação do agente?
6. Qual o risco basal, e qual a redução absoluta e o NNV?
7. Os resultados de diferentes desenhos concordam?

Concordância entre desenhos diferentes é um dos sinais mais fortes. Quando o ensaio e a coorte de registros chegam a estimativas parecidas, como na covid-19 (Dagan, 2021), fica menos provável que um viés próprio de um dos desenhos explique o resultado. A lista de desenhos de estudo e seus pontos fracos complementa este roteiro.

Da evidência à recomendação

Os guias da OMS para estudos de efetividade de vacinas de influenza e de covid-19 trazem protocolos padronizados, para que países diferentes meçam a mesma coisa da mesma forma e os resultados possam ser somados (OMS, 2017; OMS, 2021). Essas estimativas alimentam o grupo consultivo de especialistas em imunização da OMS, o SAGE, e depois os comitês nacionais, como explicamos em o SAGE e as recomendações globais da OMS. Pesar benefícios e danos esperados é o mesmo exercício da tomada de decisão clínica, agora em escala populacional.

Como o NEXO ajuda a treinar esse raciocínio

No NEXO, o caso do dia é fictício, com apresentação clínica real e até seis pistas progressivas, e você propõe o diagnóstico buscando o código na CID-10. Pesar a probabilidade de uma doença imunoprevenível conforme a história vacinal, a idade e a época do ano é o tipo de raciocínio que as pistas treinam. Saber como o código da CID-10 é montado acelera a busca.

Os limites de uso do jogo estão descritos na página de economia do NEXO. Se você pesquisa ensino de raciocínio clínico, a página para pesquisadores explica como entrar em contato. Profissionais que escrevem ou revisam casos encontram informações na página de curadoria, e quem produz conteúdo de saúde pode conhecer a página de criadores.

Perguntas frequentes

Qual a diferença entre eficácia e efetividade?

Eficácia é a proteção medida num ensaio randomizado, em condições controladas. Efetividade é a proteção observada no uso de rotina, estimada por estudos observacionais (OMS, 2021).

Se muitos casos ocorrem em vacinados, a vacina falhou?

Depende da cobertura. Com 9 em cada 10 pessoas vacinadas, metade dos casos entre vacinados ainda corresponde a uma efetividade perto de 89 em cada 100, pelo método de triagem (Orenstein, 1985).

O que é o desenho teste-negativo?

Um estudo em que todas as pessoas atendidas com determinado quadro fazem o teste; os positivos são casos e os negativos, controles. A efetividade vem da comparação da vacinação entre os dois grupos (OMS, 2017).

Por que estudos observacionais às vezes exageram a proteção?

Pelo viés do vacinado saudável: quem se vacina costuma ter risco menor de base. Em idosos, a vacina de influenza pareceu reduzir a morte até antes da temporada (Lipsitch, 2016).

Uma eficácia de 95 em cada 100 quer dizer que 5 em cada 100 vacinados adoecem?

Quer dizer que os vacinados tiveram cerca de um vigésimo do risco do grupo placebo. A fração de vacinados que adoece depende da circulação e do tempo de seguimento (Polack, 2020; Olliaro, 2021).

O que é NNV?

É o número de pessoas que precisam ser vacinadas para evitar um caso no período estudado, o inverso da redução absoluta do risco (Olliaro, 2021).

Take-home messages

• Eficácia vem do ensaio randomizado; efetividade, do uso de rotina. As duas são um menos o risco relativo.
• Diga sempre qual efeito o estudo estima: direto, indireto ou do programa.
• O viés do vacinado saudável pode criar proteção onde ela é impossível; controles negativos ajudam a detectá-lo.
• O desenho teste-negativo reduz o confundimento pela procura por atendimento, mas depende de pressupostos e de critérios rígidos.
• Com cobertura alta, muitos casos em vacinados são esperados mesmo com vacina muito boa.
• Redução relativa sem risco basal é meia informação: peça a redução absoluta e o NNV.

Jogue o caso do dia no NEXO.

Referências

1. World Health Organization. Evaluation of COVID-19 vaccine effectiveness: interim guidance, 17 March 2021. Geneva: WHO; 2021. Página da OMS.
2. World Health Organization. Evaluation of influenza vaccine effectiveness: a guide to the design and interpretation of observational studies. Geneva: WHO; 2017. Página da OMS.
3. World Health Organization. Guidelines on clinical evaluation of vaccines: regulatory expectations. WHO Technical Report Series 1004, Annex 9. Geneva: WHO; 2017. Página da OMS.
4. Orenstein WA, Bernier RH, Dondero TJ, Hinman AR, et al. Field evaluation of vaccine efficacy. Bull World Health Organ. 1985;63(6):1055-1068. PMID 3879673. PMC2536484.
5. Polack FP, Thomas SJ, Kitchin N, Absalon J, et al. Safety and Efficacy of the BNT162b2 mRNA Covid-19 Vaccine. N Engl J Med. 2020;383(27):2603-2615. PMID 33301246. DOI 10.1056/NEJMoa2034577.
6. Dagan N, Barda N, Kepten E, Miron O, et al. BNT162b2 mRNA Covid-19 Vaccine in a Nationwide Mass Vaccination Setting. N Engl J Med. 2021;384(15):1412-1423. PMID 33626250. DOI 10.1056/NEJMoa2101765.
7. Hernán MA, Robins JM. Using Big Data to Emulate a Target Trial When a Randomized Trial Is Not Available. Am J Epidemiol. 2016;183(8):758-764. PMID 26994063. DOI 10.1093/aje/kwv254.
8. Lipsitch M, Jha A, Simonsen L. Observational studies and the difficult quest for causality: lessons from vaccine effectiveness and impact studies. Int J Epidemiol. 2016;45(6):2060-2074. PMID 27453361. DOI 10.1093/ije/dyw124.
9. Sullivan SG, Tchetgen Tchetgen EJ, Cowling BJ. Theoretical Basis of the Test-Negative Study Design for Assessment of Influenza Vaccine Effectiveness. Am J Epidemiol. 2016;184(5):345-353. PMID 27587721. DOI 10.1093/aje/kww064.
10. Lewnard JA, Tedijanto C, Cowling BJ, Lipsitch M. Measurement of Vaccine Direct Effects Under the Test-Negative Design. Am J Epidemiol. 2018;187(12):2686-2697. PMID 30099505. DOI 10.1093/aje/kwy163.
11. Olliaro P, Torreele E, Vaillant M. COVID-19 vaccine efficacy and effectiveness – the elephant (not) in the room. Lancet Microbe. 2021;2(7):e279-e280. PMID 33899038. DOI 10.1016/S2666-5247(21)00069-0.