Modelo de Kirkpatrick: como avaliar um programa de ensino
Sumário
O curso de raciocínio clínico terminou, e a coordenação pede um relatório. A primeira ideia é a de sempre: um formulário no último dia, com notas de um a cinco para o professor, o material e o horário. As notas vêm altas, e todo mundo fica satisfeito. Ainda assim, ninguém sabe se a turma passou a raciocinar melhor, se mudou algo no estágio ou se algum paciente foi atendido de outro jeito por causa do curso.
O NEXO é um jogo diário de diagnóstico médico: um caso clínico por dia, seis pistas progressivas e feedback por proximidade na CID-10 em cinco níveis.
A pergunta "o curso funcionou?" tem camadas, e o modelo de Kirkpatrick é a forma mais conhecida de separá-las. Este guia explica os quatro níveis, mostra o que as revisões encontraram quando aplicaram o modelo à educação médica, apresenta as críticas mais sérias e propõe um roteiro para desenhar a avaliação de um curso, um estágio ou uma liga.
Principais pontos
- O modelo de Kirkpatrick organiza a avaliação de um programa em quatro níveis: reação, aprendizagem, comportamento e resultados.
- Nas revisões de educação médica, a maior parte dos estudos fica nos dois primeiros níveis, e poucos chegam ao comportamento ou ao paciente.
- Uma análise crítica concluiu que o modelo serve bem só em desenhos simples, condição atendida por cerca de um quinto das revisões da área.
- As principais críticas: foco no resultado sem explicar o porquê, a suposição de que um nível leva ao outro e a ideia de que o nível mais alto vale mais.
- Uma versão revista, a New World Kirkpatrick, tenta responder a parte dessas críticas, mas a avaliação continua exigindo perguntas sobre o processo.
O que é o modelo de Kirkpatrick
Uma origem fora da medicina
O modelo foi criado por Donald Kirkpatrick para avaliar treinamentos na indústria e só depois chegou à educação médica (Yardley e Dornan, 2012). A ideia central é simples: um treinamento pode ser avaliado em camadas cada vez mais distantes da sala de aula, do que o participante achou até o efeito sobre a organização.
Hoje o modelo aparece em toda parte. Uma revisão de 2022 descreveu o seu uso nas profissões de saúde como amplo e crescente, e mostrou que ele entrou em ferramentas de qualidade de pesquisa e em diretrizes de revisão, como o MERSQI e o BEME (Allen et al., 2022).
Avaliar o programa, e não só o aluno
Avaliar um programa é diferente de avaliar um estudante. A prova mede o que uma pessoa sabe; a avaliação do programa pergunta se o conjunto de aulas, estágios, materiais e atividades produziu o efeito pretendido, e por quê. A distinção importa porque um programa pode aprovar todos os alunos e ainda assim falhar no objetivo que o justificou.
Quando avaliar uma ferramenta é outra conversa
Avaliar um aplicativo ou um jogo, como faz o guia sobre gamificação na educação médica, olha para uma peça isolada. O modelo de Kirkpatrick é mais usado para o curso inteiro, em que a ferramenta é só um dos ingredientes.
Os quatro níveis na educação médica
Nível 1: reação
O que os participantes acharam: satisfação, relevância percebida, vontade de recomendar. É o nível mais fácil de medir, com um formulário no último dia. Também é o que menos diz sobre aprendizado, porque gostar de uma aula e aprender com ela são coisas diferentes.
Nível 2: aprendizagem
O que mudou em conhecimento, habilidade ou atitude. Aqui entram provas antes e depois, estações práticas e questionários de atitude. Num curso de raciocínio clínico, por exemplo, seria comparar o desempenho em casos escritos no início e no fim, com o mesmo tipo de caso e o mesmo critério de correção.
Nível 3: comportamento
O que o participante passou a fazer de diferente no trabalho. É mais difícil de medir porque exige observar a prática: registros em prontuário, observação direta, avaliação por preceptores. O guia de simulação de atendimento mostra instrumentos de observação que podem servir aqui.
Nível 4: resultados
O efeito sobre pacientes, serviços ou indicadores do sistema. É o nível mais citado como ideal e o mais raro de alcançar, porque muitas outras coisas mudam entre o curso e o paciente.
.jpg){kind=link}
O que as revisões encontraram
Muita reação, pouco paciente
Uma revisão sobre educação médica continuada pela internet classificou os resultados avaliados pelos níveis de Kirkpatrick e concluiu que a maior parte das pesquisas se baseava em dados de satisfação dos participantes (Curran e Fleet, 2005). Havia pouca pesquisa mostrando mudança na prática clínica, e nenhum estudo mostrou efeito sobre desfechos de pacientes ou de saúde (Curran e Fleet, 2005).
O padrão se repetiu na graduação. Uma revisão sistemática sobre estágios em medicina de família incluiu 64 artigos: 26 estudos avaliaram no nível 1, 26 no nível 2 e 6 no nível 3 (Turkeshi et al., 2015). Os autores consideraram limitada a qualidade da pesquisa e pediram instrumentos padronizados e validados (Turkeshi et al., 2015).
Quando a avaliação chega mais longe
Uma revisão sobre educação espaçada para médicos já formados encontrou 17 estudos, com 2.701 profissionais, e todos foram avaliados por uma versão modificada dos quatro níveis (Phillips et al., 2019). Dez estudos mostraram ganho de conhecimento, sete relataram mudança de comportamento clínico e apenas dois relataram melhora em desfechos de pacientes (Phillips et al., 2019).
O desenho em funil é típico: muitos estudos no começo, poucos no fim. A explicação é em parte prática, porque medir desfecho de paciente exige tempo, amostra e acesso a dados que um curso raramente tem.
Um exemplo com a versão revista
Uma revisão sobre narrativas digitais no ensino das profissões de saúde usou a New World Kirkpatrick e incluiu só estudos com resultado nos níveis 2 ou 3 (Moreau et al., 2018). De 16 artigos com dados, 14 trataram de aprendizagem e apenas dois mediram também mudança de comportamento (Moreau et al., 2018). Mesmo com o modelo revisto, o nível 3 continuou raro.
As críticas ao modelo
Serve para desenhos simples
Uma análise crítica concluiu que os níveis carregam tantas suposições implícitas que só funcionam bem em desenhos de ensino relativamente simples, com resultados de curto prazo e beneficiários que vão além dos alunos (Yardley e Dornan, 2012). Segundo os autores, essas condições são atendidas por talvez um quinto das revisões de evidência em educação médica (Yardley e Dornan, 2012).
Fora dessas condições, usar os níveis como hierarquia de qualidade agrega pouco, e a qualidade de uma evidência depende tanto do uso que se quer fazer dela quanto de qualquer medida objetiva (Yardley e Dornan, 2012).
Quatro problemas de fundo
A revisão de 2022 resumiu as principais críticas ao modelo (Allen et al., 2022):
- O foco é o resultado, e os fatores que influenciam o resultado ficam de fora.
- Supõe-se uma ligação causal positiva entre os níveis, como se a satisfação levasse ao aprendizado e o aprendizado à mudança de prática.
- Supõe-se que o nível mais alto é o mais importante.
- Os efeitos não pretendidos do programa ficam invisíveis.
Os autores acrescentam que o uso do modelo por ferramentas como o MERSQI e por organizações como o BEME e a OMS alimenta o mito de que ele é o padrão-ouro para avaliar programas (Allen et al., 2022). A proposta deles é passar de medir resultados para investigar como e por que eles acontecem (Allen et al., 2022).
A New World Kirkpatrick
Em resposta a essas críticas surgiu a New World Kirkpatrick, uma versão revista para ambientes complexos (Moreau, 2017). O artigo que a apresenta destaca três críticas ao modelo original e discute como a versão nova tenta respondê-las, convidando professores a testá-la e a investigar os seus pontos fortes e fracos (Moreau, 2017).
Na prática, a versão nova sugere começar pelo resultado desejado e desenhar o programa de trás para a frente, além de olhar para o que acontece entre os níveis. Ela melhora o mapa, mas a pergunta sobre o processo continua por conta de quem avalia.
Como desenhar a avaliação de um programa
Comece pela pergunta
Antes de escolher instrumento, defina o que o programa promete. Um curso de raciocínio clínico pode prometer que a turma vai montar listas de hipóteses mais completas, como descreve o guia de diagnóstico diferencial. Essa promessa indica o nível que mais importa e o tipo de dado necessário.
Escolha um indicador por nível
Um desenho mínimo pode ter um indicador por nível:
| Nível | Pergunta | Exemplo de indicador |
|---|---|---|
| Reação | A turma achou o curso relevante? | Questionário curto ao fim de cada módulo |
| Aprendizagem | O raciocínio melhorou? | Casos escritos antes e depois, com a mesma grade de correção |
| Comportamento | A prática mudou? | Observação de preceptores ou revisão de registros no estágio |
| Resultados | Algo mudou para o serviço ou o paciente? | Indicador escolhido com o serviço, quando houver acesso |
O nível 4 pode ficar como objetivo de longo prazo. Melhor declarar isso no relatório do que inventar uma ligação que os dados não sustentam.
Pergunte também como e por quê
Para responder à crítica de foco só no resultado, acrescente perguntas sobre o processo (Allen et al., 2022): quem participou de fato, que partes funcionaram, o que atrapalhou, que efeitos ninguém esperava. Entrevistas curtas e grupos focais servem para isso.
Use o feedback como dado
Os comentários abertos de um formulário são dados de processo. Ler essas respostas com método, como sugere o guia de feedback em casos clínicos, ajuda a explicar por que um nível subiu e outro ficou parado.
Acompanhe ao longo do tempo
Uma medida no último dia mostra o efeito imediato. Uma segunda medida meses depois mostra o que ficou, um ponto ligado à retenção do conhecimento médico. Programas de aprendizagem ativa e de aprendizagem baseada em casos se beneficiam desse acompanhamento, porque o efeito pretendido costuma aparecer no estágio, e não na sala.
Dados de desempenho e pesquisa no NEXO
O NEXO registra informações que podem entrar como indicadores de processo numa avaliação: a distribuição de acertos por pista mostra em que momento cada jogador costuma chegar ao diagnóstico, e a proximidade na CID-10 em cinco níveis mostra a que distância cada palpite ficou. O caso do dia chega em até seis pistas, e o ranking de grupo permite acompanhar uma turma. Esses dados descrevem o desempenho no jogo; o que eles dizem sobre a prática é uma pergunta de pesquisa.
Os casos são fictícios com apresentação clínica real, e o guia o que é o NEXO explica a partida inteira. Como os modos são liberados está na página de economia do NEXO.
Pesquisadores em educação médica que queiram estudar o jogo com um desenho de avaliação próprio podem propor estudos pelo NEXO Researcher. Se você coordena uma faculdade, uma liga ou uma residência, conheça o NEXO Closer. Médicos que revisam casos participam pelo NEXO Curator, e quem cria conteúdo de saúde nas redes pode participar pelo NEXO Creators.
Perguntas frequentes
O que é o modelo de Kirkpatrick?
É um modelo de avaliação de treinamentos em quatro níveis: reação, aprendizagem, comportamento e resultados.
Quais são os quatro níveis de Kirkpatrick?
Reação (o que os participantes acharam), aprendizagem (o que aprenderam), comportamento (o que mudou na prática) e resultados (o efeito sobre o serviço ou o paciente).
O nível 4 é sempre o mais importante?
A revisão de 2022 lista essa suposição como uma das críticas ao modelo (Allen et al., 2022). O nível mais importante depende da pergunta do programa.
O que é a New World Kirkpatrick?
Uma versão revista do modelo que tenta responder às críticas ao original e lidar com ambientes de ensino complexos (Moreau, 2017).
Por que tantos estudos ficam nos níveis 1 e 2?
Porque medir comportamento e desfecho exige observação na prática, mais tempo e acesso a dados que muitos cursos ainda deixam de planejar.
O NEXO pode entrar numa avaliação?
Os dados de desempenho no jogo podem servir como indicador de processo, e propostas de estudo passam pelo NEXO Researcher.
Checklist da avaliação de um programa
- Escreva a promessa do programa numa frase.
- Escolha o nível que responde a essa promessa.
- Defina um indicador para cada nível que vai medir.
- Meça antes e depois, com o mesmo critério.
- Pergunte como e por quê, além do quanto.
- Procure efeitos inesperados, bons e ruins.
- Repita a medida meses depois.
Quer ver o raciocínio em dados? Jogue o caso do dia no NEXO.
Referências
- Yardley S, Dornan T. Kirkpatrick's levels and education 'evidence'. Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/22150201/
- Allen LM, Hay M, Palermo C. Evaluation in health professions education-Is measuring outcomes enough? Med Educ. 2022. https://pubmed.ncbi.nlm.nih.gov/34463357/
- Moreau KA. Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox? Med Teach. 2017. https://pubmed.ncbi.nlm.nih.gov/28649887/
- Curran VR, Fleet L. A review of evaluation outcomes of web-based continuing medical education. Med Educ. 2005. https://pubmed.ncbi.nlm.nih.gov/15910431/
- Turkeshi E, Michels NR, Hendrickx K, Remmen R. Impact of family medicine clerkships in undergraduate medical education: a systematic review. BMJ Open. 2015. https://pubmed.ncbi.nlm.nih.gov/26243553/
- Phillips JL, Heneka N, Bhattarai P, Fraser C, Shaw T. Effectiveness of the spaced education pedagogy for clinicians' continuing professional development: a systematic review. Med Educ. 2019. https://pubmed.ncbi.nlm.nih.gov/31144348/
- Moreau KA, Eady K, Sikora L, Horsley T. Digital storytelling in health professions education: a systematic review. BMC Med Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/30200945/