Como acompanhar seu progresso nos estudos de Medicina

Em quatro estudos com testes de humor, gramática e lógica, quem ficou no quartil de baixo, com resultado perto do percentil 12, estimou estar no percentil 62 (Kruger e Dunning, 1999). Os autores ligaram essa diferença à dificuldade de distinguir o próprio acerto do próprio erro (Kruger e Dunning, 1999). Para quem estuda Medicina, a lição é direta: a sensação de estar indo bem é um dado fraco, e medir o progresso pede números que vêm de fora da cabeça.

O NEXO é um jogo diário de diagnóstico médico: um caso clínico por dia, seis pistas progressivas e feedback por proximidade na CID-10 em cinco níveis.

Este texto trata de como medir progresso nos estudos: o que a pesquisa diz sobre a autoavaliação de estudantes da saúde, como comparar confiança com acerto, quais métricas ajudam de verdade, como separar metas de processo de metas de resultado e como ler um simulado. A parte de registrar e classificar cada erro está no texto sobre o caderno de erros.

Principais pontos

• A autoavaliação de estudantes da saúde teve validade de baixa a moderada numa revisão clássica (Gordon, 1991).
• Estudantes de Medicina se avaliam de forma moderada e ficam mais precisos nos anos finais do curso (Blanch-Hartigan, 2011).
• Calibração é comparar a confiança com o acerto, e ela pode ser acompanhada como uma métrica.
• Acerto por tema, erros por tipo e calibração dizem mais do que a nota geral.
• Metas de processo no começo e de resultado depois tiveram o melhor desempenho num experimento clássico (Zimmerman e Kitsantas, 1997).
• Simulados e testes de progresso são medidas externas úteis quando lidos como série, e não como nota isolada (Schuwirth e van der Vleuten, 2012).

Sumário

• Por que medir o progresso
• Os limites da autoavaliação
• Calibração: confiança e acerto
• Métricas que ajudam
• Metas de processo e metas de resultado
• Simulados como medida
• Um painel semanal
• Onde o NEXO entra
• Perguntas frequentes
• Checklist para acompanhar seu progresso

Por que medir o progresso

O curso de Medicina é longo, o volume de conteúdo é grande e as provas grandes chegam com meses de distância. Entre uma prova e outra, a referência mais à mão é a própria impressão, e é justamente ela a mais sujeita a erro.

A impressão de estar aprendendo

Reler um resumo dá a sensação de domínio, porque o texto parece familiar. O texto sobre a rotina de estudo explica por que a sensação de saber engana. Medir o progresso é trocar essa impressão por respostas: quantas questões de cardiologia você acertou esta semana, em que tipo de erro caiu mais, quanto a sua confiança bateu com o resultado.

Medir para decidir

Uma medida só vale se muda alguma decisão. Como sugestão prática, antes de criar qualquer métrica, pergunte: se este número cair, o que eu faço diferente? Se a resposta for clara, a métrica entra no painel. Se a resposta for "nada", ela pode ficar de fora sem prejuízo.

O que este texto mede

Aqui o foco é o desempenho em questões e casos: acerto, erro, confiança e evolução ao longo do tempo. Horas de estudo e páginas lidas aparecem como metas de processo, que têm o seu lugar, mas que medem esforço e não aprendizado.

Os limites da autoavaliação

A autoavaliação é a primeira ferramenta que todo estudante tem, e a pesquisa sobre ela nas profissões da saúde é antiga.

Uma revisão clássica

Gordon analisou 18 artigos publicados entre 1970 e 1990 que comparavam a autoavaliação de pessoas em formação, 14 deles com estudantes e residentes da saúde, com a avaliação de especialistas ou de testes objetivos (Gordon, 1991). A validade da autoavaliação foi de baixa a moderada e não melhorou com o tempo nos programas de formação convencionais (Gordon, 1991).

Dois achados da revisão importam muito para quem estuda. A autoavaliação pareceu ligada a uma imagem geral que a pessoa tem de si e mudou pouco com notas, resultados de provas ou avaliações de professores (Gordon, 1991). Já em 5 programas com metas explícitas de autoavaliação e treino para isso, a validade foi de moderada a alta ou melhorou com o tempo (Gordon, 1991). Ou seja, avaliar a si mesmo é uma habilidade que pode ser treinada.

Três meta-análises com estudantes de Medicina

Blanch-Hartigan reuniu 35 artigos sobre autoavaliação de estudantes de Medicina em três meta-análises, uma para cada forma de medir a precisão (Blanch-Hartigan, 2011). Os estudantes se mostraram moderadamente capazes de avaliar o próprio desempenho e mais precisos nos anos finais do curso (Blanch-Hartigan, 2011).

Como grupo, eles não superestimaram nem subestimaram de forma significativa, mas tenderam a superestimar mais em atendimentos com paciente padronizado, baseados em comunicação, do que em medidas objetivas de conhecimento (Blanch-Hartigan, 2011). As alunas subestimaram o próprio desempenho mais do que os alunos (Blanch-Hartigan, 2011).

Estudo	O que foi analisado	Principal resultado
Gordon, 1991	18 artigos (Gordon, 1991)	Validade de baixa a moderada (Gordon, 1991)
Blanch-Hartigan, 2011	35 artigos (Blanch-Hartigan, 2011)	Precisão moderada, maior nos anos finais (Blanch-Hartigan, 2011)
Kruger e Dunning, 1999	4 estudos fora da saúde (Kruger e Dunning, 1999)	Quartil de baixo superestimou muito o próprio resultado (Kruger e Dunning, 1999)

Quem sabe menos erra mais sobre si

No estudo de Kruger e Dunning, melhorar a habilidade dos participantes também os ajudou a reconhecer os limites do que sabiam (Kruger e Dunning, 1999). Para o estudante, isso tem um lado animador: conforme você aprende um tema, fica melhor também em perceber o que ainda falta nele. Nos temas novos, vale desconfiar mais da própria impressão.

Repensar o que é autoavaliar

Eva e Regehr propuseram reformular o próprio conceito de autoavaliação nas profissões da saúde e sugeriram uma agenda de pesquisa sobre o tema (Eva e Regehr, 2005). Como leitura editorial, a consequência prática para quem estuda é procurar fontes externas de informação, como questões, casos e simulados, em vez de depender só do julgamento interno. A revisão sobre a precisão da autoavaliação de médicos já citada no caderno de erros vai na mesma direção; ela está na seção a autoavaliação falha.

Calibração: confiança e acerto

Calibração é o quanto a sua confiança acompanha o seu acerto. Um estudante bem calibrado acerta quase tudo o que marca como "tenho certeza" e erra boa parte do que marca como "chute". Os estudos sobre confiança e acerto no diagnóstico estão reunidos na seção retorno e calibração do texto sobre jogos de raciocínio clínico.

Registrar a confiança antes da resposta

Como sugestão prática, ao resolver questões ou casos, anote a sua confiança antes de ver o gabarito, em três níveis: alta, média e baixa. Depois de algumas semanas, separe as respostas por nível e veja a taxa de acerto de cada um. O que importa é o padrão, e não uma questão isolada.

Como ler o resultado

Padrão	Leitura possível (sugestão do Editorial)
Confiança alta e acerto alto	Tema firme; manter em revisão espaçada
Confiança alta e acerto baixo	Excesso de confiança; prioridade de estudo
Confiança baixa e acerto alto	Conhecimento que você ainda subestima; testar mais para ganhar segurança
Confiança baixa e acerto baixo	Lacuna já percebida; estudar a base

A linha mais importante da tabela é a segunda. Um erro com muita certeza mostra um ponto em que a autoavaliação falhou, e é ali que a correção rende mais. O tratamento desses erros no caderno está no texto sobre o caderno de erros.

Calibração também melhora

Os programas que ensinaram a autoavaliação de forma explícita tiveram resultados melhores na revisão de Gordon (Gordon, 1991). Como leitura editorial, registrar a confiança e comparar com o gabarito é uma forma simples de fazer esse treino por conta própria, com retorno a cada sessão.

Métricas que ajudam

A nota geral de uma lista de questões resume demais. Duas pessoas com o mesmo percentual podem ter lacunas completamente diferentes. Métricas mais finas mostram onde agir.

Taxa de acerto por tema

Separe as questões por grande área e, dentro dela, por tema: em cardiologia, por exemplo, insuficiência cardíaca, arritmias e valvopatias. Como sugestão prática, acompanhe a taxa de acerto de cada tema ao longo das semanas. O tema que fica parado ou cai é o candidato ao próximo bloco de estudo, mesmo que a nota geral esteja boa.

Erros por tipo

Contar os erros por tipo mostra se o problema é falta de conhecimento, raciocínio ou atenção. As categorias e como registrá-las estão em tipo de erro: conhecimento, raciocínio, atenção. Aqui, o ponto é usar essa contagem como métrica: se os erros de atenção sobem num mês de provas, a resposta é diferente de quando sobem os erros de conhecimento.

Calibração por tema

A tabela de confiança e acerto também pode ser feita por tema. Excesso de confiança concentrado num tema costuma indicar que ele foi estudado só por releitura. Como sugestão prática, coloque esse tema numa rodada de questões sem consulta.

Tendência, e não o dia

Uma semana ruim diz pouco. O progresso aparece na série: a mesma métrica medida do mesmo jeito, repetida no tempo. Como sugestão prática, compare médias de várias semanas, e não um dia com o outro.

Métrica	O que mostra	O que fazer quando piora (sugestão do Editorial)
Acerto por tema	Onde o conhecimento está firme ou fraco	Estudar a base do tema e testar de novo
Erros por tipo	Se o problema é conhecimento, raciocínio ou atenção	Ajustar o método ao tipo de erro
Calibração	Se a confiança acompanha o acerto	Mais questões sem consulta no tema
Evolução em simulados	Tendência ao longo do curso	Rever a distribuição do tempo entre áreas

Métricas que pedem cuidado

Horas de estudo, páginas lidas e número de questões feitas são metas de processo úteis, mas medem esforço. Elas entram no painel ao lado das métricas de desempenho, e não no lugar delas. Uma semana com muitas horas e acerto parado é um sinal para mudar o método, como mostram as estratégias de aprendizagem ativa.

Metas de processo e metas de resultado

Meta de processo descreve o que você vai fazer: resolver uma lista por dia, revisar os erros da semana no domingo. Meta de resultado descreve onde quer chegar: subir o acerto em cardiologia, passar na prova de residência. As duas têm lugar, e a ordem importa.

O experimento dos dardos

Zimmerman e Kitsantas estudaram 90 estudantes do ensino médio, todas meninas, aprendendo a lançar dardos (Zimmerman e Kitsantas, 1997). As que começaram com metas de processo e depois passaram para metas de resultado superaram as que ficaram só nas metas de processo, que por sua vez superaram as que usaram só metas de resultado (Zimmerman e Kitsantas, 1997).

O ganho apareceu na habilidade, nas reações ao próprio desempenho, na confiança na própria capacidade e no interesse pela tarefa (Zimmerman e Kitsantas, 1997). O autorregistro, uma forma de anotar o próprio desempenho, também melhorou a habilidade e a confiança (Zimmerman e Kitsantas, 1997).

O que dá para levar para a Medicina

O experimento foi com uma habilidade motora, fora da Medicina, e o resultado deve ser lido com essa ressalva. Como leitura editorial, a ideia que ele sugere é simples: num tema novo, comece com metas de processo, como fazer um bloco de questões por dia; quando o método estiver firme, passe a olhar o resultado, como a taxa de acerto do tema. Anotar o próprio desempenho, que é o que o painel deste texto propõe, conversa com o efeito do autorregistro no estudo.

Trinta e cinco anos de pesquisa sobre metas

Locke e Latham resumiram 35 anos de pesquisa sobre definição de metas, com os principais achados, os mecanismos pelos quais as metas agem, os fatores que mudam o seu efeito e os limites da teoria (Locke e Latham, 2002). É uma boa leitura para quem quer entender por que algumas metas ajudam mais do que outras. O lado de jogo das metas, com pontos e sequência, está em metas, pontos e sequência.

Exemplos de metas

Tipo	Exemplo (sugestão do Editorial)	Como medir
Processo	Resolver um bloco de questões de cardiologia por dia	Dias cumpridos na semana
Processo	Revisar os erros da semana no domingo	Revisão feita ou pendente
Resultado	Subir o acerto em arritmias	Taxa de acerto do tema ao longo das semanas
Resultado	Melhorar a calibração em infectologia	Acerto das respostas com confiança alta

Simulados como medida

O simulado é a medida externa mais próxima da prova real. Bem lido, ele mostra onde você está e para onde está indo; mal lido, vira só uma nota para comemorar ou lamentar.

O que um simulado consegue prever

Morrison e colegas estudaram 12.224 estudantes dos Estados Unidos e do Canadá que fizeram um simulado oficial antes da primeira tentativa no Step 1, a primeira etapa do exame de licença médica americano (Morrison et al., 2010). A nota do simulado explicou 67% da variação na nota do exame quando usada sozinha, e 69% quando o intervalo entre as provas também entrou na conta (Morrison et al., 2010). Quem teve nota baixa no simulado teve risco maior de reprovar na primeira tentativa (Morrison et al., 2010).

Os autores concluem que o simulado pode dar ao estudante uma autoavaliação realista do seu preparo para o exame (Morrison et al., 2010). O dado vale para um simulado específico, feito pela mesma banca da prova, e para aquele exame.

O teste de progresso

O teste de progresso é uma forma de avaliação longitudinal: provas equivalentes, mas diferentes, aplicadas várias vezes ao longo do curso, cujos resultados são combinados para mostrar o crescimento do conhecimento de cada estudante (Schuwirth e van der Vleuten, 2012). Os autores descrevem um efeito positivo no comportamento de estudo, por desencorajar o estudo concentrado de última hora, e boa validade preditiva (Schuwirth e van der Vleuten, 2012).

Eles também apontam um cuidado técnico: igualar a dificuldade das provas sucessivas, para que a variação entre uma e outra não seja confundida com progresso (Schuwirth e van der Vleuten, 2012). O guia de Wrigley e colegas lembra que provas de múltipla escolha carregam uma variação de erro que desafia a validade e a confiabilidade dos resultados, e propõe um modelo para melhorar a qualidade dos dados do teste de progresso (Wrigley et al., 2012).

Como ler o seu simulado

Como sugestão prática, leia cada simulado em três camadas:

1. A nota geral, comparada com os seus simulados anteriores, e não com a média da turma num único dia.
2. O acerto por área e por tema, para achar o que caiu ou ficou parado.
3. Os erros por tipo e a confiança, para decidir se o próximo passo é estudar a base, treinar o raciocínio ou cuidar da atenção.

Simulados de origens diferentes têm dificuldades diferentes. Como leitura editorial, compare de preferência simulados da mesma fonte, pelo mesmo motivo que leva o teste de progresso a igualar a dificuldade das provas.

Simulado também é treino

Fazer o simulado já é uma forma de se testar, e a correção com retorno fecha o ciclo. Por que se testar ajuda a lembrar está no texto sobre revisar jogando.

Um painel semanal

Juntar as métricas num lugar só ajuda a enxergar a tendência. O painel pode ser uma planilha simples ou uma página do caderno.

O que entra

Como sugestão prática, um painel semanal pode ter cinco colunas: semana, acerto por tema nas áreas que você está estudando, contagem de erros por tipo, acerto das respostas com confiança alta e metas de processo cumpridas. Uma linha por semana já basta.

Uma revisão de dez minutos

No fim da semana, olhe o painel e responda três perguntas: qual tema melhorou, qual ficou parado e qual tipo de erro apareceu mais. A resposta vira a meta de processo da semana seguinte. Esse ritual curto cabe na rotina descrita no texto sobre como encaixar jogos na rotina de estudo.

Erros comuns ao medir o progresso

• Medir só a nota geral. Ela esconde os temas fracos atrás dos fortes.
• Comparar um dia com o outro. A variação natural engana; olhe a série.
• Mudar a régua toda semana. Métricas que mudam de definição deixam de ser comparáveis.
• Confiar mais na impressão do que no número. A pesquisa sobre autoavaliação mostra por que a impressão falha (Gordon, 1991).
• Medir esforço como se fosse aprendizado. Horas e páginas são processo; o acerto é o resultado.
• Comparar simulados de fontes diferentes. A dificuldade muda de uma fonte para outra.

Onde o NEXO entra

Cada caso do NEXO chega em até seis pistas, uma de cada vez, e cada palpite recebe retorno de proximidade na CID-10, do capítulo ao código exato. Isso já é uma pequena medida a cada caso: em que pista você chegou ao diagnóstico e quão perto ficou nos palpites anteriores.

Em quantas pistas o diagnóstico fecha

A tela inicial mostra a distribuição dos seus acertos por pista: em quantas pistas o diagnóstico costuma fechar, como descrito nas novidades do NEXO. Como sugestão prática, acompanhe essa distribuição ao longo das semanas; acertar com menos pistas é um sinal de progresso no raciocínio, e acertos que se concentram nas últimas pistas indicam temas para revisar.

Constância, nível e conquistas

O histórico da sequência aparece como calendário, e a barra de nível na tela inicial mostra o XP feito no nível atual, ambos descritos nas novidades do NEXO. As conquistas aparecem como trilhas, com as etapas em ordem, o que já foi concluído e qual é a próxima. São boas medidas de processo: mostram se o hábito está firme. O ranking tem as abas global, por universidade e de grupos, para quem gosta de acompanhar a turma.

Levar o caso para o seu painel

Como sugestão prática, quando errar um caso ou acertar só nas últimas pistas, anote o tema e o tipo de erro no seu painel semanal, e use o Arquivo para refazer casos anteriores do mesmo tema. O botão do Anki leva o diagnóstico que faltou para um card, como mostra o guia de repetição espaçada.

Para pesquisar, levar à turma e criar

Se você pesquisa avaliação e autoavaliação na educação médica e quer propor estudos com o NEXO, conheça o NEXO Researcher. Para levar o NEXO à faculdade, à liga ou à residência, há o NEXO Closer. Médicos que revisam os casos da sua especialidade participam pelo NEXO Curator, e quem cria conteúdo de saúde nas redes pode participar pelo NEXO Creators.

Perguntas frequentes

Como medir progresso nos estudos de Medicina?

Com medidas externas, repetidas do mesmo jeito ao longo do tempo: taxa de acerto por tema em questões e casos, contagem de erros por tipo, comparação entre confiança e acerto e evolução em simulados da mesma fonte. A impressão pessoal ajuda pouco, porque a autoavaliação de estudantes da saúde teve validade de baixa a moderada numa revisão clássica (Gordon, 1991).

A autoavaliação de estudantes de Medicina é confiável?

É moderada. Nas meta-análises de Blanch-Hartigan, os estudantes se avaliaram de forma moderadamente precisa e melhoraram nos anos finais do curso (Blanch-Hartigan, 2011). Por isso vale combinar a autoavaliação com dados de questões e simulados.

O que é calibração nos estudos?

É o quanto a sua confiança acompanha o seu acerto. Para medir, anote a confiança antes de ver o gabarito e compare a taxa de acerto das respostas com confiança alta, média e baixa.

Meta de processo ou meta de resultado?

As duas, em sequência. No experimento de Zimmerman e Kitsantas, começar com metas de processo e passar depois para metas de resultado deu melhor desempenho do que usar só uma delas (Zimmerman e Kitsantas, 1997). O estudo foi com uma habilidade motora, fora da Medicina.

Simulado prevê o resultado da prova?

Em um estudo com 12.224 estudantes, a nota de um simulado oficial explicou 67% da variação na nota do Step 1, a primeira etapa do exame de licença médica dos Estados Unidos (Morrison et al., 2010). O dado vale para aquele simulado e aquele exame; em outros contextos a relação pode ser diferente.

O que é teste de progresso?

É uma avaliação longitudinal, com provas equivalentes aplicadas várias vezes ao longo do curso para mostrar o crescimento do conhecimento de cada estudante (Schuwirth e van der Vleuten, 2012).

Com que frequência devo olhar minhas métricas?

Uma revisão curta por semana é uma boa sugestão prática. O progresso aparece na série, então compare médias de várias semanas em vez de um dia com o outro.

Como o NEXO ajuda a acompanhar o progresso?

A tela inicial mostra em quantas pistas o seu diagnóstico costuma fechar, a sequência aparece como calendário e as conquistas aparecem como trilhas, com a próxima etapa à vista. Cada caso chega em até seis pistas, com retorno de proximidade na CID-10 a cada palpite.

Checklist para acompanhar seu progresso

1. Defini as métricas que vou acompanhar e como vou medir cada uma?
2. Anoto a confiança antes de ver o gabarito?
3. Separo o acerto por tema, e não só pela nota geral?
4. Conto os erros por tipo ao fim da semana?
5. Tenho metas de processo para os temas novos?
6. Passo para metas de resultado quando o método está firme?
7. Comparo simulados da mesma fonte ao longo do tempo?
8. Leio cada simulado em nota, tema e tipo de erro?
9. Olho a tendência de várias semanas, e não um dia isolado?
10. Decidi o que muda na semana seguinte a partir do painel?

Referências

1. Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. Acad Med. 1991. https://pubmed.ncbi.nlm.nih.gov/1750956/
2. Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med. 2005. https://pubmed.ncbi.nlm.nih.gov/16199457/
3. Blanch-Hartigan D. Medical students' self-assessment of performance: results from three meta-analyses. Patient Educ Couns. 2011. https://pubmed.ncbi.nlm.nih.gov/20708898/
4. Kruger J, Dunning D. Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Pers Soc Psychol. 1999. https://pubmed.ncbi.nlm.nih.gov/10626367/
5. Zimmerman BJ, Kitsantas A. Developmental phases in self-regulation: shifting from process goals to outcome goals. J Educ Psychol. 1997. https://doi.org/10.1037/0022-0663.89.1.29
6. Locke EA, Latham GP. Building a practically useful theory of goal setting and task motivation. A 35-year odyssey. Am Psychol. 2002. https://pubmed.ncbi.nlm.nih.gov/12237980/
7. Morrison CA, Ross LP, Fogle T, et al. Relação entre o desempenho num simulado oficial de ciências básicas e o Step 1 do USMLE em estudantes dos Estados Unidos e do Canadá (título original em inglês no PubMed). Acad Med. 2010. https://pubmed.ncbi.nlm.nih.gov/20881715/
8. Schuwirth LW, van der Vleuten CP. The use of progress testing. Perspect Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/23316456/
9. Wrigley W, van der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012. https://pubmed.ncbi.nlm.nih.gov/22905655/