Calibração da confiança no diagnóstico: quando responder
Há um momento em todo caso clínico em que você decide que já sabe o bastante. Às vezes essa sensação chega cedo e está certa. Outras vezes chega cedo e está errada, ou demora tanto que você pede exames de que não precisava. A pergunta de fundo é a mesma: a sua confiança acompanha o seu acerto?
O NEXO é um jogo diário de diagnóstico médico: um caso clínico por dia, seis pistas progressivas e feedback por proximidade na CID-10 em cinco níveis.
Este guia explica o que é calibração diagnóstica, o que os estudos encontram sobre confiança, tempo e quantidade de informação, e como usar o número de dados que você precisou para responder como um retrato da sua dúvida.
Principais pontos
- Calibração é a distância entre o quanto você confia e o quanto você acerta.
- Responder rápido não é sinônimo de errar: em vários estudos, o acerto anda junto com a resposta rápida.
- Buscar os dados certos pesa mais do que buscar muitos dados.
- A sensação de segurança pode durar mais que o conhecimento, e isso deixa o estudante confiante demais com o tempo.
- Registrar em que momento você respondeu e conferir o resultado ajuda a enxergar o próprio padrão.
Sumário
- O que é calibração diagnóstica
- Tempo, rapidez e acerto
- Quantos dados você precisa
- Por que a calibração é difícil de melhorar
- Como treinar a calibração
- A pista em que você responde no NEXO
- Perguntas frequentes
- Checklist da calibração
O que é calibração diagnóstica
Confiança e acerto são medidas diferentes
Calibração é o quanto a sua confiança num diagnóstico corresponde à chance real de ele estar certo. Quem diz ter muita certeza e acerta pouco está confiante demais; quem acerta muito e duvida de tudo está confiante de menos. Os dois erros pesam: o primeiro fecha a investigação cedo, o segundo gasta tempo e exames. O guia sobre incerteza diagnóstica mostra por que essas duas medidas se separam tanto.
Excesso e falta de confiança nos estudantes
Numa prova de cirurgia geral com estudantes prestes a se formar na Argentina, cerca de 12% mostraram excesso de confiança significativo em relação ao próprio acerto (Borracci e Arribalzaga, 2018). A falta de confiança foi menos comum, em 8,3% dos estudantes, e apareceu mais entre os que tiveram melhor desempenho (Borracci e Arribalzaga, 2018). Os melhores alunos também mostraram menos excesso de confiança, o que sugere que conhecimento e calibração crescem juntos (Borracci e Arribalzaga, 2018).
Tempo, rapidez e acerto
Quem acerta costuma responder mais rápido
Uma ideia comum é que o erro diagnóstico vem da pressa. Num estudo com recém-formados canadenses logo depois da prova de licença, que diagnosticaram uma série de casos escritos, a correlação entre tempo de resposta e acerto foi de -0,54: quanto mais rápida a resposta, maior o acerto (Sherbino et al., 2012). A relação se manteve quando os autores controlaram o conhecimento medido na prova de licença (Sherbino et al., 2012).
Isso não quer dizer que responder rápido faça acertar. Quer dizer que quem conhece bem a doença a reconhece cedo. A rapidez é consequência do conhecimento, e por isso uma resposta rápida pode ser bem calibrada.
Confiança induzida pouco mudou o acerto
Num experimento com residentes de clínica médica, um grupo foi levado a acreditar que os casos eram fáceis e o outro, que eram difíceis (Al-Maghrabi et al., 2024). O primeiro grupo ficou mais confiante, com média de 0,75 contra 0,61 numa escala até 1, mas o tempo gasto e o acerto diagnóstico pouco diferiram entre os grupos (Al-Maghrabi et al., 2024). Os autores sugerem estudar o excesso de confiança mais como traço pessoal do que como algo que muda com a situação (Al-Maghrabi et al., 2024).
Quantos dados você precisa
Os dados certos valem mais que muitos dados
Num estudo com médicos de família diante de problemas diagnósticos difíceis, os participantes podiam pedir mais informações sobre o paciente antes de responder (Kostopoulou et al., 2008). Pedir pistas críticas, aquelas que separam os diagnósticos diferenciais relevantes, previu o acerto na maior parte dos cenários, e os residentes pediram mais informações do que os médicos experientes (Kostopoulou et al., 2008). A experiência, no mesmo estudo, pouco pesou no acerto (Kostopoulou et al., 2008).
A lição para a calibração é direta. A pergunta útil é "o dado que eu tenho separa as minhas hipóteses?", e não "já tenho dados suficientes?". Quando a resposta é sim, a confiança tem base. Quando é não, mais um dado bem escolhido vale mais que a sensação de segurança.
Responder cedo e responder tarde
| Padrão | O que costuma indicar | O que fazer |
|---|---|---|
| Responde cedo e acerta | Doença conhecida, reconhecimento rápido | Manter; conferir se a explicação bate com o seu raciocínio |
| Responde cedo e erra | Confiança à frente do conhecimento | Perguntar qual dado separaria as duas hipóteses antes de responder |
| Responde tarde e acerta | Dúvida maior que o necessário ou caso difícil | Rever em que momento a resposta já estava clara |
| Responde tarde e erra | Lacuna de conhecimento sobre a doença | Voltar ao conteúdo antes de treinar mais casos |
Por que a calibração é difícil de melhorar
A segurança dura mais que o conhecimento
Num estudo com estudantes aprendendo a ler radiografias de tornozelo, cada resposta vinha com o grau de certeza, "com certeza" ou "provavelmente", e com retorno imediato (Pusic et al., 2015). Duas semanas depois, o acerto médio caiu de 59% para 53%, enquanto a frequência de respostas "com certeza" ficou estável, o que deixou os estudantes relativamente confiantes demais (Pusic et al., 2015). Os autores concluem que a capacidade de monitorar o próprio desempenho precisa ser medida à parte, porque não acompanha a habilidade clínica (Pusic et al., 2015).
Retorno ajuda, mas com limites
Num ensaio com residentes de medicina de família, ver o diagnóstico correto depois de cada caso difícil pouco melhorou a calibração em relação ao grupo sem retorno (Kuhn et al., 2022). Nos casos acertados, o grupo com retorno chegou a ficar menos calibrado, e os autores sugerem que, depois de ver os próprios erros, os residentes baixaram a confiança mesmo quando estavam certos (Kuhn et al., 2022).
Esses resultados mostram que calibrar não é só receber a resposta. É olhar o padrão ao longo de muitos casos: em quais situações você costuma ter razão quando se sente seguro e em quais costuma se enganar. O guia sobre acompanhar seu progresso traz um jeito de montar esse registro.
Como treinar a calibração
Antes de responder
- Diga a sua confiança num número de 0 a 10 antes de ver a resposta.
- Nomeie a segunda hipótese e o dado que a afastaria.
- Pergunte se o dado que falta muda a decisão; se não muda, responda.
Sinais de que você respondeu cedo demais
- Você acertou a área, mas não a doença, e não sabe dizer o que as separa.
- A sua hipótese explica a queixa principal, mas deixa de fora um achado do exame físico.
- A sua confiança era alta e o erro foi para outro capítulo da CID-10.
Depois do resultado
Anote a confiança e o resultado lado a lado. Depois de algumas semanas, separe os casos em que você estava muito seguro e veja quantos acertou. Esse é o retrato da sua calibração, e ele muda conforme o conhecimento cresce.
A pista em que você responde no NEXO
No NEXO, cada caso se abre em até seis pistas, e o jogador escolhe quando arriscar o diagnóstico. A pontuação do acerto cai a cada pista revelada, e isso torna visível o equilíbrio entre responder cedo e esperar mais um dado. Cada palpite mostra a proximidade na CID-10 em cinco níveis, da CID exata a outro capítulo.
Uma leitura possível, que é inferência nossa e não medida do jogo, é tratar a pista em que você responde como um retrato da sua confiança naquele caso. Responder na primeira pista sugere segurança; esperar até a última sugere dúvida. Cruzar essa pista com o resultado mostra onde a sua segurança tinha base. Na tela inicial, a distribuição de acertos por pista reúne esse padrão ao longo dos casos.
Se você pesquisa calibração diagnóstica e quer estudar o tema com o NEXO, conheça o NEXO Researcher. Para levar o NEXO à faculdade, à liga ou à residência, há o NEXO Closer. Médicos que revisam os casos da sua especialidade participam pelo NEXO Curator, e quem cria conteúdo de saúde nas redes pode participar pelo NEXO Creators.
Perguntas frequentes
O que é calibração diagnóstica?
É a correspondência entre a confiança num diagnóstico e a chance real de ele estar certo. Uma pessoa bem calibrada acerta muito quando se sente segura e duvida quando tem motivo para duvidar.
Responder rápido aumenta o erro?
Os estudos indicam que nem sempre. Num estudo com recém-formados, as respostas mais rápidas foram as mais certas, mesmo controlando o conhecimento (Sherbino et al., 2012).
Ver a resposta certa melhora a calibração?
Pode ajudar pouco. Em residentes diante de casos difíceis, ver o diagnóstico correto depois de cada caso pouco mudou a calibração (Kuhn et al., 2022). Olhar o padrão ao longo de muitos casos tende a ser mais útil.
Excesso de confiança é comum em estudantes?
Numa prova com formandos, cerca de 12% mostraram excesso de confiança significativo, e os melhores alunos tiveram menos excesso (Borracci e Arribalzaga, 2018).
Como o NEXO mostra a minha confiança?
O NEXO registra em que pista você acertou cada caso e reúne esse padrão na distribuição de acertos por pista da tela inicial. Ler essa pista como sinal de confiança é uma inferência útil para o estudo. Para conhecer o jogo, leia o que é o NEXO.
Checklist da calibração
- Dê uma nota de confiança antes de cada resposta.
- Nomeie a segunda hipótese e o dado que a afastaria.
- Busque o dado que separa, e não qualquer dado.
- Anote confiança e resultado lado a lado.
- Revise os casos de alta confiança a cada semana.
- Desconfie da segurança antiga em temas que você não revisa há tempo.
- Olhe o padrão, e não um caso isolado.
- Volte ao conteúdo quando errar com confiança alta.
Quer ver em que pista você costuma acertar? Jogue o caso do dia no NEXO.
Referências
- Borracci RA, Arribalzaga EB. The Incidence of Overconfidence and Underconfidence Effects in Medical Student Examinations. J Surg Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/29397355/
- Sherbino J, Dore KL, Wood TJ, et al. The relationship between response time and diagnostic accuracy. Acad Med. 2012. https://pubmed.ncbi.nlm.nih.gov/22534592/
- Al-Maghrabi M, Mamede S, Schmidt HG, et al. Overconfidence, Time-on-Task, and Medical Errors: Is There a Relationship? Adv Med Educ Pract. 2024. https://pubmed.ncbi.nlm.nih.gov/38410282/
- Kostopoulou O, Oudhoff J, Nath R, et al. Predictors of diagnostic accuracy and safe management in difficult diagnostic problems in family medicine. Med Decis Making. 2008. https://pubmed.ncbi.nlm.nih.gov/18556634/
- Pusic MV, Chiaramonte R, Gladding S, Andrews JS, Pecaric MR, Boutis K. Accuracy of self-monitoring during learning of radiograph interpretation. Med Educ. 2015. https://pubmed.ncbi.nlm.nih.gov/26152495/
- Kuhn J, van den Berg P, Mamede S, Zwaan L, Bindels P, van Gog T. Improving medical residents' self-assessment of their diagnostic accuracy: does feedback help? Adv Health Sci Educ Theory Pract. 2022. https://pubmed.ncbi.nlm.nih.gov/34739632/