Cómo seguir tu progreso en los estudios de Medicina
En cuatro estudios con pruebas de humor, gramática y lógica, quienes quedaron en el cuartil más bajo, con un resultado cercano al percentil 12, estimaron estar en el percentil 62 (Kruger y Dunning, 1999). Los autores vincularon esa diferencia a la dificultad de distinguir el propio acierto del propio error (Kruger y Dunning, 1999). Para quien estudia Medicina, la lección es directa: la sensación de estar yendo bien es un dato débil, y medir el progreso exige números que vienen de fuera de la cabeza.
NEXO es un juego diario de diagnóstico médico: un caso clínico por día, seis pistas progresivas y retroalimentación por proximidad en la CIE-10 en cinco niveles.
Este texto trata de cómo medir el progreso en los estudios: qué dice la investigación sobre la autoevaluación de estudiantes de la salud, cómo comparar confianza con acierto, qué métricas ayudan de verdad, cómo separar metas de proceso de metas de resultado y cómo leer un simulacro. La parte de registrar y clasificar cada error está en el texto sobre el cuaderno de errores.
Puntos principales
- La autoevaluación de estudiantes de la salud tuvo una validez de baja a moderada en una revisión clásica (Gordon, 1991).
- Los estudiantes de Medicina se evalúan de forma moderada y se vuelven más precisos en los años finales de la carrera (Blanch-Hartigan, 2011).
- La calibración es comparar la confianza con el acierto, y puede seguirse como una métrica.
- Acierto por tema, errores por tipo y calibración dicen más que la nota general.
- Las metas de proceso al principio y de resultado después tuvieron el mejor desempeño en un experimento clásico (Zimmerman y Kitsantas, 1997).
- Los simulacros y las pruebas de progreso son medidas externas útiles cuando se leen como serie, y no como nota aislada (Schuwirth y van der Vleuten, 2012).
Sumario
- Por qué medir el progreso
- Los límites de la autoevaluación
- Calibración: confianza y acierto
- Métricas que ayudan
- Metas de proceso y metas de resultado
- Los simulacros como medida
- Un panel semanal
- Dónde entra NEXO
- Preguntas frecuentes
- Checklist para acompañar tu progreso
Por qué medir el progreso
La carrera de Medicina es larga, el volumen de contenido es grande y los exámenes grandes llegan con meses de distancia. Entre un examen y otro, la referencia más a mano es la propia impresión, y es justamente la más sujeta a error.
La impresión de estar aprendiendo
Releer un resumen da la sensación de dominio, porque el texto parece familiar. El texto sobre la rutina de estudio explica por qué la sensación de saber engaña. Medir el progreso es cambiar esa impresión por respuestas: cuántas preguntas de cardiología acertaste esta semana, en qué tipo de error caíste más, cuánto coincidió tu confianza con el resultado.
Medir para decidir
Una medida solo vale si cambia alguna decisión. Como sugerencia práctica, antes de crear cualquier métrica, pregúntate: si este número baja, ¿qué hago diferente? Si la respuesta es clara, la métrica entra en el panel. Si la respuesta es "nada", puede quedarse fuera sin perjuicio.
Qué mide este texto
Aquí el foco es el desempeño en preguntas y casos: acierto, error, confianza y evolución a lo largo del tiempo. Las horas de estudio y las páginas leídas aparecen como metas de proceso, que tienen su lugar, pero que miden esfuerzo y no aprendizaje.
Los límites de la autoevaluación
La autoevaluación es la primera herramienta que todo estudiante tiene, y la investigación sobre ella en las profesiones de la salud es antigua.
Una revisión clásica
Gordon analizó 18 artículos publicados entre 1970 y 1990 que comparaban la autoevaluación de personas en formación, 14 de ellos con estudiantes y residentes de la salud, con la evaluación de especialistas o de pruebas objetivas (Gordon, 1991). La validez de la autoevaluación fue de baja a moderada y no mejoró con el tiempo en los programas de formación convencionales (Gordon, 1991).
Dos hallazgos de la revisión importan mucho para quien estudia. La autoevaluación pareció ligada a una imagen general que la persona tiene de sí misma y cambió poco con notas, resultados de exámenes o evaluaciones de profesores (Gordon, 1991). En cambio, en 5 programas con metas explícitas de autoevaluación y entrenamiento para ello, la validez fue de moderada a alta o mejoró con el tiempo (Gordon, 1991). Es decir, evaluarse a uno mismo es una habilidad que puede entrenarse.
Tres meta-análisis con estudiantes de Medicina
Blanch-Hartigan reunió 35 artículos sobre autoevaluación de estudiantes de Medicina en tres meta-análisis, uno para cada forma de medir la precisión (Blanch-Hartigan, 2011). Los estudiantes se mostraron moderadamente capaces de evaluar el propio desempeño y más precisos en los años finales de la carrera (Blanch-Hartigan, 2011).
Como grupo, no sobreestimaron ni subestimaron de forma significativa, pero tendieron a sobreestimar más en atenciones con paciente estandarizado, basados en comunicación, que en medidas objetivas de conocimiento (Blanch-Hartigan, 2011). Las alumnas subestimaron el propio desempeño más que los alumnos (Blanch-Hartigan, 2011).
| Estudio | Qué se analizó | Resultado principal |
|---|---|---|
| Gordon, 1991 | 18 artículos (Gordon, 1991) | Validez de baja a moderada (Gordon, 1991) |
| Blanch-Hartigan, 2011 | 35 artículos (Blanch-Hartigan, 2011) | Precisión moderada, mayor en los años finales (Blanch-Hartigan, 2011) |
| Kruger y Dunning, 1999 | 4 estudios fuera de la salud (Kruger y Dunning, 1999) | El cuartil bajo sobreestimó mucho el propio resultado (Kruger y Dunning, 1999) |
Quien sabe menos se equivoca más sobre sí mismo
En el estudio de Kruger y Dunning, mejorar la habilidad de los participantes también los ayudó a reconocer los límites de lo que sabían (Kruger y Dunning, 1999). Para el estudiante, esto tiene un lado alentador: a medida que aprendes un tema, mejoras también en percibir lo que aún te falta en él. En los temas nuevos, conviene desconfiar más de la propia impresión.
Repensar qué es autoevaluarse
Eva y Regehr propusieron reformular el propio concepto de autoevaluación en las profesiones de la salud y sugirieron una agenda de investigación sobre el tema (Eva y Regehr, 2005). Como lectura editorial, la consecuencia práctica para quien estudia es buscar fuentes externas de información, como preguntas, casos y simulacros, en vez de depender solo del juicio interno. La revisión sobre la precisión de la autoevaluación de médicos ya citada en el cuaderno de errores va en la misma dirección; está en la sección la autoevaluación falla.
Calibración: confianza y acierto
Calibración es cuánto acompaña tu confianza a tu acierto. Un estudiante bien calibrado acierta casi todo lo que marca como "tengo certeza" y falla buena parte de lo que marca como "hipótesis". Los estudios sobre confianza y acierto en el diagnóstico están reunidos en la sección retorno y calibración del texto sobre juegos de razonamiento clínico.
Registrar la confianza antes de la respuesta
Como sugerencia práctica, al resolver preguntas o casos, anota tu confianza antes de ver la respuesta correcta, en tres niveles: alta, media y baja. Después de algunas semanas, separa las respuestas por nivel y observa la tasa de acierto de cada uno. Lo que importa es el patrón, y no una pregunta aislada.
Cómo leer el resultado
| Patrón | Lectura posible (sugerencia del Editorial) |
|---|---|
| Confianza alta y acierto alto | Tema firme; mantener en repaso espaciado |
| Confianza alta y acierto bajo | Exceso de confianza; prioridad de estudio |
| Confianza baja y acierto alto | Conocimiento que aún subestimas; probar más para ganar seguridad |
| Confianza baja y acierto bajo | Laguna ya percibida; estudiar la base |
La línea más importante de la tabla es la segunda. Un error con mucha certeza muestra un punto en el que la autoevaluación falló, y es ahí donde la corrección rinde más. El tratamiento de esos errores en el cuaderno está en el texto sobre el cuaderno de errores.
La calibración también mejora
Los programas que enseñaron la autoevaluación de forma explícita tuvieron mejores resultados en la revisión de Gordon (Gordon, 1991). Como lectura editorial, registrar la confianza y comparar con la respuesta correcta es una forma simple de hacer ese entrenamiento por cuenta propia, con retorno en cada sesión.
Métricas que ayudan
La nota general de una lista de preguntas resume demasiado. Dos personas con el mismo porcentaje pueden tener lagunas completamente diferentes. Métricas más finas muestran dónde actuar.
Tasa de acierto por tema
Separa las preguntas por gran área y, dentro de ella, por tema: en cardiología, por ejemplo, insuficiencia cardíaca, arritmias y valvulopatías. Como sugerencia práctica, sigue la tasa de acierto de cada tema a lo largo de las semanas. El tema que se estanca o baja es el candidato al próximo bloque de estudio, aunque la nota general esté bien.
Errores por tipo
Contar los errores por tipo muestra si el problema es falta de conocimiento, razonamiento o atención. Las categorías y cómo registrarlas están en tipo de error: conocimiento, razonamiento, atención. Aquí, el punto es usar ese conteo como métrica: si los errores de atención suben en un mes de exámenes, la respuesta es diferente de cuando suben los errores de conocimiento.
Calibración por tema
La tabla de confianza y acierto también puede hacerse por tema. El exceso de confianza concentrado en un tema suele indicar que se estudió solo por relectura. Como sugerencia práctica, pon ese tema en una ronda de preguntas sin consulta.
Tendencia, y no el día
Una semana mala dice poco. El progreso aparece en la serie: la misma métrica medida del mismo modo, repetida en el tiempo. Como sugerencia práctica, compara promedios de varias semanas, y no un día con otro.
| Métrica | Qué muestra | Qué hacer cuando empeora (sugerencia del Editorial) |
|---|---|---|
| Acierto por tema | Dónde el conocimiento está firme o débil | Estudiar la base del tema y volver a testar |
| Errores por tipo | Si el problema es conocimiento, razonamiento o atención | Ajustar el método al tipo de error |
| Calibración | Si la confianza acompaña al acierto | Más preguntas sin consulta en el tema |
| Evolución en simulacros | Tendencia a lo largo del curso | Revisar la distribución del tiempo entre áreas |
Métricas que piden cuidado
Horas de estudio, páginas leídas y número de preguntas hechas son metas de proceso útiles, pero miden esfuerzo. Entran en el panel junto a las métricas de desempeño, y no en su lugar. Una semana con muchas horas y acierto estancado es una señal para cambiar el método, como muestran las estrategias de aprendizaje activo.
Metas de proceso y metas de resultado
Una meta de proceso describe lo que vas a hacer: resolver una lista por día, revisar los errores de la semana el domingo. Una meta de resultado describe a dónde quieres llegar: subir el acierto en cardiología, aprobar el examen de residencia. Las dos tienen su lugar, y el orden importa.
El experimento de los dardos
Zimmerman y Kitsantas estudiaron a 90 estudiantes de secundaria, todas chicas, aprendiendo a lanzar dardos (Zimmerman y Kitsantas, 1997). Las que empezaron con metas de proceso y después pasaron a metas de resultado superaron a las que se quedaron solo en las metas de proceso, que a su vez superaron a las que usaron solo metas de resultado (Zimmerman y Kitsantas, 1997).
La ganancia apareció en la habilidad, en las reacciones al propio desempeño, en la confianza en la propia capacidad y en el interés por la tarea (Zimmerman y Kitsantas, 1997). El autorregistro, una forma de anotar el propio desempeño, también mejoró la habilidad y la confianza (Zimmerman y Kitsantas, 1997).
Qué se puede llevar a la Medicina
El experimento fue con una habilidad motora, fuera de la Medicina, y el resultado debe leerse con esa salvedad. Como lectura editorial, la idea que sugiere es simple: en un tema nuevo, empieza con metas de proceso, como hacer un bloque de preguntas por día; cuando el método esté firme, pasa a mirar el resultado, como la tasa de acierto del tema. Anotar el propio desempeño, que es lo que propone el panel de este texto, dialoga con el efecto del autorregistro en el estudio.
Treinta y cinco años de investigación sobre metas
Locke y Latham resumieron 35 años de investigación sobre definición de metas, con los principales hallazgos, los mecanismos por los cuales las metas actúan, los factores que cambian su efecto y los límites de la teoría (Locke y Latham, 2002). Es una buena lectura para quien quiere entender por qué algunas metas ayudan más que otras. El lado de juego de las metas, con puntos y racha, está en metas, puntos y racha.
Ejemplos de metas
| Tipo | Ejemplo (sugerencia del Editorial) | Cómo medir |
|---|---|---|
| Proceso | Resolver un bloque de preguntas de cardiología por día | Días cumplidos en la semana |
| Proceso | Revisar los errores de la semana el domingo | Revisión hecha o pendiente |
| Resultado | Subir el acierto en arritmias | Tasa de acierto del tema a lo largo de las semanas |
| Resultado | Mejorar la calibración en infectología | Acierto de las respuestas con confianza alta |
Simulacros como medida
El simulacro es la medida externa más cercana al examen real. Bien leído, muestra dónde estás y hacia dónde vas; mal leído, se vuelve solo una nota para celebrar o lamentar.
Qué puede predecir un simulacro
Morrison y colegas estudiaron a 12.224 estudiantes de Estados Unidos y Canadá que hicieron un simulacro oficial antes del primer intento en el Step 1, la primera etapa del examen de licencia médica estadounidense (Morrison et al., 2010). La nota del simulacro explicó 67% de la variación en la nota del examen cuando se usó sola, y 69% cuando el intervalo entre los exámenes también entró en la cuenta (Morrison et al., 2010). Quien tuvo nota baja en el simulacro tuvo mayor riesgo de reprobar en el primer intento (Morrison et al., 2010).
Los autores concluyen que el simulacro puede dar al estudiante una autoevaluación realista de su preparación para el examen (Morrison et al., 2010). El dato vale para un simulacro específico, hecho por la misma entidad que elabora la prueba, y para ese examen.
La prueba de progreso
La prueba de progreso es una forma de evaluación longitudinal: pruebas equivalentes, pero diferentes, aplicadas varias veces a lo largo del curso, cuyos resultados se combinan para mostrar el crecimiento del conocimiento de cada estudiante (Schuwirth y van der Vleuten, 2012). Los autores describen un efecto positivo en el comportamiento de estudio, por desalentar el estudio concentrado de última hora, y buena validez predictiva (Schuwirth y van der Vleuten, 2012).
También señalan un cuidado técnico: igualar la dificultad de las pruebas sucesivas, para que la variación entre una y otra no se confunda con progreso (Schuwirth y van der Vleuten, 2012). La guía de Wrigley y colegas recuerda que las pruebas de opción múltiple cargan una variación de error que desafía la validez y la confiabilidad de los resultados, y propone un modelo para mejorar la calidad de los datos de la prueba de progreso (Wrigley et al., 2012).
Cómo leer tu simulacro
Como sugerencia práctica, lee cada simulacro en tres capas:
- La nota general, comparada con tus simulacros anteriores, y no con el promedio del grupo en un solo día.
- Los aciertos por área y por tema, para encontrar lo que bajó o quedó estancado.
- Los errores por tipo y la confianza, para decidir si el próximo paso es estudiar la base, entrenar el razonamiento o cuidar la atención.
Los simulacros de orígenes diferentes tienen dificultades diferentes. Como lectura editorial, compara de preferencia simulacros de la misma fuente, por el mismo motivo que lleva a la prueba de progreso a igualar la dificultad de las pruebas.
El simulacro también es entrenamiento
Hacer el simulacro ya es una forma de ponerse a prueba, y la corrección con retroalimentación cierra el ciclo. Por qué ponerse a prueba ayuda a recordar está en el texto sobre repasar jugando.
Un panel semanal
Reunir las métricas en un solo lugar ayuda a ver la tendencia. El panel puede ser una hoja de cálculo simple o una página del cuaderno.
Qué entra
Como sugerencia práctica, un panel semanal puede tener cinco columnas: semana, aciertos por tema en las áreas que estás estudiando, conteo de errores por tipo, aciertos de las respuestas con confianza alta y metas de proceso cumplidas. Una fila por semana ya basta.
Una revisión de diez minutos
Al final de la semana, mira el panel y responde tres preguntas: qué tema mejoró, cuál quedó estancado y qué tipo de error apareció más. La respuesta se convierte en la meta de proceso de la semana siguiente. Este ritual corto cabe en la rutina descrita en el texto sobre cómo encajar juegos en la rutina de estudio.
Errores comunes al medir el progreso
- Medir solo la nota general. Esconde los temas débiles detrás de los fuertes.
- Comparar un día con otro. La variación natural engaña; mira la serie.
- Cambiar la regla cada semana. Las métricas que cambian de definición dejan de ser comparables.
- Confiar más en la impresión que en el número. La investigación sobre autoevaluación muestra por qué la impresión falla (Gordon, 1991).
- Medir el esfuerzo como si fuera aprendizaje. Las horas y las páginas son proceso; el acierto es el resultado.
- Comparar simulacros de fuentes diferentes. La dificultad cambia de una fuente a otra.
Dónde entra NEXO
Cada caso de NEXO llega en hasta seis pistas, una a la vez, y cada hipótesis recibe retroalimentación de proximidad en la CIE-10, del capítulo al código exacto. Eso ya es una pequeña medida en cada caso: en qué pista llegaste al diagnóstico y qué tan cerca quedaste en las hipótesis anteriores.
En cuántas pistas se cierra el diagnóstico
La pantalla inicial muestra la distribución de tus aciertos por pista: en cuántas pistas suele cerrarse el diagnóstico, como se describe en las novedades de NEXO. Como sugerencia práctica, sigue esa distribución a lo largo de las semanas; acertar con menos pistas es una señal de progreso en el razonamiento, y los aciertos que se concentran en las últimas pistas indican temas para repasar.
Constancia, nivel y logros
El historial de la racha aparece como calendario, y la barra de nivel en la pantalla inicial muestra el XP hecho en el nivel actual, ambos descritos en las novedades de NEXO. Los logros aparecen como senderos, con las etapas en orden, lo que ya se completó y cuál es la siguiente. Son buenas medidas de proceso: muestran si el hábito está firme. El ranking tiene las pestañas Global, Universidades y Grupo, para quien le gusta seguir a su clase.
Llevar el caso a tu panel
Como sugerencia práctica, cuando falles un caso o aciertes solo en las últimas pistas, anota el tema y el tipo de error en tu panel semanal, y usa el Archivo para rehacer casos anteriores del mismo tema. El botón de Anki lleva el diagnóstico que faltó a una tarjeta, como muestra la guía de repetición espaciada.
Para investigar, llevar a tu clase y crear
Si investigas evaluación y autoevaluación en la educación médica y quieres proponer estudios con NEXO, conoce NEXO Researcher. Para llevar NEXO a la facultad, a la liga o a la residencia, existe NEXO Closer. Los médicos que revisan los casos de su especialidad participan por medio de NEXO Curator, y quienes crean contenido de salud en las redes pueden participar por medio de NEXO Creators.
Preguntas frecuentes
¿Cómo medir el progreso en los estudios de Medicina?
Con medidas externas, repetidas de la misma forma a lo largo del tiempo: tasa de acierto por tema en preguntas y casos, conteo de errores por tipo, comparación entre confianza y acierto y evolución en simulacros de la misma fuente. La impresión personal ayuda poco, porque la autoevaluación de estudiantes de la salud tuvo validez de baja a moderada en una revisión clásica (Gordon, 1991).
¿Es confiable la autoevaluación de estudiantes de Medicina?
Es moderada. En los metaanálisis de Blanch-Hartigan, los estudiantes se evaluaron de forma moderadamente precisa y mejoraron en los años finales del curso (Blanch-Hartigan, 2011). Por eso conviene combinar la autoevaluación con datos de preguntas y simulacros.
¿Qué es la calibración en los estudios?
Es cuánto acompaña tu confianza a tu acierto. Para medirla, anota la confianza antes de ver la respuesta correcta y compara la tasa de acierto de las respuestas con confianza alta, media y baja.
¿Meta de proceso o meta de resultado?
Las dos, en racha. En el experimento de Zimmerman y Kitsantas, comenzar con metas de proceso y pasar después a metas de resultado dio mejor desempeño que usar solo una de ellas (Zimmerman y Kitsantas, 1997). El estudio fue con una habilidad motora, fuera de la Medicina.
¿El simulacro predice el resultado del examen?
En un estudio con 12.224 estudiantes, la nota de un simulacro oficial explicó 67% de la variación en la nota del Step 1, la primera etapa del examen de licencia médica de Estados Unidos (Morrison et al., 2010). El dato vale para ese simulacro y ese examen; en otros contextos la relación puede ser diferente.
¿Qué es una prueba de progreso?
Es una evaluación longitudinal, con pruebas equivalentes aplicadas varias veces a lo largo del curso para mostrar el crecimiento del conocimiento de cada estudiante (Schuwirth y van der Vleuten, 2012).
¿Con qué frecuencia debo revisar mis métricas?
Una revisión corta por semana es una buena sugerencia práctica. El progreso aparece en la serie, así que compara promedios de varias semanas en vez de un día con otro.
¿Cómo ayuda NEXO a seguir el progreso?
La pantalla inicial muestra en cuántas pistas suele cerrar tu diagnóstico, la racha aparece como calendario y los logros aparecen como senderos, con la siguiente etapa a la vista. Cada caso llega en hasta seis pistas, con retorno de proximidad en la CIE-10 a cada hipótesis.
Lista de verificación para seguir tu progreso
- ¿Definí las métricas que voy a seguir y cómo voy a medir cada una?
- ¿Anoto la confianza antes de ver la respuesta correcta?
- ¿Separo el acierto por tema, y no solo por la nota general?
- ¿Cuento los errores por tipo al final de la semana?
- ¿Tengo metas de proceso para los temas nuevos?
- ¿Paso a metas de resultado cuando el método está firme?
- ¿Comparo simulacros de la misma fuente a lo largo del tiempo?
- ¿Leo cada simulacro en nota, tema y tipo de error?
- ¿Miro la tendencia de varias semanas, y no un día aislado?
- ¿Decidí qué cambia la semana siguiente a partir del panel?
Referencias
- Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. Acad Med. 1991. https://pubmed.ncbi.nlm.nih.gov/1750956/
- Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med. 2005. https://pubmed.ncbi.nlm.nih.gov/16199457/
- Blanch-Hartigan D. Medical students' self-assessment of performance: results from three meta-analyses. Patient Educ Couns. 2011. https://pubmed.ncbi.nlm.nih.gov/20708898/
- Kruger J, Dunning D. Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Pers Soc Psychol. 1999. https://pubmed.ncbi.nlm.nih.gov/10626367/
- Zimmerman BJ, Kitsantas A. Developmental phases in self-regulation: shifting from process goals to outcome goals. J Educ Psychol. 1997. https://doi.org/10.1037/0022-0663.89.1.29
- Locke EA, Latham GP. Building a practically useful theory of goal setting and task motivation. A 35-year odyssey. Am Psychol. 2002. https://pubmed.ncbi.nlm.nih.gov/12237980/
- Morrison CA, Ross LP, Fogle T, et al. Relación entre el desempeño en un simulacro oficial de ciencias básicas y el Step 1 del USMLE en estudiantes de Estados Unidos y Canadá (título original en inglés en PubMed). Acad Med. 2010. https://pubmed.ncbi.nlm.nih.gov/20881715/
- Schuwirth LW, van der Vleuten CP. The use of progress testing. Perspect Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/23316456/
- Wrigley W, van der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012. https://pubmed.ncbi.nlm.nih.gov/22905655/