Modelo de Kirkpatrick: cómo evaluar un programa de enseñanza
Índice
El curso de razonamiento clínico terminó, y la coordinación pide un informe. La primera idea es la de siempre: un formulario en el último día, con notas de uno a cinco para el profesor, el material y el horario. Las notas llegan altas, y todo el mundo queda satisfecho. Aun así, nadie sabe si el grupo pasó a razonar mejor, si cambió algo en la práctica o si algún paciente fue atendido de otro modo por causa del curso.
NEXO es un juego diario de diagnóstico médico: un caso clínico por día, seis pistas progresivas y retroalimentación por proximidad en la CIE-10 en cinco niveles.
La pregunta "¿el curso funcionó?" tiene capas, y el modelo de Kirkpatrick es la forma más conocida de separarlas. Esta guía explica los cuatro niveles, muestra lo que encontraron las revisiones cuando aplicaron el modelo a la educación médica, presenta las críticas más serias y propone una ruta para diseñar la evaluación de un curso, una práctica o una liga.
Puntos principales
- El modelo de Kirkpatrick organiza la evaluación de un programa en cuatro niveles: reacción, aprendizaje, comportamiento y resultados.
- En las revisiones de educación médica, la mayor parte de los estudios se queda en los dos primeros niveles, y pocos llegan al comportamiento o al paciente.
- Un análisis crítico concluyó que el modelo sirve bien solo en diseños simples, condición que cumple cerca de una quinta parte de las revisiones del área.
- Las principales críticas: foco en el resultado sin explicar el porqué, la suposición de que un nivel lleva al otro y la idea de que el nivel más alto vale más.
- Una versión revisada, la New World Kirkpatrick, intenta responder a parte de esas críticas, pero la evaluación sigue exigiendo preguntas sobre el proceso.
Qué es el modelo de Kirkpatrick
Un origen fuera de la medicina
El modelo fue creado por Donald Kirkpatrick para evaluar entrenamientos en la industria y solo después llegó a la educación médica (Yardley y Dornan, 2012). La idea central es simple: un entrenamiento puede evaluarse en capas cada vez más distantes del aula, desde lo que el participante opinó hasta el efecto sobre la organización.
Hoy el modelo aparece en todas partes. Una revisión de 2022 describió su uso en las profesiones de salud como amplio y creciente, y mostró que entró en herramientas de calidad de pesquisa y en directrices de revisión, como el MERSQI y el BEME (Allen et al., 2022).
Evaluar el programa, y no solo al alumno
Evaluar un programa es distinto de evaluar a un estudiante. El examen mide lo que una persona sabe; la evaluación del programa pregunta si el conjunto de clases, prácticas, materiales y actividades produjo el efecto pretendido, y por qué. La distinción importa porque un programa puede aprobar a todos los alumnos y aun así fallar en el objetivo que lo justificó.
Cuando evaluar una herramienta es otra conversación
Evaluar una aplicación o un juego, como hace la guía sobre gamificación en la educación médica, mira una pieza aislada. El modelo de Kirkpatrick se usa más para el curso entero, en el que la herramienta es solo uno de los ingredientes.
Los cuatro niveles en la educación médica
Nivel 1: reacción
Qué opinaron los participantes: satisfacción, relevancia percibida, disposición a recomendar. Es el nivel más fácil de medir, con un formulario en el último día. También es el que menos dice sobre el aprendizaje, porque gustar de una clase y aprender con ella son cosas distintas.
Nivel 2: aprendizaje
Qué cambió en conocimiento, habilidad o actitud. Aquí entran exámenes antes y después, estaciones prácticas y cuestionarios de actitud. En un curso de razonamiento clínico, por ejemplo, sería comparar el desempeño en casos escritos al inicio y al final, con el mismo tipo de caso y el mismo criterio de corrección.
Nivel 3: comportamiento
Qué pasó el participante a hacer de distinto en el trabajo. Es más difícil de medir porque exige observar la práctica: registros en la historia clínica, observación directa, evaluación por preceptores. La guía de simulación de atención muestra instrumentos de observación que pueden servir aquí.
Nivel 4: resultados
El efecto sobre pacientes, servicios o indicadores del sistema. Es el nivel más citado como ideal y el más raro de alcanzar, porque muchas otras cosas cambian entre el curso y el paciente.
.jpg){kind=link}
Qué encontraron las revisiones
Mucha reacción, poco paciente
Una revisión sobre educación médica continuada por internet clasificó los resultados evaluados con los niveles de Kirkpatrick y concluyó que la mayor parte de las investigaciones se basaba en datos de satisfacción de los participantes (Curran y Fleet, 2005). Había poca investigación que mostrara cambios en la práctica clínica, y ningún estudio mostró efecto sobre desenlaces de pacientes o de salud (Curran y Fleet, 2005).
El patrón se repitió en el pregrado. Una revisión sistemática sobre prácticas en medicina de familia incluyó 64 artículos: 26 estudios evaluaron en el nivel 1, 26 en el nivel 2 y 6 en el nivel 3 (Turkeshi et al., 2015). Los autores consideraron limitada la calidad de la investigación y pidieron instrumentos estandarizados y validados (Turkeshi et al., 2015).
Cuando la evaluación llega más lejos
Una revisión sobre educación espaciada para médicos ya formados encontró 17 estudios, con 2.701 profesionales, y todos fueron evaluados con una versión modificada de los cuatro niveles (Phillips et al., 2019). Diez estudios mostraron ganancia de conocimiento, siete reportaron cambio de comportamiento clínico y solo dos reportaron mejora en desenlaces de pacientes (Phillips et al., 2019).
El diseño en embudo es típico: muchos estudios al principio, pocos al final. La explicación es en parte práctica, porque medir un desenlace de paciente exige tiempo, muestra y acceso a datos que un curso rara vez tiene.
Un ejemplo con la versión revisada
Una revisión sobre narrativas digitales en la enseñanza de las profesiones de salud usó la New World Kirkpatrick e incluyó solo estudios con resultado en los niveles 2 o 3 (Moreau et al., 2018). De 16 artículos con datos, 14 trataron sobre aprendizaje y solo dos midieron también cambio de comportamiento (Moreau et al., 2018). Incluso con el modelo revisado, el nivel 3 siguió siendo raro.
Las críticas al modelo
Sirve para diseños simples
Un análisis crítico concluyó que los niveles cargan tantas suposiciones implícitas que solo funcionan bien en diseños de enseñanza relativamente simples, con resultados de corto plazo y beneficiarios que van más allá de los alumnos (Yardley y Dornan, 2012). Según los autores, esas condiciones se cumplen en quizá una quinta parte de las revisiones de evidencia en educación médica (Yardley y Dornan, 2012).
Fuera de esas condiciones, usar los niveles como jerarquía de calidad aporta poco, y la calidad de una evidencia depende tanto del uso que se quiera hacer de ella como de cualquier medida objetiva (Yardley y Dornan, 2012).
Cuatro problemas de fondo
La revisión de 2022 resumió las principales críticas al modelo (Allen et al., 2022):
- El foco es el resultado, y los factores que influyen en el resultado quedan fuera.
- Se supone una relación causal positiva entre los niveles, como si la satisfacción llevara al aprendizaje y el aprendizaje al cambio de práctica.
- Se supone que el nivel más alto es el más importante.
- Los efectos no previstos del programa quedan invisibles.
Los autores añaden que el uso del modelo por herramientas como el MERSQI y por organizaciones como el BEME y la OMS alimenta el mito de que es el patrón de referencia para evaluar programas (Allen et al., 2022). Su propuesta es pasar de medir resultados a investigar cómo y por qué ocurren (Allen et al., 2022).
La New World Kirkpatrick
En respuesta a esas críticas surgió la New World Kirkpatrick, una versión revisada para entornos complejos (Moreau, 2017). El artículo que la presenta destaca tres críticas al modelo original y discute cómo la versión nueva intenta responderlas, invitando a los profesores a probarla y a investigar sus puntos fuertes y débiles (Moreau, 2017).
En la práctica, la versión nueva sugiere empezar por el resultado deseado y diseñar el programa de atrás hacia adelante, además de mirar lo que ocurre entre los niveles. Mejora el mapa, pero la pregunta sobre el proceso sigue a cargo de quien evalúa.
Cómo diseñar la evaluación de un programa
Empieza por la pregunta
Antes de elegir un instrumento, define qué promete el programa. Un curso de razonamiento clínico puede prometer que el grupo armará listas de hipótesis más completas, como describe la guía de diagnóstico diferencial. Esa promesa indica el nivel que más importa y el tipo de dato necesario.
Elige un indicador por nivel
Un diseño mínimo puede tener un indicador por nivel:
| Nivel | Pregunta | Ejemplo de indicador |
|---|---|---|
| Reacción | ¿El grupo consideró relevante el curso? | Cuestionario breve al final de cada módulo |
| Aprendizaje | ¿Mejoró el razonamiento? | Casos escritos antes y después, con la misma rúbrica de corrección |
| Comportamiento | ¿Cambió la práctica? | Observación de tutores o revisión de registros en la rotación |
| Resultados | ¿Cambió algo para el servicio o el paciente? | Indicador elegido con el servicio, cuando haya acceso |
El nivel 4 puede quedar como objetivo de largo plazo. Mejor declararlo en el informe que inventar una relación que los datos no sostienen.
Pregunta también cómo y por qué
Para responder a la crítica de enfocarse solo en el resultado, agrega preguntas sobre el proceso (Allen et al., 2022): quién participó de hecho, qué partes funcionaron, qué estorbó, qué efectos nadie esperaba. Entrevistas breves y grupos focales sirven para eso.
Usa la retroalimentación como dato
Los comentarios abiertos de un formulario son datos de proceso. Leer esas respuestas con método, como sugiere la guía de retroalimentación en casos clínicos, ayuda a explicar por qué un nivel subió y otro quedó estancado.
Haz seguimiento a lo largo del tiempo
Una medición el último día muestra el efecto inmediato. Una segunda medición meses después muestra lo que quedó, un punto ligado a la retención del conocimiento médico. Los programas de aprendizaje activo y de aprendizaje basado en casos se benefician de ese seguimiento, porque el efecto buscado suele aparecer en la rotación, y no en el aula.
Datos de desempeño e investigación en NEXO
NEXO registra información que puede entrar como indicador de proceso en una evaluación: la distribución de aciertos por pista muestra en qué momento cada jugador suele llegar al diagnóstico, y la proximidad en la CIE-10 en cinco niveles muestra a qué distancia quedó cada Sin hipótesis. El caso del día llega en hasta seis pistas, y el ranking de grupo permite seguir a un grupo. Esos datos describen el desempeño en el juego; lo que dicen sobre la práctica es una pregunta de investigación.
Los casos son ficticios con presentación clínica real, y la guía qué es NEXO explica la partida completa. Cómo se desbloquean los modos está en la página de economía de NEXO.
Los investigadores en educación médica que quieran estudiar el juego con un diseño de evaluación propio pueden proponer estudios a través de NEXO Researcher. Si coordinas una facultad, una liga o una residencia, conoce NEXO Closer. Los médicos que revisan casos participan a través de NEXO Curator, y quienes crean contenido de salud en las redes pueden participar a través de NEXO Creators.
Preguntas frecuentes
¿Qué es el modelo de Kirkpatrick?
Es un modelo de evaluación de capacitaciones en cuatro niveles: reacción, aprendizaje, comportamiento y resultados.
¿Cuáles son los cuatro niveles de Kirkpatrick?
Reacción (lo que los participantes opinaron), aprendizaje (lo que aprendieron), comportamiento (lo que cambió en la práctica) y resultados (el efecto sobre el servicio o el paciente).
¿El nivel 4 es siempre el más importante?
La revisión de 2022 enumera esa suposición entre las críticas al modelo (Allen et al., 2022). El nivel más importante depende de la pregunta del programa.
¿Qué es la New World Kirkpatrick?
Una versión revisada del modelo que intenta responder a las críticas al original y lidiar con entornos de enseñanza complejos (Moreau, 2017).
¿Por qué tantos estudios se quedan en los niveles 1 y 2?
Porque medir comportamiento y desenlace exige observación en la práctica, más tiempo y acceso a datos que muchos cursos todavía dejan de planificar.
¿NEXO puede entrar en una evaluación?
Los datos de desempeño en el juego pueden servir como indicador de proceso, y las propuestas de estudio pasan por NEXO Researcher.
Lista de verificación de la evaluación de un programa
- Escribe la promesa del programa en una frase.
- Elige el nivel que responde a esa promesa.
- Define un indicador para cada nivel que vas a medir.
- Mide antes y después, con el mismo criterio.
- Pregunta cómo y por qué, además de cuánto.
- Busca efectos inesperados, buenos y malos.
- Repite la medición meses después.
¿Quieres ver el razonamiento en datos? Juega el caso del día en NEXO.
Referencias
- Yardley S, Dornan T. Kirkpatrick's levels and education 'evidence'. Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/22150201/
- Allen LM, Hay M, Palermo C. Evaluation in health professions education-Is measuring outcomes enough? Med Educ. 2022. https://pubmed.ncbi.nlm.nih.gov/34463357/
- Moreau KA. Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox? Med Teach. 2017. https://pubmed.ncbi.nlm.nih.gov/28649887/
- Curran VR, Fleet L. A review of evaluation outcomes of web-based continuing medical education. Med Educ. 2005. https://pubmed.ncbi.nlm.nih.gov/15910431/
- Turkeshi E, Michels NR, Hendrickx K, Remmen R. Impact of family medicine clerkships in undergraduate medical education: a systematic review. BMJ Open. 2015. https://pubmed.ncbi.nlm.nih.gov/26243553/
- Phillips JL, Heneka N, Bhattarai P, Fraser C, Shaw T. Effectiveness of the spaced education pedagogy for clinicians' continuing professional development: a systematic review. Med Educ. 2019. https://pubmed.ncbi.nlm.nih.gov/31144348/
- Moreau KA, Eady K, Sikora L, Horsley T. Digital storytelling in health professions education: a systematic review. BMC Med Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/30200945/