Modelo de Kirkpatrick: evaluar un programa de enseñanza

La coordinación de un curso de medicina acaba de impartir, por primera vez, un módulo de simulación de atención para el cuarto año. A los alumnos les encantó: el formulario del último día llegó lleno de notas máximas y comentarios elogiosos. En la reunión de colegiado, alguien pregunta si el módulo debe volverse obligatorio. Otra profesora levanta la mano: "les gustó, pero ¿aprendieron? Y, si aprendieron, ¿eso cambia algo en el internado?". Nadie tiene la respuesta, porque nadie planificó cómo medir.

Esta escena se repite en ligas académicas, residencias y programas de educación continua. El modelo de Kirkpatrick es la herramienta más usada para organizar esta conversación: separa lo que significa "salir bien" en cuatro niveles, desde la satisfacción de quienes participaron hasta el impacto en los resultados. Esta guía explica los niveles con ejemplos de la educación médica, muestra lo que encontraron las revisiones cuando aplicaron el modelo, presenta las críticas más serias y propone una manera práctica de diseñar la evaluación de un programa antes de que empiece.

Puntos principales

• El modelo de Kirkpatrick organiza la evaluación de un programa de enseñanza en cuatro niveles: reacción, aprendizaje, comportamiento y resultados.
• En la educación médica, la mayoría de las evaluaciones publicadas se detiene en el primer o en el segundo nivel; pocas miden el cambio de práctica y menos aún los desenlaces de los pacientes.
• Una satisfacción alta no garantiza el aprendizaje, y el aprendizaje en una prueba no garantiza un cambio de comportamiento en el servicio.
• Las críticas principales: el modelo mira solo los resultados, supone una cadena causal entre los niveles e ignora el contexto y los efectos no planificados.
• La versión llamada New World Kirkpatrick y modelos como el CIPP y el modelo lógico ayudan a explicar cómo y por qué funciona un programa.
• La evaluación debe diseñarse antes del programa, empezando por el resultado que se quiere alcanzar.

Sumario

• Qué es el modelo de Kirkpatrick
• Los cuatro niveles en la educación médica
• Qué encontraron las revisiones
• Las críticas al modelo
• Alternativas y complementos
• Cómo diseñar la evaluación de un programa
• Kirkpatrick en el día a día de quien enseña
• Cómo entra NEXO en la evaluación de un programa
• Preguntas frecuentes
• Lista de verificación de la evaluación de un programa

Qué es el modelo de Kirkpatrick

El modelo fue propuesto por Donald Kirkpatrick a finales de la década de 1950 para evaluar capacitaciones en empresas. La pregunta era práctica: ¿cómo saber si un curso ofrecido a los empleados valió la inversión? La respuesta fue dividir la evaluación en cuatro niveles, cada uno más exigente que el anterior. Primero, cómo reaccionaron los participantes. Después, qué aprendieron. Luego, si cambiaron su comportamiento en el trabajo. Por último, si la organización obtuvo los resultados esperados.

La educación médica adoptó el modelo con entusiasmo, porque ofrece un vocabulario común para una pregunta difícil. Cuando un artículo dice que evaluó un curso "en el nivel dos", cualquier lector sabe que hubo una medida de aprendizaje, y no solo de satisfacción. La guía AMEE de Frye y Hemmer describe el modelo de Kirkpatrick junto a otros modelos de evaluación y recuerda que la elección depende de la complejidad del programa y de lo que los educadores necesitan saber.

Una adaptación para la educación médica

En la tradición de la educación médica basada en evidencias, Belfield y colegas propusieron cinco niveles de efectividad: participación, reacción, aprendizaje, comportamiento y resultados de salud. Al analizar más de trescientos resúmenes, encontraron poca investigación sobre desenlaces en salud y bastante ambigüedad sobre qué cuenta como medida de efectividad. Muchas revisiones sistemáticas del área todavía usan alguna versión de esta escala, con el nivel dos dividido en cambio de actitudes y cambio de conocimientos o habilidades, y el nivel cuatro dividido en cambio en la organización y beneficio para los pacientes.

Evaluación de resultado y evaluación de programa

Conviene separar desde ya dos tipos de pregunta. La evaluación de resultado quiere saber si el programa produjo el efecto esperado. La evaluación de programa quiere saber cómo y por qué el efecto apareció o dejó de aparecer, en qué contexto y para quién. El modelo de Kirkpatrick responde muy bien a la primera y poco a la segunda, y esa diferencia explica la mayor parte de las críticas que aparecen más adelante.

Los cuatro niveles en la educación médica

Cada nivel responde a una pregunta diferente y pide instrumentos diferentes. La tabla siguiente resume los niveles con ejemplos típicos de un módulo de razonamiento clínico o de simulación.

Nivel	Pregunta	Ejemplo de medida	Límite principal
1. Reacción	¿Los participantes disfrutaron y lo consideraron útil?	Cuestionario de satisfacción en el último encuentro	Disfrutar no es aprender
2. Aprendizaje	¿Hubo ganancia de conocimiento, habilidad o actitud?	Examen antes y después; estación de habilidades	La ganancia en la prueba puede no llegar al servicio
3. Comportamiento	¿Cambió la práctica en el servicio?	Observación directa; revisión de historias clínicas	Depende del contexto, de la jefatura y del tiempo
4. Resultados	¿Se beneficiaron los pacientes o la institución?	Indicadores de calidad y seguridad	Muchos factores además del programa

Nivel 1: reacción

La reacción es el nivel más fácil de medir y el más medido. Un cuestionario corto al final del curso revela si el contenido pareció relevante, si el formato funcionó y si los participantes recomendarían la experiencia. Ese dato tiene valor: un curso que nadie soporta difícilmente enseña algo. El problema es detenerse aquí. La satisfacción depende de factores como el carisma del profesor, el horario y la expectativa, y no tiene relación garantizada con el aprendizaje.

Nivel 2: aprendizaje

El segundo nivel pregunta si hubo una ganancia medible de conocimiento, habilidad o actitud. Exámenes antes y después, estaciones prácticas, evaluación de casos escritos y escalas de actitud entran aquí. La calidad del instrumento importa mucho. En la evaluación basada en simulación, la revisión de Ilgen y colegas comparó listas de verificación y escalas globales y encontró una correlación alta entre los dos tipos de instrumento, con una confiabilidad entre evaluadores parecida, lo que ayuda a elegir según la tarea y la experiencia de quien evalúa.

Nivel 3: comportamiento

El tercer nivel quiere saber si la persona pasó a hacer algo diferente en el trabajo. Es aquí donde la evaluación se vuelve cara: exige observación en el servicio, revisión de historias clínicas o relatos de colegas, y necesita tiempo para que el cambio aparezca. También es aquí donde el contexto pesa más. Un interno que aprendió a hacer una pausa para revisar hipótesis puede no usar lo que aprendió si el equipo no abre espacio para eso.

Nivel 4: resultados

El cuarto nivel pregunta si se beneficiaron los pacientes, los equipos o la institución. En la educación médica, eso puede significar menos errores, mejor adherencia a los protocolos o mejores desenlaces clínicos. Es el nivel más deseado y el más difícil de atribuir al programa, porque muchos factores cambian al mismo tiempo en un hospital.

Lo que encontraron las revisiones

Cuando los investigadores usan el modelo para clasificar estudios publicados, el retrato se repite: mucha evaluación de reacción y de aprendizaje, poca de comportamiento y casi ninguna de resultados.

Educación continua y pasantías

En una revisión sobre educación médica continua por internet, Curran y Fleet encontraron que la mayor parte de las evaluaciones se basaba en la satisfacción de los participantes, con poca investigación sobre el cambio de práctica y ningún estudio que mostrara efecto en desenlaces de pacientes. En la revisión de Turkeshi y colegas sobre pasantías de medicina de familia en el pregrado, 26 estudios evaluaron el nivel uno, 26 el nivel dos y solo 6 el nivel tres.

Enseñanza espaciada y narrativas digitales

La revisión de Phillips y colegas sobre enseñanza espaciada en la educación continua usó el modelo para separar ganancias de conocimiento de cambios en la práctica y en los desenlaces de pacientes, y mostró cómo el efecto se vuelve menos cierto a medida que se sube de nivel. La revisión de Moreau y colegas sobre narrativas digitales en la educación de las profesiones de la salud incluyó solo estudios con resultados en los niveles dos o tres; de los dieciséis artículos analizados, catorce trataron sobre aprendizaje y solo dos investigaron también el cambio de comportamiento.

Simulación: un caso aparte

La simulación es el área con más datos en los niveles más altos. El metaanálisis de Cook y colegas reunió 609 estudios con más de 35 mil participantes y encontró efectos favorables de la simulación comparada con ninguna intervención en conocimiento, habilidades y comportamientos, con efectos moderados en los desenlaces de pacientes. Aun así, la mayoría de los estudios usaba un diseño de grupo único con antes y después. Y la revisión de Brydges y colegas mostró que la correlación entre el desempeño en la simulación y los desenlaces de pacientes en el servicio fue bastante más débil que la correlación con comportamientos de los profesionales, lo que recuerda que un buen resultado en el nivel dos no se traduce automáticamente en un resultado en el nivel cuatro.

Las críticas al modelo

La popularidad del modelo vino acompañada de críticas consistentes. No piden que se abandone el modelo, sino que se use con conciencia de lo que mide y de lo que deja fuera.

Los niveles no forman una escalera causal

El modelo suele leerse como una cadena: una buena reacción lleva al aprendizaje, que lleva al comportamiento, que lleva a los resultados. La revisión de Allen, Hay y Palermo enumera esa suposición de vínculos causales positivos entre los niveles como una de las críticas principales, junto con el foco exclusivo en resultados, la idea de que los niveles más altos son siempre más importantes y la falta de atención a los efectos no planeados.

Sirve para programas simples

Yardley y Dornan analizaron el uso de los niveles como instrumento de evaluación crítica de evidencias y concluyeron que cargan tantas suposiciones implícitas que solo son adecuados para diseños instruccionales relativamente simples, desenlaces de corto plazo y beneficiarios que no son los propios aprendices; condiciones que cumplen quizá una quinta parte de las revisiones de educación médica. Para el resto, el uso jerárquico de los niveles aporta poco.

Ignora el contexto

Un mismo curso puede funcionar en un hospital y fracasar en otro, por la cultura, la carga de trabajo o el apoyo de la jefatura. El modelo original no pregunta por ninguno de esos factores. Para quien coordina un programa, eso significa que un mal resultado en el nivel tres puede tener poco que ver con la calidad de la enseñanza y mucho que ver con el ambiente al que volvió el alumno.

Los niveles altos no siempre son mejores

Otra crítica frecuente es la idea de que un estudio en el nivel cuatro vale automáticamente más que un estudio en el nivel dos. En la práctica, un estudio bien diseñado sobre aprendizaje, con instrumento confiable y grupo de comparación, puede informar mucho más que una asociación laxa entre un curso y un indicador del hospital. El nivel dice qué se midió; la calidad del diseño dice cuánto se puede confiar en el resultado. Para quien lee artículos de educación médica, conviene mirar las dos cosas por separado antes de sacar conclusiones, y para quien escribe, conviene describir el diseño con el mismo cuidado con que se describe el nivel alcanzado.

Alternativas y complementos

La respuesta a las críticas vino de dos direcciones: actualizar el propio Kirkpatrick y combinar el modelo con otros que miran el proceso y el contexto.

New World Kirkpatrick

La versión llamada New World Kirkpatrick invierte el orden de planificación: empieza por los resultados deseados y vuelve hasta la reacción. También agrega elementos como los comportamientos críticos que se espera ver, los factores que refuerzan o dificultan el cambio y los indicadores intermedios. Moreau describe cómo esta versión intenta responder a tres críticas centrales del modelo original e invita a los educadores médicos a probarla en programas complejos.

Modelo lógico y CIPP

El modelo lógico dibuja la cadena que une recursos, actividades, productos y resultados, y obliga al equipo a explicitar por qué cree que el programa va a funcionar. El modelo CIPP evalúa contexto, insumos, proceso y producto, y es útil cuando el programa todavía se está ajustando. La guía de Frye y Hemmer presenta esos modelos y las teorías detrás de cada uno, desde la visión reduccionista hasta la teoría de la complejidad.

Cuándo usar cada uno

• Kirkpatrick: para comunicar resultados de forma estandarizada y comparar con la literatura.
• New World Kirkpatrick: para planificar un programa a partir del resultado deseado y seguir indicadores intermedios.
• Modelo lógico: para explicitar la teoría del programa y encontrar eslabones débiles antes de empezar.
• CIPP: para programas nuevos o en ajuste, cuando el proceso y el contexto importan tanto como el resultado.
• Diseños experimentales: cuando la pregunta es de efecto y hay condiciones para un grupo de comparación.

Cómo diseñar la evaluación de un programa

La evaluación que funciona se planifica junto con el programa, y no después de él. La guía que sigue sirve para un módulo de grado, una actividad de liga académica o un programa de residencia.

1. Empieza por el final. Define el resultado que justificaría el esfuerzo: un comportamiento que quieres ver en el internado o un indicador del servicio.
2. Explicita la teoría del programa. Escribe por qué crees que las actividades llevan a ese resultado, y qué condiciones deben existir.
3. Elige un indicador por nivel. Un cuestionario corto de reacción, una medida de aprendizaje con un instrumento confiable y una forma realista de observar el comportamiento.
4. Planifica la línea de base. Mide antes de empezar, o acuerda un grupo de comparación.
5. Busca efectos no planificados. Pregunta a los participantes qué cambió que no esperabas, para bien y para mal.
6. Usa los datos para ajustar. La evaluación existe para mejorar el programa, no solo para justificar su existencia.

Ejemplo: un módulo de razonamiento clínico

Imagina un módulo de ocho semanas con casos clínicos semanales para el cuarto año. En el nivel uno, un cuestionario de cinco preguntas al final. En el nivel dos, un examen con casos escritos antes y después, corregido con una clave definida. En el nivel tres, la revisión de una muestra de evoluciones escritas en el internado, buscando el registro de diagnóstico diferencial. En el nivel cuatro, quizá no sea realista medir el desenlace del paciente, y está bien decirlo con claridad. La guía sobre aprendizaje basado en casos clínicos ayuda a diseñar el módulo, y el texto sobre feedback en casos clínicos muestra cómo devolver resultados a los alumnos.

Errores comunes

Medir solo la satisfacción y llamarlo evaluación. Usar un examen hecho a las apuradas, sin saber si mide lo que se quiere. Esperar un cambio de comportamiento en dos semanas. Atribuir al programa una mejora que vino de otro cambio en el servicio. Y, quizá lo más común, decidir qué medir después de que el programa terminó. Para entender cómo mantener lo aprendido, la guía sobre retención del conocimiento médico complementa la discusión, y el texto sobre aprendizaje activo ayuda a elegir actividades que tienden a generar aprendizaje.

Kirkpatrick en el día a día de quien enseña

El modelo suele aparecer en artículos e informes institucionales, pero también es útil a escalas menores: una liga académica, una pasantía, una sesión semanal de discusión de casos. En esas situaciones, nadie va a montar un estudio controlado, y no hace falta. Basta con usar los niveles como recordatorio de las preguntas que vale la pena hacer.

En la liga académica

Las ligas organizan clases, simposios y entrenamientos prácticos con mucha energía y poco tiempo para evaluar. Un camino realista es combinar una pregunta de reacción al final de cada encuentro con una pequeña medida de aprendizaje cada semestre, como tres casos cortos resueltos antes y después de un ciclo de clases. Si la liga entrena una habilidad, como una secuencia de atención, vale la pena observar a algunos miembros en simulación y registrar qué cambió. Eso ya coloca a la liga por encima de la mayor parte de las evaluaciones publicadas, que se detienen en la satisfacción.

En la pasantía y en el internado

El preceptor tiene acceso privilegiado al nivel tres: ve al alumno en el servicio. Una forma simple de aprovechar eso es definir, al comienzo de la pasantía, dos o tres comportamientos que se espera ver al final, como presentar el caso con diagnóstico diferencial o chequear resultados pendientes antes del cambio de guardia. A lo largo de las semanas, el preceptor anota si esos comportamientos aparecen. El registro sirve para dar feedback al alumno y, sumado al de otros preceptores, para evaluar la propia pasantía.

En la residencia

Los programas de residencia ya recogen muchos datos: evaluaciones de desempeño, registros de procedimientos, indicadores del servicio. El desafío es vincular esos datos a cambios específicos del programa. Cuando la residencia introduce una actividad nueva, como una sesión semanal de razonamiento clínico, conviene elegir de antemano un indicador de comportamiento que ya se recoge y seguir la tendencia antes y después, recordando siempre que otros cambios ocurren al mismo tiempo.

Conversar sobre los resultados con los alumnos

Evaluar un programa también es una oportunidad de enseñanza. Mostrar a la clase qué se midió, qué mejoró y qué no mejoró enseña, en la práctica, cómo se lee una evidencia educativa. Y abre espacio para que los propios alumnos sugieran cambios, lo que suele mejorar el programa más rápido que cualquier cuestionario.

Cómo entra NEXO en la evaluación de un programa

NEXO puede servir como actividad de práctica dentro de un programa de razonamiento clínico. El caso del día llega en hasta seis pistas, y con cada Sin hipótesis la proximidad en la CIE-10 en cinco niveles muestra a qué distancia quedó la hipótesis del diagnóstico. Los casos son ficticios con presentación clínica real. Para quien diseña la evaluación, la pregunta es la misma de cualquier actividad: ¿en qué nivel esperas efecto y cómo lo vas a medir?

La guía qué es NEXO explica la partida completa, y el texto sobre gamificación en la educación médica resume lo que muestra la evidencia sobre juegos en la enseñanza. Cómo se desbloquean los modos está en la página de economía de NEXO.

Si coordinas una facultad, una liga o una residencia y quieres usar NEXO con una clase, conoce NEXO Closer. Los investigadores en educación médica que quieren diseñar estudios de evaluación pueden proponer proyectos a través de NEXO Researcher. Los médicos que revisan casos participan a través de NEXO Curator, y quienes crean contenido de salud en las redes pueden participar a través de NEXO Creators.

Preguntas frecuentes

¿Cuáles son los cuatro niveles del modelo de Kirkpatrick?

Reacción, aprendizaje, comportamiento y resultados. Cada nivel responde a una pregunta: si a los participantes les gustó, si aprendieron, si cambiaron la práctica y si hubo beneficio para pacientes o para la institución.

¿Necesito medir los cuatro niveles en todo programa?

No. Elige los niveles que tienen sentido para el objetivo y para los recursos disponibles, y di con claridad qué no se midió. Un programa corto puede evaluarse bien en los niveles uno y dos.

¿Una satisfacción alta significa que el curso funcionó?

No necesariamente. La satisfacción muestra que la experiencia fue bien recibida, pero no garantiza aprendizaje ni cambio de práctica.

¿Cuál es la principal crítica al modelo?

La suposición de que los niveles forman una cadena causal y el enfoque en resultados sin mirar el contexto y los efectos no planificados. Por eso el modelo funciona mejor combinado con enfoques de evaluación de programa.

¿Qué es el New World Kirkpatrick?

Una actualización que comienza la planificación por los resultados deseados y añade comportamientos críticos, factores de refuerzo e indicadores intermedios.

¿Qué modelo usar en lugar de Kirkpatrick?

Depende de la pregunta. El modelo lógico y el CIPP ayudan a entender cómo y por qué funciona un programa; los diseños experimentales responden mejor a preguntas de efecto. Muchos programas combinan más de uno.

Lista de verificación de la evaluación de un programa

• Define el resultado que justificaría el programa antes de planificar las actividades.
• Escribe la teoría del programa: por qué las actividades llevarían al resultado.
• Elige un indicador realista para cada nivel que vas a medir.
• Usa instrumentos con evidencia de validez para medir el aprendizaje.
• Mide la línea de base o combina un grupo de comparación.
• Pregunta por efectos no planificados.
• Relata con claridad qué no se midió.
• Usa los resultados para ajustar el programa en la próxima clase.

¿Quieres una actividad diaria de razonamiento clínico para tu clase? Juega el caso del día en NEXO.

Referencias

1. Yardley S, Dornan T. Kirkpatrick's levels and education 'evidence'. Med Educ. 2012. PubMed 22150201
2. Allen LM, Hay M, Palermo C. Evaluation in health professions education-Is measuring outcomes enough?. Med Educ. 2022. PubMed 34463357
3. Moreau KA. Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?. Med Teach. 2017. PubMed 28649887
4. Curran VR, Fleet L. A review of evaluation outcomes of web-based continuing medical education. Med Educ. 2005. PubMed 15910431
5. Turkeshi E, Michels NR, Hendrickx K, Remmen R. Impact of family medicine clerkships in undergraduate medical education: a systematic review. BMJ Open. 2015. PubMed 26243553
6. Phillips JL, Heneka N, Bhattarai P, Fraser C, Shaw T. Effectiveness of the spaced education pedagogy for clinicians' continuing professional development: a systematic review. Med Educ. 2019. PubMed 31144348
7. Moreau KA, Eady K, Sikora L, Horsley T. Digital storytelling in health professions education: a systematic review. BMC Med Educ. 2018. PubMed 30200945
8. Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE guide no. 67. Med Teach. 2012. PubMed 22515309
9. Belfield C, Thomas H, Bullock A, Eynon R, Wall D. Measuring effectiveness for best evidence medical education: a discussion. Med Teach. 2001. PubMed 11371293
10. Cook DA, Hatala R, Brydges R, Zendejas B, Szostek JH, Wang AT, et al. Technology-enhanced simulation for health professions education: a systematic review and meta-analysis. JAMA. 2011. PubMed 21900138
11. Brydges R, Hatala R, Zendejas B, Erwin PJ, Cook DA. Linking simulation-based educational assessments and patient-related outcomes: a systematic review and meta-analysis. Acad Med. 2015. PubMed 25374041
12. Ilgen JS, Ma IW, Hatala R, Cook DA. A systematic review of validity evidence for checklists versus global rating scales in simulation-based assessment. Med Educ. 2015. PubMed 25626747