Kirkpatrick-Modell: Programme bewerten
Inhaltsverzeichnis
Der Kurs zum klinischen Denken ist zu Ende, und die Koordination bittet um einen Bericht. Die erste Idee ist die übliche: ein Formular am letzten Tag, mit Noten von eins bis fünf für den Dozenten, das Material und den Zeitplan. Die Noten fallen hoch aus, und alle sind zufrieden. Trotzdem weiß niemand, ob die Gruppe besser zu denken begonnen hat, ob sich am Praktikum etwas geändert hat oder ob ein Patient wegen des Kurses anders behandelt wurde.
NEXO ist ein tägliches medizinisches Diagnosespiel: ein klinischer Fall pro Tag, sechs progressive Hinweise und ICD-10-Nähefeedback in fünf Stufen.
Die Frage "Hat der Kurs funktioniert?" hat mehrere Ebenen, und das Kirkpatrick-Modell ist die bekannteste Art, sie zu trennen. Dieser Leitfaden erklärt die vier Ebenen, zeigt, was die Reviews fanden, als sie das Modell auf die medizinische Ausbildung anwendeten, stellt die ernsthaftesten Kritikpunkte vor und schlägt einen Leitfaden vor, um die Evaluation eines Kurses, eines Praktikums oder einer Liga zu gestalten.
Wichtigste Punkte
- Das Kirkpatrick-Modell ordnet die Evaluation eines Programms in vier Ebenen: Reaktion, Lernen, Verhalten und Ergebnisse.
- In den Reviews zur medizinischen Ausbildung bleibt der größte Teil der Studien auf den ersten beiden Ebenen, und wenige erreichen das Verhalten oder den Patienten.
- Eine kritische Analyse kam zu dem Schluss, dass das Modell nur bei einfachen Designs gut funktioniert, eine Bedingung, die etwa ein Fünftel der Reviews in diesem Bereich erfüllt.
- Die wichtigsten Kritikpunkte: der Fokus auf das Ergebnis, ohne den Grund zu erklären, die Annahme, dass eine Ebene zur nächsten führt, und die Vorstellung, dass die höchste Ebene mehr wert ist.
- Eine überarbeitete Version, die New World Kirkpatrick, versucht, einen Teil dieser Kritik zu beantworten, aber die Evaluation verlangt weiterhin Fragen zum Prozess.
Was das Kirkpatrick-Modell ist
Ein Ursprung außerhalb der Medizin
Das Modell wurde von Donald Kirkpatrick entwickelt, um Schulungen in der Industrie zu bewerten, und kam erst später in die medizinische Ausbildung (Yardley und Dornan, 2012). Die Grundidee ist einfach: Eine Schulung lässt sich in Ebenen bewerten, die immer weiter vom Unterrichtsraum entfernt sind, von dem, was die Teilnehmenden dachten, bis zur Wirkung auf die Organisation.
Heute taucht das Modell überall auf. Ein Review von 2022 beschrieb seine Verwendung in den Gesundheitsberufen als breit und wachsend und zeigte, dass es in Instrumente zur Forschungsqualität und in Review-Leitlinien wie den MERSQI und den BEME Eingang gefunden hat (Allen et al., 2022).
Das Programm bewerten, nicht nur den Lernenden
Ein Programm zu bewerten ist etwas anderes, als einen Studierenden zu bewerten. Die Prüfung misst, was eine Person weiß; die Programmevaluation fragt, ob die Gesamtheit aus Unterricht, Praktika, Materialien und Aktivitäten die beabsichtigte Wirkung erzielt hat, und warum. Der Unterschied ist wichtig, weil ein Programm alle Studierenden bestehen lassen und trotzdem das Ziel verfehlen kann, das es rechtfertigte.
Wenn es um die Bewertung eines Werkzeugs geht, ist das ein anderes Thema
Eine App oder ein Spiel zu bewerten, wie es der Leitfaden zur Gamification in der medizinischen Ausbildung tut, betrachtet ein einzelnes Element. Das Kirkpatrick-Modell wird eher für den gesamten Kurs verwendet, in dem das Werkzeug nur eine der Zutaten ist.
Die vier Ebenen in der medizinischen Ausbildung
Ebene 1: Reaktion
Was die Teilnehmenden dachten: Zufriedenheit, wahrgenommene Relevanz, Bereitschaft zur Weiterempfehlung. Das ist die am leichtesten zu messende Ebene, mit einem Formular am letzten Tag. Sie sagt auch am wenigsten über das Lernen aus, denn eine Unterrichtsstunde zu mögen und daraus zu lernen sind verschiedene Dinge.
Ebene 2: Lernen
Was sich bei Wissen, Fertigkeit oder Haltung geändert hat. Hier kommen Prüfungen vorher und nachher, praktische Stationen und Fragebögen zur Haltung ins Spiel. In einem Kurs zum klinischen Denken wäre das zum Beispiel der Vergleich der Leistung bei schriftlichen Fällen zu Beginn und am Ende, mit derselben Art von Fall und demselben Bewertungskriterium.
Ebene 3: Verhalten
Was die teilnehmende Person bei der Arbeit anders macht. Das ist schwieriger zu messen, weil es die Beobachtung der Praxis verlangt: Einträge in der Patientenakte, direkte Beobachtung, Bewertung durch Vorgesetzte. Der Leitfaden zur Simulation von Behandlungen zeigt Beobachtungsinstrumente, die hier dienen können.
Ebene 4: Ergebnisse
Die Wirkung auf Patienten, Dienste oder Indikatoren des Systems. Das ist die am häufigsten als ideal genannte und am seltensten erreichte Ebene, weil sich zwischen dem Kurs und dem Patienten viele andere Dinge ändern.
.jpg){kind=link}
Was die Übersichten fanden
Viel Reaktion, wenig Patient
Eine Übersicht zur ärztlichen Fortbildung über das Internet ordnete die Ergebnisse den Kirkpatrick-Stufen zu und kam zu dem Schluss, dass sich die meisten Studien auf Zufriedenheitsdaten der Teilnehmenden stützten (Curran und Fleet, 2005). Es gab wenig Forschung, die eine Veränderung der klinischen Praxis zeigte, und keine Studie zeigte einen Effekt auf Patientenergebnisse oder die Gesundheit (Curran und Fleet, 2005).
Das Muster wiederholte sich im Studium. Eine systematische Übersicht über Praktika in der Familienmedizin umfasste 64 Artikel: 26 Studien bewerteten auf Stufe 1, 26 auf Stufe 2 und 6 auf Stufe 3 (Turkeshi et al., 2015). Die Autoren hielten die Qualität der Forschung für begrenzt und forderten standardisierte und validierte Instrumente (Turkeshi et al., 2015).
Wenn die Bewertung weiter reicht
Eine Übersicht über verteiltes Lernen für bereits approbierte Ärzte fand 17 Studien mit 2.701 Fachkräften, und alle wurden mit einer abgewandelten Version der vier Stufen bewertet (Phillips et al., 2019). Zehn Studien zeigten einen Wissenszuwachs, sieben berichteten eine Veränderung des klinischen Verhaltens und nur zwei berichteten eine Verbesserung der Patientenergebnisse (Phillips et al., 2019).
Die Trichterform ist typisch: viele Studien am Anfang, wenige am Ende. Die Erklärung ist teils praktisch, denn die Messung eines Patientenergebnisses erfordert Zeit, eine Stichprobe und Zugang zu Daten, die ein Kurs selten hat.
Ein Beispiel mit der überarbeiteten Version
Eine Übersicht über digitale Narrative in der Ausbildung der Gesundheitsberufe nutzte das New World Kirkpatrick und umfasste nur Studien mit einem Ergebnis auf Stufe 2 oder 3 (Moreau et al., 2018). Von 16 Artikeln mit Daten behandelten 14 das Lernen, und nur zwei maßen auch eine Verhaltensänderung (Moreau et al., 2018). Selbst mit dem überarbeiteten Modell blieb Stufe 3 selten.
Die Kritik am Modell
Taucht für einfache Designs
Eine kritische Analyse kam zu dem Schluss, dass die Stufen so viele implizite Annahmen tragen, dass sie nur bei relativ einfachen Lehrdesigns gut funktionieren, mit kurzfristigen Ergebnissen und Nutznießern, die über die Lernenden hinausgehen (Yardley und Dornan, 2012). Laut den Autoren erfüllen vielleicht ein Fünftel der Evidenzübersichten in der medizinischen Ausbildung diese Bedingungen (Yardley und Dornan, 2012).
Außerhalb dieser Bedingungen bringt es wenig, die Stufen als Qualitätshierarchie zu verwenden, und die Qualität einer Evidenz hängt ebenso von dem beabsichtigten Gebrauch ab wie von jedem objektiven Maß (Yardley und Dornan, 2012).
Vier grundlegende Probleme
Die Übersicht von 2022 fasste die wichtigsten Kritikpunkte am Modell zusammen (Allen et al., 2022):
- Der Fokus liegt auf dem Ergebnis, und die Faktoren, die das Ergebnis beeinflussen, bleiben außen vor.
- Es wird ein positiver kausaler Zusammenhang zwischen den Stufen angenommen, als ob Zufriedenheit zum Lernen und Lernen zur Veränderung der Praxis führte.
- Es wird angenommen, dass die höchste Stufe die wichtigste ist.
- Die unbeabsichtigten Wirkungen des Programms bleiben unsichtbar.
Die Autoren ergänzen, dass die Verwendung des Modells durch Instrumente wie den MERSQI und durch Organisationen wie BEME und die WHO den Mythos nährt, es sei der Goldstandard für die Bewertung von Programmen (Allen et al., 2022). Ihr Vorschlag ist, vom Messen der Ergebnisse dazu überzugehen, zu untersuchen, wie und warum sie entstehen (Allen et al., 2022).
Das New World Kirkpatrick
Als Antwort auf diese Kritik entstand das New World Kirkpatrick, eine überarbeitete Version für komplexe Umgebungen (Moreau, 2017). Der Artikel, der es vorstellt, hebt drei Kritikpunkte am ursprünglichen Modell hervor und erörtert, wie die neue Version versucht, sie zu beantworten, und lädt Lehrende ein, es zu testen und seine Stärken und Schwächen zu untersuchen (Moreau, 2017).
In der Praxis schlägt die neue Version vor, beim gewünschten Ergebnis zu beginnen und das Programm rückwärts zu entwerfen, und außerdem zu betrachten, was zwischen den Stufen geschieht. Sie verbessert die Landkarte, aber die Frage nach dem Prozess bleibt Sache derjenigen, die bewerten.
Wie man die Bewertung eines Programms gestaltet
Beginne mit der Frage
Bevor Sie ein Instrument wählen, legen Sie fest, was das Programm verspricht. Ein Kurs zum klinischen Denken kann versprechen, dass die Gruppe vollständigere Hypothesenlisten erstellt, wie der Leitfaden zur Differenzialdiagnose beschreibt. Dieses Versprechen zeigt, welche Ebene am wichtigsten ist und welche Art von Daten nötig ist.
Wählen Sie einen Indikator pro Ebene
Ein minimales Design kann einen Indikator pro Ebene haben:
| Ebene | Frage | Beispiel für einen Indikator |
|---|---|---|
| Reaktion | Fanden die Teilnehmenden den Kurs relevant? | Kurzer Fragebogen am Ende jedes Moduls |
| Lernen | Hat sich das klinische Denken verbessert? | Schriftliche Fälle vorher und nachher, mit demselben Bewertungsraster |
| Verhalten | Hat sich die Praxis verändert? | Beobachtung durch die Praxisanleiter oder Prüfung der Aufzeichnungen im Praktikum |
| Ergebnisse | Hat sich etwas für den Dienst oder den Patienten verändert? | Indikator gemeinsam mit dem Dienst gewählt, sofern Zugang besteht |
Ebene 4 kann als langfristiges Ziel bestehen bleiben. Besser, das im Bericht zu erklären, als einen Zusammenhang zu erfinden, den die Daten nicht stützen.
Fragen Sie auch nach dem Wie und Warum
Um die Kritik am reinen Fokus auf das Ergebnis zu beantworten, ergänzen Sie Fragen zum Prozess (Allen et al., 2022): wer tatsächlich teilgenommen hat, welche Teile funktioniert haben, was gestört hat, welche Wirkungen niemand erwartet hatte. Kurze Interviews und Fokusgruppen eignen sich dafür.
Nutzen Sie das Feedback als Daten
Offene Kommentare in einem Formular sind Prozessdaten. Diese Antworten methodisch zu lesen, wie der Leitfaden zum Feedback in klinischen Fällen empfiehlt, hilft zu erklären, warum eine Ebene gestiegen ist und eine andere stehen blieb.
Beobachten Sie über die Zeit
Eine Messung am letzten Tag zeigt die unmittelbare Wirkung. Eine zweite Messung Monate später zeigt, was geblieben ist, ein Punkt, der mit der Behaltensleistung medizinischen Wissens zusammenhängt. Programme mit aktivem Lernen und fallbasiertem Lernen profitieren von dieser Begleitung, weil die beabsichtigte Wirkung meist im Praktikum auftritt und nicht im Seminarraum.
Leistungsdaten und Forschung bei NEXO
NEXO erfasst Informationen, die als Prozessindikatoren in eine Evaluation einfließen können: die Verteilung der Treffer pro Hinweis zeigt, wann jeder Spieler in der Regel zur Diagnose kommt, und die Nähe in der ICD-10 in fünf Stufen zeigt, wie weit jede Hypothese entfernt lag. Der Fall des Tages kommt in bis zu sechs Hinweisen, und das Gruppenranking erlaubt es, eine Gruppe zu begleiten. Diese Daten beschreiben die Leistung im Spiel; was sie über die Praxis aussagen, ist eine Forschungsfrage.
Die Fälle sind fiktiv mit realer klinischer Darstellung, und der Leitfaden Was ist NEXO erklärt die ganze Partie. Wie die Modi freigeschaltet werden, steht auf der Seite zur Wirtschaft von NEXO.
Forschende in der medizinischen Ausbildung, die das Spiel mit einem eigenen Evaluationsdesign untersuchen möchten, können Studien über NEXO Researcher vorschlagen. Wenn Sie eine Fakultät, eine Fachschaft oder eine Weiterbildung koordinieren, lernen Sie NEXO Closer kennen. Ärzte, die Fälle prüfen, beteiligen sich über NEXO Curator, und wer Gesundheitsinhalte in den sozialen Netzwerken erstellt, kann über NEXO Creators mitmachen.
Häufige Fragen
Was ist das Kirkpatrick-Modell?
Es ist ein Modell zur Evaluation von Schulungen auf vier Ebenen: Reaktion, Lernen, Verhalten und Ergebnisse.
Welche sind die vier Ebenen von Kirkpatrick?
Reaktion (was die Teilnehmenden fanden), Lernen (was sie gelernt haben), Verhalten (was sich in der Praxis verändert hat) und Ergebnisse (die Wirkung auf den Dienst oder den Patienten).
Ist Ebene 4 immer die wichtigste?
Die Übersichtsarbeit von 2022 führt diese Annahme als eine der Kritikpunkte am Modell auf (Allen et al., 2022). Welche Ebene am wichtigsten ist, hängt von der Frage des Programms ab.
Was ist das New World Kirkpatrick?
Eine überarbeitete Version des Modells, die versucht, auf die Kritik am Original zu antworten und mit komplexen Lehrumgebungen umzugehen (Moreau, 2017).
Warum bleiben so viele Studien auf den Ebenen 1 und 2?
Weil die Messung von Verhalten und Ergebnis Beobachtung in der Praxis, mehr Zeit und Zugang zu Daten erfordert, die viele Kurse noch nicht einplanen.
Kann NEXO in eine Evaluation einfließen?
Die Leistungsdaten im Spiel können als Prozessindikator dienen, und Studienvorschläge laufen über NEXO Researcher.
Checkliste für die Evaluation eines Programms
- Schreiben Sie das Versprechen des Programms in einem Satz.
- Wählen Sie die Ebene, die auf dieses Versprechen antwortet.
- Legen Sie einen Indikator für jede Ebene fest, die Sie messen werden.
- Messen Sie vorher und nachher, mit demselben Kriterium.
- Fragen Sie nach dem Wie und Warum, nicht nur nach dem Wie viel.
- Achten Sie auf unerwartete Wirkungen, gute und schlechte.
- Wiederholen Sie die Messung Monate später.
Möchten Sie das klinische Denken in Daten sehen? Spielen Sie den Fall des Tages bei NEXO.
Literatur
- Yardley S, Dornan T. Kirkpatrick's levels and education 'evidence'. Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/22150201/
- Allen LM, Hay M, Palermo C. Evaluation in health professions education-Is measuring outcomes enough? Med Educ. 2022. https://pubmed.ncbi.nlm.nih.gov/34463357/
- Moreau KA. Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox? Med Teach. 2017. https://pubmed.ncbi.nlm.nih.gov/28649887/
- Curran VR, Fleet L. A review of evaluation outcomes of web-based continuing medical education. Med Educ. 2005. https://pubmed.ncbi.nlm.nih.gov/15910431/
- Turkeshi E, Michels NR, Hendrickx K, Remmen R. Impact of family medicine clerkships in undergraduate medical education: a systematic review. BMJ Open. 2015. https://pubmed.ncbi.nlm.nih.gov/26243553/
- Phillips JL, Heneka N, Bhattarai P, Fraser C, Shaw T. Effectiveness of the spaced education pedagogy for clinicians' continuing professional development: a systematic review. Med Educ. 2019. https://pubmed.ncbi.nlm.nih.gov/31144348/
- Moreau KA, Eady K, Sikora L, Horsley T. Digital storytelling in health professions education: a systematic review. BMC Med Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/30200945/