Fortschritt im Medizinstudium verfolgen

In vier Studien mit Tests zu Stimmung, Grammatik und Logik schätzten sich diejenigen im untersten Quartil, mit einem Ergebnis nahe dem 12. Perzentil, auf dem 62. Perzentil ein (Kruger und Dunning, 1999). Die Autoren brachten diese Differenz mit der Schwierigkeit in Verbindung, den eigenen Treffer vom eigenen Fehler zu unterscheiden (Kruger und Dunning, 1999). Für alle, die Medizin studieren, ist die Lehre direkt: Das Gefühl, gut voranzukommen, ist ein schwaches Datum, und den Fortschritt zu messen verlangt nach Zahlen, die von außerhalb des Kopfes kommen.

NEXO ist ein tägliches medizinisches Diagnosespiel: ein klinischer Fall pro Tag, sechs progressive Hinweise und ICD-10-Nähefeedback in fünf Stufen.

Dieser Text behandelt, wie man den Fortschritt im Studium misst: was die Forschung über die Selbsteinschätzung von Studierenden der Gesundheitsberufe sagt, wie man Vertrauen mit Treffern vergleicht, welche Messgrößen wirklich helfen, wie man Prozessziele von Ergebniszielen trennt und wie man einen Probeklausur liest. Der Teil, in dem jeder Fehler erfasst und eingeordnet wird, steht im Text über das Fehlerheft.

Die wichtigsten Punkte

• Die Selbsteinschätzung von Studierenden der Gesundheitsberufe hatte in einer klassischen Übersichtsarbeit eine niedrige bis mittlere Validität (Gordon, 1991).
• Studierende der Medizin schätzen sich mittelmäßig ein und werden in den letzten Studienjahren genauer (Blanch-Hartigan, 2011).
• Kalibrierung bedeutet, das Vertrauen mit dem Treffer zu vergleichen, und sie kann als Messgröße begleitet werden.
• Treffer nach Thema, Fehler nach Art und Kalibrierung sagen mehr als die Gesamtnote.
• Prozessziele am Anfang und Ergebnisziele danach schnitten in einem klassischen Experiment am besten ab (Zimmerman und Kitsantas, 1997).
• Probeklausuren und Fortschrittstests sind nützliche externe Messungen, wenn man sie als Reihe liest und nicht als einzelne Note (Schuwirth und van der Vleuten, 2012).

Zusammenfassung

• Warum den Fortschritt messen
• Die Grenzen der Selbsteinschätzung
• Kalibrierung: Vertrauen und Treffer
• Messgrößen, die helfen
• Prozessziele und Ergebnisziele
• Probeklausuren als Messung
• Ein wöchentliches Dashboard
• Wo NEXO ins Spiel kommt
• Häufige Fragen
• Checkliste zur Begleitung deines Fortschritts

Warum den Fortschritt messen

Das Medizinstudium ist lang, die Stoffmenge ist groß und die großen Prüfungen liegen Monate auseinander. Zwischen einer Prüfung und der nächsten ist der nächstliegende Bezugspunkt der eigene Eindruck, und genau er ist am fehleranfälligsten.

Der Eindruck, zu lernen

Eine Zusammenfassung erneut zu lesen vermittelt das Gefühl von Beherrschung, weil der Text vertraut erscheint. Der Text über die Lernroutine erklärt, warum das Gefühl, es zu wissen, täuscht. Den Fortschritt zu messen heißt, diesen Eindruck durch Antworten zu ersetzen: Wie viele Kardiologiefragen hast du diese Woche richtig beantwortet, bei welcher Fehlerart bist du am häufigsten gestolpert, wie sehr stimmte dein Vertrauen mit dem Ergebnis überein.

Messen, um zu entscheiden

Eine Messung ist nur etwas wert, wenn sie eine Entscheidung verändert. Als praktischer Tipp gilt: Bevor du irgendeine Messgröße einführst, frage dich: Wenn diese Zahl sinkt, was mache ich dann anders? Ist die Antwort klar, kommt die Messgröße ins Dashboard. Ist die Antwort "nichts", kann sie ohne Schaden wegbleiben.

Was dieser Text misst

Hier liegt der Fokus auf der Leistung bei Fragen und Fällen: Treffer, Fehler, Vertrauen und Entwicklung über die Zeit. Lernstunden und gelesene Seiten erscheinen als Prozessziele, die ihren Platz haben, aber den Aufwand messen und nicht das Lernen.

Die Grenzen der Selbsteinschätzung

Die Selbsteinschätzung ist das erste Werkzeug, das jeder Studierende hat, und die Forschung dazu in den Gesundheitsberufen ist alt.

Eine klassische Übersichtsarbeit

Gordon analysierte 18 Artikel, die zwischen 1970 und 1990 veröffentlicht wurden und die Selbsteinschätzung von Menschen in Ausbildung, davon 14 mit Studierenden und Assistenzärzten der Gesundheitsberufe, mit der Bewertung durch Fachleute oder mit objektiven Tests verglichen (Gordon, 1991). Die Validität der Selbsteinschätzung war niedrig bis mittel und verbesserte sich in den herkömmlichen Ausbildungsprogrammen mit der Zeit nicht (Gordon, 1991).

Zwei Ergebnisse der Übersichtsarbeit sind für Lernende sehr wichtig. Die Selbsteinschätzung schien mit einem allgemeinen Bild verbunden zu sein, das die Person von sich hat, und änderte sich kaum durch Noten, Prüfungsergebnisse oder Bewertungen von Lehrenden (Gordon, 1991). In 5 Programmen mit ausdrücklichen Zielen zur Selbsteinschätzung und entsprechendem Training war die Validität dagegen mittel bis hoch oder verbesserte sich mit der Zeit (Gordon, 1991). Sich selbst einzuschätzen ist also eine Fähigkeit, die trainiert werden kann.

Drei Metaanalysen mit Studierenden der Medizin

Blanch-Hartigan fasste 35 Artikel über die Selbsteinschätzung von Studierenden der Medizin in drei Metaanalysen zusammen, eine für jede Art, die Genauigkeit zu messen (Blanch-Hartigan, 2011). Die Studierenden erwiesen sich als mäßig fähig, die eigene Leistung einzuschätzen, und waren in den letzten Studienjahren genauer (Blanch-Hartigan, 2011).

Als Gruppe haben sie weder signifikant über- noch unterschätzt, aber sie neigten dazu, bei standardisierten Patientenkontakten, die auf Kommunikation basieren, stärker zu überschätzen als bei objektiven Wissenstests (Blanch-Hartigan, 2011). Die Studentinnen unterschätzten ihre eigene Leistung stärker als die Studenten (Blanch-Hartigan, 2011).

Studie	Was analysiert wurde	Wichtigstes Ergebnis
Gordon, 1991	18 Artikel (Gordon, 1991)	Geringe bis mäßige Validität (Gordon, 1991)
Blanch-Hartigan, 2011	35 Artikel (Blanch-Hartigan, 2011)	Mäßige Genauigkeit, höher in den letzten Jahren (Blanch-Hartigan, 2011)
Kruger und Dunning, 1999	4 Studien außerhalb des Gesundheitswesens (Kruger und Dunning, 1999)	Das untere Quartil überschätzte das eigene Ergebnis stark (Kruger und Dunning, 1999)

Wer weniger weiß, irrt sich stärker über sich selbst

In der Studie von Kruger und Dunning half die Verbesserung der Fähigkeiten der Teilnehmenden ihnen auch, die Grenzen ihres Wissens zu erkennen (Kruger und Dunning, 1999). Für den Lernenden hat das eine ermutigende Seite: Während du ein Thema lernst, wirst du auch besser darin zu erkennen, was darin noch fehlt. Bei neuen Themen lohnt es sich, dem eigenen Eindruck stärker zu misstrauen.

Selbsteinschätzung neu denken

Eva und Regehr schlugen vor, das Konzept der Selbsteinschätzung in den Gesundheitsberufen neu zu fassen, und regten eine Forschungsagenda zu diesem Thema an (Eva und Regehr, 2005). Als redaktionelle Lesart ist die praktische Konsequenz für Lernende, externe Informationsquellen zu suchen, etwa Fragen, Fälle und Simulationen, statt sich nur auf das eigene Urteil zu verlassen. Die bereits im Fehlerheft erwähnte Übersichtsarbeit zur Genauigkeit der Selbsteinschätzung von Ärzten geht in dieselbe Richtung; sie steht im Abschnitt die Selbsteinschätzung versagt.

Kalibrierung: Zuversicht und Treffer

Kalibrierung ist, wie gut deine Zuversicht mit deinen Treffern übereinstimmt. Ein gut kalibrierter Lernender hat fast alles richtig, was er als "sicher" markiert, und verfehlt einen guten Teil dessen, was er als "Hypothese" markiert. Die Studien zu Zuversicht und Treffern in der Diagnostik sind im Abschnitt Rückmeldung und Kalibrierung des Textes über Spiele zum klinischen Denken zusammengefasst.

Die Zuversicht vor der Antwort festhalten

Als praktischer Tipp: Notiere beim Lösen von Fragen oder Fällen deine Zuversicht, bevor du die Lösung siehst, in drei Stufen: hoch, mittel und niedrig. Trenne nach einigen Wochen die Antworten nach Stufe und schau dir die Trefferquote jeder Stufe an. Wichtig ist das Muster, nicht eine einzelne Frage.

Wie man das Ergebnis liest

Muster	Mögliche Lesart (Vorschlag der Redaktion)
Hohe Zuversicht und hohe Trefferquote	Sicheres Thema; in der verteilten Wiederholung halten
Hohe Zuversicht und niedrige Trefferquote	Zu viel Zuversicht; vorrangig lernen
Niedrige Zuversicht und hohe Trefferquote	Wissen, das du noch unterschätzt; mehr testen, um Sicherheit zu gewinnen
Niedrige Zuversicht und niedrige Trefferquote	Bereits erkannte Lücke; die Grundlagen lernen

Die wichtigste Zeile der Tabelle ist die zweite. Ein Fehler mit großer Sicherheit zeigt eine Stelle, an der die Selbsteinschätzung versagt hat, und dort bringt die Korrektur am meisten. Die Behandlung solcher Fehler im Heft steht im Text über das Fehlerheft.

Auch die Kalibrierung wird besser

Die Programme, die Selbsteinschätzung ausdrücklich lehrten, erzielten in der Übersichtsarbeit von Gordon bessere Ergebnisse (Gordon, 1991). Als redaktionelle Lesart ist es eine einfache Möglichkeit, diese Übung selbst zu machen, die Zuversicht festzuhalten und mit der Lösung zu vergleichen, mit Rückmeldung nach jeder Sitzung.

Kennzahlen, die helfen

Die Gesamtnote einer Fragenliste fasst zu viel zusammen. Zwei Personen mit demselben Prozentsatz können völlig unterschiedliche Lücken haben. Feinere Kennzahlen zeigen, wo man ansetzen muss.

Trefferquote nach Thema

Trenne die Fragen nach großem Bereich und darin nach Thema: in der Kardiologie zum Beispiel Herzinsuffizienz, Arrhythmien und Klappenerkrankungen. Als praktischer Tipp: Verfolge die Trefferquote jedes Themas über die Wochen. Das Thema, das stagniert oder sinkt, ist der Kandidat für den nächsten Lernblock, auch wenn die Gesamtnote gut ist.

Fehler nach Art

Die Fehler nach Art zu zählen zeigt, ob das Problem fehlendes Wissen, Denken oder Aufmerksamkeit ist. Die Kategorien und wie man sie festhält, stehen in Fehlerart: Wissen, Denken, Aufmerksamkeit. Hier geht es darum, diese Zählung als Kennzahl zu nutzen: Wenn die Aufmerksamkeitsfehler in einem Prüfungsmonat steigen, ist die Antwort eine andere als wenn die Wissensfehler steigen.

Kalibrierung nach Thema

Die Tabelle zu Konfidenz und Treffern lässt sich auch nach Thema erstellen. Übermäßige Konfidenz, die sich auf ein Thema konzentriert, deutet meist darauf hin, dass es nur durch erneutes Lesen gelernt wurde. Als praktischer Tipp: Nimm dieses Thema in eine Runde von Fragen ohne Nachschlagen auf.

Trend, nicht der Tag

Eine schlechte Woche sagt wenig. Fortschritt zeigt sich in der Serie: dieselbe Kennzahl, auf dieselbe Weise gemessen, über die Zeit wiederholt. Als praktischer Tipp: Vergleiche Durchschnitte mehrerer Wochen, nicht einen Tag mit dem anderen.

Kennzahl	Was sie zeigt	Was zu tun ist, wenn sie sich verschlechtert (Tipp der Redaktion)
Treffer nach Thema	Wo das Wissen sicher oder schwach ist	Die Grundlagen des Themas lernen und erneut testen
Fehler nach Art	Ob das Problem Wissen, Denken oder Aufmerksamkeit ist	Die Methode an die Fehlerart anpassen
Kalibrierung	Ob die Konfidenz mit dem Treffer einhergeht	Mehr Fragen ohne Nachschlagen zum Thema
Entwicklung in Probeklausuren	Trend im Verlauf des Kurses	Die Zeitverteilung zwischen den Bereichen überdenken

Kennzahlen, die Vorsicht verlangen

Studienstunden, gelesene Seiten und die Anzahl bearbeiteter Fragen sind nützliche Prozessziele, messen aber den Aufwand. Sie gehören ins Dashboard neben die Leistungskennzahlen, nicht an deren Stelle. Eine Woche mit vielen Stunden und unverändertem Treffer ist ein Signal, die Methode zu ändern, wie die Strategien des aktiven Lernens zeigen.

Prozessziele und Ergebnisziele

Ein Prozessziel beschreibt, was du tun wirst: eine Liste pro Tag lösen, die Fehler der Woche am Sonntag wiederholen. Ein Ergebnisziel beschreibt, wohin du kommen willst: den Treffer in Kardiologie steigern, die Prüfung für die Facharztausbildung bestehen. Beide haben ihren Platz, und die Reihenfolge ist wichtig.

Das Darts-Experiment

Zimmerman und Kitsantas untersuchten 90 Gymnasiastinnen, die das Werfen von Dartpfeilen lernten (Zimmerman und Kitsantas, 1997). Diejenigen, die mit Prozesszielen begannen und später zu Ergebniszielen übergingen, übertrafen diejenigen, die nur bei Prozesszielen blieben, welche wiederum diejenigen übertrafen, die nur Ergebnisziele nutzten (Zimmerman und Kitsantas, 1997).

Der Gewinn zeigte sich bei der Fertigkeit, bei den Reaktionen auf die eigene Leistung, beim Vertrauen in die eigene Fähigkeit und beim Interesse an der Aufgabe (Zimmerman und Kitsantas, 1997). Die Selbstaufzeichnung, eine Form, die eigene Leistung festzuhalten, verbesserte ebenfalls die Fertigkeit und das Vertrauen (Zimmerman und Kitsantas, 1997).

Was sich auf die Medizin übertragen lässt

Das Experiment betraf eine motorische Fertigkeit außerhalb der Medizin, und das Ergebnis ist mit diesem Vorbehalt zu lesen. Als redaktionelle Lesart ist die Idee, die es nahelegt, einfach: Beginne bei einem neuen Thema mit Prozesszielen, etwa jeden Tag einen Block Fragen zu bearbeiten; wenn die Methode sitzt, richte den Blick auf das Ergebnis, etwa die Trefferquote des Themas. Die eigene Leistung festzuhalten, was das Dashboard dieses Textes vorschlägt, passt zum Effekt der Selbstaufzeichnung im Studium.

Fünfunddreißig Jahre Forschung über Ziele

Locke und Latham fassten 35 Jahre Forschung zur Zielsetzung zusammen, mit den wichtigsten Befunden, den Mechanismen, über die Ziele wirken, den Faktoren, die ihre Wirkung verändern, und den Grenzen der Theorie (Locke und Latham, 2002). Eine gute Lektüre für alle, die verstehen wollen, warum manche Ziele mehr helfen als andere. Die spielerische Seite der Ziele, mit Punkten und Serie, steht in Ziele, Punkte und Serie.

Beispiele für Ziele

Art	Beispiel (Tipp der Redaktion)	Wie messen
Prozess	Jeden Tag einen Block Kardiologie-Fragen lösen	Eingehaltene Tage in der Woche
Prozess	Die Fehler der Woche am Sonntag wiederholen	Wiederholung erledigt oder offen
Ergebnis	Den Treffer bei Arrhythmien steigern	Trefferquote des Themas über die Wochen
Ergebnis	Die Kalibrierung in Infektiologie verbessern	Treffer bei Antworten mit hoher Konfidenz

Probeklausuren als Maß

Die Probeklausur ist das äußere Maß, das der echten Prüfung am nächsten kommt. Gut gelesen zeigt sie, wo du stehst und wohin du gehst; schlecht gelesen wird sie nur zu einer Note zum Feiern oder Bedauern.

Was eine Probeklausur vorhersagen kann

Morrison und Kollegen untersuchten 12.224 Studierende aus den Vereinigten Staaten und Kanada, die vor dem ersten Versuch im Step 1, der ersten Stufe der amerikanischen ärztlichen Lizenzprüfung, eine offizielle Probeklausur absolvierten (Morrison et al., 2010). Die Note der Probeklausur erklärte 67% der Varianz der Prüfungsnote, wenn sie allein verwendet wurde, und 69%, wenn auch der Abstand zwischen den Prüfungen einbezogen wurde (Morrison et al., 2010). Wer in der Probeklausur eine niedrige Note hatte, hatte ein höheres Risiko, beim ersten Versuch durchzufallen (Morrison et al., 2010).

Die Autoren kommen zu dem Schluss, dass die Simulation dem Studierenden eine realistische Selbsteinschätzung seiner Prüfungsvorbereitung geben kann (Morrison et al., 2010). Die Aussage gilt für eine bestimmte Simulation, die von derselben Prüfungskommission wie die Prüfung erstellt wurde, und für jene Prüfung.

Der Fortschrittstest

Der Fortschrittstest ist eine Form der longitudinalen Bewertung: gleichwertige, aber unterschiedliche Prüfungen, die mehrmals im Verlauf des Studiums durchgeführt werden und deren Ergebnisse kombiniert werden, um den Wissenszuwachs jedes Studierenden zu zeigen (Schuwirth und van der Vleuten, 2012). Die Autoren beschreiben einen positiven Effekt auf das Lernverhalten, weil kurzfristiges Pauken am Ende entmutigt wird, und eine gute Vorhersagegültigkeit (Schuwirth und van der Vleuten, 2012).

Sie weisen auch auf eine technische Vorsicht hin: den Schwierigkeitsgrad der aufeinanderfolgenden Prüfungen anzugleichen, damit die Schwankung zwischen ihnen nicht mit Fortschritt verwechselt wird (Schuwirth und van der Vleuten, 2012). Der Leitfaden von Wrigley und Kollegen erinnert daran, dass Multiple-Choice-Prüfungen eine Fehlervarianz mit sich bringen, die die Gültigkeit und die Zuverlässigkeit der Ergebnisse infrage stellt, und schlägt ein Modell vor, um die Datenqualität des Fortschrittstests zu verbessern (Wrigley et al., 2012).

Wie du deine Simulation liest

Als praktischer Tipp lies jede Simulation in drei Schichten:

1. Die Gesamtnote, verglichen mit deinen früheren Simulationen und nicht mit dem Klassendurchschnitt an einem einzigen Tag.
2. Die Trefferquote nach Bereich und nach Thema, um zu finden, was gestiegen oder stehen geblieben ist.
3. Die Fehler nach Typ und das Vertrauen, um zu entscheiden, ob der nächste Schritt das Lernen der Grundlagen, das Training des Denkens oder die Aufmerksamkeit ist.

Simulationen aus verschiedenen Quellen haben unterschiedliche Schwierigkeitsgrade. Als redaktionelle Leseempfehlung vergleiche vorzugsweise Simulationen derselben Quelle, aus demselben Grund, der den Fortschrittstest dazu bringt, den Schwierigkeitsgrad der Prüfungen anzugleichen.

Simulation ist auch Training

Eine Simulation zu machen ist bereits eine Form, sich zu testen, und die Korrektur mit Rückmeldung schließt den Kreis. Warum sich testen beim Erinnern hilft, steht im Text über Wiederholen beim Spielen.

Ein wöchentliches Dashboard

Die Kennzahlen an einem Ort zu sammeln hilft, den Trend zu erkennen. Das Dashboard kann eine einfache Tabelle oder eine Seite im Heft sein.

Was hineingehört

Als praktischer Tipp kann ein wöchentliches Dashboard fünf Spalten haben: Woche, Trefferquote nach Thema in den Bereichen, die du gerade lernst, Anzahl der Fehler nach Typ, Trefferquote der Antworten mit hohem Vertrauen und erfüllte Prozessziele. Eine Zeile pro Woche genügt.

Eine zehnminütige Überprüfung

Schau am Ende der Woche auf das Dashboard und beantworte drei Fragen: welches Thema hat sich verbessert, welches ist stehen geblieben und welcher Fehlertyp ist am häufigsten aufgetreten. Die Antwort wird zum Prozessziel der nächsten Woche. Dieser kurze Ablauf passt in die Routine, die im Text über wie man Spiele in die Lernroutine einbaut beschrieben wird.

Häufige Fehler beim Messen des Fortschritts

• Nur die Gesamtnote messen. Sie versteckt die schwachen Themen hinter den starken.
• Einen Tag mit dem anderen vergleichen. Die natürliche Schwankung täuscht; schau auf die Reihe.
• Jede Woche den Maßstab ändern. Kennzahlen, deren Definition sich ändert, sind nicht mehr vergleichbar.
• Dem Eindruck mehr vertrauen als der Zahl. Die Forschung zur Selbsteinschätzung zeigt, warum der Eindruck täuscht (Gordon, 1991).
• Aufwand messen, als wäre er Lernen. Stunden und Seiten sind Prozess; die Trefferquote ist das Ergebnis.
• Simulationen aus verschiedenen Quellen vergleichen. Der Schwierigkeitsgrad ändert sich von einer Quelle zur anderen.

Wo NEXO ins Spiel kommt

Jeder Fall bei NEXO kommt in bis zu sechs Hinweisen, einer nach dem anderen, und jede Hypothese erhält eine Rückmeldung zur Nähe in der ICD-10, vom Kapitel bis zum exakten Code. Das ist bereits ein kleines Maß pro Fall: bei welchem Hinweis du die Diagnose erreicht hast und wie nah du in den vorherigen Hypothesen lagst.

Bei wie vielen Hinweisen die Diagnose steht

Der Startbildschirm zeigt die Verteilung deiner Treffer nach Hinweis: bei wie vielen Hinweisen die Diagnose üblicherweise steht, wie in den Neuigkeiten von NEXO beschrieben. Als praktischer Tipp verfolge diese Verteilung über die Wochen; mit weniger Hinweisen richtig zu liegen ist ein Zeichen für Fortschritt im Denken, und Treffer, die sich auf die letzten Hinweise konzentrieren, weisen auf Themen zum Wiederholen hin.

Beständigkeit, Niveau und Erfolge

Der Verlauf der Serie erscheint als Kalender, und die Levelleiste auf dem Startbildschirm zeigt die im aktuellen Level gesammelte XP, beides beschrieben in den Neuigkeiten von NEXO. Die Erfolge erscheinen als Pfade, mit den Etappen in Reihenfolge, was bereits abgeschlossen ist und welche als Nächstes kommt. Das sind gute Prozessmaße: Sie zeigen, ob die Gewohnheit sitzt. Die Rangliste hat die Tabs Global, Universitäten und Gruppe, für alle, die die Kohorte verfolgen möchten.

Den Fall in dein eigenes Panel übernehmen

Als praktischer Tipp: Wenn du einen Fall falsch beantwortest oder nur bei den letzten Hinweisen richtig liegst, notiere das Thema und die Art des Fehlers in deinem Wochenpanel, und nutze das Archiv, um frühere Fälle desselben Themas erneut zu lösen. Der Anki-Button überführt die fehlende Diagnose in eine Karte, wie der Leitfaden zur verteilten Wiederholung zeigt.

Zum Forschen, für die Kohorte und zum Erstellen

Wenn du zu Evaluation und Selbstevaluation in der medizinischen Ausbildung forschst und Studien mit NEXO vorschlagen möchtest, lerne den NEXO Researcher kennen. Um NEXO an die Fakultät, die Liga oder die Residenz zu bringen, gibt es den NEXO Closer. Ärztinnen und Ärzte, die Fälle ihres Fachgebiets prüfen, beteiligen sich über den NEXO Curator, und wer Gesundheitsinhalte in den sozialen Medien erstellt, kann über die NEXO Creators mitmachen.

Häufige Fragen

Wie misst man Fortschritt im Medizinstudium?

Mit externen Maßen, die über die Zeit auf dieselbe Weise wiederholt werden: Trefferquote pro Thema bei Fragen und Fällen, Zählung der Fehler nach Art, Vergleich zwischen Zuversicht und Treffer und Entwicklung in Simulationen aus derselben Quelle. Der persönliche Eindruck hilft wenig, denn die Selbstevaluation von Studierenden der Gesundheitsberufe hatte in einer klassischen Übersichtsarbeit eine geringe bis mittlere Validität (Gordon, 1991).

Ist die Selbstevaluation von Medizinstudierenden verlässlich?

Sie ist mittelmäßig. In den Meta-Analysen von Blanch-Hartigan schätzten sich die Studierenden mittelmäßig genau ein und verbesserten sich in den letzten Studienjahren (Blanch-Hartigan, 2011). Deshalb lohnt es sich, die Selbstevaluation mit Daten aus Fragen und Simulationen zu kombinieren.

Was ist Kalibrierung im Studium?

Es ist das Ausmaß, in dem deine Zuversicht mit deiner Trefferquote übereinstimmt. Um sie zu messen, notiere die Zuversicht, bevor du die Lösung siehst, und vergleiche die Trefferquote der Antworten mit hoher, mittlerer und niedriger Zuversicht.

Prozessziel oder Ergebnisziel?

Beide, nacheinander. Im Experiment von Zimmerman und Kitsantas führte der Beginn mit Prozesszielen und der spätere Übergang zu Ergebniszielen zu besserer Leistung als nur eines von beiden (Zimmerman und Kitsantas, 1997). Die Studie betraf eine motorische Fertigkeit, außerhalb der Medizin.

Sagt eine Simulation das Prüfungsergebnis voraus?

In einer Studie mit 12.224 Studierenden erklärte die Note einer offiziellen Simulation 67% der Varianz der Note im Step 1, der ersten Etappe der ärztlichen Lizenzprüfung der Vereinigten Staaten (Morrison et al., 2010). Die Angabe gilt für jene Simulation und jene Prüfung; in anderen Kontexten kann der Zusammenhang anders sein.

Was ist ein Progress Test?

Es ist eine longitudinale Evaluation mit gleichwertigen Prüfungen, die mehrfach im Studienverlauf eingesetzt werden, um die Wissensentwicklung jeder und jedes Studierenden zu zeigen (Schuwirth und van der Vleuten, 2012).

Wie oft sollte ich meine Kennzahlen ansehen?

Eine kurze Übersicht pro Woche ist ein guter praktischer Tipp. Der Fortschritt zeigt sich in der Reihe, also vergleiche Mittelwerte über mehrere Wochen statt einen Tag mit dem anderen.

Wie hilft NEXO, den Fortschritt zu verfolgen?

Der Startbildschirm zeigt, bei wie vielen Hinweisen deine Diagnose üblicherweise steht, die Serie erscheint als Kalender und die Erfolge erscheinen als Pfade, mit der nächsten Etappe im Blick. Jeder Fall kommt in bis zu sechs Hinweisen, mit Rückmeldung zur Nähe im ICD-10 bei jeder Hypothese.

Checkliste zur Verfolgung deines Fortschritts

1. Habe ich die Kennzahlen festgelegt, die ich verfolgen werde, und wie ich jede einzelne messe?
2. Notiere ich die Zuversicht, bevor ich die Lösung sehe?
3. Trenne ich die Treffer nach Thema, und nicht nur nach der Gesamtnote?
4. Zähle ich die Fehler nach Art am Ende der Woche?
5. Habe ich Prozessziele für die neuen Themen?
6. Wechsle ich zu Ergebniszielen, wenn die Methode sitzt?
7. Vergleiche ich Simulationen aus derselben Quelle über die Zeit?
8. Lese ich jede Simulation nach Note, Thema und Fehlerart?
9. Betrachte ich den Trend über mehrere Wochen, und nicht einen einzelnen Tag?
10. Habe ich entschieden, was sich in der nächsten Woche anhand des Panels ändert?

Referenzen

1. Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. Acad Med. 1991. https://pubmed.ncbi.nlm.nih.gov/1750956/
2. Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med. 2005. https://pubmed.ncbi.nlm.nih.gov/16199457/
3. Blanch-Hartigan D. Medical students' self-assessment of performance: results from three meta-analyses. Patient Educ Couns. 2011. https://pubmed.ncbi.nlm.nih.gov/20708898/
4. Kruger J, Dunning D. Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Pers Soc Psychol. 1999. https://pubmed.ncbi.nlm.nih.gov/10626367/
5. Zimmerman BJ, Kitsantas A. Developmental phases in self-regulation: shifting from process goals to outcome goals. J Educ Psychol. 1997. https://doi.org/10.1037/0022-0663.89.1.29
6. Locke EA, Latham GP. Building a practically useful theory of goal setting and task motivation. A 35-year odyssey. Am Psychol. 2002. https://pubmed.ncbi.nlm.nih.gov/12237980/
7. Morrison CA, Ross LP, Fogle T, et al. Zusammenhang zwischen der Leistung in einem offiziellen Test in Grundlagenwissenschaften und Step 1 des USMLE bei Studierenden aus den Vereinigten Staaten und Kanada (Originaltitel auf Englisch in PubMed). Acad Med. 2010. https://pubmed.ncbi.nlm.nih.gov/20881715/
8. Schuwirth LW, van der Vleuten CP. The use of progress testing. Perspect Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/23316456/
9. Wrigley W, van der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012. https://pubmed.ncbi.nlm.nih.gov/22905655/