Vertrauen kalibrieren: wann antworten

Bogenschießplatz in einem baumbestandenen Park

Es gibt in jedem klinischen Fall einen Moment, in dem Sie entscheiden, dass Sie genug wissen. Manchmal kommt dieses Gefühl früh und es stimmt. Andere Male kommt es früh und es stimmt nicht, oder es dauert so lange, dass Sie Untersuchungen anfordern, die Sie nicht gebraucht hätten. Die zugrunde liegende Frage ist immer dieselbe: Passt Ihr Vertrauen zu Ihrer Trefferquote?

NEXO ist ein tägliches medizinisches Diagnosespiel: ein klinischer Fall pro Tag, sechs progressive Hinweise und ICD-10-Nähefeedback in fünf Stufen.

Dieser Leitfaden erklärt, was diagnostische Kalibrierung ist, was Studien über Vertrauen, Zeit und Menge an Informationen herausfinden, und wie Sie die Anzahl der Daten, die Sie zum Antworten gebraucht haben, als Abbild Ihrer Unsicherheit nutzen können.

Die wichtigsten Punkte

  • Kalibrierung ist der Abstand zwischen dem, wie sehr Sie vertrauen, und dem, wie oft Sie richtig liegen.
  • Schnell zu antworten ist kein Synonym für Fehler: In mehreren Studien geht die richtige Antwort mit der schnellen Antwort einher.
  • Die richtigen Daten zu suchen wiegt mehr als viele Daten zu suchen.
  • Das Gefühl der Sicherheit kann länger halten als das Wissen, und das macht Studierende mit der Zeit zu selbstsicher.
  • Festzuhalten, in welchem Moment Sie geantwortet haben, und das Ergebnis zu prüfen, hilft, das eigene Muster zu erkennen.

Inhalt

Was diagnostische Kalibrierung ist

Vertrauen und richtige Antwort sind verschiedene Maße

Kalibrierung ist, wie sehr Ihr Vertrauen in eine Diagnose der tatsächlichen Chance entspricht, dass sie richtig ist. Wer sagt, sehr sicher zu sein, und selten richtig liegt, ist zu selbstsicher; wer oft richtig liegt und alles anzweifelt, ist zu wenig selbstsicher. Beide Fehler wiegen schwer: Der erste beendet die Untersuchung zu früh, der zweite kostet Zeit und Untersuchungen. Der Leitfaden über diagnostische Unsicherheit zeigt, warum diese beiden Maße so weit auseinandergehen.

Zu viel und zu wenig Vertrauen bei Studierenden

In einer Prüfung in Allgemeinchirurgie mit Studierenden kurz vor dem Abschluss in Argentinien zeigten etwa 12% eine deutliche Selbstsicherheit im Verhältnis zur eigenen Trefferquote (Borracci und Arribalzaga, 2018). Zu wenig Vertrauen war seltener, bei 8,3% der Studierenden, und trat häufiger bei denen mit besserer Leistung auf (Borracci und Arribalzaga, 2018). Die besten Studierenden zeigten auch weniger Selbstsicherheit, was darauf hindeutet, dass Wissen und Kalibrierung gemeinsam wachsen (Borracci und Arribalzaga, 2018).

Zeit, Schnelligkeit und richtige Antwort

Wer richtig liegt, antwortet meist schneller

Eine verbreitete Vorstellung ist, dass der diagnostische Fehler von der Eile kommt. In einer Studie mit kanadischen Absolventen direkt nach der Lizenzprüfung, die eine Reihe schriftlicher Fälle diagnostizierten, lag die Korrelation zwischen Antwortzeit und richtiger Antwort bei -0,54: Je schneller die Antwort, desto höher die Trefferquote (Sherbino et al., 2012). Der Zusammenhang blieb bestehen, als die Autoren das in der Lizenzprüfung gemessene Wissen kontrollierten (Sherbino et al., 2012).

Das heißt nicht, dass schnelles Antworten richtig liegen lässt. Es heißt, dass wer die Krankheit gut kennt, sie früh erkennt. Die Schnelligkeit ist eine Folge des Wissens, und deshalb kann eine schnelle Antwort gut kalibriert sein.

Hervorgerufenes Vertrauen änderte die Trefferquote kaum

In einem Experiment mit Assistenzärzten der Inneren Medizin wurde eine Gruppe dazu gebracht zu glauben, die Fälle seien leicht, und die andere, sie seien schwer (Al-Maghrabi et al., 2024). Die erste Gruppe wurde selbstsicherer, mit einem Mittelwert von 0,75 gegenüber 0,61 auf einer Skala bis 1, aber die aufgewendete Zeit und die diagnostische Trefferquote unterschieden sich kaum zwischen den Gruppen (Al-Maghrabi et al., 2024). Die Autoren schlagen vor, Selbstsicherheit eher als persönliche Eigenschaft zu untersuchen denn als etwas, das sich mit der Situation ändert (Al-Maghrabi et al., 2024).

Wasserwaage in Würfelform mit grüner Flüssigkeit und Luftblasen in den Röhren.
Die Libelle zeigt, wann die Oberfläche gerade ist; die Kalibrierung zeigt, wann das Vertrauen auf die Trefferquote abgestimmt ist. Bildnachweis: aTarom, gemeinfrei, via Wikimedia Commons (Dateiseite).

Wie viele Daten Sie brauchen

Die richtigen Daten sind mehr wert als viele Daten

In einer Studie mit Hausärzten bei schwierigen diagnostischen Problemen konnten die Teilnehmenden vor der Antwort weitere Informationen über die Patientin oder den Patienten anfordern (Kostopoulou et al., 2008). Das Anfordern kritischer Hinweise, jener, die die relevanten Differenzialdiagnosen trennen, sagte die richtige Antwort in den meisten Szenarien voraus, und die Assistenzärzte forderten mehr Informationen an als die erfahrenen Ärzte (Kostopoulou et al., 2008). Die Erfahrung wog in derselben Studie kaum für die richtige Antwort (Kostopoulou et al., 2008).

Die Lektion für die Kalibrierung ist direkt. Die nützliche Frage ist "Trennt das, was ich habe, meine Hypothesen?", und nicht "Habe ich schon genug Daten?". Wenn die Antwort ja ist, hat das Vertrauen eine Grundlage. Wenn sie nein ist, ist ein weiteres gut gewähltes Datum mehr wert als das Gefühl von Sicherheit.

Früh antworten und spät antworten

Muster Was es meist anzeigt Was zu tun ist
Antwortet früh und liegt richtig Bekannte Krankheit, schnelles Erkennen Beibehalten; prüfen, ob die Erklärung zu Ihrem Denken passt
Antwortet früh und liegt falsch Vertrauen vor Wissen Fragen, welches Datum die beiden Hypothesen trennen würde, bevor Sie antworten
Antwortet spät und liegt richtig Zweifel größer als nötig oder schwieriger Fall Prüfen, ab wann die Antwort schon klar war
Antwortet spät und liegt falsch Wissenslücke über die Krankheit Zum Inhalt zurückkehren, bevor Sie weitere Fälle üben

Warum die Kalibrierung schwer zu verbessern ist

Die Sicherheit hält länger als das Wissen

In einer Studie mit Studierenden, die Röntgenbilder des Sprunggelenks lesen lernten, kam jede Antwort mit dem Grad der Gewissheit, "mit Sicherheit" oder "wahrscheinlich", und mit sofortiger Rückmeldung (Pusic et al., 2015). Zwei Wochen später sank die durchschnittliche Trefferquote von 59% auf 53%, während die Häufigkeit der Antworten "mit Sicherheit" stabil blieb, was die Studierenden relativ zu selbstsicher machte (Pusic et al., 2015). Die Autoren schließen, dass die Fähigkeit, die eigene Leistung zu überwachen, getrennt gemessen werden muss, weil sie nicht mit der klinischen Fähigkeit Schritt hält (Pusic et al., 2015).

Rückmeldung hilft, aber mit Grenzen

In einer Studie mit Assistenzärzten der Familienmedizin verbesserte das Sehen der richtigen Diagnose nach jedem schwierigen Fall die Kalibrierung kaum im Vergleich zur Gruppe ohne Rückmeldung (Kuhn et al., 2022). Bei den richtig beantworteten Fällen war die Gruppe mit Rückmeldung sogar schlechter kalibriert, und die Autoren vermuten, dass die Assistenzärzte nach dem Sehen der eigenen Fehler ihr Vertrauen senkten, auch wenn sie richtig lagen (Kuhn et al., 2022).

Diese Ergebnisse zeigen, dass Kalibrieren nicht nur heißt, die Antwort zu erhalten. Es heißt, das Muster über viele Fälle hinweg zu betrachten: in welchen Situationen Sie meist recht haben, wenn Sie sich sicher fühlen, und in welchen Sie sich meist täuschen. Der Leitfaden zum Verfolgen Ihres Fortschritts zeigt eine Möglichkeit, dieses Protokoll anzulegen.

Sammlung von Metallloten, die an Fäden in einem Schrank hängen.
Jedes Lot zeigt die Vertikale auf seine eigene Weise; die Kalibrierung ist zu wissen, wie stark Ihr innerer Zeiger abweicht. Bildnachweis: Ejtack, CC0 1.0 (Lizenz), via Wikimedia Commons (Dateiseite).

Wie man die Kalibrierung trainiert

Vor der Antwort

  1. Nennen Sie Ihr Vertrauen in einer Zahl von 0 bis 10, bevor Sie die Antwort sehen.
  2. Benennen Sie die zweite Hypothese und das Datum, das sie ausschließen würde.
  3. Fragen Sie, ob das fehlende Datum die Entscheidung ändert; wenn nicht, antworten Sie.

Anzeichen, dass Sie zu früh geantwortet haben

  • Sie haben den Bereich getroffen, aber nicht die Krankheit, und können nicht sagen, was sie trennt.
  • Ihre Hypothese erklärt das Hauptbeschwerden, lässt aber einen Befund der körperlichen Untersuchung aus.
  • Ihr Vertrauen war hoch und der Fehler ging in ein anderes Kapitel des ICD-10.

Nach dem Ergebnis

Notieren Sie Vertrauen und Ergebnis nebeneinander. Trennen Sie nach einigen Wochen die Fälle, in denen Sie sehr sicher waren, und sehen Sie, wie viele Sie richtig hatten. Das ist das Bild Ihrer Kalibrierung, und es ändert sich, wenn das Wissen wächst.

Die Spur, bei der Sie im NEXO antworten

Im NEXO öffnet sich jeder Fall in bis zu sechs Spuren, und der Spieler wählt, wann er die Diagnose wagt. Die Punktzahl für den Treffer sinkt mit jeder aufgedeckten Spur, und das macht das Gleichgewicht zwischen früh antworten und auf ein weiteres Datum warten sichtbar. Jede Hypothese zeigt die Nähe im ICD-10 in fünf Stufen, vom exakten ICD bis zu einem anderen Kapitel.

Eine mögliche Lesart, die unsere Schlussfolgerung ist und keine Messung des Spiels, ist, die Spur, bei der Sie antworten, als Bild Ihres Vertrauens in diesem Fall zu behandeln. Bei der ersten Spur zu antworten deutet auf Sicherheit; bis zur letzten zu warten deutet auf Zweifel. Diese Spur mit dem Ergebnis zu kreuzen zeigt, wo Ihr Vertrauen eine Grundlage hatte. Auf dem Startbildschirm fasst die Verteilung der Treffer pro Spur dieses Muster über die Fälle hinweg zusammen.

Wenn Sie diagnostische Kalibrierung erforschen und das Thema mit dem NEXO untersuchen möchten, lernen Sie den NEXO Researcher kennen. Um das NEXO an die Fakultät, die Liga oder die Residenz zu bringen, gibt es den NEXO Closer. Ärzte, die die Fälle ihres Fachgebiets prüfen, nehmen über den NEXO Curator teil, und wer Gesundheitsinhalte in den sozialen Netzwerken erstellt, kann über den NEXO Creators teilnehmen.

Häufige Fragen

Was ist diagnostische Kalibrierung?

Es ist die Übereinstimmung zwischen dem Vertrauen in eine Diagnose und der tatsächlichen Chance, dass sie richtig ist. Eine gut kalibrierte Person liegt oft richtig, wenn sie sich sicher fühlt, und zweifelt, wenn sie Grund zum Zweifeln hat.

Erhöht schnelles Antworten die Fehlerquote?

Die Studien deuten darauf hin, dass das nicht immer so ist. In einer Studie mit Berufsanfängern waren die schnellsten Antworten die richtigsten, auch bei kontrolliertem Wissen (Sherbino et al., 2012).

Verbessert das Sehen der richtigen Antwort die Kalibrierung?

Es kann ein wenig helfen. Bei Assistenzärzten vor schwierigen Fällen änderte das Sehen der richtigen Diagnose nach jedem Fall die Kalibrierung kaum (Kuhn et al., 2022). Das Muster über viele Fälle hinweg zu betrachten, ist tendenziell nützlicher.

Ist übermäßiges Vertrauen bei Studierenden verbreitet?

In einer Prüfung mit Absolventen zeigten etwa 12% ein signifikantes Übermaß an Vertrauen, und die besten Studierenden hatten weniger Übermaß (Borracci und Arribalzaga, 2018).

Wie zeigt NEXO mein Vertrauen?

NEXO erfasst, bei welchem Hinweis Sie jeden Fall richtig gelöst haben, und bündelt dieses Muster in der Verteilung der Treffer nach Hinweis auf dem Startbildschirm. Diesen Hinweis als Signal für Vertrauen zu lesen, ist eine nützliche Schlussfolgerung für das Lernen. Um das Spiel kennenzulernen, lesen Sie was NEXO ist.

Checkliste der Kalibrierung

  1. Geben Sie vor jeder Antwort eine Vertrauensnote ab.
  2. Benennen Sie die zweite Hypothese und das Datum, das sie ausschließen würde.
  3. Suchen Sie das Datum, das unterscheidet, und nicht irgendein Datum.
  4. Notieren Sie Vertrauen und Ergebnis nebeneinander.
  5. Überprüfen Sie die Fälle mit hohem Vertrauen jede Woche.
  6. Misstrauen Sie der alten Sicherheit bei Themen, die Sie lange nicht wiederholt haben.
  7. Betrachten Sie das Muster, und nicht einen einzelnen Fall.
  8. Kehren Sie zum Inhalt zurück, wenn Sie sich bei hohem Vertrauen irren.

Möchten Sie sehen, bei welchem Hinweis Sie meistens richtig liegen? Spielen Sie den Fall des Tages in NEXO.

Referenzen

  1. Borracci RA, Arribalzaga EB. The Incidence of Overconfidence and Underconfidence Effects in Medical Student Examinations. J Surg Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/29397355/
  2. Sherbino J, Dore KL, Wood TJ, et al. The relationship between response time and diagnostic accuracy. Acad Med. 2012. https://pubmed.ncbi.nlm.nih.gov/22534592/
  3. Al-Maghrabi M, Mamede S, Schmidt HG, et al. Overconfidence, Time-on-Task, and Medical Errors: Is There a Relationship? Adv Med Educ Pract. 2024. https://pubmed.ncbi.nlm.nih.gov/38410282/
  4. Kostopoulou O, Oudhoff J, Nath R, et al. Predictors of diagnostic accuracy and safe management in difficult diagnostic problems in family medicine. Med Decis Making. 2008. https://pubmed.ncbi.nlm.nih.gov/18556634/
  5. Pusic MV, Chiaramonte R, Gladding S, Andrews JS, Pecaric MR, Boutis K. Accuracy of self-monitoring during learning of radiograph interpretation. Med Educ. 2015. https://pubmed.ncbi.nlm.nih.gov/26152495/
  6. Kuhn J, van den Berg P, Mamede S, Zwaan L, Bindels P, van Gog T. Improving medical residents' self-assessment of their diagnostic accuracy: does feedback help? Adv Health Sci Educ Theory Pract. 2022. https://pubmed.ncbi.nlm.nih.gov/34739632/

Zurück zum Blog