Калибровка уверенности в диагнозе: когда отвечать

Стрельбище для лучников в парке

В каждом клиническом случае наступает момент, когда вы решаете, что знаете достаточно. Иногда это чувство приходит рано и оказывается верным. Иногда приходит рано и оказывается ошибочным, а иногда запаздывает так сильно, что вы назначаете обследования, которые были не нужны. Вопрос в основе один и тот же: соответствует ли ваша уверенность вашей точности?

NEXO — это ежедневная игра по медицинской диагностике: один клинический случай в день, шесть последовательных подсказок и обратная связь по близости МКБ-10 на пяти уровнях.

Это руководство объясняет, что такое диагностическая калибровка, что исследования говорят об уверенности, времени и количестве информации, и как использовать число данных, которые вам понадобились для ответа, как отражение вашего сомнения.

Главные пункты

  • Калибровка — это расстояние между тем, насколько вы уверены, и тем, насколько вы точны.
  • Быстрый ответ не означает ошибку: в ряде исследований точность идёт рука об руку с быстрым ответом.
  • Поиск нужных данных весит больше, чем поиск многих данных.
  • Ощущение уверенности может длиться дольше знания, и это со временем делает студента слишком уверенным.
  • Фиксировать, в какой момент вы ответили, и сверять результат помогает увидеть собственный паттерн.

Содержание

Что такое диагностическая калибровка

Уверенность и точность — разные измерения

Калибровка — это то, насколько ваша уверенность в диагнозе соответствует реальной вероятности того, что он верен. Кто говорит, что очень уверен, и при этом редко бывает прав, слишком уверен; кто часто прав и во всём сомневается, недостаточно уверен. Обе ошибки весомы: первая закрывает обследование рано, вторая тратит время и обследования. Руководство о диагностической неопределённости показывает, почему эти два измерения так расходятся.

Избыток и недостаток уверенности у студентов

На экзамене по общей хирургии со студентами, готовящимися к выпуску в Аргентине, около 12% показали значительный избыток уверенности относительно собственной точности (Borracci e Arribalzaga, 2018). Недостаток уверенности был менее распространён — у 8,3% студентов — и чаще встречался среди тех, кто показал лучшие результаты (Borracci e Arribalzaga, 2018). Лучшие студенты также показали меньше избытка уверенности, что говорит о том, что знание и калибровка растут вместе (Borracci e Arribalzaga, 2018).

Время, скорость и точность

Кто точен, обычно отвечает быстрее

Распространённая идея — что диагностическая ошибка происходит из-за спешки. В исследовании с канадскими выпускниками сразу после лицензионного экзамена, которые диагностировали серию письменных случаев, корреляция между временем ответа и точностью составила -0,54: чем быстрее ответ, тем выше точность (Sherbino et al., 2012). Связь сохранилась, когда авторы учли знание, измеренное на лицензионном экзамене (Sherbino et al., 2012).

Это не значит, что быстрый ответ делает вас точным. Это значит, что тот, кто хорошо знает болезнь, распознаёт её рано. Скорость — следствие знания, и поэтому быстрый ответ может быть хорошо откалиброван.

Навязанная уверенность мало изменила точность

В эксперименте с ординаторами по внутренним болезням одну группу убедили, что случаи лёгкие, а другую — что трудные (Al-Maghrabi et al., 2024). Первая группа стала более уверенной, в среднем 0,75 против 0,61 по шкале до 1, но затраченное время и диагностическая точность мало различались между группами (Al-Maghrabi et al., 2024). Авторы предлагают изучать избыток уверенности скорее как личностную черту, чем как то, что меняется в зависимости от ситуации (Al-Maghrabi et al., 2024).

Уровень жидкости в форме куба, с зелёной жидкостью и пузырьками воздуха в трубках.
Пузырьковый уровень показывает, когда поверхность ровная; калибровка показывает, когда уверенность согласована с точностью. Источник: aTarom, общественное достояние, через Wikimedia Commons (страница файла).

Сколько данных вам нужно

Нужные данные ценнее многих данных

В исследовании с семейными врачами перед лицом трудных диагностических задач участники могли запросить больше информации о пациенте перед ответом (Kostopoulou et al., 2008). Запрос критических подсказок — тех, что разделяют значимые дифференциальные диагнозы, — предсказывал точность в большинстве сценариев, и ординаторы запрашивали больше информации, чем опытные врачи (Kostopoulou et al., 2008). Опыт в том же исследовании мало влиял на точность (Kostopoulou et al., 2008).

Урок для калибровки прост. Полезный вопрос — «отделяют ли имеющиеся у меня данные мои гипотезы?», а не «достаточно ли у меня данных?». Когда ответ да, уверенность имеет основание. Когда нет, ещё одна хорошо выбранная данная ценнее ощущения безопасности.

Ответить рано и ответить поздно

Модель На что обычно указывает Что делать
Отвечает рано и правильно Известная болезнь, быстрое распознавание Сохранить; проверить, совпадает ли объяснение с вашими рассуждениями
Отвечает рано и ошибается Уверенность опережает знание Спросить, какая данная разделила бы две гипотезы, прежде чем отвечать
Отвечает поздно и правильно Сомнение больше необходимого или трудный случай Пересмотреть, в какой момент ответ уже был ясен
Отвечает поздно и ошибается Пробел в знании о болезни Вернуться к материалу, прежде чем тренировать новые случаи

Почему калибровку трудно улучшить

Уверенность держится дольше знания

В исследовании со студентами, учившимися читать рентгенограммы голеностопа, каждый ответ сопровождался степенью уверенности, «точно» или «вероятно», и немедленной обратной связью (Pusic et al., 2015). Через две недели средняя доля правильных ответов упала с 59% до 53%, тогда как частота ответов «точно» осталась стабильной, что оставило студентов относительно слишком уверенными (Pusic et al., 2015). Авторы заключают, что способность отслеживать собственную результативность нужно измерять отдельно, потому что она не сопутствует клиническому навыку (Pusic et al., 2015).

Обратная связь помогает, но с ограничениями

В испытании с ординаторами по семейной медицине просмотр правильного диагноза после каждого трудного случая почти не улучшил калибровку по сравнению с группой без обратной связи (Kuhn et al., 2022). В правильных случаях группа с обратной связью стала даже менее калиброванной, и авторы предполагают, что, увидев собственные ошибки, ординаторы снизили уверенность даже тогда, когда были правы (Kuhn et al., 2022).

Эти результаты показывают, что калибровать — не просто получать ответ. Это смотреть на закономерность на протяжении многих случаев: в каких ситуациях вы обычно правы, когда чувствуете себя уверенно, и в каких обычно ошибаетесь. Руководство по отслеживанию своего прогресса предлагает способ вести такую запись.

Коллекция металлических отвесов, подвешенных на нитях в шкафу.
Каждый отвес указывает вертикаль по-своему; калибровка — это знать, насколько отклоняется ваша внутренняя стрелка. Источник: Ejtack, CC0 1.0 (лицензия), через Wikimedia Commons (страница файла).

Как тренировать калибровку

Перед ответом

  1. Назовите свою уверенность числом от 0 до 10, прежде чем увидите ответ.
  2. Назовите вторую гипотезу и данную, которая её отклонила бы.
  3. Спросите, меняет ли недостающая данная решение; если не меняет, отвечайте.

Признаки того, что вы ответили слишком рано

  • Вы угадали область, но не болезнь, и не можете сказать, что их разделяет.
  • Ваша гипотеза объясняет основную жалобу, но оставляет в стороне находку из физикального обследования.
  • Ваша уверенность была высокой, а ошибка ушла в другую главу МКБ-10.

После результата

Записывайте уверенность и результат рядом. Через несколько недель выделите случаи, в которых вы были очень уверены, и посмотрите, сколько из них вы угадали. Это портрет вашей калибровки, и он меняется по мере роста знания.

Подсказка, на которой вы отвечаете в NEXO

В NEXO каждый случай раскрывается до шести подсказок, и игрок выбирает, когда рискнуть с диагнозом. Баллы за правильный ответ падают с каждой раскрытой подсказкой, и это делает видимым равновесие между тем, чтобы ответить рано, и тем, чтобы подождать ещё одну данную. Каждая гипотеза показывает близость по МКБ-10 на пяти уровнях, от точного кода МКБ до другой главы.

Одно из возможных прочтений, которое является нашим предположением, а не измерением игры, — рассматривать подсказку, на которой вы отвечаете, как портрет вашей уверенности в этом случае. Ответ на первой подсказке говорит об уверенности; ожидание до последней говорит о сомнении. Сопоставление этой подсказки с результатом показывает, где ваша уверенность имела основание. На главном экране распределение правильных ответов по подсказкам собирает эту закономерность на протяжении случаев.

Если вы исследуете диагностическую калибровку и хотите изучать тему с NEXO, познакомьтесь с NEXO Researcher. Чтобы принести NEXO в вуз, в студенческое общество или в ординатуру, есть NEXO Closer. Врачи, которые рецензируют случаи по своей специальности, участвуют через NEXO Curator, а те, кто создаёт контент о здоровье в соцсетях, могут участвовать через NEXO Creators.

Частые вопросы

Что такое диагностическая калибровка?

Это соответствие между уверенностью в диагнозе и реальной вероятностью того, что он верен. Хорошо калиброванный человек часто прав, когда чувствует уверенность, и сомневается, когда есть причина сомневаться.

Быстрый ответ увеличивает ошибку?

Исследования показывают, что не всегда. В исследовании с выпускниками самые быстрые ответы были самыми верными, даже с поправкой на знания (Sherbino et al., 2012).

Просмотр правильного ответа улучшает калибровку?

Может немного помочь. У ординаторов на сложных случаях просмотр правильного диагноза после каждого случая мало изменил калибровку (Kuhn et al., 2022). Наблюдение за закономерностью на многих случаях, как правило, полезнее.

Избыточная уверенность часто встречается у студентов?

На экзамене у выпускников около 12% показали значительную избыточную уверенность, а у лучших студентов избыточная уверенность была меньше (Borracci и Arribalzaga, 2018).

Как NEXO показывает мою уверенность?

NEXO фиксирует, на какой подсказке вы угадали каждый случай, и собирает эту закономерность в распределении попаданий по подсказкам на главном экране. Читать эту подсказку как сигнал уверенности — полезный для учёбы вывод. Чтобы узнать об игре, прочитайте что такое NEXO.

Чек-лист калибровки

  1. Поставьте оценку уверенности перед каждым ответом.
  2. Назовите вторую гипотезу и данные, которые её опровергнут.
  3. Ищите данные, которые разделяют, а не любые данные.
  4. Записывайте уверенность и результат рядом.
  5. Пересматривайте случаи с высокой уверенностью каждую неделю.
  6. Не доверяйте старой уверенности в темах, которые вы давно не повторяли.
  7. Смотрите на закономерность, а не на отдельный случай.
  8. Возвращайтесь к материалу, когда ошибаетесь с высокой уверенностью.

Хотите увидеть, на какой подсказке вы обычно угадываете? Играйте в случай дня в NEXO.

Ссылки

  1. Borracci RA, Arribalzaga EB. The Incidence of Overconfidence and Underconfidence Effects in Medical Student Examinations. J Surg Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/29397355/
  2. Sherbino J, Dore KL, Wood TJ, et al. The relationship between response time and diagnostic accuracy. Acad Med. 2012. https://pubmed.ncbi.nlm.nih.gov/22534592/
  3. Al-Maghrabi M, Mamede S, Schmidt HG, et al. Overconfidence, Time-on-Task, and Medical Errors: Is There a Relationship? Adv Med Educ Pract. 2024. https://pubmed.ncbi.nlm.nih.gov/38410282/
  4. Kostopoulou O, Oudhoff J, Nath R, et al. Predictors of diagnostic accuracy and safe management in difficult diagnostic problems in family medicine. Med Decis Making. 2008. https://pubmed.ncbi.nlm.nih.gov/18556634/
  5. Pusic MV, Chiaramonte R, Gladding S, Andrews JS, Pecaric MR, Boutis K. Accuracy of self-monitoring during learning of radiograph interpretation. Med Educ. 2015. https://pubmed.ncbi.nlm.nih.gov/26152495/
  6. Kuhn J, van den Berg P, Mamede S, Zwaan L, Bindels P, van Gog T. Improving medical residents' self-assessment of their diagnostic accuracy: does feedback help? Adv Health Sci Educ Theory Pract. 2022. https://pubmed.ncbi.nlm.nih.gov/34739632/

Вернуться в блог