Ретроспективное искажение и искажение результата

На утреннем разборе кто-то показывает томографию, которая поставила точку в диагнозе через два дня после первого приёма. "Всё же было очевидно", говорит коллега. На экране, когда исход уже известен, признаки словно кричат. На первом приёме, когда пациент был одним из многих и томографии не было, они были шёпотом среди других шёпотов.

NEXO — это ежедневная игра по медицинской диагностике: один клинический случай в день, шесть последовательных подсказок и обратная связь по близости МКБ-10 на пяти уровнях.

Эта дистанция между тем, что было известно до, и тем, что известно после, порождает два искажения, которые дают о себе знать всякий раз, когда судят об ошибке: искажение ретроспективы и искажение результата. Это руководство объясняет каждое из них, показывает, что обнаружили исследования, когда врачи оценивали помощь коллег, зная исход, и предлагает более справедливый взгляд на прошлое решение.

Главное

• Искажение ретроспективы — это склонность, узнав исход, считать, что он был более предсказуемым, чем казался раньше.
• Искажение результата — это судить о качестве решения по исходу, а не по информации, доступной в тот момент.
• В классическом исследовании анестезиологи оценили одну и ту же помощь как менее адекватную, когда описанный исход был стойким.
• Врачи, прочитавшие виньетки с исходом в виде ошибки, находили у коллеги примерно вдвое больше когнитивных искажений в рассуждении.
• Оценивать помощь, не раскрывая исход, и восстанавливать то, что было известно в каждый момент, самые часто упоминаемые меры защиты.

Что это за два искажения

Искажение ретроспективы

Искажение ретроспективы, или hindsight bias, — это ощущение "я так и знал" после того, как исход проявился. Тот, кто знает финал, перестраивает воспоминание о данных: те, что указывали на диагноз, выходят на первый план, а те, что указывали в другую сторону, исчезают. Исследование 1981 года уже изучало этот эффект у врачей, оценивавших вероятность диагнозов (Arkes et al., 1981).

Искажение результата

Искажение результата, или outcome bias, близкий родственник. Оно судит о решении по тому, что случилось потом: одно и то же действие кажется правильным, если пациенту стало лучше, и небрежным, если ему стало хуже. Решение одно и то же; изменилась лишь удача.

До и после

Оба отличаются от калибровки и метапознания, которые касаются оценки собственного рассуждения до того, как известен результат, как показывают руководства по калибровке уверенности в диагнозе и по метапознанию в медицине. Здесь проблема в суждении, которое приходит потом, почти всегда о решении другого человека.

Что показывают исследования

Исход меняет оценку помощи

В классическом исследовании 112 практикующих анестезиологов оценивали адекватность помощи в ситуациях с неблагоприятными исходами анестезии (Caplan et al., 1991). Для каждой исходной ситуации авторы создали идентичную версию, отличавшуюся только исходом, временным или стойким, и случайным образом распределяли, какую версию получит каждый оценщик (Caplan et al., 1991).

Обратная связь между тяжестью исхода и оценкой адекватности помощи обнаружилась в 15 из 21 пары, или в 71% (Caplan et al., 1991). Доля оценок адекватной помощи упала на 31 процентный пункт, когда исход сменился с временного на стойкий, и выросла на 28 пунктов в обратном направлении (Caplan et al., 1991).

Тот же эффект в виньетках неотложной помощи

Более позднее поперечное исследование с участием 191 врача скорой помощи и семейной медицины в Нидерландах случайным образом распределяло сообщаемый исход в виньетках о неотложной помощи (Plaum et al., 2024). В одной из виньеток помощь сочли адекватной 44% врачей, когда исход был плохим, против 88%, когда он был хорошим, и 84%, когда исход не сообщался (Plaum et al., 2024).

Врачи, получившие плохой исход, также оценили вероятность этого исхода как более высокую (Plaum et al., 2024). Это ретроспектива в действии: знание финала делает финал вероятным.

Исход меняет искажения, которые замечают

В исследовании с виньетками 37 врачей прочитали восемь случаев и отметили когнитивные искажения в описанном рассуждении; в половине случаев исход указывал на правильный диагноз, в другой половине — на неправильный (Zwaan et al., 2017). При правильном исходе врачи в среднем отмечали 1,75 искажения; при неправильном: 3,45 (Zwaan et al., 2017).

Согласие между врачами по каждому из искажений было почти нулевым, каппа от 0,000 до 0,044 (Zwaan et al., 2017). Авторы пришли к выводу, что на оценку искажений сильно влияет взгляд назад, что осложняет стратегии снижения ошибок, основанные на выявлении искажений после факта (Zwaan et al., 2017).

Риск и небрежность

В исследовании с участием 235 психиатров половина получила виньетки с информацией о том, что серьёзный исход наступил вскоре после выписки (LeBourgeois et al., 2007). Искажение взгляда назад проявилось при оценке риска, но отсутствовало при оценке небрежности (LeBourgeois et al., 2007). Таким образом, эффект зависит от вопроса, заданного оценщику.

В других областях

Обзорный обзор когнитивных искажений при интерпретации изображений в радиологии включил 24 публикации, и искажение взгляда назад было одной из пяти основных тем (Chen et al., 2023). Результаты были неоднородными, а стратегии снижения этих искажений в значительной степени оставались непроверенными (Chen et al., 2023).

Почему это важно при оценке ошибки

При обсуждении случаев

Сессии обсуждения случаев и разборы заболеваемости и смертности почти всегда начинаются с исхода. Это неизбежно, но создаёт идеальную почву для обоих искажений. Грамотное ведение требует, чтобы изложение шло по хронологии, а аудитория рассуждала исходя из того, что было известно в каждый момент.

При рецензировании и экспертизе

Исследование 1991 года было вызвано именно этой проблемой: тот, кто проверяет помощь, зная о стойком вреде, склонен судить строже (Caplan et al., 1991). Это касается внутренних комиссий, аудитов и экспертиз.

У самого врача

Искажение затрагивает не только тех, кто судит со стороны. Врач, вовлечённый в плохой исход, тоже пересматривает собственное решение с высоты прошедшего и может винить себя за то, что проигнорировал сигнал, который в тот момент был неоднозначным. Эмоциональному воздействию ошибки на специалиста, которое называют второй жертвой, и разговору с пациентом об ошибке посвящены отдельные руководства в этой серии.

В обучении

Если каждый разбор ошибки переоценивает то, что было предсказуемо, извлечённый урок сводится к "будьте внимательнее", а не к конкретному изменению процесса. Результат: вина без обучения.

Как справедливо оценить решение

Скрывайте исход, когда это возможно

Самая прямая защита — оценивать помощь, не зная исхода. Исследования с виньетками показывают, насколько это меняет дело: в нидерландской виньетке оценка без исхода оказалась близка к оценке с хорошим исходом (Plaum et al., 2024). При проверках качества оценщик может читать историю болезни до момента решения, прежде чем узнать, что было дальше.

Восстановите хронологию

Для каждого решения запишите три вещи: что было известно, о чём было разумно спросить и какими были альтернативы. Руководство о том, как организовать клиническое рассуждение в истории болезни, показывает, почему ясная запись гипотез облегчает такое восстановление впоследствии.

Отделяйте решение от исхода

Хорошее решение может иметь плохой исход, а плохое решение может закончиться хорошо. Оценивать эти две вещи в отдельных колонках помогает: было ли решение разумным с учётом информации на тот момент? Почему исход был плохим? Руководство о диагностической неопределённости рассказывает, как принимать верные решения, когда результат не гарантирован.

Не доверяйте списку искажений, составленному задним числом

Исследование 2017 года показало, что, зная об ошибке, врачи видят вдвое больше искажений и расходятся между собой в том, какие это искажения (Zwaan et al., 2017). Называть искажения полезно для обучения, как в руководстве с примерами эвристик, но ярлык, приписанный после исхода, — это гипотеза, а не диагноз чужого рассуждения.

Спрашивайте о системе

Когда вопрос меняется с "кто ошибся?" на "что сделало эту ошибку более вероятной?", взгляд назад теряет силу, потому что анализ уходит от человека к условиям работы.

Студенту: учиться на чужом случае

Остановитесь до финала

Читая описание случая или слушая обсуждение, попробуйте остановиться до развязки и записать свою гипотезу по данным того момента. Только потом читайте конец. Эта привычка защищает от "это же было очевидно" и показывает, насколько случай был на самом деле трудным.

Сравните свою оценку с исходом

Запишите также, насколько вы были уверены в своей гипотезе. Разница между уверенностью и результатом, накопленная на многих случаях, учит большему, чем любой отдельный случай, и это тема дневника ошибок.

Будьте великодушны к тому, кто принял решение

Когда коллега ошибся, спросите, что он знал и что сделали бы вы на его месте, с той же усталостью и той же очередью. О том, каким тоном вести такие разговоры, говорится в руководстве по обратной связи в клинических случаях.

Смотреть случай подсказка за подсказкой в NEXO

В NEXO случай дня приходит с максимум шестью подсказками, и игрок решает, не зная финала. После партии оглянуться назад и спросить, на какой подсказке диагноз действительно стал виден, — это упражнение против ретроспективного взгляда: часто ответ приходит позже, чем казалось. Распределение верных ответов по подсказкам показывает, на каком этапе вы обычно доходите до ответа.

При каждой гипотезе близость по МКБ-10 на пяти уровнях показывает, насколько далеко оказалась гипотеза. Случаи вымышленные, но клиническая картина реальная, а руководство что такое NEXO объясняет всю партию. Как открываются режимы, описано на странице экономики NEXO.

Если вы руководите факультетом, лигой или ординатурой и хотите разбирать случаи в группе подсказка за подсказкой, познакомьтесь с NEXO Closer. Исследователи в области медицинского образования могут предложить исследования через NEXO Researcher. Врачи, которые рецензируют случаи, участвуют через NEXO Curator, а те, кто создаёт контент о здоровье в соцсетях, могут участвовать через NEXO Creators.

Частые вопросы

Что такое ретроспективное искажение?

Это когда после того, как стал известен исход, кажется, что он был более предсказуем, чем казался раньше.

Что такое искажение результата?

Это оценка качества решения по исходу, а не по информации, доступной в момент, когда оно принималось.

Подвержены ли врачи этим искажениям?

Да. Анестезиологи оценивали одну и ту же помощь как менее адекватную, когда исход был необратимым (Caplan et al., 1991).

Меняет ли исход анализ искажений?

В одном исследовании врачи указывали примерно вдвое больше искажений, когда исход говорил об ошибке (Zwaan et al., 2017).

Как уменьшить ретроспективное искажение?

Оценивая помощь, когда это возможно, не зная исхода, восстанавливая хронологию и отделяя решение от результата.

В чём разница с калибровкой?

Калибровка смотрит на собственную уверенность до исхода; ретроспективное искажение искажает суждение после него.

Чек-лист суждения без ретроспективного взгляда

1. Читайте до момента решения, прежде чем узнать исход.
2. Записывайте, что было известно в каждый момент.
3. Перечислите разумные варианты того времени.
4. Отделите решение от исхода в разных столбцах.
5. Относитесь к списку искажений как к гипотезе.
6. Спрашивайте о системе, а не только о человеке.
7. Запишите свою гипотезу, прежде чем читать финал случая.

Хотите тренировать решение, не зная финала? Играйте в случай дня в NEXO.

Источники

1. Arkes HR, Wortmann RL, Saville PD, Harkness AR. Hindsight bias among physicians weighing the likelihood of diagnoses. J Appl Psychol. 1981. https://pubmed.ncbi.nlm.nih.gov/7240061/
2. Caplan RA, Posner KL, Cheney FW. Effect of outcome on physician judgments of appropriateness of care. JAMA. 1991. https://pubmed.ncbi.nlm.nih.gov/2008024/
3. Plaum P, Visser LN, de Groot B, Morsink MEB, Duijst WLJM, Candel BGJ. Using case vignettes to study the presence of outcome, hindsight, and implicit bias in acute unplanned medical care: a cross-sectional study. Eur J Emerg Med. 2024. https://pubmed.ncbi.nlm.nih.gov/38364049/
4. Zwaan L, Monteiro S, Sherbino J, Ilgen J, Howey B, Norman G. Is bias in the eye of the beholder? A vignette study to assess recognition of cognitive biases in clinical case workups. BMJ Qual Saf. 2017. https://pubmed.ncbi.nlm.nih.gov/26825476/
5. LeBourgeois HW 3rd, Pinals DA, Williams V, Appelbaum PS. Hindsight bias among psychiatrists. J Am Acad Psychiatry Law. 2007. https://pubmed.ncbi.nlm.nih.gov/17389347/
6. Chen J, Gandomkar Z, Reed WM. Investigating the impact of cognitive biases in radiologists' image interpretation: A scoping review. Eur J Radiol. 2023. https://pubmed.ncbi.nlm.nih.gov/37541180/