Предвзятость к автоматизации: когда машине верят слишком

Три часа ночи в загруженном отделении неотложной помощи. Ординатор второго года изучает компьютерную томографию головы, а система поддержки отмечает красным подозрительную область в лобной доле. Он увеличивает изображение, соглашается с отметкой и переходит к следующему пациенту. Два часа спустя дежурный рентгенолог смотрит то же исследование и не находит ничего в отмеченной области, но видит небольшое кровоизлияние с другой стороны, которое система не указала. Сцена вымышленная и написана для обучения.

Этот текст посвящён предвзятости к автоматизации — склонности больше доверять выводу автоматизированной системы, чем собственным клиническим признакам. Задача — посмотреть, что показывают исследования об электронных назначениях, визуализации, патологии и эндоскопии, и чему каждая находка учит в рассуждении. Если вы играете в случай дня в NEXO, вы узнаете этот вызов: каждая новая подсказка требует взвесить информацию, а не принять её только потому, что она появилась на экране.

Главное

• Предвзятость к автоматизации — это склонность доверять выводу автоматических инструментов больше, чем собственному суждению или мнению других людей.
• Она порождает два типа ошибок: бездействие, потому что система не подала сигнал, и следование ошибочной рекомендации системы.
• В патологии та же помощь, которая повышала точность при верной подсказке, снижала точность при ошибочной.
• Читатели любого уровня опыта поддавались влиянию ложноположительных находок ИИ при ангиомагнитно-резонансной томографии.
• Студенты, которым помогал чат-бот, в среднем улучшили результат, но плохо отличали полезное влияние от вредного.
• Недавние обзоры относят предвзятость к автоматизации к самым частым темам в исследованиях генеративного ИИ.

Что такое предвзятость к автоматизации

Понятие пришло из авиации. Исследования 1980-х и 1990-х годов и анализ сообщений об инцидентах показали, что пилоты часто переставали следить за важными показателями полёта или отключать автопилот, когда он давал сбой (Sujan и соавторы, 2019). Явление получило название предвзятости к автоматизации, или самоуспокоенности, вызванной автоматизацией, и это пример неверного решения из-за чрезмерного доверия машине.

В медицине определение похожее. Предвзятость к автоматизации — это склонность человека опираться на выводы автоматизированных инструментов вместо неавтоматизированных сигналов, таких как собственное суждение или мнение других людей (Bittencourt, 2025). Обзор по радиологии укладывает идею в одну строку: это систематическая склонность принимать подсказки ИИ, даже когда они ошибочны (Kocak и Cuocolo, 2026).

Предвзятость к автоматизации и самоуспокоенность

Тот же автор разделяет два близких понятия. Самоуспокоенность — это неоправданное доверие, которое ведёт к меньшей бдительности и некритичному принятию вывода системы (Bittencourt, 2025). На практике они идут вместе. Кто слишком доверяет, тот меньше проверяет, а кто меньше проверяет, тот склонен принимать то, что появляется.

В эндоскопии пищеварительного тракта предвзятость к автоматизации описали как склонность когнитивно отключаться от задач, переданных внешней технологии, с потерей ситуационной осведомлённости (Campion и соавторы, 2024). Это выражение помогает понять сцену дежурства. Ординатор внимательно посмотрел на отмеченную область, но перестал с той же внимательностью просматривать остальную часть исследования.

Ошибки бездействия и действия

Предвзятость к автоматизации может порождать ошибки бездействия, когда человек не предпринимает нужного действия, потому что система не предупредила, и ошибки действия, когда человек следует неверной рекомендации системы (Sujan и соавторы, 2019). В сцене дежурства есть и то, и другое. Принять ошибочную отметку в лобной доле — это ошибка действия. Пропустить кровоизлияние, которое система не указала, — это ошибка бездействия.

Это разделение полезно для рассуждения, потому что каждая ошибка требует своей защиты. Против ошибки комиссии защита — проверить подсказку, прежде чем её принять. Против ошибки пропуска защита — сохранять полный поиск, даже когда система молчит. Текст о диагностической неопределённости показывает, как выдерживать сомнение, не прекращая поиск слишком рано.

Обратная сторона: неприятие алгоритма

Есть и противоположная ошибка. Неприятие алгоритма — это игнорировать вывод ИИ из недоверия (Kocak и Cuocolo, 2026). В эндоскопии, когда пользователь видит, что алгоритм ошибается, он гораздо более склонен не учитывать последующие указания той же системы (Campion и соавторы, 2024). Между одной крайностью и другой находится калиброванное доверие, за которое выступают авторы: знать, когда инструмент обычно прав, а когда обычно ошибается.

Что показывают исследования в назначении лекарств и в визуализации

Самые прямые данные получены в экспериментах, где качество подсказки контролируют исследователи. Так можно увидеть, что происходит со специалистом, когда машина права и когда ошибается, а в обычной работе это наблюдать удаётся редко.

Электронное назначение

В эксперименте с электронным назначением варьировали качество поддержки решений — правильная, неправильная или отсутствующая — и сложность задачи, с прерыванием и без (Lyell и соавторы, 2017). По сравнению со сценариями без поддержки правильная поддержка уменьшила ошибки пропуска, то есть промахи в распознавании ошибок назначения. Неправильная поддержка увеличила эти ошибки. Участники также совершали ошибки комиссии, принимая ложноположительные предупреждения, на всех проверенных уровнях сложности.

Дизайн исследования показывает суть проблемы. Один и тот же инструмент помогает, когда прав, и мешает, когда ошибается, а тот, кто им пользуется, с трудом замечает разницу в момент решения. Текст о принятии клинического решения обсуждает, как взвешивать новую информацию по тому, что она меняет в тактике.

Ангиомагнитно-резонансная томография и аневризмы головного мозга

В исследовании ангиомагнитно-резонансной томографии головного мозга составили набор снимков, в половине которых был хотя бы один ложноположительный результат ИИ (Kim и соавторы, 2025). Ложноположительные результаты значительно повысили подозрение на аневризму у читателей. Менее опытные рекомендовали более интенсивные контрольные обследования, когда видели ложноположительный результат ИИ, при p = 0,005 (Kim и соавторы, 2025).

В том же исследовании измеряли время чтения. С помощью ИИ неопытные читатели читали в среднем за 164,1 секунды против 228,2 без помощи, а очень опытные — за 117,9 против 153,5 (Kim и соавторы, 2025). Выигрыш в скорости появился на всех уровнях. Авторы заключили, что читатели-радиологи подвержены предвзятости автоматизации при ложноположительных результатах ИИ.

Для рассуждения стоит вспомнить деталь, которую подчёркивает сама статья: при скрининге с множеством нормальных снимков даже очень точные тесты дают больше ложноположительных результатов, чем истинно положительных, — так называемый парадокс ложноположительного результата (Kim и соавторы, 2025). Текст о базовой частоте в диагностике объясняет, почему так происходит.

Скрининговая маммография

В симуляции на большой базе маммограмм из Виктории, Австралия, проверили пять способов включить ИИ в скрининг и проанализировали эффект взаимодействия человека и машины (Frazer и соавторы, 2024). Использованный как второй чтец или как фильтр высокой надёжности, ИИ улучшил результаты и сократил объём человеческих прочтений. Предвзятость автоматизации ухудшила работу в схемах с несколькими чтецами и улучшила работу одиночных чтецов (Frazer и соавторы, 2024). Эффект зависит от того, как инструмент встроен в рабочий процесс.

Что показывают исследования в патологии, эндоскопии и лучевой терапии

Находки в визуализации повторяются в других областях, которые зависят от визуального распознавания. В каждой из них вопрос один и тот же: что происходит с работой специалиста, когда подсказка неверна?

Патология печени

Ассистент глубокого обучения протестировали на классификации рака печени 11 патологов с разным уровнем опыта (Kiani и соавторы, 2020). Сам ассистент хорошо справлялся с валидационными и тестовыми стёклами. И всё же использование инструмента не изменило среднюю точность группы и улучшило результат лишь у подгруппы из девяти патологов с чётко определёнными уровнями опыта.

Самый важный результат дал анализ по случаям. Когда предсказание модели было верным, помощь сильно повышала точность, отношение шансов 4,289 (Kiani и соавторы, 2020). Когда предсказание было ошибочным, помощь снижала точность, отношение шансов 0,253, и оба эффекта проявились на всех уровнях опыта и сложности (Kiani и соавторы, 2020). Авторы призывают учитывать риски такой помощи уже при разработке и тестировании подобных инструментов.

Эндоскопия пищеварительного тракта

В колоноскопии системы обнаружения с поддержкой компьютера ставили в приоритет, чтобы повысить частоту выявления аденом (Campion и соавторы, 2024). Первые результаты были обнадёживающими, но некоторые исследования в реальных условиях показали меньшие эффекты или их отсутствие, а также больше ненужного удаления полипов без злокачественного потенциала. Авторы предполагают, что различия между экспериментом и реальной практикой помогают объяснить факторы взаимодействия человека и ИИ.

Та же работа напоминает, что эти системы также дают ложные тревоги, в среднем 2,4 в минуту извлечения аппарата, и что влияние таких повторов на усталость эндоскописта ещё предстоит изучить (Campion и соавторы, 2024). Инструмент, который должен был разгрузить внимание, в итоге конкурирует за него.

Лучевая терапия рака предстательной железы

В лучевой терапии одно исследование сравнило ручное оконтуривание структур предстательной железы с оконтуриванием, выполненным ИИ и скорректированным врачами (Arjmandi и соавторы, 2026). Помощь ИИ улучшила согласие между наблюдателями и внутри одного наблюдателя. Тем не менее скорректированное оконтуривание не всегда превосходило ручное, и авторы указывают на предвзятость к автоматизации или избирательное принятие как возможное влияние на корректировки. В выводе отстаивается структурированный контроль качества и надзор человека.

Область	Дизайн	Находка о предвзятости	Источник
Электронные назначения	Эксперимент со 120 участниками	Неверная поддержка увеличила ошибки пропуска; ложные оповещения принимались	Lyell и соавторы, 2017
Патология печени	11 патологов с ассистентом и без него	Ошибочная подсказка снизила точность на всех уровнях	Kiani и соавторы, 2020
Ангиография-МРТ головного мозга	Половина исследований с ложноположительным результатом	Больше подозрений на аневризму и более быстрое чтение	Kim и соавторы, 2025
Маммография	Симуляция с пятью схемами	Предвзятость ухудшила результаты нескольких читателей и помогла одиночным читателям	Frazer и соавторы, 2024
Лучевая терапия рака предстательной железы	Ручное и скорректированное оконтуривание	Корректировка не всегда превосходила ручную	Arjmandi и соавторы, 2026
Медицинское образование	185 студентов с чат-ботом	Полезное и вредное влияние показались студентам одинаковыми	Hayden и соавторы, 2026

Предвзятость к автоматизации в медицинском образовании

Сегодняшние студенты будут работать с ИИ всю карьеру, поэтому важно, как они учатся им пользоваться. Пилотное исследование со студентами второго курса построило упражнение из двух частей: занятие о возможностях и пределах ИИ и клинический случай, в котором студенты выстраивали дифференциальный диагноз до и после консультации с чат-ботом (Hayden и соавторы, 2026).

Занятие касалось галлюцинаций, предвзятости, приватности и отсутствия подлинного клинического рассуждения, а случай завершался обсуждением под руководством преподавателей (Hayden и соавторы, 2026). У 185 студентов использование ИИ было связано с более точным диагнозом, причём наибольшую пользу получили те, кто хуже справился до консультации.

Что заметили студенты

Самое интересное наблюдение касается восприятия. 65 студентов, чьи результаты улучшились, и 26, чьи результаты ухудшились после использования ИИ, приписали ему большее влияние, чем студенты, чья точность не изменилась (Hayden и коллеги, 2026). Восприятие влияния совпадало с тем, что ИИ изменил порядок гипотез, независимо от того, было ли изменение хорошим или плохим. Авторы пришли к выводу, что студенты не могли уверенно отличить полезное влияние от вредного, что соответствует эффекту автоматизации.

Этот результат перекликается с тем, что известно об обучении на случаях. Текст об обучении на клинических случаях показывает, почему разбор после случая весит столько же, сколько сам случай. А тренировка с дифференциальным диагнозом и подсказками помогает замечать, когда новая информация изменила список по веским причинам.

Систематический обзор о генеративном ИИ выявил опасения по поводу потери навыков среди повторяющихся тем наряду с эффектом автоматизации (Al-Anezi, 2026), а текст об использовании искусственного интеллекта в клиническом мышлении обсуждает, как встроить эти инструменты в учёбу.

Почему мы слишком доверяем машине

Рассмотренные статьи предлагают несколько взаимодополняющих объяснений. Первое — это способ оценки ИИ. Большинство исследований производительности использует такие метрики, как чувствительность, специфичность, точность и площадь под кривой ROC, и эти цифры описывают алгоритм в одиночку, а не пару «врач и машина» (Bittencourt, 2025). Тот, кто читает статью с высокой точностью, склонен переносить это доверие на повседневное использование.

Второе объяснение кроется в самом устройстве моделей. Системы машинного обучения могут неверно распознать значимое изменение контекста или данных и продолжать делать ошибочные прогнозы с уверенностью, когда получают случаи, отличные от тех, что видели при обучении (Challen и коллеги, 2019). Те же авторы напоминают, что клиницист меняет поведение перед лицом потенциально серьёзного исхода, даже если это снижает его кажущуюся точность, и что машина должна подражать этой осторожности.

Третье объяснение — давление времени. ИИ ускорил чтение на всех уровнях опыта в исследовании ангиомагнитно-резонансной томографии (Kim и коллеги, 2025), а обзор потери навыков описывает изменения правильного диагноза при ограничении времени (Heudel и коллеги, 2026). Скорость и проверка конкурируют за одно и то же внимание.

Когда проблема тонкая или редкая

Обзор об оценке ИИ в поддержке принятия решений описывает эффект автоматизации как риск с опасными последствиями, когда система ошибается, даёт сбой или когда проблема пациента тонко уникальна (Magrabi и коллеги, 2019). Именно этот случай вызывает наибольшее беспокойство в диагностике. Редкое заболевание, атипичная картина и пациент вне профиля обучения — это как раз те моменты, когда у машины меньше всего оснований и когда сомнение врача важнее всего.

Авторы выступают за строгую оценку до и во время использования, потому что поведение алгоритмов может меняться со временем и с контекстом (Magrabi и коллеги, 2019). Предтестовая вероятность здесь хороший ориентир: отметка ИИ — это тест, и его ценность зависит от того, кто перед нами.

Как защититься в повседневной работе

Обзоры сходятся в нескольких рекомендациях. Чтобы снизить излишнюю доверчивость, нужны вмешательства по нескольким направлениям: общее образование об инструментах ИИ и специальная подготовка о том, когда каждый инструмент работает хорошо или плохо (Bittencourt, 2025). Учреждения, в свою очередь, должны определить контекст использования, протоколы, рабочие процессы, обучение и сертификацию.

В радиологии рекомендация состоит в том, чтобы специалисты обладали грамотностью в области ИИ для распознавания режимов отказа и калибровки доверия (Kocak и Cuocolo, 2026). Те же авторы напоминают, что ИИ может служить вторым мнением или страховочной сетью, а не заменой чтения. Обзор о генеративном ИИ добавляет присутствие человека в контуре принятия решений, объяснимость систем, управление и переподготовку специалистов (Al-Anezi, 2026).

Порядок работы с подсказкой

Приведённая ниже последовательность носит обучающий характер и составлена на основе рекомендаций, упомянутых выше. Она не заменяет местные протоколы.

1. Сформулируйте свою гипотезу заранее. В исследовании со студентами порядок гипотез фиксировали до и после обращения к ИИ (Hayden и соавторы, 2026).
2. Спросите, для чего создан инструмент. Специальная подготовка включает знание того, когда он обычно прав и когда обычно ошибается (Bittencourt, 2025).
3. Проверьте подсказку. Ошибка действия — это следование неверной рекомендации (Sujan и соавторы, 2019).
4. Доведите поиск до конца. Ошибка бездействия — это отказ от действия, потому что система не предупредила (Sujan и соавторы, 2019).
5. Больше сомневайтесь в атипичном случае. Риск растёт, когда проблема незаметно уникальна (Magrabi и соавторы, 2019).
6. Фиксируйте, когда не согласны. Структурированный человеческий надзор — часть обеспечения качества (Arjmandi и соавторы, 2026).

Снова на смене

Резидент из этой сцены поступил так, как поступили бы многие: внимательно посмотрел на то, что показала машина, и меньше проверил то, чего она не показала. Следуя шагам выше, он прочитал бы снимок целиком до того, как открыть разметку, затем проверил бы указанную область и, наконец, вернулся бы к остальной части черепа. Текст о том, как организовать рассуждение в медицинской карте, показывает, как зафиксировать несогласие так, чтобы это было полезно тому, кто прочитает позже.

Такие ошибки — ценный материал для заседаний по заболеваемости и смертности, на которых команда обсуждает случившееся, не ища виновных. А текст о телемедицине и рассуждении без осмотра показывает другой сценарий, в котором технология встаёт между врачом и пациентом.

Как NEXO помогает тренировать это рассуждение

В NEXO случай дня вымышленный, с реальной клинической картиной и до шести последовательных подсказок, а вы предлагаете диагноз, ища код в МКБ-10.

Ограничения использования игры описаны на странице экономики NEXO. Если вы исследуете преподавание клинического рассуждения, страница для Researcher объясняет, как связаться. Специалисты, которые пишут или проверяют случаи, найдут информацию в разделах Curator и Creators, а учреждения могут узнать о предложении на странице для партнёрств. Умение найти правильный код в МКБ-10 помогает зафиксировать диагноз так, чтобы другие могли использовать эти данные.

Частые вопросы

Возникает ли эффект автоматизации только с искусственным интеллектом?

Впервые его описали в авиации, у пилотов, которые переставали следить за полётными показателями или отключать автопилот при сбое (Sujan и соавторы, 2019).

Подвержены ли и опытные врачи?

В патологии неверная подсказка ИИ снизила точность на всех уровнях опыта (Kiani и соавторы, 2020).

Улучшает ли ИИ результаты тех, кто им пользуется?

Он улучшает их, когда прав, и наибольшая польза среди студентов проявилась у тех, кто до обращения показал худший результат (Hayden и соавторы, 2026).

Какая лучшая защита от эффекта автоматизации?

Обзоры указывают на общее образование по ИИ вместе со специальной подготовкой о том, когда каждый инструмент прав или ошибается (Bittencourt, 2025).

Главные выводы

• Эффект автоматизации — это доверие к выдаче машины больше, чем к собственному суждению.
• Он порождает ошибки бездействия, когда система не предупреждает, и ошибки действия, когда система даёт неверную рекомендацию.
• Та же помощь, что повышает точность, когда она верна, снижает точность, когда она неверна.
• Опыт помогает мало: влияние испытали читающие снимки и патологи всех уровней.
• Опубликованная точность описывает алгоритм отдельно, а не пару «врач и машина».
• Риск растёт в атипичном случае, где у машины меньше оснований.
• Формулирование гипотезы до обращения к инструменту сохраняет собственное рассуждение.

Хотите потренировать рассуждение с последовательными подсказками? Сыграйте случай дня.

Литература

1. Al-Anezi FM. Generative Artificial Intelligence in Healthcare: Automation Bias, Deskilling, and Cognitive Implications - A Systematic Review. J Healthc Leadersh. 2026. PMID 42445869.
2. Arjmandi N, Sebzari AR, Molaei F, et al. Clinical validation of AI-assisted contouring in prostate radiation therapy treatment planning: Highlighting automation bias and the need for standardized quality assurance. J Appl Clin Med Phys. 2026. PMID 41414851.
3. Bittencourt MS. Will You Tell Them When They Are Wrong? Automation Bias and Artificial Intelligence in Medicine. Arq Bras Cardiol. 2025. PMID 40667888.
4. Campion JR, O'Connor DB, Lahiff C. Human-artificial intelligence interaction in gastrointestinal endoscopy. World J Gastrointest Endosc. 2024. PMID 38577646.
5. Challen R, Denny J, Pitt M, et al. Artificial intelligence, bias and clinical safety. BMJ Qual Saf. 2019. PMID 30636200.
6. Frazer HML, Peña-Solorzano CA, Kwok CF, et al. Comparison of AI-integrated pathways with human-AI interaction in population mammographic screening for breast cancer. Nat Commun. 2024. PMID 39214982.
7. Hayden R, Blanco M, Ramesh S, et al. Diagnostic reasoning with and without AI: automation bias in pre-clerkship medical students. BMC Med Educ. 2026. PMID 42482261.
8. Heudel PE, Crochet H, Filori Q, et al. Artificial intelligence in medicine: a scoping review of the risk of deskilling and loss of expertise among physicians. ESMO Real World Data Digit Oncol. 2026. PMID 41890350.
9. Kiani A, Uyumazturk B, Rajpurkar P, et al. Impact of a deep learning assistant on the histopathologic classification of liver cancer. NPJ Digit Med. 2020. PMID 32140566.
10. Kim SH, Schramm S, Riedel EO, et al. Automation bias in AI-assisted detection of cerebral aneurysms on time-of-flight MR angiography. Radiol Med. 2025. PMID 39939458.
11. Kocak B, Cuocolo R. Human-AI interaction and collaboration in radiology: from conceptual frameworks to responsible implementation. Diagn Interv Radiol. 2026. PMID 41582537.
12. Lyell D, Magrabi F, Raban MZ, et al. Automation bias in electronic prescribing. BMC Med Inform Decis Mak. 2017. PMID 28302112.
13. Magrabi F, Ammenwerth E, McNair JB, et al. Artificial Intelligence in Clinical Decision Support: Challenges for Evaluating AI and Practical Implications. Yearb Med Inform. 2019. PMID 31022752.
14. Sujan M, Furniss D, Grundy K, et al. Human factors challenges for the safe use of artificial intelligence in patient care. BMJ Health Care Inform. 2019. PMID 31780459.