Виртуальные пациенты: что работает в изучении случаев

Пустая светлая больничная палата

На стажировке вопрос преподавателя звучит при всех: ты услышал шум, прощупал печень, подумал о другой гипотезе? Ответ вылетает быстро, иногда раньше уверенности, потому что ошибиться публично тяжело. Именно поэтому тренировать случаи без зрителей имеет смысл. Виртуальный пациент создан для этого: место, где можно собрать данные, ошибиться и принять решение, пока никто не смотрит.

NEXO — это ежедневная игра по медицинской диагностике: один клинический случай в день, шесть последовательных подсказок и обратная связь по близости МКБ-10 на пяти уровнях.

Этот текст подробно разбирает, что говорят исследования о виртуальном пациенте в медицине: типы, что показывают метаанализы, какие особенности дизайна имеют значение, как он соотносится с игрой на диагностику и с OSCE и где доказательства всё ещё ограничены. Если вам нужен обзор типов учебных игр, начните с руководства по играм для студентов-медиков.

Главные пункты

  • Виртуальный пациент — это цифровая интерактивная симуляция клинического сценария; самый распространённый в литературе формат — интерактивный сценарий пациента.
  • По сравнению с отсутствием занятий виртуальный пациент давал большой эффект в знаниях, клиническом мышлении и навыках; по сравнению с обучением без компьютера результат в среднем был похожим.
  • Повторение до освоения, подробная обратная связь и сравнение контрастных случаев были особенностями дизайна, связанными с лучшим обучением.
  • Виртуальный пациент, игра на диагностику и OSCE тренируют или оценивают разные части приёма и дополняют друг друга.
  • У большей части исследований качество низкое или среднее, и клиническое мышление они измеряют по-разному, что ограничивает выводы.

Содержание

Зачем тренировать случаи без зрителей

Клиническое мышление опытного врача во многом зависит от распознавания паттернов, а это распознавание созревает при целенаправленной практике на множестве разнообразных случаев (Cook и Triola, 2009). Стажировка даёт случаи, но не в том количестве и не того разнообразия, которые нужны каждому студенту, и почти всегда при ком-то.

Многопараметрический монитор, показывающий частоту сердечных сокращений, насыщение кислородом и артериальное давление симулированного пациента.
Монитор жизненных показателей, подключённый к симулированному пациенту, в военно-морском госпитале США. Фото: Petty Officer 1st Class James Stenberg, Военно-морские силы США, общественное достояние (страница файла).

Что такое виртуальный пациент

Виртуальный пациент — это цифровая интерактивная симуляция клинического сценария, созданная для обучения медицинских работников (Kononowicz et al., 2019). Группа преподавателей определила этот термин как интерактивные, мультимедийные сценарии пациента на экране (Berman et al., 2016). Обычно вы собираете анамнез, назначаете обследования, интерпретируете результаты и решаете, что делать, а случай отвечает на ваш выбор.

Для чего он подходит лучше всего

В одном критическом обзоре было высказано, что самая характерная функция виртуального пациента — развивать и оценивать клиническое мышление (Cook и Triola, 2009). Те же авторы рекомендуют, чтобы при оценке случай вознаграждал мышление, а не исчерпывающий сбор данных или следование алгоритму (Cook и Triola, 2009). Это имеет последствия для тех, кто учится: назначать все возможные обследования — не цель; цель — назначать то, что меняет гипотезу.

Ошибаться без зрителей

В виртуальном случае ошибка происходит вдали от пациента и преподавателя. Вы можете вернуться, повторить и сравнить. Эта свобода не заменяет стажировку, но готовит к ней: тот, кто уже ошибался в виртуальном случае, подходит к койке с лучшим вопросом.

Типы виртуального пациента

Термин «виртуальный пациент» используют для очень разных вещей, и это путает читателей и исследователей. В одном обзоре 536 статей, где использовался этот термин, была предложена классификация, чтобы упорядочить эти значения (Kononowicz et al., 2015).

Серебристый ноутбук, открытый на деревянном столе, на размытом фоне книжной полки.
Большинство виртуальных пациентов, используемых в обучении, работают на обычном экране, например на экране ноутбука. Фото: www.Pixel.la Free Stock Photos, CC0 1.0 (лицензия), via Wikimedia Commons (страница файла).

Интерактивные сценарии пациента

Это сценарии на экране, где вы продвигаетесь по этапам, выбирая вопросы, обследования и тактику. Среди образовательных статей обзора 37% использовали этот формат, самый распространённый из всех (Kononowicz et al., 2015). Со временем он утвердился как преобладающая форма виртуального пациента в обучении, несмотря на технический прогресс, который позволил бы создавать более сложные форматы (Kononowicz et al., 2015).

Высокоточные симуляции

Это программы, которые моделируют физиологию пациента в реальном времени: давление падает, если вы медлите, сатурация улучшается, если вы даёте кислород. На них пришлось 19% образовательных статей обзора (Kononowicz et al., 2015). Обычно их используют для неотложной помощи, интенсивной терапии и анестезии.

Виртуальные стандартизированные пациенты

Это персонажи, с которыми вы разговариваете, текстом или голосом, чтобы тренировать сбор анамнеза и коммуникацию. Они составили 16% образовательных статей (Kononowicz et al., 2015).

Игры с виртуальным пациентом

Форматы с игровыми правилами, баллами или соревнованием встречались в обзоре реже (Kononowicz et al., 2015). Чтобы узнать, что говорят данные о баллах, рейтингах и достижениях в обучении, смотрите текст о геймификации в медицинском образовании.

Какой тип для какой цели

Выбор типа следует тому, что вы хотите тренировать. Для диагностического мышления и последовательности обследования интерактивные сценарии изучены лучше всего. Для быстрых решений, когда пациент меняется на экране, высокоточные симуляции лучше воспроизводят неотложную ситуацию. Для сбора анамнеза и коммуникации виртуальные стандартизированные пациенты позволяют повторять разговор сколько угодно раз. А чтобы практика была короткой и ежедневной, форматы с игровыми правилами помогают возвращаться к случаю каждый день.

Что показывают данные

Руководство по играм для студентов-медиков суммирует основные цифры. Здесь стоит подробнее рассмотреть, что с чем сравнивали, потому что ответ меняется в зависимости от сравнения.

По сравнению с отсутствием занятий

В метаанализе о компьютерных виртуальных пациентах эффект по сравнению с отсутствием вмешательства был большим: 0,94 для знаний, 0,80 для клинического мышления и 0,90 для других навыков, в стандартизированной разнице средних (Cook et al., 2010). Такой тип сравнения показывает, что виртуальный пациент обучает, но не говорит, обучает ли он лучше других форм занятий.

Результат совпадает с результатом более широкого метаанализа симуляции с технологиями в профессиях здравоохранения, включавшего 609 исследований, который обнаружил большие эффекты в знаниях, навыках и поведении и умеренные эффекты в исходах, связанных с пациентом, всегда по сравнению с отсутствием вмешательства (Cook et al., 2011).

По сравнению с другими формами обучения

Против обучения без компьютера эффекты оказались близки к нулю: 0,06 для знаний и практически 0 для мышления (Cook et al., 2010). В более свежем синтезе, только с рандомизированными испытаниями, виртуальный пациент сравнялся с традиционным обучением в знаниях и оказался лучше в навыках, среди них клиническое мышление, навыки выполнения процедур и сочетание процедуры с работой в команде (Kononowicz et al., 2019). Авторы нашли доказательства эффекта как в странах с высоким доходом, так и в странах с низким и средним доходом (Kononowicz et al., 2019).

Практический вывод: для знаний виртуальный пациент работает как минимум так же хорошо, как хорошая лекция, и tends to давать больше, когда цель — тренировать мышление и навыки.

Что улучшается в мышлении

Систематический обзор, посвящённый студентам-медикам, обнаружил положительный эффект виртуальных пациентов на клиническое мышление в 11 из 19 исследований, то есть в 58% (Plackett et al., 2022). Самая полезная деталь — в доменах: сбор данных, идеи о диагнозе и ведение пациента улучшились в 72% анализов, против 43% для применения знаний, гибкости мышления и решения проблем (Plackett et al., 2022).

Иными словами, виртуальный пациент яснее улучшает навыки, связанные с тем случаем, который тренировали. Общие мыслительные навыки меняются меньше, что согласуется с идеей, что клиническое мышление зависит от содержания каждого случая.

Пример в учебной аудитории

В японском исследовании со студентами четвёртого курса одна сессия с виртуальным пациентом в аудитории, с ответами через электронное голосование, привела к росту оценок по клиническому мышлению и, в меньшей степени, по знаниям между тестом до и тестом после (Watari et al., 2020). Дизайн до и после, без группы сравнения, показывает осуществимость и улучшение, но не позволяет сказать, какая его доля пришлась на виртуального пациента.

Что заставляет виртуального пациента работать

Насколько хорошо виртуальный пациент учит, зависит от того, как он сделан. Исследования, сравнивавшие разные версии одного и того же случая, и те, что выслушивали студентов, указывают на некоторые особенности, которые имеют значение.

Особенности дизайна, подкреплённые исследованиями

В метаанализе виртуальных пациентов сравнения дизайнов показали, что четыре особенности улучшают обучение: повторять до демонстрации mastery, предлагать предварительный организатор содержания, давать подробную обратную связь и явно противопоставлять случаи (Cook et al., 2010). Явное противопоставление особенно полезно для дифференциальной диагностики: видеть две похожие болезни рядом помогает закрепить признак, который их разделяет.

Что просят студенты

В исследовании с фокус-группами студенты описали десять принципов хорошего виртуального пациента (Huwendiek et al., 2009). Среди них:

  • быть релевантным и иметь сложность, соответствующую уровню студента;
  • быть очень интерактивным и давать конкретную обратную связь;
  • хорошо использовать изображение, звук и видео;
  • помогать сосредоточиться на важных моментах и повторять то, что было изучено;
  • приводить вопросы и объяснения, связанные с процессом клинического мышления.

Это восприятие студентов, и сами авторы просят контролируемые исследования для проверки этих принципов (Huwendiek et al., 2009).

Как случай входит в курс

Способ интеграции виртуального пациента в курс тоже имеет вес. В исследовании на стажировках по педиатрии в шести школах удовлетворённость и восприятие обучения были выше, когда использование виртуального пациента сопровождалось снятием других задач, а не просто добавлением работы (Berman et al., 2009). В опросе координаторов стажировки по внутренним болезням в США 55% лишь добавили виртуальных пациентов в учебную программу, не интегрировав их в другие виды деятельности (Lang et al., 2013).

Обсуждение случая после тоже помогает. На шведском вводном курсе перед стажировкой студенты отмечали больше пользы от виртуальных пациентов в больницах, где случай прорабатывался интенсивнее на сопровождающих семинарах (Edelbring et al., 2012).

На что смотреть в обратной связи

Подробная обратная связь была одной из особенностей дизайна, связанных с большим обучением (Cook et al., 2010), но она помогает только если читать её внимательно. После каждого случая ищите три вещи: какие данные должны были изменить вашу гипотезу, какое обследование или вопрос были лишними и какой признак отделяет правильный ответ от вашего второго варианта. Записать эти три ответа занимает мало времени и оставляет случай готовым к повторению.

Что это значит для тех, кто учится один

Даже вне учебной программы можно применить эти находки. Повторяйте случай, пока не решите его без подсказок, читайте обратную связь целиком, сравнивайте с похожим случаем и приносите вопросы на обсуждение с коллегами или с преподавателем. Текст об обучении на основе клинических случаев показывает, как изучать случаи одному и в группе.

Виртуальный пациент, игра на диагностику и OSCE в сравнении

Виртуальный пациент, игра на диагностику и OSCE часто появляются вместе в разговорах об обучении на случаях, но каждый охватывает свою часть приёма.

Старый карманный секундомер с белым циферблатом и чёрными цифрами на чёрном фоне.
В OSCE у каждой станции отведённое время. Источник: Ansgar Koreng, CC BY-SA 4.0 (лицензия), через Wikimedia Commons (страница файла).

OSCE

Объективный структурированный клинический экзамен был описан в 1975 году как серия станций, которые студенты проходят по очереди: на одной собирают анамнез, осматривают какой-то аспект или интерпретируют обследования; на следующей отвечают на вопросы о том, что обнаружили (Harden et al., 1975). Целью было лучше контролировать переменные экзамена, чётко определять цели и решать оценивание заранее (Harden et al., 1975).

Обзор доказательств пришёл к выводу, что ОСКЭ применим в разных культурных и географических контекстах, для оценки широкого круга целей, на разных этапах курса (Patrício et al., 2013). Надёжность зависит от формата: в систематическом обзоре средняя альфа между станциями составила 0,66, и больше станций и больше экзаменаторов на станцию были связаны с более надёжными оценками (Brannick et al., 2011).

Игра в диагностику по подсказкам

В игре в диагностику по подсказкам случай поступает поэтапно, в определённом порядке, и задача — прийти к названию картины с минимумом данных. Фокус на гипотезе: при каждой подсказке вы решаете, можно ли уже рискнуть или стоит подождать ещё одну деталь.

В NEXO случай поступает в виде до шести подсказок, и каждая гипотеза показывает близость по МКБ-10, что указывает, находитесь ли вы в правильной группе заболеваний. На третьей подсказке появляется область случая, а на пятой — диапазон МКБ. Режим «Ежедневный» приносит один и тот же случай всем каждый день, Архив собирает предыдущие случаи, а Мультимедиа включает случаи с изображением, аудио и другими исследованиями. Кнопка Anki создаёт карточку прямо из NEXO и открывает её в приложении Anki, находит карточки, которые у вас уже есть, и, когда в случае есть изображение, переносит изображение в карточку. Чтобы понять, как работают ограничения каждого режима, смотрите страницу экономики NEXO.

Бок о бок

Виртуальный пациент Игра в диагностику по подсказкам ОСКЭ
Что тренирует или оценивает Сбор данных, рассуждение и решения по ходу случая Формулирование и пересмотр диагностической гипотезы при каждой детали Наблюдаемые клинические навыки: анамнез, осмотр, интерпретация, коммуникация
Формат Случай на экране, который отвечает на ваши выборы Случай поэтапно, в определённом порядке, с гипотезой на каждом этапе Станции по кругу, со временем и сценарием проверки
Обратная связь Зависит от дизайна; подробная обратная связь улучшает обучение (Cook et al., 2010) Немедленно, при каждой гипотезе От экзаменатора, согласно сценарию (Harden et al., 1975)
Типичное применение Индивидуальная учёба и программа стажировки Короткая ежедневная тренировка, в одиночку или в группе Формирующая и итоговая оценка
Что показывают исследования Лучше традиционного обучения в навыках, равен в знаниях (Kononowicz et al., 2019) Проверка памяти с обратной связью улучшает удержание в профессиях здравоохранения (Green et al., 2018) Применим и надёжен при достаточном числе станций и экзаменаторов (Brannick et al., 2011)

Как сочетать все три

Все три дополняют друг друга. Игра в диагностику тренирует гипотезу за короткое время и каждый день. Виртуальный пациент добавляет сбор данных и решения по всему случаю. ОСКЭ показывает перед экзаменатором, можете ли вы делать всё это с симулированным пациентом и идущими часами. Для тренировки гипотезы по подсказкам текст о дифференциальной диагностике даёт пошаговый сценарий.

Если вы координируете факультет, клинику или ординатуру и хотите использовать случаи по подсказкам вместе с виртуальными пациентами и ОСКЭ, познакомьтесь с NEXO Closer. Исследователи, которые хотят сравнивать форматы случаев, могут познакомиться с NEXO Researcher, а врачи, которые хотят разбирать случаи, — с NEXO Curator. Те, кто создаёт контент по медицине и хочет приносить такие случаи своей аудитории, могут познакомиться с NEXO Creators.

Ограничения исследований

Доказательства о виртуальных пациентах обширны, но у них есть ограничения, которые касаются всей области в целом. Знание их помогает читать каждое новое исследование с правильной степенью доверия.

Качество и гетерогенность

В синтезе 51 рандомизированного испытания методологические ограничения и высокая гетерогенность привели к в целом низкому качеству доказательств (Kononowicz et al., 2019). Испытаний, которые сравнивали виртуальных пациентов с другими формами цифрового обучения или разные версии виртуального пациента, было слишком мало для ясных рекомендаций (Kononowicz et al., 2019). В предыдущем метаанализе гетерогенность также была большой в большинстве анализов (Cook et al., 2010).

Как измеряется рассуждение

В обзоре о клиническом рассуждении среднее качество исследований было умеренным, и 8 из 19 исследований, или 42%, не сообщили ни одной меры валидности или надёжности инструмента, использованного для измерения рассуждения (Plackett et al., 2022). Без валидированных и согласованных мер авторы не смогли провести метаанализ (Plackett et al., 2022).

Мало исследований о дизайне

Возможные варианты дизайна почти безграничны, но лишь немногие исследования проверили их строго, и по-прежнему не хватает исследований по инструкционному дизайну и интеграции в учебную программу (Cook и Triola, 2009). Принципы, названные студентами, также ждут подтверждения в контролируемых исследованиях (Huwendiek et al., 2009).

Эффект самого цифрового формата

Обучение через интернет в профессиях здравоохранения в целом дало большие эффекты против отсутствия вмешательства и малые эффекты против форматов вне интернета, например 0,12 для знаний (Cook et al., 2008). Та же закономерность проявляется с виртуальными пациентами: цифровая среда сама по себе не объясняет прирост. Значение имеют дизайн случая и способ его использования.

Как читать новое исследование о виртуальном пациенте

Три вопроса помогают оценить любое исследование, которое вы найдёте. Первый: с чем сравнивали виртуального пациента? Победа над отсутствием вмешательства ожидаема; равенство с хорошим занятием — уже полезный результат. Второй: как измеряли рассуждение и был ли инструмент валидирован? Третий: прирост измерили сразу или через недели, и на случаях, одинаковых с тренированными, или на новых случаях? С этими тремя ответами вы знаете, сколько веса придать результату.

Если вы исследуете медицинское образование и хотите отвечать на такие вопросы с помощью случаев по подсказкам, познакомьтесь с NEXO Researcher.

Частые вопросы

Что такое виртуальный пациент в медицине?

Это цифровая интерактивная симуляция клинического сценария, используемая для обучения работников здравоохранения (Kononowicz et al., 2019). Обычно вы собираете анамнез, назначаете обследования и принимаете решения, а случай отвечает на ваш выбор.

Виртуальный пациент работает лучше занятия?

Для знаний в среднем результаты были похожи. Для навыков, среди них клиническое рассуждение, виртуальный пациент был лучше традиционного обучения в синтезе рандомизированных испытаний, с доказательствами низкого и умеренного качества (Kononowicz et al., 2019).

Какие приёмы делают виртуального пациента эффективнее?

Повторение до освоения, наличие предварительного организатора, получение подробной обратной связи и явное сопоставление случаев были связаны с большим обучением (Cook et al., 2010). Студенты также ценят подходящую сложность, много взаимодействия и объяснения, связанные с рассуждением (Huwendiek et al., 2009).

В чём разница между виртуальным пациентом и OSCE?

Виртуальный пациент — это случай на экране, используемый прежде всего для тренировки. OSCE — это экзамен по станциям, с отведённым временем и экзаменатором, используемый для оценки наблюдаемых клинических навыков (Harden et al., 1975). Один готовит к другому.

Как NEXO вписывается в обучение на случаях?

NEXO тренирует диагностическую гипотезу: случай приходит в виде до шести подсказок, и каждая гипотеза показывает близость по МКБ-10. Он сочетается с виртуальным пациентом, который тренирует сбор данных и решения, и с OSCE, который оценивает навыки перед экзаменатором. Чтобы познакомиться с игрой, прочитайте что такое NEXO.

Как заниматься с виртуальным пациентом самостоятельно?

Повторяйте случай, пока не решите его без подсказок, читайте обратную связь целиком, сравнивайте с похожим случаем и записывайте находку, которая разделила гипотезы. Затем обсудите сомнения с коллегами: восприятие пользы было выше там, где случаи разбирали интенсивнее на семинарах (Edelbring et al., 2012).

Симуляция помогает подготовиться к OSCE?

В профессиях здравоохранения тренировка с симуляцией на технологической основе была связана с большими эффектами в знаниях, навыках и поведении по сравнению с отсутствием вмешательства (Cook et al., 2011). Для OSCE полезнее всего тренировать формат: отведённое время, одна задача на станцию и кто-то наблюдающий. Виртуальный пациент хорошо охватывает часть рассуждения и интерпретации обследований.

Виртуальный пациент подходит для интернатуры?

Подходит, прежде всего чтобы разнообразить случаи и тренировать рассуждение до встречи с проблемой в палате. Исследования показывают более ясные приросты в навыках, связанных с тренированным случаем, таких как сбор данных и представления о диагнозе (Plackett et al., 2022).

Чек-лист для занятий с виртуальным пациентом

  1. Определите цель: сбор данных, гипотеза, тактика или коммуникация.
  2. Выберите формат, который тренирует эту цель.
  3. Запрашивайте только то, что меняет гипотезу, а не все возможные обследования.
  4. Читайте обратную связь целиком, даже когда решаете верно.
  5. Повторяйте случай, пока не решите его без подсказок.
  6. Сравните с похожим случаем и запишите находку, которая разделяет эти два случая.
  7. Принесите вопросы на обсуждение с коллегами или преподавателем.
  8. Сочетайте форматы: диагностическая игра для гипотезы, виртуальный пациент для всего случая и ОСКЭ для наблюдаемой практики.
  9. Читайте каждое новое исследование, обращая внимание на группу сравнения и способ измерения клинического мышления.

Хотите потренировать гипотезу сегодня? Сыграйте случай дня в NEXO.

Литература

  1. Kononowicz AA, Zary N, Edelbring S, Corral J, Hege I. Virtual patients--what are we talking about? A framework to classify the meanings of the term in healthcare education. BMC Med Educ. 2015. https://pubmed.ncbi.nlm.nih.gov/25638167/
  2. Cook DA, Triola MM. Virtual patients: a critical literature review and proposed next steps. Med Educ. 2009. https://pubmed.ncbi.nlm.nih.gov/19335571/
  3. Cook DA, Erwin PJ, Triola MM. Computerized virtual patients in health professions education: a systematic review and meta-analysis. Acad Med. 2010. https://pubmed.ncbi.nlm.nih.gov/20703150/
  4. Kononowicz AA, Woodham LA, Edelbring S, et al. Virtual Patient Simulations in Health Professions Education: Systematic Review and Meta-Analysis by the Digital Health Education Collaboration. J Med Internet Res. 2019. https://pubmed.ncbi.nlm.nih.gov/31267981/
  5. Plackett R, Kassianos AP, Mylan S, et al. The effectiveness of using virtual patient educational tools to improve medical students' clinical reasoning skills: a systematic review. BMC Med Educ. 2022. https://pubmed.ncbi.nlm.nih.gov/35550085/
  6. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 1975. https://pubmed.ncbi.nlm.nih.gov/1115966/
  7. Cook DA, Levinson AJ, Garside S, et al. Internet-based learning in the health professions: a meta-analysis. JAMA. 2008. https://pubmed.ncbi.nlm.nih.gov/18780847/
  8. Cook DA, Hatala R, Brydges R, et al. Technology-enhanced simulation for health professions education: a systematic review and meta-analysis. JAMA. 2011. https://pubmed.ncbi.nlm.nih.gov/21900138/
  9. Berman NB, Durning SJ, Fischer MR, Huwendiek S, Triola MM. The Role for Virtual Patients in the Future of Medical Education. Acad Med. 2016. https://pubmed.ncbi.nlm.nih.gov/26959224/
  10. Huwendiek S, Reichert F, Bosse HM, et al. Design principles for virtual patients: a focus group study among students. Med Educ. 2009. https://pubmed.ncbi.nlm.nih.gov/19493183/
  11. Berman N, Fall LH, Smith S, et al. Integration strategies for using virtual patients in clinical clerkships. Acad Med. 2009. https://pubmed.ncbi.nlm.nih.gov/19550193/
  12. Lang VJ, Kogan J, Berman N, Torre D. The evolving role of online virtual patients in internal medicine clerkship education nationally. Acad Med. 2013. https://pubmed.ncbi.nlm.nih.gov/24072116/
  13. Edelbring S, Broström O, Henriksson P, et al. Integrating virtual patients into courses: follow-up seminars and perceived benefit. Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/22429178/
  14. Watari T, Tokuda Y, Owada M, Onigata K. The Utility of Virtual Patient Simulations for Clinical Reasoning Education. Int J Environ Res Public Health. 2020. https://pubmed.ncbi.nlm.nih.gov/32722097/
  15. Patrício MF, Julião M, Fareleira F, Carneiro AV. Is the OSCE a feasible tool to assess competencies in undergraduate medical education? Med Teach. 2013. https://pubmed.ncbi.nlm.nih.gov/23521582/
  16. Brannick MT, Erol-Korkmaz HT, Prewett M. A systematic review of the reliability of objective structured clinical examination scores. Med Educ. 2011. https://pubmed.ncbi.nlm.nih.gov/21988659/
  17. Green ML, Moeller JJ, Spak JM. Test-enhanced learning in health professions education: A systematic review: BEME Guide No. 48. Med Teach. 2018. https://pubmed.ncbi.nlm.nih.gov/29390949/

Вернуться в блог