Модель Киркпатрика: как оценить программу обучения

Курс клинического мышления закончился, и координация просит отчёт. Первая мысль всегда одна и та же: анкета в последний день с оценками от одного до пяти для преподавателя, материалов и расписания. Оценки высокие, и все довольны. И всё же никто не знает, стало ли группа рассуждать лучше, изменилось ли что-то на стажировке или был ли какой-то пациент принят иначе из-за курса.

NEXO — это ежедневная игра по медицинской диагностике: один клинический случай в день, шесть последовательных подсказок и обратная связь по близости МКБ-10 на пяти уровнях.

У вопроса «сработал ли курс?» есть слои, и модель Киркпатрика — самый известный способ их разделить. Это руководство объясняет четыре уровня, показывает, что обнаружили обзоры, применившие модель к медицинскому образованию, представляет самые серьёзные критические замечания и предлагает план для разработки оценки курса, стажировки или лиги.

Главные пункты

• Модель Киркпатрика организует оценку программы на четырёх уровнях: реакция, обучение, поведение и результаты.
• В обзорах медицинского образования большинство исследований остаётся на первых двух уровнях, и немногие доходят до поведения или пациента.
• Один критический анализ пришёл к выводу, что модель хорошо работает только в простых схемах, и это условие выполняется примерно в пятой части обзоров в этой области.
• Главные критические замечания: сосредоточенность на результате без объяснения причины, предположение, что один уровень ведёт к другому, и идея, что более высокий уровень ценнее.
• Пересмотренная версия, New World Kirkpatrick, пытается ответить на часть этих замечаний, но оценка по-прежнему требует вопросов о процессе.

Что такое модель Киркпатрика

Происхождение вне медицины

Модель создал Дональд Киркпатрик для оценки обучения в промышленности, и лишь потом она пришла в медицинское образование (Yardley и Dornan, 2012). Основная идея проста: обучение можно оценивать на слоях, всё более далёких от аудитории, от того, что участник о них подумал, до эффекта для организации.

Сегодня модель встречается повсюду. Обзор 2022 года описал её использование в профессиях здравоохранения как широкое и растущее и показал, что она вошла в инструменты качества исследований и в руководства по обзорам, такие как MERSQI и BEME (Allen et al., 2022).

Оценивать программу, а не только студента

Оценивать программу, не то же самое, что оценивать студента. Экзамен измеряет, что знает человек; оценка программы спрашивает, дали ли набор занятий, стажировок, материалов и активностей намеченный эффект и почему. Различие важно, потому что программа может дать зачёт всем студентам и всё же не достичь цели, ради которой она существует.

Когда оценка инструмента, другой разговор

Оценка приложения или игры, как в руководстве по геймификации в медицинском образовании, смотрит на отдельный элемент. Модель Киркпатрика чаще применяют ко всему курсу, в котором инструмент, лишь один из ингредиентов.

Четыре уровня в медицинском образовании

Уровень 1: реакция

Что участники подумали: удовлетворённость, воспринимаемая значимость, готовность рекомендовать. Это самый простой уровень для измерения, с анкетой в последний день. Он же меньше всего говорит об обучении, потому что нравиться занятие и учиться на нём, разные вещи.

Уровень 2: обучение

Что изменилось в знаниях, навыках или установках. Здесь используются экзамены до и после, практические станции и опросники установок. На курсе клинического мышления, например, это было бы сравнение результатов на письменных случаях в начале и в конце, с одним и тем же типом случая и одним и тем же критерием проверки.

Уровень 3: поведение

Что участник стал делать иначе на работе. Это труднее измерить, потому что требуется наблюдать практику: записи в медицинской карте, прямое наблюдение, оценка преподавателями. Руководство по симуляции приёма показывает инструменты наблюдения, которые могут здесь пригодиться.

Уровень 4: результаты

Эффект для пациентов, служб или показателей системы. Это уровень, который чаще всего называют идеальным и который труднее всего достичь, потому что между курсом и пациентом меняется много других вещей.

Что обнаружили обзоры

Много откликов, мало пациентов

Обзор непрерывного медицинского образования через интернет классифицировал результаты, оценённые по уровням Киркпатрика, и пришёл к выводу, что большинство исследований опиралось на данные об удовлетворённости участников (Curran и Fleet, 2005). Было мало исследований, показывающих изменения в клинической практике, и ни одно исследование не показало влияния на исходы пациентов или здоровье (Curran и Fleet, 2005).

Та же картина повторилась в вузовском обучении. Систематический обзор о стажировках по семейной медицине включил 64 статьи: 26 исследований оценивали на уровне 1, 26 на уровне 2 и 6 на уровне 3 (Turkeshi et al., 2015). Авторы сочли качество исследований ограниченным и призвали к стандартизированным и валидированным инструментам (Turkeshi et al., 2015).

Когда оценка заходит дальше

Обзор интервального обучения для практикующих врачей нашёл 17 исследований с 2.701 специалистом, и все они были оценены по модифицированной версии четырёх уровней (Phillips et al., 2019). Десять исследований показали прирост знаний, семь сообщили об изменении клинического поведения и лишь два сообщили об улучшении исходов пациентов (Phillips et al., 2019).

Воронкообразная картина типична: много исследований в начале, мало в конце. Отчасти объяснение практическое, ведь измерение исхода пациента требует времени, выборки и доступа к данным, которых у курса редко бывает.

Пример с пересмотренной версией

Обзор цифровых нарративов в обучении профессиям здравоохранения использовал New World Kirkpatrick и включил только исследования с результатом на уровнях 2 или 3 (Moreau et al., 2018). Из 16 статей с данными 14 касались обучения и лишь две измеряли также изменение поведения (Moreau et al., 2018). Даже с пересмотренной моделью уровень 3 оставался редким.

Критика модели

Годится для простых схем

Критический анализ пришёл к выводу, что уровни несут столько неявных допущений, что хорошо работают только в относительно простых схемах обучения с краткосрочными результатами и получателями выгод, выходящими за пределы учащихся (Yardley и Dornan, 2012). По мнению авторов, этим условиям отвечает, пожалуй, пятая часть обзоров доказательств в медицинском образовании (Yardley и Dornan, 2012).

Вне этих условий использование уровней как иерархии качества даёт мало, и качество доказательства зависит как от того, как его хотят использовать, так и от любой объективной меры (Yardley и Dornan, 2012).

Четыре глубинные проблемы

Обзор 2022 года обобщил основные претензии к модели (Allen et al., 2022):

• В центре внимания результат, а факторы, влияющие на результат, остаются за рамками.
• Предполагается положительная причинная связь между уровнями, будто удовлетворённость ведёт к обучению, а обучение к изменению практики.
• Предполагается, что самый высокий уровень самый важный.
• Непреднамеренные эффекты программы остаются невидимыми.

Авторы добавляют, что использование модели такими инструментами, как MERSQI, и такими организациями, как BEME и ВОЗ, подпитывает миф о том, что она является золотым стандартом оценки программ (Allen et al., 2022). Их предложение, перейти от измерения результатов к исследованию того, как и почему они возникают (Allen et al., 2022).

New World Kirkpatrick

В ответ на эту критику появилась New World Kirkpatrick, пересмотренная версия для сложных условий (Moreau, 2017). Статья, которая её представляет, выделяет три претензии к исходной модели и обсуждает, как новая версия пытается на них ответить, приглашая преподавателей проверить её и исследовать её сильные и слабые стороны (Moreau, 2017).

На практике новая версия предлагает начинать с желаемого результата и проектировать программу в обратном порядке, а также смотреть на то, что происходит между уровнями. Она улучшает карту, но вопрос о процессе по-прежнему остаётся за тем, кто оценивает.

Как спроектировать оценку программы

Начните с вопроса

Прежде чем выбирать инструмент, определите, что обещает программа. Курс клинического мышления может обещать, что группа составит более полные списки гипотез, как описывает руководство по дифференциальной диагностике. Это обещание указывает, какой уровень важнее всего и какой тип данных нужен.

Выберите по одному показателю на уровень

Минимальный план может включать по одному показателю на уровень:

Уровень	Вопрос	Пример показателя
Реакция	Сочла ли группа курс значимым?	Короткий опросник в конце каждого модуля
Обучение	Улучшилось ли мышление?	Письменные кейсы до и после, с одинаковой шкалой оценки
Поведение	Изменилась ли практика?	Наблюдение преподавателей или анализ записей на стажировке
Результаты	Что-то изменилось для службы или пациента?	Показатель, выбранный вместе со службой, при наличии доступа

Уровень 4 можно оставить как долгосрочную цель. Лучше заявить об этом в отчёте, чем придумывать связь, которую данные не подтверждают.

Спрашивайте также как и почему

Чтобы ответить на критику о внимании только к результату, добавьте вопросы о процессе (Allen et al., 2022): кто на самом деле участвовал, какие части сработали, что мешало, какие эффекты никто не ожидал. Для этого подходят короткие интервью и фокус-группы.

Используйте обратную связь как данные

Открытые комментарии в форме — это данные о процессе. Методичный разбор этих ответов, как предлагает руководство по обратной связи в клинических кейсах, помогает объяснить, почему один уровень вырос, а другой остался на месте.

Наблюдайте с течением времени

Одно измерение в последний день показывает непосредственный эффект. Второе измерение через несколько месяцев показывает, что осталось,, момент, связанный с сохранением медицинских знаний. Программы активного обучения и обучения на основе кейсов выигрывают от такого наблюдения, потому что предполагаемый эффект обычно проявляется на стажировке, а не в аудитории.

Данные о результативности и исследования в NEXO

NEXO фиксирует сведения, которые могут войти в оценку как показатели процесса: распределение верных ответов по подсказкам показывает, на каком этапе каждый игрок обычно приходит к диагнозу, а близость по МКБ-10 в пяти уровнях показывает, насколько далёкой оказалась каждая гипотеза. Кейс дня приходит с максимум шестью подсказками, а групповой рейтинг позволяет наблюдать за группой. Эти данные описывают результативность в игре; что они говорят о практике, — это вопрос исследования.

Кейсы вымышленные, но с реальной клинической картиной, и руководство что такое NEXO объясняет всю игру. Как открываются режимы, описано на странице экономика NEXO.

Исследователи в области медицинского образования, которые хотят изучать игру с собственным планом оценки, могут предложить исследования через NEXO Researcher. Если вы координируете факультет, лигу или ординатуру, познакомьтесь с NEXO Closer. Врачи, которые рецензируют кейсы, участвуют через NEXO Curator, а те, кто создаёт контент о здоровье в соцсетях, могут участвовать через NEXO Creators.

Частые вопросы

Что такое модель Киркпатрика?

Это модель оценки обучения по четырём уровням: реакция, обучение, поведение и результаты.

Каковы четыре уровня Киркпатрика?

Реакция (что участники думали), обучение (что они усвоили), поведение (что изменилось в практике) и результаты (эффект для службы или пациента).

Уровень 4 всегда самый важный?

Обзор 2022 года перечисляет это предположение среди критических замечаний к модели (Allen et al., 2022). Самый важный уровень зависит от вопроса программы.

Что такое New World Kirkpatrick?

Пересмотренная версия модели, которая пытается ответить на критику оригинала и работать в сложных образовательных средах (Moreau, 2017).

Почему так много исследований остаются на уровнях 1 и 2?

Потому что измерение поведения и исхода требует наблюдения в практике, больше времени и доступа к данным, которые многие курсы пока не планируют.

Может ли NEXO войти в оценку?

Данные о результативности в игре могут служить показателем процесса, а предложения об исследованиях проходят через NEXO Researcher.

Чек-лист оценки программы

1. Сформулируйте обещание программы одним предложением.
2. Выберите уровень, который отвечает на это обещание.
3. Определите показатель для каждого уровня, который будете измерять.
4. Измеряйте до и после, по одному и тому же критерию.
5. Спрашивайте как и почему, помимо того, насколько.
6. Ищите неожиданные эффекты, хорошие и плохие.
7. Повторите измерение через несколько месяцев.

Хотите увидеть мышление в данных? Сыграйте кейс дня в NEXO.

Источники

1. Yardley S, Dornan T. Уровни Киркпатрика и «доказательства» в образовании. Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/22150201/
2. Allen LM, Hay M, Palermo C. Оценка в образовании медицинских специалистов, достаточно ли измерять результаты? Med Educ. 2022. https://pubmed.ncbi.nlm.nih.gov/34463357/
3. Moreau KA. Построило ли новое поколение Киркпатрика лучший молоток для нашего набора инструментов оценки? Med Teach. 2017. https://pubmed.ncbi.nlm.nih.gov/28649887/
4. Curran VR, Fleet L. Обзор результатов оценки веб-ориентированного непрерывного медицинского образования. Med Educ. 2005. https://pubmed.ncbi.nlm.nih.gov/15910431/
5. Turkeshi E, Michels NR, Hendrickx K, Remmen R. Влияние клинических ротаций по семейной медицине в додипломном медицинском образовании: систематический обзор. BMJ Open. 2015. https://pubmed.ncbi.nlm.nih.gov/26243553/
6. Phillips JL, Heneka N, Bhattarai P, Fraser C, Shaw T. Эффективность педагогики интервального обучения для непрерывного профессионального развития клиницистов: систематический обзор. Med Educ. 2019. https://pubmed.ncbi.nlm.nih.gov/31144348/
7. Moreau KA, Eady K, Sikora L, Horsley T. Цифровое повествование в образовании медицинских специалистов: систематический обзор. BMC Med Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/30200945/