Модель Киркпатрика: как оценить программу обучения

Координация медицинского курса только что впервые провела модуль симуляции клинической работы для четвёртого курса. Студентам очень понравилось: форма последнего дня была заполнена высшими оценками и хвалебными комментариями. На заседании кафедры кто-то спрашивает, должен ли модуль стать обязательным. Другая преподавательница поднимает руку: «им понравилось, но научились ли они? И если научились, меняет ли это что-то на интернатуре?». Ответа ни у кого нет, потому что никто не спланировал, как это измерить.

Эта сцена повторяется в студенческих лигах, ординатурах и программах непрерывного образования. Модель Киркпатрика — самый используемый инструмент для организации этого разговора: она разделяет то, что значит «сработало», на четыре уровня, от удовлетворённости участников до влияния на результаты. Это руководство объясняет уровни на примерах из медицинского образования, показывает, что обнаружили обзоры при применении модели, представляет самые серьёзные критические замечания и предлагает практический способ спланировать оценку программы до её начала.

Главные пункты

• Модель Киркпатрика организует оценку образовательной программы на четырёх уровнях: реакция, обучение, поведение и результаты.
• В медицинском образовании большинство опубликованных оценок останавливаются на первом или втором уровне; немногие измеряют изменение практики и ещё меньше — исходы у пациентов.
• Высокая удовлетворённость не гарантирует обучения, а обучение на тесте не гарантирует изменения поведения в работе.
• Главные критические замечания: модель смотрит только на результаты, предполагает причинную цепочку между уровнями и игнорирует контекст и незапланированные эффекты.
• Версия под названием New World Kirkpatrick и такие модели, как CIPP и логическая модель, помогают объяснить, как и почему программа работает.
• Оценку нужно планировать до начала программы, начиная с результата, которого хотят достичь.

Содержание

• Что такое модель Киркпатрика
• Четыре уровня в медицинском образовании
• Что обнаружили обзоры
• Критические замечания к модели
• Альтернативы и дополнения
• Как спланировать оценку программы
• Киркпатрик в повседневной работе преподавателя
• Как NEXO вписывается в оценку программы
• Частые вопросы
• Чек-лист оценки программы

Что такое модель Киркпатрика

Модель предложил Дональд Киркпатрик в конце 1950-х годов для оценки корпоративного обучения. Вопрос был практическим: как узнать, оправдал ли курс для сотрудников вложенные средства? Ответ состоял в том, чтобы разделить оценку на четыре уровня, каждый требовательнее предыдущего. Сначала — как отреагировали участники. Затем — чему они научились. Далее — изменили ли они поведение в работе. Наконец — получила ли организация ожидаемые результаты.

Медицинское образование приняло модель с энтузиазмом, потому что она даёт общий словарь для трудного вопроса. Когда статья говорит, что оценивала курс «на втором уровне», любой читатель понимает, что измерялось обучение, а не только удовлетворённость. Руководство AMEE Frye и Hemmer описывает модель Киркпатрика наряду с другими моделями оценки и напоминает, что выбор зависит от сложности программы и от того, что educators нужно узнать.

Адаптация для медицинского образования

В традиции медицинского образования, основанного на доказательствах, Belfield и коллеги предложили пять уровней эффективности: участие, реакция, обучение, поведение и результаты здоровья. Проанализировав более трёхсот резюме, они обнаружили мало исследований исходов здоровья и много неоднозначности в том, что считается мерой эффективности. Многие систематические обзоры в этой области до сих пор используют какую-либо версию этой шкалы, где второй уровень разделён на изменение установок и изменение знаний или навыков, а четвёртый — на изменение в организации и пользу для пациентов.

Оценка результата и оценка программы

Стоит сразу разделить два типа вопросов. Оценка результата хочет узнать, дала ли программа ожидаемый эффект. Оценка программы хочет узнать, как и почему эффект появился или не появился, в каком контексте и для кого. Модель Киркпатрика хорошо отвечает на первый вопрос и плохо на второй, и это различие объясняет большинство критических замечаний, приведённых далее.

Четыре уровня в медицинском образовании

Каждый уровень отвечает на свой вопрос и требует своих инструментов. В таблице ниже уровни сведены с типичными примерами из модуля клинического мышления или симуляции.

Уровень	Вопрос	Пример измерения	Главное ограничение
1. Реакция	Понравилось ли участникам и сочли ли они это полезным?	Анкета удовлетворённости на последней встрече	Нравиться не значит учиться
2. Обучение	Был ли прирост знаний, навыков или установок?	Тест до и после; станция навыков	Прирост в тесте может не дойти до практики
3. Поведение	Изменилась ли практика в работе?	Прямое наблюдение; анализ медицинских карт	Зависит от контекста, руководства и времени
4. Результаты	Получили ли пользу пациенты или учреждение?	Показатели качества и безопасности	Много факторов помимо программы

Уровень 1: реакция

Реакция — самый простой для измерения уровень, и его измеряют чаще всего. Короткая анкета в конце курса показывает, показалось ли содержание значимым, сработал ли формат и рекомендовали бы участники этот опыт. Эти данные ценны: курс, который никто не выдерживает, вряд ли чему-то научит. Проблема в том, чтобы на этом не остановиться. Удовлетворённость зависит от таких факторов, как харизма преподавателя, время и ожидания, и не имеет гарантированной связи с обучением.

Уровень 2: обучение

Второй уровень спрашивает, был ли измеримый прирост знаний, навыков или установок. Сюда входят тесты до и после, практические станции, оценка письменных случаев и шкалы установок. Качество инструмента имеет большое значение. В оценке на основе симуляции обзор Ilgen и коллег сравнил чек-листы и глобальные шкалы и обнаружил высокую корреляцию между двумя типами инструментов при сходной межэкспертной надёжности, что помогает выбирать в зависимости от задачи и опыта того, кто оценивает.

Уровень 3: поведение

Третий уровень хочет узнать, стал ли человек делать что-то иначе на работе. Здесь оценка становится дорогой: нужны наблюдение в работе, анализ медицинских карт или рассказы коллег, и нужно время, чтобы изменение проявилось. Здесь же сильнее всего влияет контекст. Ординатор, научившийся делать паузу для пересмотра гипотез, может не использовать усвоенное, если команда не оставляет для этого места.

Уровень 4: результаты

Четвёртый уровень спрашивает, получили ли пользу пациенты, команды или учреждение. В медицинском образовании это может означать меньше ошибок, лучшее соблюдение протоколов или лучшие клинические исходы. Это самый желанный уровень и самый трудный для приписывания программе, потому что в больнице много факторов меняется одновременно.

Что нашли обзоры

Когда исследователи используют модель для классификации опубликованных исследований, картина повторяется: много оценки реакции и обучения, мало оценки поведения и почти никакой оценки результатов.

Непрерывное образование и стажировки

В обзоре о непрерывном медицинском образовании через интернет Curran и Fleet обнаружили, что большинство оценок основывалось на удовлетворённости участников, с небольшим числом исследований изменения практики и ни одним исследованием, показывающим эффект на исходы пациентов. В обзоре Turkeshi и коллег о стажировках по семейной медицине в вузе 26 исследований оценивали первый уровень, 26 — второй и только 6 — третий.

Интервальное обучение и цифровые нарративы

Обзор Phillips и коллег об интервальном обучении в непрерывном образовании использовал модель, чтобы отделить прирост знаний от изменений в практике и исходах пациентов, и показал, как эффект становится менее определённым при переходе на более высокий уровень. А обзор Moreau и коллег о цифровых нарративах в образовании в сфере здравоохранения включил только исследования с результатами на втором или третьем уровне; из шестнадцати проанализированных статей четырнадцать касались обучения и только две исследовали также изменение поведения.

Симуляция: особый случай

Симуляция — область с наибольшим объемом данных на высоких уровнях. Метаанализ Cook и коллег объединил 609 исследований с более чем 35 тысячами участников и обнаружил благоприятные эффекты симуляции по сравнению с отсутствием вмешательства в отношении знаний, навыков и поведения, с умеренными эффектами в исходах пациентов. Тем не менее большинство исследований использовали дизайн одной группы с измерениями до и после. А обзор Brydges и коллег показал, что корреляция между результативностью в симуляции и исходами пациентов в практике была гораздо слабее, чем корреляция с поведением специалистов, что напоминает: хороший результат на втором уровне не переходит автоматически в результат на четвертом уровне.

Критика модели

Популярность модели сопровождалась последовательной критикой. Она не требует отказаться от модели, а требует использовать ее с осознанием того, что она измеряет и что оставляет за рамками.

Уровни не образуют причинно-следственную лестницу

Модель обычно читают как цепочку: хорошая реакция ведет к обучению, которое ведет к поведению, которое ведет к результатам. Обзор Allen, Hay и Palermo перечисляет это допущение о положительных причинных связях между уровнями как одну из главных критических точек, наряду с исключительным фокусом на результатах, идеей о том, что высокие уровни всегда важнее, и недостатком внимания к незапланированным эффектам.

Подходит для простых программ

Yardley и Dornan проанализировали использование уровней как инструмента критической оценки доказательств и пришли к выводу, что они несут столько неявных допущений, что подходят только для относительно простых учебных дизайнов, краткосрочных исходов и благополучателей, которые не являются самими обучающимися; этим условиям отвечает, пожалуй, пятая часть обзоров по медицинскому образованию. Для остального иерархическое использование уровней добавляет мало.

Игнорирует контекст

Один и тот же курс может работать в одной больнице и не работать в другой из-за культуры, нагрузки или поддержки руководства. Исходная модель не спрашивает ни об одном из этих факторов. Для того кто координирует программу, это означает, что плохой результат на третьем уровне может быть мало связан с качеством обучения и во многом связан со средой, в которую вернулся учащийся.

Высокие уровни не всегда лучше

Еще одна частая критика — идея о том, что исследование на четвертом уровне автоматически ценнее исследования на втором уровне. На практике хорошо спланированное исследование обучения, с надежным инструментом и группой сравнения, может дать гораздо больше, чем слабая связь между курсом и показателем больницы. Уровень говорит о том, что измерялось; качество дизайна говорит о том, насколько можно доверять результату. Тем, кто читает статьи по медицинскому образованию, стоит смотреть на эти две вещи по отдельности, прежде чем делать выводы, а тем, кто пишет, стоит описывать дизайн с той же тщательностью, с какой описывается достигнутый уровень.

Альтернативы и дополнения

Ответ на критику пришел с двух сторон: обновить сам Kirkpatrick и сочетать модель с другими, которые смотрят на процесс и контекст.

New World Kirkpatrick

Версия под названием New World Kirkpatrick меняет порядок планирования: начинает с желаемых результатов и возвращается к реакции. Она также добавляет такие элементы, как критически важное поведение, которое ожидается увидеть, факторы, которые усиливают или мешают изменениям, и промежуточные показатели. Moreau описывает, как эта версия пытается ответить на три центральные критические точки исходной модели, и приглашает преподавателей медицины проверить ее на сложных программах.

Логическая модель и CIPP

Логическая модель выстраивает цепочку, связывающую ресурсы, действия, продукты и результаты, и обязывает команду явно объяснить, почему она верит, что программа будет работать. Модель CIPP оценивает контекст, ресурсы, процесс и продукт и полезна, когда программа еще настраивается. Руководство Frye и Hemmer представляет эти модели и теории, стоящие за каждой из них, от редукционистского взгляда до теории сложности.

Когда использовать каждую

• Kirkpatrick: чтобы сообщать о результатах в стандартизированной форме и сравнивать с литературой.
• New World Kirkpatrick: чтобы планировать программу от желаемого результата и отслеживать промежуточные показатели.
• Логическая модель: чтобы явно сформулировать теорию программы и найти слабые звенья до начала.
• CIPP: для новых программ или программ в стадии настройки, когда процесс и контекст важны так же, как результат.
• Экспериментальные схемы: когда вопрос касается эффекта и есть условия для группы сравнения.

Как выстроить оценку программы

Работающая оценка планируется вместе с программой, а не после неё. Приведённый ниже план подходит для модуля бакалавриата, мероприятия студенческого научного кружка или программы ординатуры.

1. Начните с конца. Определите результат, который оправдал бы усилия: поведение, которое вы хотите видеть в интернатуре, или показатель работы службы.
2. Сформулируйте теорию программы. Опишите, почему вы считаете, что занятия ведут к этому результату, и какие условия должны для этого существовать.
3. Выберите по одному показателю на каждый уровень. Короткий опросник о реакции, измерение обучения с помощью надёжного инструмента и реалистичный способ наблюдать поведение.
4. Спланируйте исходный срез. Измерьте до начала или договоритесь о группе сравнения.
5. Ищите незапланированные эффекты. Спросите участников, что изменилось неожиданно для вас, в хорошую и в плохую сторону.
6. Используйте данные для настройки. Оценка существует, чтобы улучшать программу, а не только оправдывать её существование.

Пример: модуль клинического мышления

Представьте восьминедельный модуль с еженедельными клиническими случаями для четвёртого курса. На первом уровне — опросник из пяти вопросов в конце. На втором уровне — тест с письменными случаями до и после, проверяемый по заранее заданному ключу. На третьем уровне — просмотр выборки записей в историях болезни в интернатуре с поиском записи дифференциального диагноза. На четвёртом уровне измерять исход у пациента, возможно, нереалистично, и об этом стоит честно сказать. Руководство по обучению на основе клинических случаев помогает выстроить модуль, а текст об обратной связи в клинических случаях показывает, как возвращать результаты обучающимся.

Частые ошибки

Измерять только удовлетворённость и называть это оценкой. Использовать наспех составленный тест, не зная, измеряет ли он нужное. Ждать изменения поведения через две недели. Приписывать программе улучшение, вызванное другим изменением в службе. И, пожалуй, самое частое — решать, что измерять, после окончания программы. Чтобы понять, как сохранить усвоенное, руководство по сохранению медицинских знаний дополняет обсуждение, а текст об активном обучении помогает выбрать занятия, которые обычно дают обучение.

Kirkpatrick в повседневной работе преподавателя

Модель часто встречается в статьях и институциональных отчётах, но она полезна и в меньшем масштабе: студенческий научный кружок, стажировка, еженедельная встреча с разбором случаев. В таких ситуациях никто не будет организовывать контролируемое исследование, и это не нужно. Достаточно использовать уровни как напоминание о вопросах, которые стоит задать.

В студенческом научном кружке

Кружки организуют занятия, симпозиумы и практические тренинги с большой энергией и малым временем на оценку. Реалистичный путь — сочетать вопрос о реакции в конце каждой встречи с небольшим измерением обучения раз в семестр, например три коротких случая, решённых до и после цикла занятий. Если кружок тренирует навык, например последовательность действий при приёме, стоит понаблюдать за несколькими участниками в симуляции и записать, что изменилось. Это уже ставит кружок выше большинства опубликованных оценок, которые останавливаются на удовлетворённости.

На стажировке и в интернатуре

У преподавателя есть привилегированный доступ к третьему уровню: он видит обучающегося на службе. Простой способ воспользоваться этим — в начале стажировки определить два-три поведения, которые ожидается увидеть в конце, например представлять случай с дифференциальным диагнозом или проверять ожидающие результаты до передачи смены. На протяжении недель преподаватель отмечает, появляются ли эти поведения. Запись служит для обратной связи обучающемуся и, вместе с записями других преподавателей, для оценки самой стажировки.

В ординатуре

Программы резидентуры уже собирают много данных: оценки эффективности, записи о процедурах, показатели работы службы. Задача в том, чтобы связать эти данные с конкретными изменениями в программе. Когда резидентура вводит новую активность, например еженедельную сессию по клиническому мышлению, стоит заранее выбрать показатель поведения, который уже собирается, и отслеживать динамику до и после, всегда помня, что одновременно происходят и другие изменения.

Обсуждать результаты со студентами

Оценка программы — это ещё и возможность обучения. Показать группе, что измерялось, что улучшилось, а что нет, учит на практике тому, как читать образовательные данные. И открывает пространство для того, чтобы сами студенты предлагали изменения, а это обычно улучшает программу быстрее, чем любой опросник.

Как NEXO вписывается в оценку программы

NEXO может служить практической активностью внутри программы по клиническому мышлению. Случай дня приходит с максимум шестью подсказками, и при каждой гипотезе близость по МКБ-10 на пяти уровнях показывает, насколько гипотеза далека от диагноза. Случаи вымышленные, но с реальной клинической картиной. Для того кто разрабатывает оценку, вопрос тот же, что и для любой активности: на каком уровне вы ожидаете эффект и как будете его измерять?

Руководство что такое NEXO объясняет всю игру, а текст о геймификации в медицинском образовании обобщает, что показывают данные об играх в обучении. Как открываются режимы, описано на странице экономики NEXO.

Если вы координируете факультет, лигу или резидентуру и хотите использовать NEXO с группой, познакомьтесь с NEXO Closer. Исследователи в области медицинского образования, которые хотят разрабатывать исследования по оценке, могут предложить проекты через NEXO Researcher. Врачи, которые рецензируют случаи, участвуют через NEXO Curator, а те, кто создаёт контент о здоровье в соцсетях, могут участвовать через NEXO Creators.

Частые вопросы

Каковы четыре уровня модели Киркпатрика?

Реакция, обучение, поведение и результаты. Каждый уровень отвечает на вопрос: понравилось ли участникам, научились ли они, изменили ли практику и была ли польза для пациентов или для учреждения.

Нужно ли измерять все четыре уровня в каждой программе?

Нет. Выберите уровни, которые соответствуют цели и доступным ресурсам, и чётко скажите, что не измерялось. Короткую программу можно хорошо оценить на первом и втором уровнях.

Высокая удовлетворённость означает, что курс сработал?

Не обязательно. Удовлетворённость показывает, что опыт был хорошо принят, но не гарантирует ни обучения, ни изменения практики.

В чём главная критика модели?

В предположении, что уровни образуют причинную цепочку, и в сосредоточенности на результатах без учёта контекста и незапланированных эффектов. Поэтому модель лучше работает в сочетании с подходами к оценке программ.

Что такое New World Kirkpatrick?

Обновление, которое начинает планирование с желаемых результатов и добавляет критически важные поведения, факторы подкрепления и промежуточные показатели.

Какую модель использовать вместо Киркпатрика?

Зависит от вопроса. Логическая модель и CIPP помогают понять, как и почему работает программа; экспериментальные схемы лучше отвечают на вопросы об эффекте. Многие программы сочетают несколько подходов.

Чек-лист оценки программы

• Определите результат, который оправдал бы программу, прежде чем планировать активности.
• Опишите теорию программы: почему активности приведут к результату.
• Выберите реалистичный показатель для каждого уровня, который будете измерять.
• Используйте инструменты с доказательствами валидности для измерения обучения.
• Измерьте исходный уровень или подберите группу сравнения.
• Спросите о незапланированных эффектах.
• Чётко сообщите, что не измерялось.
• Используйте результаты, чтобы скорректировать программу для следующей группы.

Хотите ежедневную активность по клиническому мышлению для своей группы? Играйте в случай дня в NEXO.

Источники

1. Yardley S, Dornan T. Kirkpatrick's levels and education 'evidence'. Med Educ. 2012. PubMed 22150201
2. Allen LM, Hay M, Palermo C. Evaluation in health professions education-Is measuring outcomes enough?. Med Educ. 2022. PubMed 34463357
3. Moreau KA. Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?. Med Teach. 2017. PubMed 28649887
4. Curran VR, Fleet L. A review of evaluation outcomes of web-based continuing medical education. Med Educ. 2005. PubMed 15910431
5. Turkeshi E, Michels NR, Hendrickx K, Remmen R. Impact of family medicine clerkships in undergraduate medical education: a systematic review. BMJ Open. 2015. PubMed 26243553
6. Phillips JL, Heneka N, Bhattarai P, Fraser C, Shaw T. Effectiveness of the spaced education pedagogy for clinicians' continuing professional development: a systematic review. Med Educ. 2019. PubMed 31144348
7. Moreau KA, Eady K, Sikora L, Horsley T. Digital storytelling in health professions education: a systematic review. BMC Med Educ. 2018. PubMed 30200945
8. Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE guide no. 67. Med Teach. 2012. PubMed 22515309
9. Belfield C, Thomas H, Bullock A, Eynon R, Wall D. Measuring effectiveness for best evidence medical education: a discussion. Med Teach. 2001. PubMed 11371293
10. Cook DA, Hatala R, Brydges R, Zendejas B, Szostek JH, Wang AT, et al. Technology-enhanced simulation for health professions education: a systematic review and meta-analysis. JAMA. 2011. PubMed 21900138
11. Brydges R, Hatala R, Zendejas B, Erwin PJ, Cook DA. Linking simulation-based educational assessments and patient-related outcomes: a systematic review and meta-analysis. Acad Med. 2015. PubMed 25374041
12. Ilgen JS, Ma IW, Hatala R, Cook DA. A systematic review of validity evidence for checklists versus global rating scales in simulation-based assessment. Med Educ. 2015. PubMed 25626747