Как отслеживать прогресс в учёбе по медицине

В четырёх исследованиях с тестами на настроение, грамматику и логику те, кто оказался в нижнем квартиле с результатом около 12-го процентиля, оценили себя на 62-й процентиль (Kruger и Dunning, 1999). Авторы связали эту разницу с трудностью отличить собственную правоту от собственной ошибки (Kruger и Dunning, 1999). Для тех, кто учится на врача, урок прямой: ощущение, что всё идёт хорошо, — слабый показатель, а измерение прогресса требует цифр, которые приходят извне.

NEXO — это ежедневная игра по медицинской диагностике: один клинический случай в день, шесть последовательных подсказок и обратная связь по близости МКБ-10 на пяти уровнях.

Этот текст о том, как измерять прогресс в учёбе: что исследования говорят о самооценке студентов-медиков, как сравнивать уверенность с правильностью ответов, какие метрики действительно помогают, как разделять цели процесса и цели результата и как читать пробный экзамен. Часть о том, как фиксировать и классифицировать каждую ошибку, — в тексте о тетради ошибок.

Главные пункты

• Самооценка студентов-медиков имела низкую или умеренную валидность в классическом обзоре (Gordon, 1991).
• Студенты-медики оценивают себя умеренно точно и становятся точнее на последних курсах (Blanch-Hartigan, 2011).
• Калибровка — это сравнение уверенности с правильностью ответа, и её можно отслеживать как метрику.
• Правильность ответов по темам, ошибки по типам и калибровка говорят больше, чем общая оценка.
• Цели процесса в начале и цели результата позже показали лучший результат в классическом эксперименте (Zimmerman и Kitsantas, 1997).
• Пробные экзамены и тесты прогресса — полезные внешние измерения, когда их читают как серию, а не как отдельную оценку (Schuwirth и van der Vleuten, 2012).

Содержание

• Зачем измерять прогресс
• Границы самооценки
• Калибровка: уверенность и правильность ответа
• Метрики, которые помогают
• Цели процесса и цели результата
• Пробные экзамены как измерение
• Недельная панель
• Где здесь NEXO
• Частые вопросы
• Чек-лист для отслеживания прогресса

Зачем измерять прогресс

Курс медицины длинный, объём материала большой, а крупные экзамены наступают с разницей в месяцы. Между одним экзаменом и другим самая доступная точка опоры — собственное впечатление, и именно оно наиболее подвержено ошибке.

Впечатление, что учишься

Перечитывание конспекта даёт ощущение владения материалом, потому что текст кажется знакомым. Текст о режиме учёбы объясняет, почему ощущение знания обманывает. Измерять прогресс — значит заменить это впечатление ответами: сколько вопросов по кардиологии вы правильно решили на этой неделе, в каком типе ошибок вы ошибались чаще, насколько ваша уверенность совпала с результатом.

Измерять, чтобы решать

Измерение имеет смысл, только если меняет какое-то решение. Как практический совет, прежде чем создавать любую метрику, спросите: если этот показатель упадёт, что я сделаю иначе? Если ответ ясен, метрика попадает в панель. Если ответ «ничего», её можно не включать без потерь.

Что измеряет этот текст

Здесь фокус на результатах по вопросам и клиническим случаям: правильность ответов, ошибки, уверенность и динамика во времени. Часы учёбы и прочитанные страницы выступают как цели процесса, у которых есть своё место, но которые измеряют усилие, а не обучение.

Границы самооценки

Самооценка — первый инструмент, который есть у каждого студента, и исследования о ней в профессиях здравоохранения ведутся давно.

Классический обзор

Gordon проанализировал 18 статей, опубликованных между 1970 и 1990 годами, в которых самооценка обучающихся, 14 из них — студентов и ординаторов-медиков, сравнивалась с оценкой специалистов или объективными тестами (Gordon, 1991). Валидность самооценки была от низкой до умеренной и не улучшалась со временем в традиционных программах обучения (Gordon, 1991).

Два вывода из обзора очень важны для тех, кто учится. Самооценка, по-видимому, связана с общим представлением человека о себе и мало менялась от оценок, результатов экзаменов или отзывов преподавателей (Gordon, 1991). А в 5 программах с явными целями самооценки и тренировкой для этого валидность была от умеренной до высокой или улучшалась со временем (Gordon, 1991). То есть оценивать себя — это навык, который можно тренировать.

Три метаанализа со студентами-медиками

Blanch-Hartigan собрала 35 статей о самооценке студентов-медиков в три метаанализа, по одному на каждый способ измерения точности (Blanch-Hartigan, 2011). Студенты показали умеренную способность оценивать собственную успеваемость и были точнее на последних курсах (Blanch-Hartigan, 2011).

Как группа, они не переоценивали и не недооценивали себя значительно, но склонны были переоценивать больше при работе со стандартизированным пациентом, основанной на общении, чем при объективных измерениях знаний (Blanch-Hartigan, 2011). Студентки недооценивали собственную успеваемость больше, чем студенты (Blanch-Hartigan, 2011).

Исследование	Что анализировалось	Основной результат
Gordon, 1991	18 статей (Gordon, 1991)	Валидность от низкой до умеренной (Gordon, 1991)
Blanch-Hartigan, 2011	35 статей (Blanch-Hartigan, 2011)	Умеренная точность, выше на последних курсах (Blanch-Hartigan, 2011)
Kruger и Dunning, 1999	4 исследования вне медицины (Kruger и Dunning, 1999)	Нижний квартиль сильно переоценил свой результат (Kruger и Dunning, 1999)

Кто знает меньше, тот больше ошибается насчёт себя

В исследовании Kruger и Dunning улучшение навыков участников также помогло им осознать границы своих знаний (Kruger и Dunning, 1999). Для студента в этом есть ободряющая сторона: по мере изучения темы вы лучше понимаете, чего в ней ещё не хватает. В новых темах стоит больше сомневаться в собственном впечатлении.

Переосмыслить, что такое самооценка

Eva и Regehr предложили пересмотреть само понятие самооценки в профессиях здравоохранения и предложили программу исследований по этой теме (Eva и Regehr, 2005). Как редакционное прочтение, практическое следствие для учащегося — искать внешние источники информации, такие как вопросы, клинические случаи и симуляции, вместо того чтобы полагаться только на внутреннее суждение. Обзор точности самооценки врачей, уже упомянутый в тетради ошибок, идёт в том же направлении; он находится в разделе самооценка даёт сбой.

Калибровка: уверенность и правильность

Калибровка — это то, насколько ваша уверенность соответствует вашей правильности. Хорошо калиброванный студент правильно отвечает почти на всё, что отмечает как «уверен», и ошибается в большей части того, что отмечает как «догадка». Исследования о связи уверенности и правильности в диагностике собраны в разделе обратная связь и калибровка текста об играх клинического мышления.

Записывать уверенность до ответа

Как практическая рекомендация, решая вопросы или клинические случаи, записывайте свою уверенность до просмотра правильного ответа, по трём уровням: высокая, средняя и низкая. Через несколько недель разделите ответы по уровню и посмотрите долю правильных для каждого. Важен паттерн, а не отдельный вопрос.

Как читать результат

Паттерн	Возможное прочтение (рекомендация редакции)
Высокая уверенность и высокая правильность	Тема усвоена; поддерживать интервальным повторением
Высокая уверенность и низкая правильность	Избыточная уверенность; приоритет для изучения
Низкая уверенность и высокая правильность	Знание, которое вы ещё недооцениваете; проверяйте чаще, чтобы обрести уверенность
Низкая уверенность и низкая правильность	Уже замеченный пробел; изучать основы

Самая важная строка таблицы — вторая. Ошибка с большой уверенностью показывает точку, где самооценка дала сбой, и именно там исправление даёт больше всего. Работа с такими ошибками в тетради описана в тексте о тетради ошибок.

Калибровка тоже улучшается

Программы, которые обучали самооценке явно, показали лучшие результаты в обзоре Gordon (Gordon, 1991). Как редакционное прочтение, записывать уверенность и сравнивать с правильным ответом — простой способ провести такую тренировку самостоятельно, с обратной связью на каждой сессии.

Метрики, которые помогают

Общая оценка за список вопросов слишком обобщена. Два человека с одинаковым процентом могут иметь совершенно разные пробелы. Более тонкие метрики показывают, где действовать.

Доля правильных по темам

Разделите вопросы по крупным областям и внутри них по темам: в кардиологии, например, сердечная недостаточность, аритмии и пороки клапанов. Как практическая рекомендация, отслеживайте долю правильных по каждой теме на протяжении недель. Тема, которая стоит на месте или падает, — кандидат на следующий блок изучения, даже если общая оценка хорошая.

Ошибки по типу

Подсчёт ошибок по типу показывает, в чём проблема: в недостатке знаний, в рассуждении или во внимании. Категории и как их записывать, описаны в тип ошибки: знание, рассуждение, внимание. Здесь важно использовать этот подсчёт как метрику: если ошибки внимания растут в месяц экзаменов, ответ отличается от случая, когда растут ошибки знания.

Калибровка по темам

Таблицу уверенности и правильности ответов можно также построить по темам. Избыток уверенности, сосредоточенный в одной теме, обычно указывает на то, что она изучалась только перечитыванием. Как практическая рекомендация, включите эту тему в раунд вопросов без подсказок.

Тенденция, а не отдельный день

Одна плохая неделя говорит о немногом. Прогресс виден в серии: один и тот же показатель, измеренный одинаково и повторённый во времени. Как практическая рекомендация, сравнивайте средние за несколько недель, а не один день с другим.

Показатель	Что показывает	Что делать, когда он ухудшается (рекомендация редакции)
Правильность по темам	Где знания прочные, а где слабые	Изучить основы темы и проверить снова
Ошибки по типу	В чём проблема: в знаниях, рассуждении или внимании	Подстроить метод под тип ошибки
Калибровка	Сопровождает ли уверенность правильность ответов	Больше вопросов по теме без подсказок
Динамика на пробных экзаменах	Тенденция на протяжении курса	Пересмотреть распределение времени между областями

Показатели, требующие осторожности

Часы занятий, прочитанные страницы и число решённых вопросов — полезные процессные цели, но они измеряют усилие. Они входят в панель рядом с показателями результата, а не вместо них. Неделя с множеством часов и неизменной правильностью ответов — сигнал менять метод, как показывают стратегии активного обучения.

Процессные и результативные цели

Процессная цель описывает, что вы будете делать: решать по одному блоку вопросов в день, разбирать ошибки недели в воскресенье. Результативная цель описывает, куда вы хотите прийти: повысить правильность ответов по кардиологии, сдать экзамен на ординатуру. Обе уместны, и порядок важен.

Эксперимент с дротиками

Zimmerman и Kitsantas изучали 90 старшеклассниц, учившихся метать дротики (Zimmerman и Kitsantas, 1997). Те, кто начинал с процессных целей, а затем переходил к результативным, превзошли тех, кто оставался только на процессных целях, а те, в свою очередь, превзошли тех, кто использовал только результативные цели (Zimmerman и Kitsantas, 1997).

Прирост проявился в навыке, в реакции на собственные результаты, в уверенности в своих способностях и в интересе к задаче (Zimmerman и Kitsantas, 1997). Самонаблюдение, способ фиксировать собственные результаты, также улучшило навык и уверенность (Zimmerman и Kitsantas, 1997).

Что можно перенести в медицину

Эксперимент касался двигательного навыка, вне медицины, и результат следует читать с этой оговоркой. Как редакционное прочтение, предлагаемая им идея проста: в новой теме начните с процессных целей, например решать по одному блоку вопросов в день; когда метод устоится, переходите к взгляду на результат, например на долю правильных ответов по теме. Фиксировать собственные результаты, что и предлагает панель в этом тексте, перекликается с эффектом самонаблюдения в исследовании.

Тридцать пять лет исследований о целях

Locke и Latham обобщили 35 лет исследований постановки целей, с основными выводами, механизмами действия целей, факторами, меняющими их эффект, и границами теории (Locke и Latham, 2002). Это полезное чтение для тех, кто хочет понять, почему одни цели помогают больше других. Игровая сторона целей, с очками и серией, описана в цели, очки и серия.

Примеры целей

Тип	Пример (рекомендация редакции)	Как измерять
Процесс	Решать по одному блоку вопросов по кардиологии в день	Дни, выполненные за неделю
Процесс	Разбирать ошибки недели в воскресенье	Разбор сделан или отложен
Результат	Повысить правильность ответов по аритмиям	Доля правильных ответов по теме на протяжении недель
Результат	Улучшить калибровку по инфекционным болезням	Правильность ответов с высокой уверенностью

Пробные экзамены как измерение

Пробный экзамен — ближайшее внешнее измерение к реальному экзамену. При хорошем прочтении он показывает, где вы находитесь и куда движетесь; при плохом превращается просто в оценку для радости или сожалений.

Что может предсказать пробный экзамен

Morrison с коллегами изучали 12.224 студентов из США и Канады, сдавших официальный пробный экзамен перед первой попыткой на Step 1, первом этапе американского экзамена на медицинскую лицензию (Morrison et al., 2010). Оценка за пробный экзамен объясняла 67% разброса оценок за экзамен при использовании отдельно и 69%, когда в расчёт включался также интервал между экзаменами (Morrison et al., 2010). У тех, кто получил низкую оценку за пробный экзамен, риск провала с первой попытки был выше (Morrison et al., 2010).

Авторы заключают, что пробный экзамен может дать студенту реалистичную самооценку своей подготовки к экзамену (Morrison et al., 2010). Это относится к конкретному пробному экзамену, составленному той же комиссией, что и настоящий экзамен, и к тому экзамену.

Тест прогресса

Тест прогресса — это форма лонгитюдной оценки: эквивалентные, но разные экзамены, проводимые несколько раз в течение курса, результаты которых объединяются, чтобы показать рост знаний каждого студента (Schuwirth и van der Vleuten, 2012). Авторы описывают положительный эффект на учебное поведение, поскольку это отбивает желание учиться сосредоточенно в последний момент, и хорошую прогностическую валидность (Schuwirth и van der Vleuten, 2012).

Они также указывают на техническую предосторожность: уравнять сложность последовательных экзаменов, чтобы разница между одним и другим не была принята за прогресс (Schuwirth и van der Vleuten, 2012). Руководство Wrigley и коллег напоминает, что тесты с множественным выбором несут вариацию ошибки, которая ставит под сомнение валидность и надёжность результатов, и предлагает модель для улучшения качества данных теста прогресса (Wrigley et al., 2012).

Как читать свой пробный экзамен

Как практическая рекомендация, читайте каждый пробный экзамен в три слоя:

1. Общий балл, сравнённый с вашими предыдущими пробными экзаменами, а не со средним баллом группы за один день.
2. Правильные ответы по областям и по темам, чтобы найти, что просело или остановилось.
3. Ошибки по типам и уверенность, чтобы решить, что делать дальше: учить базу, тренировать рассуждение или работать над вниманием.

Пробные экзамены из разных источников имеют разную сложность. Как редакционная рекомендация, сравнивайте предпочтительно пробные экзамены из одного источника — по той же причине, по которой тест прогресса уравнивает сложность экзаменов.

Пробный экзамен — это тоже тренировка

Пройти пробный экзамен — уже форма самопроверки, а разбор с обратной связью замыкает цикл. О том, почему самопроверка помогает запоминать, — в тексте про повторение через игру.

Недельная панель

Собрать метрики в одном месте помогает увидеть тенденцию. Панелью может быть простая таблица или страница в тетради.

Что входит

Как практическая рекомендация, недельная панель может иметь пять столбцов: неделя, правильные ответы по темам в областях, которые вы изучаете, подсчёт ошибок по типам, правильные ответы с высокой уверенностью и выполненные процессные цели. Достаточно одной строки в неделю.

Десятиминутный обзор

В конце недели посмотрите на панель и ответьте на три вопроса: какая тема улучшилась, какая остановилась и какой тип ошибок встречался чаще. Ответ становится процессной целью следующей недели. Этот короткий ритуал вписывается в рутину, описанную в тексте про как встроить игры в учебную рутину.

Частые ошибки при измерении прогресса

• Измерять только общий балл. Он прячет слабые темы за сильными.
• Сравнивать один день с другим. Естественная вариация обманывает; смотрите на серию.
• Менять линейку каждую неделю. Метрики, у которых меняется определение, перестают быть сравнимыми.
• Доверять впечатлению больше, чем числу. Исследование о самооценке показывает, почему впечатление подводит (Gordon, 1991).
• Измерять усилие как будто это обучение. Часы и страницы — это процесс; правильные ответы — это результат.
• Сравнивать пробные экзамены из разных источников. Сложность меняется от источника к источнику.

Где здесь NEXO

Каждый случай в NEXO приходит с максимум шестью подсказками, по одной за раз, и каждая гипотеза получает обратную связь о близости по МКБ-10, от главы до точного кода. Это уже небольшое измерение в каждом случае: на какой подсказке вы пришли к диагнозу и насколько близко были в предыдущих гипотезах.

На какой подсказке закрывается диагноз

Начальный экран показывает распределение ваших правильных ответов по подсказкам: на какой подсказке диагноз обычно закрывается, как описано в что нового в NEXO. Как практическая рекомендация, следите за этим распределением на протяжении недель; правильный ответ на меньшем числе подсказок — признак прогресса в рассуждении, а правильные ответы, которые сосредоточены на последних подсказках, указывают на темы для повторения.

Постоянство, уровень и достижения

История серии отображается в виде календаря, а полоса уровня на главном экране показывает XP, набранный на текущем уровне, — и то и другое описано в разделе «Что нового» NEXO. Достижения отображаются как треки с этапами по порядку, тем, что уже пройдено, и тем, что предстоит. Это хорошие процессные показатели: они показывают, укрепилась ли привычка. В рейтинге есть вкладки «Глобальный», «Университеты» и «Группа» — для тех, кто любит следить за своей группой.

Перенести кейс в свою панель

Как практический совет: если вы ошиблись в кейсе или ответили верно только на последних подсказках, запишите тему и тип ошибки в свою недельную панель и используйте Архив, чтобы повторить прошлые кейсы по той же теме. Кнопка Anki переносит недостающий диагноз в карточку, как показано в руководстве по интервальному повторению.

Для исследований, работы с группой и создания контента

Если вы исследуете оценивание и самооценивание в медицинском образовании и хотите предложить исследования с NEXO, познакомьтесь с NEXO Researcher. Чтобы принести NEXO в вуз, студенческое научное общество или ординатуру, есть NEXO Closer. Врачи, которые проверяют кейсы по своей специальности, участвуют через NEXO Curator, а те, кто создаёт контент о здоровье в соцсетях, могут участвовать через NEXO Creators.

Частые вопросы

Как измерять прогресс в изучении медицины?

С помощью внешних показателей, которые повторяются одинаково с течением времени: доля верных ответов по теме в вопросах и кейсах, подсчёт ошибок по типу, сравнение уверенности и правильности ответа и динамика на пробных экзаменах из одного источника. Личное впечатление помогает мало, потому что самооценивание студентов-медиков имело низкую или умеренную валидность в классическом обзоре (Gordon, 1991).

Надёжно ли самооценивание студентов-медиков?

Умеренно. В метаанализах Blanch-Hartigan студенты оценивали себя умеренно точно и улучшались на старших курсах (Blanch-Hartigan, 2011). Поэтому стоит сочетать самооценивание с данными вопросов и пробных экзаменов.

Что такое калибровка в учёбе?

Это то, насколько ваша уверенность соответствует правильности ответа. Чтобы измерить её, запишите уверенность до просмотра ответа и сравните долю верных ответов при высокой, средней и низкой уверенности.

Процессная цель или результативная цель?

Обе, по очереди. В эксперименте Zimmerman и Kitsantas начало с процессных целей и последующий переход к результативным целям дали лучший результат, чем использование только одной из них (Zimmerman и Kitsantas, 1997). Исследование проводилось на двигательном навыке, вне медицины.

Предсказывает ли пробный экзамен результат настоящего?

В исследовании с 12 224 студентами балл официального пробного экзамена объяснил 67% разброса баллов Step 1 — первого этапа экзамена на медицинскую лицензию в США (Morrison et al., 2010). Эти данные относятся к тому пробному экзамену и тому экзамену; в других условиях связь может быть иной.

Что такое тест прогресса?

Это лонгитюдное оценивание с эквивалентными экзаменами, которые проводятся несколько раз за время обучения, чтобы показать рост знаний каждого студента (Schuwirth и van der Vleuten, 2012).

Как часто смотреть свои метрики?

Короткий обзор раз в неделю — хороший практический совет. Прогресс виден в серии, поэтому сравнивайте средние за несколько недель, а не один день с другим.

Как NEXO помогает следить за прогрессом?

Главный экран показывает, на скольких подсказках обычно закрывается ваш диагноз, серия отображается как календарь, а достижения — как треки с видимым следующим этапом. Каждый кейс содержит до шести подсказок с обратной связью по близости кода МКБ-10 после каждой гипотезы.

Чек-лист для отслеживания прогресса

1. Определил ли я метрики, за которыми буду следить, и как я буду измерять каждую из них?
2. Записываю ли я уверенность до просмотра ответа?
3. Разделяю ли я правильные ответы по темам, а не только по общей оценке?
4. Считаю ли я ошибки по типу в конце недели?
5. Есть ли у меня процессные цели для новых тем?
6. Перехожу ли я к результативным целям, когда метод укрепился?
7. Сравниваю ли я пробные экзамены из одного источника с течением времени?
8. Разбираю ли я каждый пробный экзамен по баллу, теме и типу ошибки?
9. Смотрю ли я на тенденцию за несколько недель, а не на отдельный день?
10. Решил ли я, что изменить на следующей неделе по итогам панели?

Литература

1. Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. Acad Med. 1991. https://pubmed.ncbi.nlm.nih.gov/1750956/
2. Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med. 2005. https://pubmed.ncbi.nlm.nih.gov/16199457/
3. Blanch-Hartigan D. Medical students' self-assessment of performance: results from three meta-analyses. Patient Educ Couns. 2011. https://pubmed.ncbi.nlm.nih.gov/20708898/
4. Kruger J, Dunning D. Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Pers Soc Psychol. 1999. https://pubmed.ncbi.nlm.nih.gov/10626367/
5. Zimmerman BJ, Kitsantas A. Developmental phases in self-regulation: shifting from process goals to outcome goals. J Educ Psychol. 1997. https://doi.org/10.1037/0022-0663.89.1.29
6. Locke EA, Latham GP. Building a practically useful theory of goal setting and task motivation. A 35-year odyssey. Am Psychol. 2002. https://pubmed.ncbi.nlm.nih.gov/12237980/
7. Morrison CA, Ross LP, Fogle T, et al. Связь между результатами официального пробного экзамена по фундаментальным наукам и USMLE Step 1 у студентов США и Канады (оригинальное название на английском — в PubMed). Acad Med. 2010. https://pubmed.ncbi.nlm.nih.gov/20881715/
8. Schuwirth LW, van der Vleuten CP. The use of progress testing. Perspect Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/23316456/
9. Wrigley W, van der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012. https://pubmed.ncbi.nlm.nih.gov/22905655/