Критическое чтение статей для студентов-медиков

На заседании учебной группы коллега делится заголовком: «новое лечение вдвое снижает смертность». Аннотация статьи выглядит убедительно, журнал известен, и кто-то уже спрашивает, почему больница до сих пор не приняла этот подход. Вы открываете полный текст. Исследование было остановлено досрочно, событий было мало, а первичная конечная точка изменилась между регистрацией и публикацией. Ничего этого не было в аннотации. Ничего этого не было в заголовке.

Критическое чтение статей — это умение посмотреть на исследование и спросить, заслуживает ли оно доверия, что оно на самом деле показало и применим ли результат к вашему пациенту. Для студента-медика это мост между исследованием и клиническим решением, а также защита от избыточной уверенности в любой публикации. Это руководство объясняет, зачем читать критически, как работает схема из трёх вопросов, какие дизайны исследований имеют какие слабые места, какие смещения и ловушки изложения встречаются чаще всего, что говорят данные об обучении этому навыку и как практиковаться каждый день.

Главное

• Критическое чтение — это оценка валидности, результатов и применимости исследования до того, как использовать его для решения.
• Студенты, заканчивающие курс, обычно владеют лишь частью концепций доказательной медицины, прежде всего количественными.
• Каждый дизайн исследования лучше отвечает на определённый тип вопроса и имеет характерные слабые места.
• Аннотации могут искажать результаты: предвзятое изложение часто встречается в испытаниях без значимой разницы по первичной конечной точке.
• Испытания, остановленные досрочно из-за пользы, склонны завышать эффект лечения, особенно при малом числе событий.
• Обучение критическому чтению улучшает знания и установки, но данных о переносе в клиническую практику мало.

Содержание

• Зачем читать критически
• Схема из трёх вопросов
• Дизайны исследований и их слабые места
• Чтение исследований диагностики
• Смещения, которые должен узнавать каждый студент
• Ловушки изложения и интерпретации
• Как освоить критическое чтение
• Как NEXO связывает статью со случаем
• Частые вопросы
• Чек-лист критического чтения

Зачем читать критически

Доказательная медицина была определена Sackett и коллегами как осознанное, явное и вдумчивое использование наилучших доступных данных при решении о помощи каждому пациенту, с объединением этих данных с клиническим опытом и ценностями пациента. Слово «вдумчивое» — в центре критического чтения. Недостаточно знать, что исследование существует; нужно знать, заслуживает ли оно доверия и отвечает ли на вопрос, который стоит перед вами при конкретном пациенте.

Не всё опубликованное верно

В широко цитируемом эссе Ioannidis утверждал, что вероятность истинности научного вывода падает, когда исследования малы, когда эффекты малы, когда много свободы в дизайне, определениях и анализе, когда есть финансовые или иные интересы и когда многие команды соревнуются за статистическую значимость. Этот текст — не приглашение к цинизму, а напоминание о том, что сам факт публикации результата не делает его надёжным.

Что знают студенты

В перекрёстном исследовании со студентами третьего и четвёртого курсов Smith и коллеги применили Фреснский тест по доказательной медицине и обнаружили средний результат 47,2%; вопросы о числе, необходимом для лечения (16,9% верных ответов), и об исследованиях диагностики (5,0%) оказались самыми трудными. Иными словами, студенты на пороге выпуска владели примерно половиной концепций, и именно самые количественные были самыми хрупкими. Это распространённый пробел, и его вполне можно устранить практикой.

Критическое чтение — это клиническое мышление

Критическое чтение статьи использует те же навыки, что и интерпретация анализа: понять, что означает результат, какова вероятность его ошибки и меняет ли он вероятность того, о чём вы думаете. Руководство о предтестовой вероятности показывает эту логику применительно к анализам, а текст о принятии клинических решений показывает, как соединить данные, контекст и предпочтения пациента.

План из трёх вопросов

Существует множество планов критической оценки, со специальными версиями для каждого дизайна исследования. Для начала три вопроса охватывают главное и подходят для любой статьи.

1. Валидны ли результаты? Подходит ли дизайн для поставленного вопроса? Была ли рандомизация и сокрытие распределения? Были ли группы сопоставимы в начале? Были ли потери при наблюдении небольшими и сбалансированными? Знали ли оценщики, к какой группе относился каждый участник?
2. Каковы результаты? Каков размер эффекта, а не только статистическая значимость? Каков доверительный интервал? Каков эффект в абсолютных величинах, например разница рисков или число, которое нужно лечить?
3. Применимы ли результаты к моему пациенту? Похожи ли участники исследования на моего пациента? Важны ли для него измеренные исходы? Перевешивают ли преимущества риски, затраты и усилия?

Начните с вопроса исследования

Перед тремя вопросами определите вопрос, на который пыталось ответить исследование, в структурированном виде: кто участники, каково вмешательство или воздействие, с чем его сравнивали и каков исход. Много путаницы при чтении возникает из-за того, что не замечают: исследование ответило на вопрос, отличный от вашего.

Относительный и абсолютный эффект

Снижение относительного риска вдвое кажется огромным. Если риск составлял два человека из ста и упал до одного из ста, абсолютная разница — один человек из ста, и нужно лечить сто человек, чтобы предотвратить одно событие. Оба числа верны, но рассказывают очень разные истории. Критическое чтение требует всегда искать абсолютный эффект и сравнивать его с рисками лечения.

Качество доказательств

Система GRADE, описанная Guyatt и коллегами, предлагает явный способ классифицировать качество совокупности доказательств и силу рекомендации. Даже если вы не будете применять GRADE формально, логика полезна: рандомизированные испытания начинают с высокого качества, а наблюдательные исследования — с низкого, и уверенность растёт или падает в зависимости от риска систематической ошибки, неоднородности, неточности, косвенности доказательств и ошибки публикации.

Дизайны исследований и их слабые места

Каждый дизайн лучше отвечает на определённый тип вопроса и даёт сбои характерными способами. Знание этих слабых мест экономит время: вы уже знаете, где искать проблемы.

Дизайн	Лучше всего для	Типичное слабое место	Что проверить в первую очередь
Рандомизированное клиническое испытание	Эффект лечения	Досрочное прекращение, потери, суррогатные исходы	Рандомизация, сокрытие распределения, ослепление, анализ по намерению лечить
Когорта	Прогноз и факторы риска	Смешивание и потери при наблюдении	Сопоставимость групп и поправка
Случай-контроль	Редкие болезни и воздействия	Ошибка памяти и отбора контролей	Как выбирали случаи и контроли
Поперечное	Распространённость и связь	Не устанавливает временную последовательность	Репрезентативность выборки
Исследование точности диагностики	Характеристики обследований	Неподходящий спектр пациентов и неверный эталонный стандарт	Кого тестировали и по какому эталону
Систематический обзор и метаанализ	Синтез нескольких исследований	Качество включённых исследований, неоднородность, ошибка публикации	Поиск, критерии включения и оценка риска систематической ошибки

Рандомизированные испытания

Рандомизированное испытание — самый сильный дизайн для оценки лечения, потому что рандомизация уравновешенно распределяет известные и неизвестные факторы, которые могли бы повлиять на исход. Тем не менее оно может давать сбои: плохо выполненное сокрытие распределения, несбалансированные потери, суррогатные исходы, не отражающие то, что важно пациенту, и досрочные прекращения, завышающие эффект.

Наблюдательные исследования

Когорты и исследования случай-контроль незаменимы, когда рандомизация невозможна или неэтична, а также для изучения прогноза и факторов риска. Главный риск — смешивание: третья переменная, связанная и с воздействием, и с исходом, создающая кажущуюся связь. Статистические поправки помогают, но контролируют только измеренное.

Систематические обзоры

Хороший систематический обзор определяет вопрос, ведёт широкий и воспроизводимый поиск литературы, оценивает риск систематической ошибки в каждом исследовании и обобщает результаты. Метаанализ плохих исследований остаётся плохим, а множество небольших исследований с положительными результатами может отражать ошибку публикации. Поэтому вопрос "какие исследования вошли и каково их качество?" стоит раньше, чем взгляд на объединённый результат.

Чтение исследований диагностики

Тем, кто изучает клиническое мышление, исследования точности диагностики заслуживают особого внимания. Они показывают, насколько обследование, признак или правило принятия решений помогают отделить тех, у кого есть состояние, от тех, у кого его нет. И, как показал тест Фресно, именно вопросы о диагностике студенты ошибают чаще всего.

Чувствительность, специфичность и отношения правдоподобия

Чувствительность — это доля людей с состоянием, которых выявляет обследование; специфичность — доля людей без состояния, которых обследование правильно классифицирует как отрицательных. Отношения правдоподобия объединяют оба показателя и говорят, насколько положительный или отрицательный результат меняет вероятность гипотезы. Чем дальше от единицы, тем полезнее результат. Это прямая связь между статьёй и пациентом: зная вероятность до обследования и отношение правдоподобия, вы оцениваете вероятность после обследования.

Спектр пациентов

Обследование, проверенное на очень больных пациентах в сравнении со здоровыми добровольцами, выглядит превосходно, потому что эти две группы легко различить. В реальном мире обследование применяют у пациентов с неясной картиной, и показатели падают. Читая исследование точности, спросите, кого тестировали: пациентов, похожих на тех, кого вы ведёте, с тем же диагностическим вопросом, или группу, подобранную так, чтобы облегчить результат?

Референсный стандарт

Любое исследование точности сравнивает обследование с референсным стандартом, который определяет, у кого действительно есть состояние. Если стандарт ненадёжен или не все участники прошли его, результат искажается. Также важно, чтобы тот, кто интерпретирует обследование, не знал результата референсного стандарта, и наоборот. Эти вопросы кажутся техническими, но сильно меняют доверие, которое можно испытывать к итоговому числу.

От числа к решению

Обследование с хорошей точностью полезно, только если результат меняет тактику. Если вероятность гипотезы уже очень высока или очень низка, никакой результат не изменит решения, и обследование добавляет затраты и риск без пользы. Думать об этом до назначения — способ применить критическое чтение у постели больного.

Систематические ошибки, которые должен узнавать каждый студент

Систематическая ошибка — это закономерное искажение, которое смещает результат в определённую сторону. В отличие от случайности, она не уменьшается с ростом исследований. Некоторые виды встречаются так часто, что стоит знать их по названию.

• Ошибка отбора: выбранные участники не представляют интересующую популяцию, или сравниваемые группы различаются с самого начала.
• Ошибка измерения: исход измеряют по-разному в разных группах, часто потому что оценщик знал, кто получил лечение.
• Смешивание: третья переменная объясняет связь между воздействием и исходом.
• Потери при наблюдении: участники, выбывшие из исследования, могут отличаться от оставшихся, и результат меняется.
• Ошибка публикации: исследования с положительными результатами чаще публикуются, и литература выглядит оптимистичнее реальности.
• Избирательное сообщение об исходах: статья выделяет исходы, которые удались, и оставляет в стороне те, что не удались.

Систематическая ошибка и случайность

Доверительный интервал показывает неопределённость из-за случайности. О систематической ошибке он ничего не говорит. Огромное исследование с узким интервалом может быть закономерно неверным, если в его дизайне есть проблема. Поэтому в плане проверки валидность идёт раньше результатов: нет смысла точно интерпретировать число, которое не заслуживает доверия.

У читателя тоже есть свои искажения

Тот, кто читает, тоже приносит с собой искажения. Мы склонны легче принимать результаты, подтверждающие то, что мы уже думали, и искать недостатки в тех, что нам противоречат. Хорошая практика — применять один и тот же план проверки ко всем статьям, включая те, которые вам хотелось бы видеть верными.

Ловушки изложения и интерпретации

Даже хорошо выполненные исследования можно представить так, что результаты окажутся преувеличены. Некоторые ловушки встречаются настолько часто, что заслуживают особого внимания.

Предвзятая подача в резюме

В выборке рандомизированных испытаний, опубликованных с первичным исходом без статистически значимых различий, Boutron и коллеги обнаружили предвзятую подачу — способ изложения, который выдвигает на первый план пользу, не показанную первичным исходом, — в выводах резюме 58,3% статей, а более чем в 40% статей это искажение присутствовало как минимум в двух разделах основного текста. Поэтому читать только резюме рискованно. Перейдите к первичному исходу, заявленному в методах, и посмотрите, что с ним произошло.

Испытания, остановленные досрочно

Испытания, которые останавливают раньше срока из-за кажущейся пользы, привлекают много внимания. Систематический обзор Montori и коллег показал, что такие испытания часто не сообщают важную информацию о решении остановиться и демонстрируют неправдоподобно большие эффекты, особенно когда число событий невелико. Затем Bassler и коллеги сравнили досрочно остановленные испытания с метаанализами неостановленных испытаний по тем же вопросам и обнаружили большие эффекты в остановленных, с более выраженными различиями в исследованиях с меньшим числом событий; в 62% вопросов неостановленные испытания не показали значимой пользы.

Суррогатные и составные исходы

Лечение, которое улучшает лабораторный показатель, не всегда улучшает жизнь пациента. Суррогатные исходы, например лабораторный показатель вместо клинических событий, могут вводить в заблуждение. Составные исходы, объединяющие серьёзные и лёгкие события, могут скрывать, что эффект получен только за счёт менее важного компонента. Всегда спрашивайте: какой исход изменился и важен ли он для пациента?

Подгруппы

Анализы подгрупп порождают гипотезы, но редко что-то доказывают. Когда проверяют много подгрупп, в некоторых различия появятся случайно. Не доверяйте выводам, основанным на подгруппе, которая не была запланирована заранее, особенно если общий результат был отрицательным. Убедительная подгруппа обычно была определена до исследования, имеет правдоподобное биологическое объяснение и повторяется в других независимых исследованиях.

Как научиться критическому чтению

Критическое чтение — это навык, а навыки приобретаются целенаправленной практикой и обратной связью. То, что показывают данные о преподавании, помогает выбрать форматы.

Что показывают данные о преподавании

Обзор BEME Ahmadi и коллег о преподавании медицины, основанной на доказательствах, в вузе включил 27 исследований и пришёл к выводу, что некоторые стратегии могут улучшать знания, установки и навыки, без явного превосходства одного метода и без доказательств переноса в клиническую практику; дистанционное обучение было так же эффективно, как традиционное, в исследованиях хорошего качества. Кокрейновский обзор Horsley и коллег нашёл только три исследования о преподавании критической оценки работникам здравоохранения, ни в одном из них не было исходов процесса оказания помощи или исходов пациентов, и пришёл к выводу, что вмешательства низкой интенсивности могут давать скромные улучшения. В рандомизированном испытании со студентами шестого курса Sasannia и коллеги наблюдали большой эффект в знаниях и уверенности и средний эффект в установках и навыках после обучения с мультимедиа и практикумами.

Журнальные клубы

Журнальный клуб — самый традиционный формат обучения критическому чтению. Систематический обзор Deenadayalan и коллег выявил характеристики эффективных клубов: регулярные и запланированные встречи, обязательное присутствие, ясная цель, подходящее время, подготовленный ведущий, который выбирает статьи и ведёт обсуждение, предварительная рассылка текстов, использование руководств по критической оценке и итоговое резюме выводов. В вузе обзор Bello и Grant показал, что удовлетворённость студентов падала, когда занятие длилось больше двух часов, а сочетание клуба с лекциями, наставничеством или руководствами по оценке помогало в освоении знаний и навыков.

План для студента

1. Выбирайте по одной статье в неделю, связанной со случаем, который вы видели на практике.
2. Сформулируйте вопрос исследования в структурированном виде, прежде чем читать результаты.
3. Используйте схему, подходящую для дизайна, и ответьте на три вопроса письменно.
4. Рассчитайте абсолютный эффект и число, необходимое для лечения или для нанесения вреда.
5. Сравните резюме с текстом и отметьте, есть ли расхождение между тем, что было выделено, и основным исходом.
6. Обсудите с кем-нибудь в журнальном клубе, в студенческом кружке или с наставником.

Как NEXO связывает статью со случаем

Критическое чтение обретает смысл, когда связано с пациентом. В NEXO случай дня подаётся в виде до шести подсказок, и при каждой гипотезе близость по МКБ-10 на пяти уровнях показывает, насколько ваша гипотеза оказалась далека от диагноза. Случаи вымышленные, но клиническая картина реальна. Хорошее упражнение — после игры выбрать вопрос, который вызвал случай, например ценность обследования или вероятность гипотезы, и найти статью, чтобы ответить на него с помощью трёх вопросов из этого руководства.

Руководство что такое NEXO объясняет всю игру, а текст о том, как тренировать дифференциальную диагностику с помощью подсказок, помогает превратить случай в вопросы. Как открываются режимы, описано на странице экономики NEXO.

Если вы координируете факультет, студенческий кружок или ординатуру и хотите использовать NEXO с группой, познакомьтесь с NEXO Closer. Исследователи в области медицинского образования могут предлагать исследования через NEXO Researcher. Врачи, которые рецензируют случаи, участвуют через NEXO Curator, а те, кто создаёт контент о здоровье в соцсетях, могут участвовать через NEXO Creators.

Частые вопросы

Что такое критическое чтение статей?

Это процесс систематической оценки валидности, результатов и применимости исследования, прежде чем использовать его для принятия клинических решений.

Нужно ли знать продвинутую статистику?

Нет. Базовых понятий, таких как относительный и абсолютный риск, число, необходимое для лечения, доверительный интервал, чувствительность и специфичность, уже достаточно, чтобы оценить большинство клинических статей.

Можно ли доверять резюме статьи?

С осторожностью. Исследования показывают, что резюме испытаний без значимой разницы по основному исходу часто выделяют преимущества, которых основной исход не показал. Всегда проверяйте методы и полные результаты.

Какой дизайн исследования лучший?

Зависит от вопроса. Рандомизированные испытания наиболее сильны для лечения; когорты — для прогноза; исследования точности — для обследований. Систематические обзоры хороших исследований стоят на вершине, когда они есть.

Работает ли журнальный клуб?

Хорошо организованные журнальные клубы улучшают знания и навыки критической оценки. Они работают лучше при регулярных встречах, обученном ведущем, предварительном чтении, схемах оценки и занятиях длительностью до двух часов.

С чего начать?

Выберите статью, связанную со случаем, который вы видели, сформулируйте вопрос исследования, ответьте на три вопроса схемы и обсудите с кем-нибудь. Повторяйте каждую неделю.

Чек-лист критического чтения

• Сформулируйте вопрос исследования: участники, вмешательство, сравнение и исход.
• Проверьте, подходит ли дизайн для вопроса.
• Оцените рандомизацию, сокрытие распределения, ослепление и потери при наблюдении.
• Найдите абсолютный эффект и доверительный интервал.
• Сравните резюме с основным исходом, заявленным в методах.
• Отнеситесь с недоверием к испытаниям, прерванным досрочно, суррогатным исходам и незапланированным подгруппам.
• Спросите, похожи ли участники на вашего пациента и важен ли для него исход.

Хотите превратить вопросы из случаев в вопросы для чтения? Играйте в случай дня в NEXO.

Источники

1. Ahmadi SF, Baradaran HR, Ahmadi E. Effectiveness of teaching evidence-based medicine to undergraduate medical students: a BEME systematic review. Med Teach. 2015. PubMed 25401408
2. Horsley T, Hyde C, Santesso N, Parkes J, Milne R, Stewart R. Teaching critical appraisal skills in healthcare settings. Cochrane Database Syst Rev. 2011. PubMed 22071800
3. Sasannia S, Amini M, Moosavi M, Askarinejad A, Moghadami M, Ziaee H, et al. Critical appraisal skills training to undergraduate medical students: A Randomized Control Study. J Adv Med Educ Prof. 2022. PubMed 36310666
4. Bello JO, Grant P. A systematic review of the effectiveness of journal clubs in undergraduate medicine. Can Med Educ J. 2023. PubMed 37719396
5. Deenadayalan Y, Grimmer-Somers K, Prior M, Kumar S. How to run an effective journal club: a systematic review. J Eval Clin Pract. 2008. PubMed 19018924
6. Smith AB, Semler L, Rehman EA, Haddad ZG, Ahmadzadeh KL, Crellin SJ, et al. A Cross-Sectional Study of Medical Student Knowledge of Evidence-Based Medicine as Measured by the Fresno Test of Evidence-Based Medicine. J Emerg Med. 2016. PubMed 26961178
7. Ioannidis JP. Why most published research findings are false. PLoS Med. 2005. PubMed 16060722
8. Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS. Evidence based medicine: what it is and what it isn't. BMJ. 1996. PubMed 8555924
9. Boutron I, Dutton S, Ravaud P, Altman DG. Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA. 2010. PubMed 20501928
10. Montori VM, Devereaux PJ, Adhikari NK, Burns KE, Eggert CH, Briel M, et al. Randomized trials stopped early for benefit: a systematic review. JAMA. 2005. PubMed 16264162
11. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, Alonso-Coello P, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ. 2008. PubMed 18436948
12. Bassler D, Briel M, Montori VM, Lane M, Glasziou P, Zhou Q, et al. Stopping randomized trials early for benefit and estimation of treatment effects: systematic review and meta-regression analysis. JAMA. 2010. PubMed 20332404