Почему нужно сомневаться в результатах всех - IFFS-UIT
реклама
Как критически оценить исследование Доктор Nikolaos P. Polyzos, врач, канд. мед. наук The material was supported by an educational grant from Ferring Задачи обучения • В конце этой презентации вы должны понять, что нельзя безапелляционно соглашаться со всеми выводами, представленными в какой-либо работе. • Эта презентация научит критически оценивать выводы, представленные в научных публикациях. Эссе: Почему результаты многих опубликованных исследований оказываются недостоверными - Джон П.А. Иоаннидис (John P.A. Ioannidis) Результаты исследований могут оказаться недостоверными, когда: • проведено недостаточное количество исследований в данной области • величина эффекта невелика • велика вариабельность дизайна, определений, исходов и методов анализа • существует финансовый или какой-либо иной интерес, предрассудки Ioannidis JP, Plos Med 2005 • Почему нужно сомневаться в результатах всех научных работ • Каким образом это нужно делать Почему нужно сомневаться в результатах всех научных работ В наиболее цитируемых статьях не ВСЕГДА говорится правда Наиболее цитируемые статьи не всегда говорят правду • Предварительные выводы ... могут оказаться неправильными в будущем • Часто цитируемые работы (>1000 цитирований), касающиеся эффективности – 16% были опровергнуты последующими исследованиями – в16% было установлено, что описываемый эффект изначально более выражен – 44% были воспроизведены в последующих исследованиях с большим размером выборки по сравнению с первоначальной часто цитируемой работой) – 24% остались в основном неоспоренными Ioannidis JP, JAMA 2005 Почему нужно сомневаться в результатах всех научных работ Даже в журналах с высоким рейтингом данные могут быть сфабрикованы Даже в журналах с высоким рейтингом данные могут быть сфабрикованы Дело Sudbø (Ланцет) 250 из 908 пациентов, включенных в исследование, имели одинаковую дату рождения Почему нужно сомневаться в результатах всех научных работ Рандомизированные исследования низкого качества могут преувеличивать эффективность лечения Рандомизированные исследования низкого качества могут преувеличивать эффективность лечения • База данных по беременности и родам Cochrane – 250 контролируемых испытаний из 33 метаанализов • Более выраженный эффект лечения в исследованиях более низкого качества – Проблемы рандомизации • ОР завышены на 41% – Недостаточное ослепление • ОР завышены на 17% Schulz. JAMA 1995; 273 (5): 408–412 Исследования низкого качества показали эффект лечения, который не подтвердился исследованиями высокого качества МЕТА-АНАЛИЗ: РАСПРЕДЕЛЕНИЕ РИСКОВ ДЛЯ ПРЕЖДЕВРЕМЕННЫХ РОДОВ <37 НЕДЕЛЬ БЕРЕМЕННОСТИ Исследование/подгруппа Лечение Коэффициент неравенства (M-H, фиксированный) (95% CI) Без лечения Случаи/всего Случаи/всего Исследования низкого качества Итого (95% CI) Весовой коэффициент (%) Коэффициент неравенства (M-H, фиксированный) (95% CI) 114/996 147/725 35.2 0.52 (0.38 to 0.72) 250/2303 219/2290 64.8 1.15 (0.95 to 1.40) 364/3299 366/3015 100 0.93 (0.79 to 1.10) Тест на гетерогенность: χ2 = 4.95, df = 5, P = 0.42, I2 = 0% Тест на общий эффект: z = 4.01, P<0.001 Исследования высокого качества Итого (95% CI) Тест на гетерогенность: χ2 = 4.02, df = 4, P = 0.40, I2 = 1% Тест на общий эффект: z = 1.45, P = 0.15 Итого (95% CI) Тест на гетерогенность: χ2 = 25.94, df = 10, P = 0.004, I2 = 61% Тест на общий эффект: z = 0.86, P = 0.39 M-H=Модель с фиксированными уровнями Мантеля-Хензела 0.1 0.2 0.5 Предпочтительно лечение 1 2 5 10 Предпочтительно без лечения Polyzos NP et al., BMJ 2010 Почему нужно сомневаться в результатах всех научных работ Исследования с отрицательными результатами не публикуются или публикуются с опозданием Доля обзоров, опубликованных в полнотекстовом варианте Исследования с отрицательными результатами не публикуются или публикуются с опозданием 1.0 Результат в пользу экспериментальной группы Не положительный Положительный Не положительный, подвергнутый цензуре Положительный, подвергнутый цензуре 0.8 0.6 0.4 0.2 0.0 0 20 40 60 80 100 Время до публикации (месяцев) Среди исследований, представленных на крупных научных конференциях, исследования с положительными результатами, будут опубликованы с большей вероятностью по сравнению с исследованиями, для которых был получен отрицательный результат Polyzos NP et al., Hum Reprod 2011 Почему нужно сомневаться в результатах всех научных работ Мета-анализы часто основаны на недостаточных или непоследовательных доказательствах Мета-анализы и систематические обзоры часто основаны на недостаточных или непоследовательных доказательствах • 61 систематический обзор, опубликованный в июле 2012 г в Cochrane – 15% обзоров включают 1 или 0 исследований – Половина обзоров включает менее 1000 рандомизированных пациентов – 31 обзор был обновлением старого обзора – 11 из этого 31 обновленного обзора включали то же количество исследований и участников, что и предыдущий обзор Humaidan & Polyzos Nat Med 2012 Почему нужно сомневаться в результатах всех научных работ Исследования, поддерживаемые производителями, могут продемонстрировать большую эффективность лечения Исследования, поддерживаемые производителями, могут продемонстрировать большую эффективность лечения Исследования, финансируемые фармацевтическими компаниями, получали результаты в пользу продукции спонсора в 4 раза чаще, чем исследования, финансируемые другими источниками Исследование (первый автор) Коэффициент неравенства Azimi12 Cho14 Clifford15 Davidson16 Dieppe18 Djulbegovic19 Djulbegovic20 Friedberg23* Friedberg23┼ Kamal-Bahl26╪ Kamal-Bahl26§ Koep30 Mandelkern32 Sacristan36¶ Sacristan36** Thomas38 Vandenbroucke39 Yaphe41 0.1 0.2 0.5 1 2 OR 4.05; 95% CI 2.98-5.51 5 10 100 1000 Lexchin J et al., BMJ. 2003. 10000 Исследования, поддерживаемые производителями, могут демонстрировать большую эффективность лечения 82% анализов экономической эффективности препаратов, спонсируемых производителями, показали, что препараты являются экономически эффективными Valachis et al., J Clin Oncol 2012 Исследования, поддерживаемые производителями, могут демонстрировать большую эффективность лечения Сравнение с помощью подставного лица Сведения о месте работы автора или финансировании или конфликте интересов с производителем 100 90 Чувствительность 80 70 60 50 40 30 20 10 0 0 10 20 30 40 50 60 70 80 90 100 1 - Специфика Оценивание для АЭЭ без связанных авторов, финансирования или конфликт интересов с производителем Оценивание для АЭЭ с, как минимум, одним автором, связанным с производителем или с финансированием, или имеющим конфликт интересов с производителем Анализы экономической эффективности с привлечением производителей ассоциировались с более низкими исходными условиями чувствительности теста Папаниколау. Polyzos NP et al., CMAJ 2011 Почему нужно сомневаться в результатах всех научных работ Испытания, спонсируемые производителями препаратов, и даже исследования, спонсируемые государством, были опубликованы спустя некоторое время после проведения Исследования, спонсируемые производителями препаратов, могут быть опубликованы позже, чем неспонсируемые исследования • Время до публикации – Спонсируемые (24 месяца) по сравнению с неспонсируемыми исследованиями (20 месяцев) после завершения исследования p<0.001 Ross JS et al., JAMA 2013 • Частота публикаций в течение 2 лет – Спонсируемые (40%) по сравнению с неспонсируемыми/не государственными исследованиями (56%) – RR = 0,73, 95% ДИ 0,61–0,87; p<0,001 – Исследования, спонсируемые производителями (40%), по сравнению с исследованиями, спонсируемыми государством (47%); p = 0,22 Ross JS et al., Plos Med 2009 Даже исследования, спонсируемые государством, не публикуются быстро – – 30 месяцев – половина не опубликована 51 месяц - 1/3 не опубликована 80 60 40 20 0 0 20 40 60 100 80 Процент опубликованных исследований Процент опубликованных исследований • Исследования НЦИЗ НЕ ОПУБЛИКОВАНЫ после завершения 80 Исследования, завершенные до 2007 г. Исследования, завершенные в 2007-2008 гг. 60 40 P<.001 20 0 0 Время с завершения исследования (месяцев) No of unpublished studies Trial completed before 2007 No at risk 635 5 10 15 20 25 30 Время с завершения исследования (месяцев) 635 635 635 493 330 220 153 95 54 44 269 264 259 235 221 197 175 324 282 244 215 176 Trial completed in 2007-8 366 356 Ross JS et al., BMJ 2011 • Почему нужно сомневаться в результатах всех научных работ • Каким образом это нужно делать Каким образом нужно проверять результаты научных работ Не пренебрегайте результатами исследования заранее только на основании его статуса, так как управление клиническими исследованиями и ведение отчетности по ним в последнее время улучшились Не пренебрегайте результатами исследования заранее только на основании его статуса Связь производителя с публикацией снижает ценность исследования для врачей Готовность врачей назначать препарат Коэффициент неравенства 1.25 0.68 (95% CI, 0.49-0.94) P = .02 0.52 (95% CI, 0.37-0.71) P<.001 1.00 0.75 0.50 С отраслью и без Отрасль по сравнению с НЦИЗ Финансирование Велика вероятность нежелания хотя бы прочитать всю статью до конца! Факт спонсорской поддержки производителя: • • отрицательно влияет на восприятие методологического качества исследования врачами снижает их готовность верить и действовать на основании результатов исследования, независимо от качества исследований Kesselheim NEJM 2012 Почему не следует пренебрегать результатами исследования только на основании его статуса • Директива о Надлежащей клинической практике (Директива 2005/28/EC от 8 апреля 2005 г. Европейского парламента и Совета) • Европейская база данных клинических исследований версия 9 (Реестр европейских исследований) • Должны быть представлены результаты всех интервенционных клинических исследований, которые проводились в Европейском Союзе, начиная с 01 мая 2004 г. и позднее • Система отчетности и разглашение данных включают: – Исследования, которые были прекращены досрочно – Исследования как с положительными, так и с отрицательными результатами – Исследования препаратов с ИЛИ без регистрационного свидетельства в ЕС https://eudract.ema.europa.eu/index.html Не пренебрегайте результатами исследования заранее только на основании его статуса Улучшилась ли ситуация с течением времени? • Для того, чтобы Фармакологическая компания представила новый препарат на рынке, препарат должен пройти Фазу II исследования для определения дозировки и безопасности, а затем Фазу III исследования для подтверждения эффективности, а в дальнейшей - демонстрации безопасности, которые контролируются извне на предмет соответствия высоким методологическим стандартам • Процент успеха Фазы II новых проектов снизился с 28% (2006–2007гг.) до 18% (2008–2009гг.) Arrowsmith. Nature Reviews Drug Discovery 2011 • Общий показатель успеха Фазы III и регистрации снизился до ~50% с 2007 г. по 2010 г. Arrowsmith. Nature Reviews Drug Discovery 2011 Каким образом нужно проверять результаты научных работ Для оценки научной статьи используйте стандартный критический подход Для оценки научной статьи используйте стандартный критический подход Критически оцените цель исследования • Какова актуальность проводимого исследования • Четко ли определены вопросы, на которые должно ответить исследование, и, если нет, как их можно сформулировать? Принципы оценки и проверки достоверности исследований Ассоциация среднего медицинского персонала США http://www.nursingworld.org Для оценки научной статьи используйте стандартный критический подход Критически оценивайте дизайн исследования • Является ли дизайн подходящим для данного исследования? • Является ли выборка и ее размер подходящими и достаточными для структуры исследования? • Как были собраны данные? • Соответствует ли аналитический подход изучаемым вопросам и дизайну исследования? Принципы оценки и проверки достоверности исследований Ассоциация младших медицинских работников США http://www.nursingworld.org Для оценки научной статьи используйте стандартный критический подход Проверьте, было ли исследование зарегистрировано в публичном реестре • Было ли исследование зарегистрировано до его начала? • Являются ли основные конечные показатели такими же, как и в зарегистрированной версии исследования? Для оценки научной статьи используйте стандартный критический подход Всегда просматривайте существующую литературу • Соответствует ли литературный обзор исследованию, является ли он исчерпывающим и включает ли последние исследования? • Подтверждает ли литературный обзор необходимость проведения исследования? • Согласуются ли результаты с существующими литературными данными? Принципы оценки и проверки достоверности исследований Ассоциация младших медицинских работников США http://www.nursingworld.org Для оценки научной статьи используйте стандартный критический подход Критически оценивайте результаты и выводы • Четко ли представлены результаты в тексте, таблицах и рисунках? • Четко ли прокомментированы статистические данные? • Представлены ли пояснения результатов в соответствии с теоретическими предпосылками исследования и задачами исследования? • Описаны ли ограничения исследования и их влияние на результаты? • Имеются ли рекомендации для клинического применения? Принципы оценки и проверки достоверности исследований Ассоциация младших медицинских работников США http://www.nursingworld.org Выводы • У каждого исследования есть ограничения, поэтому всегда существует вероятность случайных результатов • Даже результаты о рисках применения препарата могут быть ошибочными • Чем проще дизайн исследования – тем выше вероятность его достоверности • Всегда проверяйте всю литературу и ищите соответствия и несоответствия в сравнении с представляемыми результатами • Не принимайте и не отклоняйте результаты исследования только на основании того, что оно было опубликовано в определенном журнале или выполнено определенной группой исследователей, а также в зависимости от участия в нем производителя. Спасибо
