Оценка диагностических и скрининговых исследований

Оценка диагностических и
скрининговых исследований
КАФЕДРА ЭПИДЕМИОЛОГИИ И БИОСТАТИСТИКИ
• Насколько точно диагностические и скрининговые тесты
выявляют заболевание если оно есть или не выявляют
заболевание если его нет.
• Правильное определение статуса заболевания кроме всего
прочего зависит от точности тестов(диагностических и
скрининговых.
Определение диагностических и
скрининговых исследований
• Диагностические тесты используются для определения наличия
или отсутствия заболевания, когда у субъекта появляются
признаки или симптомы заболевания.
• Скрининг направлен на выявление лиц без симптомов, у которых
может быть заболевание
• Диагностический тест проводится после положительного
скринингового теста для установления окончательного диагноза.
Методы диагностики должны проверятся
РКИ
Рандомизируют и сравнивают две группы:
1) Лучший метод диагностики («Золотой стандарт», ЗС)
2) Новый метод
Наблюдение в группах
Исход - новый метод лучше ЗС (надо использовать);
- результаты сравнимы ( надо учитывать экономическую
социальную ценность);
- не лучше ЗС (пустая трата времени и денег, не должен
применяться).
Основы тестирования диагностических
методов
Все тесты направлены на определение нормы и патологии
(что будем считать нормой а что патологией), существуют разные
методы определения нормы:
Гауссова кривая
Процентильный метод
Терапевтический метод
«Культурно - желательный» метод
Метод факторов риска
Метод предиктивных оценок
Метод нормального распределения
(Гаусовой кривой)
• Оцениваем вариабельность признака (оцениваем среднюю и
стандартное отклонение); нормальные значения лежат в пределах
±стандартное отклонение.
• Все значения не входящие в указанные пределы будут выше и ниже
нормы.
• В перделах нормы 95% всех значений.
• Самый распространенный но не очень хороший метод, потому что не
имеет биологической обоснованности.
Процентильный метод
• Аналогичен методу нормального распределения но применяется
когда распределение отличается от нормального.
• Значения располагаются в порядке убывания или возрастания.
• Нормальными считаются 95% всех значений находящихся в
середине.
• Не имеет биологической обоснованности.
Терапевтический метод
• Патология – это то, что мы можем лечить (или вылечить)
• Этическая проблема – для того, чтобы расширить показания
необходимо «лечить» здоровых людей.
• ВОЗ в отношении скрининга применяет терапевтический метод:
«Можно проводить скрининг только в отношении тех
заболеваний у которых имеются проверенные методы лечения»
«Культурно - желательный» метод
• Норма – это то, что принято в данном обществе;
• Особенно характерно для поведения и связанных с этим
факторов.
Не базируется на научных данных (ИМТ в разных регионах разный,
в зависимости от культуры в обществе и это не всегда связано со
смертностью. Пример «U» образного распределения в
исследованиях когда смертность ниже в третьем квартиле).
Часто данные полученные в одной части (регионе или местности)
не могут распространяться на другие популяции.
Метод факторов риска
• Норма – это то, что не приносит повышенного риска, даже в
будущем.
• Не все кто имеют фактор риска в итоге заболеют. Нельзя путать
подходы лечебные и профилактические.
Метод предиктивных оценок
Метод который должен использоваться всегда.
Граница нормы выбирается таких образом, чтобы оптимизировать
распределение пациентов страдающих данным заболеванием и
здоровых, чтобы минимизировать частоту ложно – положительных
и ложно-отрицательных результатов, а также их влияние на
пациента так и на общество.
Метод тесно связан с определением качества диагностики.
Характеристика диагностического теста
• Валидность – насколько тест хорошо измеряет то, что должен
измерять (вероятность наличия положительного теста и людей
имеющих заболевание и наоборот)
• Надежность – насколько оценка результатов диагностического
теста не зависит от наблюдателя (анализ уровня показателя с
разницей в 10 минут при прежних условиях должен быть
одинаковым или минимальным)
Надежность VS Валидность
Высокая валидность и высокая надежность – очень хорошо.
Высокая валидность и низкая надежность – не очень хорошо, надо
повторять тест несколько раз.
Низкая валидность и высокая надежность – вводятся поправочные
коофициенты
Низкая валидность и низкая надежность – самый плохой вариант,
нельзя использовать такой тест.
Дизайны исследования валидности теста:
1)
2)
3)
4)
РКИ
Когортные исследования
Случай – контроль
Одномоментные
Показатели валидности
• Чувствительность - процент лиц с заболеванием, у которых
наблюдается положительные результаты теста.
• Специфичность - процент лиц без заболевания, имеющих
отрицательные результаты теста
Показатели валидности
Результаты теста
Положительные
Отрицательные
«Истинное состояние»
Заболевание
Заболевания нет
a
b
ИстинноЛожно-положительные
положительные
c
d
Ложно-отрицательные Истинно-отрицательные
ЧУВСТВИТЕЛЬНОСТЬ
Тест с высокой чувствительностью позволяет
исключить диагноз
СПЕЦИФИЧНОСТЬ
Тест с высокой специфичностью подтверждает диагноз
Положительная предиктивная оценка
• PV+ определяется как процент лиц с положительными результатами
теста, у которых имеется искомое заболевание, позволяет нам
оценить, насколько высока вероятность того, что интересующее нас
заболевание имеется, если результаты теста положительные.
• PV+ - это процент лиц с положительными результатами теста, у
которых есть заболевание.
Отрицательная предиктивная оценка
• PV- определяется как процент лиц с отрицательными
результатами теста, у которых нет искомого заболевания.
• PV- - это процент лиц с отрицательными результатами теста, у
которых нет заболевания.
Показатели валидности
«Истинное состояние»
Результаты
теста
Заболевание
Заболевания нет
Положительные
a
Истинноположительные
b
Ложноположительные
Отрицательные
c
Ложноотрицательные
d
Истинноотрицательные
PV+
PV-
ТОЧКИ
РАЗДЕЛЕНИЯ,
под которой
понимают точку,
когда тест
начинает
рассматриваться
положительным
или
отрицательным
В указанных
примерах B и C
рассчитайте
чувствительность и
специфичность
теста
Передвижение точки разделения
изменяет чувствительность и
специфичность теста, а также
положительные и отрицательные
предиктивные значения, тем
самым, меняя способ, с помощью
которого меняется тест.
Отношения правдоподобия
• Для интерпретации диагностических тестов является полезным
еще один тип показателей. Эти показатели обычно
называются отношениями правдоподобия (likelihood ratios (LR)).
• Отношения правдоподобия равняется вероятности наличия
определенного результата некоего теста для человека с
заболеванием, деленное на вероятность этого же результата
теста для человека без заболевания.
• Отношение правдоподобия для положительных результатов теста
(LR+) равняется вероятности положительного результата теста для
человека с заболеванием, деленное на вероятность
положительного результата теста для человека без заболевания.
Интерпретация отношения правдоподобия
• Возможное наименьшее значение отношения правдоподобия возникает тогда,
когда числитель является минимальным (чувствительность равняется нулю), в этом
случае значение LR+ становится нулевым.
• Максимальное значение LR+ возникает тогда, когда знаменатель является
минимальным.
• Специфичность равняется 1, поэтому 1 – специфичность = 0, в результате
этого LR+ начинает стремиться к положительной бесконечности.
• LR+ = 1 указывает на абсолютно бесполезный тест, поскольку он не помогает
разделить лиц с/ и без интересующего нас заболевания, в связи с тем, что
вероятность положительного результата теста одинаково равна у больных и у
здоровых людей.
• Значения LR+ больше 1 соответствует ситуации, когда человек, пораженный
заболеванием, с большей вероятностью будет иметь положительный результат
теста, по сравнению со здоровым человеком.
• Чем больше значение LR+ , тем сильнее связь между положительным результатом
теста и заболеванием.
• Отношение правдоподобия для отрицательного результата теста (LR- ) – это
вероятность отрицательного результата теста для больного человека, деленная
на вероятность отрицательного результата теста для здорового человека.
• Наименьшее значение LR- возникает тогда, когда числитель является
минимальным (чувствительность = 1, поэтому 1 – чувствительность = 0), что
приводит к значению LR- равному нулю.
• Наибольшее значение LR- возникает тогда, когда знаменатель является
минимальным (специфичность = 0, что приводит к значению LR- ,
приближающемуся к плюс бесконечности).
• LR- = 1 указывает на бессмысленный тест
• Чем меньше значение LR- , тем сильнее взаимосвязь между отрицательным
результатом теста и вероятностью того, что у пациента заболевания нет.
Отношения правдоподобия
• В противоположность предиктивным оценкам отношения
правдоподобия не изменяются с изменением распространенности
заболевания.
• Как указано выше, размеры двух отношений правдоподобия
указывают на силу взаимосвязи между результатами теста и
вероятностью наличия заболевания
• Диагностический тест с большим значением LR+ увеличивает
подозрение на наличие заболевания у пациентов с положительными
результатами теста. Чем больше значение LR+ , тем выше
диагностическая значимость теста. Хотя иногда достаточно условно, но
значения LR+ , превышающие 10, рассматриваются, как указывающие
на тест с высокой диагностической ценностью.
Характеристические кривые
• Для оценки диагностических тестов с количественными
результатами используют характеристические кривые.
Характеристические кривая – это кривая
которая устанавливает связь между
чувствительностью теста (процентом истиноположительных результатов) и дополнением
до единицы специфичности (частотой
ложно-положительных результатов).
Характеристическая кривая (ROC кривая)
Группа людей с наличием заболевания и без него исследуется сначала с
«Золотым стандартом» потом новым диагностическим тестом.
Для каждой точки разделения (границы) мы
рассчитываем чувствительность и 1специфичность и наносим эти точки на график, в
результате соединения этих точек мы получаем
характеристическую кривую.
Потом изменяя уровень нормы (сдвигая
границы или точки разделения) изучаем
насколько изменяется чувствительность
и 1-специфичность.
Референтный тест, который не имеет
никакого диагностического значения.
В каждой точке этой прерывистой
диагональной линии LR+ = 1, или
положительные результаты теста
одинаково вероятны как у лиц с, так и
у лиц без, интересующего нас
заболевания.
Диагностический тест, который бы
являлся клинически полезным,
должен иметь характеристическую
кривую, которая далеко отходит от
прерывистой диагональной линии.
Чем дальше ROC кривая
диагностического теста от
диагональной линии тем лучше
метод диагностики
Графическое сравнение двух диагностических тестов
• Для сравнения двух
диагностических тестов
определяется площадь под
характеристической кривой.
• Чем больше площадь под
кривой, тем лучше тест.
Резюме:
• Для оценки теста важнее специфичность (улучшение
предиктивной оценки при низкой распространенности) чем
чувствительность.
• Сравнение всегда проводим на основе «Золотого стандарта».
• Неадекватно проверенные диагностические методы могут
принести больше вреда, чем пользы.
Теория скрининга
При скрининге выявляются болезни на стадии, предшествующие
критической точке (например, локальному метастазированию
при онкологических заболеваниях)
Стадии заболевания проходят последовательно
В результате скрининга инциденс должен повыситься, а затем
несколько лет оставаться сниженным
Скрининг может иметь негативные последствия за счет побочных
эффектов массовых вмешательств
Методологические проблемы скрининга:
насколько он полезен?
• Смещение при отборе участников (добровольцев)
• Смещение от раннего диагноза
• Смещение от выявления медленноразвивающихся
случаев
• Смещение от диагностики ранних форм, которые
никогда не разовьются в болезнь
Смещение при отборе участников
За скринингом обращаются более образованные, здоровые
люди, улучшая результаты скрининга
За скринингом обращаются люди из группы риска (семейный
анамнез и др.)
Тест может быть более доступен молодым и здоровым людям
(если необходимо приехать в отдаленное место)
Метод профилактики: проведение проспективных,
контролируемых, рандомизированных исследований скрининга
Смещение от раннего диагноза
Начало болезни, 2000
Начало болезни, 2000
Диагноз, 2006
Скрининг, 2004
Смерть, 2010
Смерть, 2010
• При несравнительных исследованиях может быть
показано мнимое увеличение продолжительности
жизни – увеличение периода болезни при
неизменной продолжительности
• Профилактика: сравнительные, проспективные
исследования
Пример смещения от раннего диагноза
• Болезнь Хантингтона – нейродегенеративное
генетическое заболевание, приводит к нарушению
мышечной координации и деменции
• Обычно выявляется в возрасте около 50 лет, в
среднем больные живут до 65 лет, то есть 15 лет в
состоянии болезни
• Генетический тест может выявить болезнь при
рождении и человек будет жить с осознанием
болезни всю жизнь, без ее продления (то есть 65
лет в состоянии болезни)
• До 95% пациентов из группы риска не проводят
скрининг
• Скрининг увеличивает риск суицидов
Walker FO (2007). "Huntington's disease". Lancet 369(9557): 221
Смещение от выявления
медленноразвивающихся случаев
• Эффект скрининга может быть обусловлен выявлением
медленноразвивающихся (с большей продолжительностью жизни)
случаев заболеваний
• Меньшая вероятность обнаружения быстроразвивающихся случаев
Смещение от диагностики ранних форм, которые никогда не
разовьются в болезнь
• Скрининг может выявить заболевание, которое никогда не
проявится к жизни («многие умирают с раком простаты, но не изза него»)
• Выявление медленнотекущих заболеваний или заболеваний на
стадиях, когда возможен регресс
• Наиболее яркие примеры: скрининг на рак простаты, рак
молочной железы, рак легких
Оценка эффективности скрининга
(критерии Вильсона-Джаннера)
Состояние, на которое нацелена программа, должно быть важной проблемой
здоровья
Развитие болезни (состояния) должно быть хорошо изученным
У состояния должна быть выявляемая ранняя стадия
Должен быть доступен диагностический тест для выявления ранней стадии болезни
Тест для выявления ранней стадии должен быть приемлемым
Должны быть определены интервалы между повторными обследованиями
Должны быть обеспечены дополнительные диагностические и лечебные
вмешательства, потребность в которых возникает в результате скрининга
Физический и психологический вред должны быть меньше, чем польза от программы
Стоимость программы в отношении к ее полезности должна быть не выше, чем у
прочих медицинских вмешательствах
Различия избыточной диагностики и ложноположительных
результатов
Избыточная диагностика
Ложноположительные результаты
Определение
Диагноз «болезни», которая
никогда не вызовет симптомов или
приведет к смерти
«Ложная тревога» - начальные тест
показал, что есть заболевание, однако
последующее обследование это
опровергло
Влияние на пациента
Сообщается, что он болен
Сообщается, что с тестом вышла ошибка
и он здоров
Действие в результате
применения теста
Лечение
Повторное и дополнительное
обследование
Потенциальный вред
Побочные эффекты и риск смерти
от лечения, которое не может
принести пользу
Психологическое бремя болезни
Затраты на лечение
Дискомфорт от инвазивных
диагностических тестов
Краткосрочная тревога из-за
возможности плохого диагноза
Затраты на диагностическое
обследование
Недостатки скрининга
Обследование значительной части здоровых людей
Побочные эффекта самого скрининга (стресс, воздействие радиации,
химических веществ, забор крови и др.)
Стресс и беспокойство при ложноположительных случаях
Дополнительные обследования при ложноположительных случаях
Стресс и беспокойство от осознания факта болезни, без влияния на
результат болезни
У больных с ложноположительными результатами формируется ложное
чувство безопасности, что может отсрочить постановку диагноза
Оценка эффективности скрининга
Относительный риск или снижение относительного риска
Увеличение ожидаемой продолжительности жизни
Затраты на 1 выявленный случай заболевания
Затраты на 1 спасенную жизнь
Дополнительные годы жизни с поправкой на качество
(QALY)
Число больных, которых надо обследовать, для
выявления 1 случая заболевания (NNS)
Gates TJ. Screening for cancer: evaluating the evidence. Am Fam Physician. 2001 Feb 1;63(3):513-22.
Благодарим за внимание!
Задача ученых заключается не только в развитии научных исследований, но и в борьбе за их использование на
благо общества, на благо всех людей мира.