Прогностическая эффективность биомаркеров

1. Прогностическая эффективность биомаркеров Рубанович А.В. Институт общей генетики им. Н.И. Вавилова РАН, лаборатория экологической генетики rubanovich@vigg.ru

2. Прогностическая эффективность биомаркеров или как представить результаты так, чтобы они нравились не только нам, но и в министерствах

3. ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007—2012 годы» О чем это они?

4. Чувствительность (SE) – это доля носителей маркера среди больных (тест сработал!) Специфичность (SP) - это доля здоровых, которые не являются носителем маркера (тест сработал!) 10 больных 10 здоровых Случаи, когда маркер сработал Случаи, когда маркер не сработал Чувствительность – специфичность: старые добрые медицинские понятия Чувствительность = 0.7 Специфичность = 0.9

5. Маркер Чувствительность Специфичность SEvs.SP: противоборство показателей Маркер у всех, и все больны! SE=1, SP=0 Все без маркера, и все здоровы! SE=0, SP=1 Выигрывая в чувствительности, обычно теряем специфичность (et converso)

6. Так что важнее: чувствительность или специфичность? Тест должен быть высокочувствительным, если важно не пропустить ни одного больного (пусть даже будет гипердиагностика). AUC Тест должен быть высокоспецифичным, если важно не объявлять здорового больным (серьезная психологическая травма либо сильные побочные эффекты лечения – гипердиагностика нежелательна) 1 Все зависит от ситуации, но кроме того существует простой и эффективный показатель прогностических возможностей маркера (отличать больного от здорового): SE 0 1 1 - SP Area Under Curve?

7. Почему величина AUC=(SE+SP)/2 характеризует прогностическую эффективность маркера? вероятность угадать, кто есть кто = 1/2 вероятность угадать, кто есть кто = AUC В качестве больного выбираем: - любого - любого - с маркером Берем 1 здорового и 1 больного • Без использования маркера • Используем тест и носителя маркера объявляем больным AUC– это вероятность отличить больного от здорового, ориентируясь на маркер! AUC>1/2, если OR>1

8. А зачем все это? Почему бы не обойтись привычным набором показателей ассоциирования – r, OR, pи т.п. ? Относительная полезность OR и RR Тревожные заголовки последних лет: Ограниченная полезность OR при использовании диагностических и прогностических маркеров Маркеры с воспроизводимыми значимыми OR могут быть плохими классификаторами По ту сторону OR – риск заболеваемости на основе генетических профилей …брешь между статистической значимостью и диагностической дискриминацией Прогноз генетического риска – умеем ли мы уже это делать ?

9. George Poste, chief scientist at theComplex Adaptive Systems Initiative, andRegents professor of health innovation at Arizona State University Нашествие биомаркеров «Bring on the biomarkers»Nature , v 469, 2011 150 000 работ, претендующих на открытие биомаркеров Не более 100 биомаркеров рутинного использования в клиниках Good association is usually a necessary, but not a sufficient, condition for good classification Капля в океане: Проф. Алексей Кондрашов, Life Sciences Institute, University of Michigan Мегагрант-2010 (МГУ). Лекция в Полит.РУ (2010) «Эволюционная биология человека и охрана здоровья»: Надежды 90-х не оправдались: эпоха GWAS буксует «У меня 10-15 генов предрасположенности? В этой информации очень мало проку!»

10. 1000 человек 500 здоровых 500 больных 5 с маркером 495 без маркера 50 с маркером 450 без маркера Как и было Пример, когда сильный эффект не обеспечивает эффективность прогноза Причина парадокса в низкой чувствительности теста: 50/500=0.1, т.е. только 10% больных являются носителями маркера Популяционное обследование: Заболеваемость – 50% Суперэффект! У больных частота маркера в 10 раз выше, чем у здоровых: OR=11, p=710-11 Сколько раз тест сработал? Вероятность того, что случайно выбранный человек будет правильно идентифицирован равна: - почти монета!!!

11. Разберемся в исходных понятиях: все начинается с таблицы сопряженности 22: Больные Case Здоровые Control Носители маркера Свободны от маркера Популяционная частота маркера > pM > 1-pM

12. Тест не сработал: ошибка I рода False Positives Тест сработал! True Positives True Negative False Negative Тест не сработал: ошибка II рода Интерпретация в терминах ошибок I и II рода Больные Case Здоровые Control Носители маркера Свободны от маркера Плоховато запоминается - лучше частота маркера среди больных

13. Доля дур среди блондинок, это не то же самое, что доля блондинок среди дур! «Абсолютные» риски: доля больных среди M и Относительный риск: Чувствительность и специфичность: частота М среди больных и среди здоровых Бинарный тест: вычисление показателей ассоциирования и риска • Показатели ассоциирования: > RR • Показатели рисков: Во всех случаях можно оценить только отношение шансов! Не все эти показатели поддаются непосредственной оценке – все зависит от дизайна эксперимента

14. OR, SE, SP, AUC OR, RR любые Дизайн ассоциативных исследований Набираем выборку, заранее не зная, кто болен и кто носитель маркера Основной вариант ассоциативных исследований • Case-control study: • подбор групп «больные-здоровые» Обычно «экспонированные - контроль» • Cohort study: • подбор групп «с маркером – без маркера» • Population study: • случайная выборка без подбора групп Редкий вариант (дорого!)

15. pD – встречаемость (распространенность) заболевания pM– популяционная встречаемость (частота) маркера ? ? ? При case-control мы не можем оценитьзаболеваемость и частоту маркера непосредственно в своем эксперименте Возможность непосредственной оценки зависит от дизайна эксперимента! Однако в большинстве случаевв отношенииpD иpM имеется априорная информация (эпидемиологические справочники, базы данных PubMed, HapMap и т.д.) Зная OR, pD иpMможно оценить все остальные показатели (например, относительный риск RR для case-control)

16. На что можно рассчитывать, используя бинарный маркера? Идеальный маркер OR=RR=∞ AUC=1 Маркер не работает OR=RR=1 AUC=1/2 При OR > 1: SE > pM и SP > 1-pM Какими могут быть чувствительность, специфичность и риски для бинарного теста? .... Рассмотрим крайности: Чувствительность и специфичность больше нуля даже в отсутствии ассоциаций В каждой клетке произведения вероятностей «встретить – не встретить»

17. Зависимость чувствительностиот pDи pM при фиксированном OR(=5) • Чувствительность слегка убываетпри увеличении заболеваемости Чувствительность минус «чувствительность в отсутствии ассоциаций» SE - pM • Чувствительность существенно зависит от частоты встречаемости маркера и произвольно мала для редких маркеров даже при больших OR pD pM

18. Зависимость специфичностиот pDи pM при фиксированном OR(=5) • Специфичность слегка возрастаетпри увеличении заболеваемости Специфичность минус «специфичность в отсутствии ассоциаций» SP – (1-pM) • Специфичность слабо зависит от частоты маркера и приблизительно равна 1- pM при pD< 0.4 pD pM

19. Величина максимально возможного AUCне зависит от pM и pD и равна Зависимость AUCот pDи pM AUC OR=20 OR=10 pD OR=5 В этой точке SE=SP pM

20. Когда OR>5, а частота маркера не менее 30%: OR > 5.4 OR < 2.4 При низких OR (<2.5)маркер является заведомо плохим классификатором при любых частотах заболевания и маркера: При pMOR<<1 чувствительность теста заведомо мала : При каких ORмаркер является хорошим классификатором?

21. Почему высокое ORне всегда гарантирует эффективность прогнозов, и когда подобное происходит? Суперэффект! ORвелико (=11) потому, что это число мало 5 с маркером 495 без маркера 50 с маркером 450 без маркера При низкой частоте встречаемости маркера тест прогностически неэффективен. Точнее … даже при очень больших ORмаркер является плохим классификатором, если pM/ pD<0.2 (тогдаAUC<0.6) Возьмем крайний случай:OR=∞ AUC1/2 при pM0, хотяOR=∞

22. 1000 человек 500 здоровых 500 больных 5 с маркером 495 без маркера 50 с маркером 450 без маркера Доля больных среди носителей маркера = Доля больных среди свободных от маркера = Относительный риск = И еще одно обстоятельство OR=11, ноэто не совсем относительный риск (который показывает во сколько раз заболеваемость выше у носителей маркера) Популяционное обследование: Заболеваемость – 50% OR=11, p=710-11

23. (всегда!) При OR>1: RR OR RR 8 RROR при OR<5 и pD <0.05 («правило пяти») 6 4 2 OR 2 4 6 8 ORзавышает оценку относительного риска pD=0.05 pM=0.1 - хорошая аппроксимация для RR

24. pD-заболеваемость RR (при pM=0.01) 0.001 10 0.01 8 0.05 6 0.1 4 0.2 2,4 0.3 2 OR 2 4 6 8 10 RRможет бытьсущественно меньшеOR в случае широко распространенного заболевания (pD>0.1) и редкого маркера (pM<0.05) Если редкий ген (MAF=1%) сильно ассоциирован (OR=6) с широко распространенным заболеванием, то это не значит, что носители этого гена заболевают в 6 раз чаще На самом деле только в 2.4 раза чаще

25. Бинарные и количественные маркеры (тесты) • Бинарный тест: • маркер «есть-нет» приходим к таблице 2х2 • Количественный тест: • маркер является количественным показателем После выбора порогового значения маркера

26. низкая специфичность высокая чувствительность Низкий порог Количественный тест: выбор порога Частота 0.25 Контроль Больные 0.2 0.15 0.1 0.05 Признак - маркер 0

27. Маркер Чувствительность Специфичность высокая специфичность низкая чувствительность Высокий порог Количественный тест: выбор порога Частота 0.25 Контроль Больные 0.2 0.15 0.1 0.05 Признак - маркер 0 Низкий порог Как выбрать порог, чтобы соотношение чувствительность/специфичность было оптимальным?

28. Медицинская диагностика, радиология и физиология Распознавание образов, машинное обучение ROC – анализ Receiver Operator Characteristics Термин времен 2-ой мировойвойны, который придумали операторы первых радарных установок Как отличить шум и помехи от вражеского самолета? Современные применения ROC-анализа: Погода и любые прогнозы по приметам Борьба со спамом

29. SE 1 0.5 1 - SP 0 0.5 1 Оптимальный выбор порога: выбирается точка на ROC-кривой, которая ближе всех к левому верхнему углу (0,1), т.е. ROC – кривая: зависимость SEот (1-SP) при плавном изменении порога Частота 0.25 Контроль Больные 0.2 0.15 0.1 0.05 0 Признак - маркер Пороговое значение

30. Маркер не работает • Идеальный маркер 1 1 1 SE SE SE 0 0 0 1 1 1 1 - SP 1 - SP 1 - SP • 1-ый тест лучше, чем 2-ой Форма ROC-кривых

31. AUC– интегральный показатель прогностической эффективности маркера AUC 1 SE 0 1 1 - SP AUC- это площадь под ROC-кривой (Area Under Curve) AUC = Вероятность того, что значение признака-маркера у случайно выбранного больного больше, чем у случайно выбранного здорового U=N1·N2·AUC - непараметрический критерий Манна-Уитни

32. Вычисления при ROC-анализе 3 2 Значения признака-маркера 1 0 Контроль Больные

33. Вычисления при ROC-анализе

34. Все делается в Excel: 0.88 0.58

35. Все делается в Excel:

36. Все делается в Excel:

37. Наименьшее расстояние до точки (0,1) Все делается в Excel:

38. Все делается в Excel: Оптимальное пороговое значение Наименьшее расстояние до точки (0,1) При выборе этого этого порога, мы правильно идентифицируем 73% больных и 77% здоровых

39.  AUC 0.85 AUC = Все делается в Excel:

40. Лаборатория экологической генетики ИОГен РАН Пример из радиационной генетики:

41. Частоты хромосомных аберраций в зависимости от генотипов по кандидататным генам у ликвидаторов аварии на ЧАЭС и в контроле Контроль : 98 курсантов Генотипирование по 20 генам репарации, оксидативного стресса и детоксикации ксенобиотиков Ликвидаторы : 84 человека Рутинный цитогенетический анализ

42. 0 1 2 0 1 2 0 1 2 3 4 0 1 2 3 4 Частоты хромосомных аберраций в зависимости от генотипов по кандидататным генам у ликвидаторов аварии на ЧАЭС и в контроле Рисковый генотип: минорные аллели в сайтах XPDи функциональные аллели генов GST Детоксикация ксенобиотиков Оксидативный стресс, клеточный цикл Репарация ДНК Контроль : 98 курсантов Ликвидаторы : 84 человека Ассоциации с частотами аберраций для обеих выборок Частоты хромосомных аберраций

43. 100 80 60 SE, % р = 3,710-14 по тесту Манна-Уитни 40 20 0 0 20 40 60 80 100 100-SP, % Распределения частот аберраций хромосомного типа у ликвидаторов и в контрольной группе Что можно считать повышенным уровнем хромосомных аберраций? 0,0021±0,0003 0,0071±0,0006 ROC-кривая 0.0035 Примем за граничное значение «повышенного уровня аберраций»

44. Частота «рискового генотипа» среди лиц с повышенным уровнем аберраций хромосомного типа Хотя бы один минорный аллель в сайтах XPD плюс хотя бы одна инсерция вGSTM1-GSTT1 Что есть норма? Более половины из нас предрасположены к повышенной частоте аберраций хромосом!

45. и еще раз напомню - не ORом единым! • Необходимо оценивать, чувствительность, относительный риск и прогностическую эффективность маркера (вычислять AUC ) • Хороший классификатор – это когда OR>5, а частота маркера не менее 30% • При OR<2.5 маркер является заведомо плохим классификатором (AUC<0.6 при любых частотах заболевания и маркера) • Редкие мутации - малоэффективные классификаторы. Если частота маркера мала (pM<0.2pD ), то прогностическая эффективность теста крайне низка даже при OR>>1 • Не надо думать про OR, что относительный риск. Оцените RR как OR/(1-pD+pDOR) • Если вы используете маркер, частота встречаемости которого равна pM, то чувствительность теста непревышает pMOR, аспецифичность теста скорей всего будет равна 1-pM