Институт общей генетики им. Н.И. Вавилова РАН

1. Биостатистика 7. Статистика в медицине и эпидемиологии Рубанович А.В. Институт общей генетики им. Н.И. Вавилова РАН

2. Биостатистика 6. Статистика в медицине и эпидемиологии или как представить результаты так, чтобы они нравились не только нам, но и в министерствах

3. Чем мы занимались на предыдущем занятии? • Мы рассмотрели способы описания степени сопряженности признаков • Для количественных признаков – коэффициент корреляции r • Для качественных принаков – отношение шансов OR • Сегодня мы продолжим обсуждение таблиц сопряженности и рассмотрим ряд новых понятий, широко используемых в медицинской статистике

4. ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» О чем это они?

5. Чувствительность (SE) – это доля носителей маркера среди больных (тест сработал!) Специфичность (SP) - это доля здоровых, которые не являются носителем маркера (тест сработал!) 10 больных 10 здоровых Чувствительность – специфичность: старые добрые медицинские понятия Чувствительность = 0.7 Специфичность = 0.9

6. Чувствительность (SE) – это доля носителей маркера среди больных (тест сработал!) Специфичность (SP) - это доля здоровых, которые не являются носителем маркера (тест сработал!) - условная вероятность, т.е. вероятность носительства маркера, при условии, что ты болен Условные вероятности Если маркер не связан с болезнью, то P(M, D) = P(M)P(D), и SE = P(M) Вроде все просто, но посмотрите, что бывает с условными вероятностями! SE больше нуля даже в отсутствии ассоциаций

7. ? ? 1. В стакане шар, который с вероятностью ½белый и с вероятностью ½ - черный 2. Подбрасываю туда белый шар 3. Вынимаю шар наугад, и он белый Нет, 2/3 !!! Р(оба белые) ½ ½ = = = 2/3 ½ + ½  ½ Р(вытащить первым белый) 3/4 Условные вероятности Какова вероятность, того, что оставшийся в стакане шар тоже белый? ½?

8. Маркер Чувствительность Специфичность SEvs.SP: противоборство показателей Маркер у всех, и все больны! SE=1, SP=0 Все без маркера, и все здоровы! SE=0, SP=1 Выигрывая в чувствительности, обычно теряем специфичность (et converso)

9. Так что важнее: чувствительность или специфичность? Тест должен быть высокочувствительным, если важно не пропустить ни одного больного (пусть даже будет гипердиагностика). AUC Тест должен быть высокоспецифичным, если важно не объявлять здорового больным (серьезная психологическая травма либо сильные побочные эффекты лечения – гипердиагностика нежелательна) 1 SE 0 1 1 - SP Все зависит от ситуации, но лучше всего ориентироваться на среднее. Это простой и эффективный показатель прогностических возможностей маркера (отличать больного от здорового): Area Under Curve?

10. Почему величина AUC=(SE+SP)/2 характеризует прогностическую эффективность маркера? вероятность угадать, кто есть кто = 1/2 вероятность угадать, кто есть кто = AUC В качестве больного выбираем: - любого - любого - с маркером Берем 1 здорового и 1 больного • Без использования маркера • Используем тест и носителя маркера объявляем больным AUC– это вероятность отличить больного от здорового, ориентируясь на маркер! AUC>1/2, если OR>1

11. А зачем все это? Раньше мы считали достоверность различий, и все было в порядке Почему бы не обойтись привычным набором показателей ассоциирования – r, OR, pи т.п. ?

12. Тревожные заголовки последних лет: Маркеры с воспроизводимыми значимыми ORмогут быть плохими классификаторами Относительная полезность ORи RR …брешь между статистической значимостью и диагностической дискриминацией Ограниченная полезность ORпри использовании диагностических и прогностических маркеров По ту сторону OR – риск заболеваемости на основе генетических профилей Прогноз генетического риска – умеем ли мы уже это делать ?

13. George Poste, chief scientist at theComplex Adaptive Systems Initiative, andRegents professor of health innovation at Arizona State University Нашествие биомаркеров «Bring on the biomarkers»Nature , v 469, 2011 150 000 работ, претендующих на открытие биомаркеров Не более 100 биомаркеров рутинного использования в клиниках Good association is usually a necessary, but not a sufficient, condition for good classification Капля в океане: Хорошая ассоциация обычно необходимое, но не достаточное условие для хорошей классификации Проф. Алексей Кондрашов, Life Sciences Institute, University of Michigan Мегагрант-2010 (МГУ). Лекция в Полит.РУ (2010) «Эволюционная биология человека и охрана здоровья»: Надежды 90-х не оправдались: эпоха GWAS буксует «У меня 10-15 генов предрасположенности? В этой информации очень мало проку!»

14. 1000 человек 500 здоровых 500 больных 5 с маркером 495 без маркера 50 с маркером 450 без маркера Как и было Пример, когда сильный эффект не обеспечивает эффективность прогноза Причина парадокса в низкой чувствительности теста: 50/500=0.1, т.е. только 10% больных являются носителями маркера Популяционное обследование: Заболеваемость – 50% Суперэффект! Это не означает, что маркер плох. Он «плохой классификатор», но «хороший диагност». Ведь с другой стороны 50/5591% носителей маркера больны! У больных частота маркера в 10 раз выше, чем у здоровых: OR=11, p=710-11 Сколько раз тест сработал? Вероятность того, что случайно выбранный человек будет правильно идентифицирован равна: - почти монета!!!

15. Как часто возникают подобные ситуации? Разберемся в исходных понятиях…

16. Все начинается с банальностей: таблица сопряженности 22 Больные Case Здоровые Control Носители маркера К сожалению, обозначение совпадает со стандартной ошибкой среднего. Поэтому часто пишут Se Свободны от маркера

17. Тест не сработал: ошибка I рода False Positives Тест сработал! True Positives True Negative False Negative Тест не сработал: ошибка II рода Интерпретация в терминах ошибок I и II рода Больные Case Здоровые Control Носители маркера Свободны от маркера Плоховато запоминается - лучше частота маркера среди больных

18. Доля дур среди блондинок, это не то же самое, что доля блондинок среди дур! Двойственность показателей по столбцам и по строкам Positive Predicted Values: вероятность заболеть при носительстве маркера, диагностическая ценность =PPV SE= Доля носителей маркера среди больных Доля больных среди носителей маркера

19. Двойственность показателей по столбцам и по строкам =NPV Negative Predicted Values: вероятность не заболеть при отсутствии маркера, диагностическая ценность SP Positive Predicted Values: вероятность заболеть при носительстве маркера, диагностическая ценность =PPV SE

20. И это еще не все! Универсальный показатель ассоциирования - это не относительный риск! Risk Ratio - это во сколько раз возрастает вероятность заболеть при наличии маркера =PPV =NPV Всегда OR > RR SE SP

21. Не слишком ли много показателей для таблички из 4 чисел? • Универсальный показатель ассоциирования: OR Во всех случаях можно оценить только отношение шансов! - прогностическая ценность • По столбцам: SE, SP, AUC (прогнозы в эпидемиологии, скрининг, подбор групп риска, профессиональный отбор) - диагностическая ценность • По строчкам: PPV, NPV, RR (индивидуальный пост-тестовый прогноз, клиническая практика) Не все эти показатели поддаются непосредственной оценке – все зависит от дизайна эксперимента

22. OR, SE, SP, AUC OR, RR, PPV, NPV любые Дизайн ассоциативных исследований Набираем выборку, заранее не зная, кто болен и кто носитель маркера Основной вариант ассоциативных исследований • Case-control study: • подбор групп «больные-здоровые» Обычно «экспонированные - контроль» • Cohort study: • подбор групп «с маркером – без маркера» • Population study: • случайная выборка без подбора групп Редкий вариант (дорого!)

23. pD – встречаемость (распространенность) заболевания pM– популяционная встречаемость (частота) маркера ? ? При case-control мы не можем оценитьзаболеваемость и частоту маркера непосредственно в своем эксперименте Возможность непосредственной оценки зависит от дизайна эксперимента! Однако в большинстве случаевв отношенииpD иpM имеется априорная информация (эпидемиологические сводки, базы данных PubMed, HapMap и т.д.) Зная OR, pD иpMможно оценить все остальные показатели (например, относительный риск RR для case-control)

24. На что можно рассчитывать, используя бинарный маркер? Идеальный маркер Какими могут быть чувствительность, специфичность и риски для бинарного теста? .... Рассмотрим крайности: OR = ∞ SE = 1 SP = 1 AUC = 1 RR = ∞ PPV = 1 NPV = 1

25. На что можно рассчитывать, используя бинарный маркер? Идеальный маркер Маркер не работает (например, фамилия с гласной буквы) Какими могут быть чувствительность, специфичность и риски для бинарного теста? .... Рассмотрим крайности: OR = ∞ В общем случае показатели эффективности теста зависят от частот встречаемости заболевания и маркера. Притом весьма нетривиальным образом! SE = 1 SP = 1 AUC = 1 RR = ∞ PPV = 1 NPV = 1 В каждой клетке произведения вероятностей «встретить – не встретить» SE и PPV больше нуля даже в отсутствии ассоциаций OR = 1 SE=pM SP=1-pM AUC=1/2 PPV=pD RR= 1 NPV=1-pD

26. Зависимость чувствительности (SE)от pDи pM при фиксированном OR(=5) Чувствительность слегка убываетпри увеличении заболеваемости Чувствительность минус «чувствительность в отсутствии ассоциаций» Так сказать, «за вычетом контроля» Заболеваемость для популяции в целом SE - pM Популяционная частота маркера pD Чувствительность существенно зависит от частоты встречаемости маркера и произвольно мала для редких маркеров (даже при больших OR) pM

27. Зависимость специфичностиот pDи pM при фиксированном OR(=5) Специфичность слегка возрастаетпри увеличении заболеваемости Поворот на 180 Специфичность минус «специфичность в отсутствии ассоциаций» SP – (1-pM) pD pM Специфичность слабо зависит от частоты маркера и приблизительно равна 1- pM при pD< 0.4

28. Величина максимально возможного AUCне зависит от pM и pD и равна Зависимость AUC=(SE+SP)/2 от pDи pM AUC OR=20 OR=10 pD OR=5 В этой точке SE=SP pM

29. Когда OR>5, а частота маркера не менее 30%: OR > 5.4 OR < 2.4 При низких OR (<2.5)маркер является заведомо плохим классификатором при любых частотах заболевания и маркера: При каких ORмаркер является хорошим классификатором? При OR>5 маркер может быть «хорошим классификатором», но лишь при высокой частоте встречаемости При OR<2 маркер является «плохим классификатором», и это уже не зависит от заболеваемости и частоты встречаемости маркера

30. Распределение значений ORдля рисковых аллелей ассоциированных с одним из 16 широко распространенных заболеваний (92 SNP, подтвержденные в нескольких GWAS - исследованиях) В подавляющем большинстве случаев SNP, выявляемые в ассоциативных исследованиях являютсязаведомо «плохими классификаторами»: OR<2.5 N. Wray, M. Goddard, P. Visscher. Prediction of individual genetic risk of complex disease. Current Opinion in Genetics&Development 2008, 18:257–263

31. Рассмотрением «комбинированных» генотипов можно увеличить OR pM GWAS на 1172 больных раком простаты – 7 SNP OR OR 0.23 rs4242382 (8q24) rs6983267 (8q24) rs4430796 (HNF1B) rs10993994 (MSMB) rs10896449 (11q13) rs4962416 (CTBP2) rs10486567 (JAZF1) 3.0 0.15 2.0 0.08 1.0 0.00 3 4 5 6 7 8 9 Число рисковых аллелей Число рисковых аллелей Thomas, G. et al. Multiple loci identified in a genome-wide association study of prostate cancer. Nature Genet. 40, 310–315 (2008). Обычно по числу рисковых аллелей в подтвержденных SNP:  10-12< p < 10-6 Генотипы с высоким ORимеют низкую частоту встречаемости

32. Почему высокое ORне всегда гарантирует эффективность прогнозов, и когда подобное происходит? Суперэффект! ORвелико (=11) потому, что это число мало 5 с маркером 495 без маркера 50 с маркером 450 без маркера Возьмем крайний случай:OR=∞

33. Почему высокое ORне всегда гарантирует эффективность прогнозов, и когда подобное происходит? Вычисляем При низкой частоте встречаемости маркера тест прогностически неэффективен. Точнее … даже при очень больших ORмаркер является плохим классификатором, если pM/ pD<0.2 (тогдаAUC<0.6). Но при этом он идеальный «диагност»: PPV=1. AUC1/2 при pM0, хотяOR=∞ SE = pM/pD SP = 1 PPV = 1

34. Прогностическая ценность Диагностическая ценность Простая связь - простые следствия: M D D M SEvs. PPV • SE = PPV, если pM=pD • При низкой заболеваемости (pD << pM)диагностическая ценность маркера заведомо мала (PPV << 1). Тем не менее чувствительность (SE) можетбыть высокой (при OR>>1) Маркер-классификатор • При низкой частоте встречаемости маркера (pM << pD)чувствительность теста заведомо мала (SE << 1). Тем не менее диагностическая ценность маркера (PPV) можетбыть высокой • (при OR>>1). Маркер-диагност

35. Рак молочной железы: PPV=0.14 Маммография: NPV=0.999 RR=169 OR=197 p=10-300 SE=0.87; SP=0.97 AUC=0.92 D M Маммография – «маркер-классификатор» Диагностическая ценность положительного результата всего лишь 14% !!! pD=0.006 pM=0.037 Диагностическая ценность отрицательного результата почти 100% Banks E., Reeves G., Beral V., et. al. Influence of personal characteristics ofindividual women on sensitivity and specificityof mammography in the Million Women Study:cohort study. 2004, BMJ; 329; 477

36. Тромбоз вен: Мутация Arg506Gln PPV=0.61 Leiden V: NPV=0.70 M RR=2.0 SE=0.14; SP=0.96 D AUC=0.547 Leiden V – «маркер-диагност» pD=0.32 pM=0.072 OR=3.7 p=510-7 Относительный риск существенно меньше OR. Это типично при высокой заболеваемости A. Folsom, M. Cushman, M. Tsai, et al. Aprospective study of venousthromboembolism in relation tofactor V Leiden and related factors BLOOD, 2002, 99, 8

37. ORможет сильно завышать оценку относительного риска привысокой заболеваемости Если ген сильно ассоциирован (OR=10)с широко распространенным заболеванием (напр., pD=0.5), то это не значит, что носители этого гена заболевают в 10 раз чаще. На самом деле только в 2 раза чаще. RR слабо зависит от частоты маркера … и уменьшается при увеличении заболеваемости RR/OR pM pD

38. Бинарные и количественные маркеры (тесты) • Бинарный тест: • маркер «есть-нет» приходим к таблице 2х2 • Количественный тест: • маркер является количественным показателем После выбора порогового значения маркера

39. низкая специфичность высокая чувствительность Низкий порог Количественный тест: выбор порога Частота 0.25 Контроль Больные 0.2 0.15 0.1 0.05 Признак - маркер 0

40. Порог Чувствительность Специфичность высокая специфичность низкая чувствительность Высокий порог Количественный тест: выбор порога Частота 0.25 Контроль Больные 0.2 0.15 0.1 0.05 Признак - маркер 0 Низкий порог Как выбрать порог, чтобы соотношение чувствительность/специфичность было оптимальным?

41. Медицинская диагностика, радиология и физиология Распознавание образов, машинное обучение ROC – анализ Receiver Operator Characteristics Термин времен 2-ой мировойвойны, который придумали операторы первых радарных установок Как отличить шум и помехи от вражеского самолета? Современные применения ROC-анализа: Погода и любые прогнозы по приметам Борьба со спамом

42. SE 1 0.5 1 - SP 0 0.5 1 Оптимальный выбор порога: выбирается точка на ROC-кривой, которая ближе всех к левому верхнему углу (0,1), т.е. ROC – кривая: зависимость SEот (1-SP) при плавном изменении порога Частота 0.25 Контроль Больные 0.2 0.15 0.1 0.05 0 Признак - маркер Пороговое значение

43. Маркер не работает • Идеальный маркер 1 1 1 SE SE SE 0 0 0 1 1 1 1 - SP 1 - SP 1 - SP • 1-ый тест лучше, чем 2-ой Форма ROC-кривых

44. AUC– интегральный показатель прогностической эффективности маркера AUC 1 SE 0 1 1 - SP AUC- это площадь под ROC-кривой (Area Under Curve) AUC = Вероятность того, что значение признака-маркера у случайно выбранного больного больше, чем у случайно выбранного здорового U=N1·N2·AUC - непараметрический критерий Манна-Уитни

45. Мы их не знаем, но они должны быть, судя по «близнецовой наследуемости» 5241 больных раком простаты: PSA + 35 подтвержденных SNP, восновном: 8q24: OR=1.40; p<10-4 19q13: OR=1.31; p<10-4 1.0 0.8 Традиционные маркеры (PSA, семейная история): AUC=0.64 0.6 Традиционные + генетические маркеры: AUC=0.67 0.4 0.2 0.0 0.2 0.4 0.6 0.8 1.0 ROC-анализ используют для проверки эффективности внедрения новых маркеров Гипотетическая модель, включающая неизвестные генетические маркеры: AUC0.8 (дальше не улучшить) AlyM,etal.PolygenicRiskScoreImprovesProstateCancerRiskPrediction:Resultsfromthe Stockholm-1 CohortStudy.EurUrol(2011),doi:10.1016/j.eururo.2011.01.017

46. Вычисления при ROC-анализе 3 2 Значения признака-маркера 1 0 Контроль Больные

47. Вычисления при ROC-анализе

48. Все делается в Excel: 0.88 0.58

49. Все делается в Excel:

50. Все делается в Excel: