ВВЕДЕНИЕ В БАЙЕСОВСКИЕ СЕТИ

1. ВВЕДЕНИЕ В БАЙЕСОВСКИЕ СЕТИ Алгоритмы для Интернета, ИТМО & СПбГУС.-Петербург, 26 октября 2006Рук. семинара Ю.М. Лифшиц Логико-вероятностная модель баз фрагментов знаний с неопределенностью Александр Львович Тулупьев ведущий научный сотрудниклаборатория прикладной информатикиСанкт-Петербургский институт информатики и автоматизации РАН вице-президент Российской ассоциации нечетких систем и мягких вычислений ALT@iias.spb.su Александр Владимирович Сироткин аспирантлаборатория прикладной информатикиСанкт-Петербургский институт информатики и автоматизации РАНavs@iias.spb.su

2. ПЛАН • БС — что это • БС — праксис и генезис • Вероятностная логика • Фрагменты знаний (ФЗ) • Алгебраические байесовские сети • Байесовские сети доверия • БС — дидактическое применение • БС — монография

3. ПЛАН • БС — что это • БС — праксис и генезис • Вероятностная логика • Фрагменты знаний (ФЗ) • Алгебраические байесовские сети • Байесовские сети доверия • БС — дидактическое применение • БС — монография

4. Идеологическое определение • Байесовские сети --- это графические структуры для представления вероятностных отношений между большим количеством переменных и для осуществления вероятностного вывода на основе этих переменных. Learning Bayesian NetworksNeapolitan R.E., 2004

5. Уточнение-1 • Предположение, лежащее в основе любой вероятностной сети, заключается в том, что, в то время как общая проблема чересчур сложна для применения наивных методов вычисления и обновления вероятностей…, отдельные клики… имеют приемлемый, разумный размер… Probabilistic Networks and Expert SystemsCowell R.G. et al., 2004

6. Уточнение-2 • …В частности, мы предполагаем, что можем производить (пользуясь, например, «грубой силой», т.е. подходом по определению) любые желаемые операции, такие, как маргинализацию или нормировку, внутри любой клики, но необязательно непосредственно для всей сети сразу… Probabilistic Networks and Expert SystemsCowell R.G. et al., 2004

7. Уточнение-3 • Наша цель --- использовать структуру сети для того, чтобы распространить такие вычисления на полный набор переменных. Probabilistic Networks and Expert SystemsCowell R.G. et al., 2004

8. Цель --- • представить распределение вероятностей (или их семейство) над (большим числом) переменных, в общем виде выглядящее как

9. И допускающее декомпозицию

10. Байесовские сети доверия

11. Алгебраические байесовские сети

12. АБС (графы и деревья смежности)

13. ПЛАН • БС — что это • БС — праксис и генезис • Вероятностная логика • Фрагменты знаний (ФЗ) • Алгебраические байесовские сети • Байесовские сети доверия • БС — дидактическое применение • БС — монография

14. Почему БС востребованы • ИИ (МВ): знания с неопределенностью, фрагменты знаний, базы фрагментов знаний • Статистика: много переменных, связи всех со всеми неописуемые и неоцениваемые, зато отдельные скопления можно неплохо охарактеризовать • Техника: декомпозируемость систем, знание свойств элементов и связей между ними

15. Что предшествовало • Анализ родословных для поиска источника и путей передачи генетических аномалий. • Представление результатов статистических наблюдений, когда наблюдаемых переменных очень много, но их удается разбить на условно независимые наборы.

16. БС применяются в медицине • Для быстрой постановки диагноза, чтобы выбрать правильное учреждение для госпитализации • Для дифференциальной диагностики заболеваний, симптоматические проявления которых сходны [но не совпадают полностью]

17. БС применяются в технологических процессах • Для диагностики отказов и дефектов • В драйверах принтеров • Для анализа результатов тестирования ПО • Для оптимизации запросов в БД • Для представления результатов data mining

18. БС применяются в научных исследованиях • Диагностика концентрации уровня кислорода в озере (PhD Thesis!) • Геномика и биоинформатика • Все то же представление результатов статистической обработки

19. Потенциальная применимость БС • Теория надежности структурно сложных систем (ЛВМ --- адм. И.А. Рябинин)

20. БС в учебном процессе • Подробнее --- немного позже. • Основное • Комбинирование и актуализация знаний из нескольких дисциплин; • Все объекты и предметы исследования «под рукой»; • Полигон для применения программных технологий.

21. Немного об истории • Логика (от Аристотеля и раньше); • Вероятностная логика (от Дж. Буля и позже); в ИИ удачно ввел Н. Нильссон в 1986; различные формализации, мы пользуемся Хальперном, Фагином и Меггиддо; • Байесовские сети (БСД – Дж. Пиэрл, АБС – В.И. Городецкий), еще и марковские сети (???); • история этим не исчерпывается; смежные дисциплины...

22. Немного об особенностях • Очень большой упор на графическое представление отношений независимости и условной независимости. • Стремление избежать обсуждения тех проблем, решения которых они не знают (подмена циклов последовательностью фрагментов знаний, …) • А нам бы о представлении данных хотелось бы поговорить побольше, непротиворечивость посмотреть, алгоритмы вывода выписать и сделать понятными, на доступные программные технологии опереться.

23. БСД: литература • Статьи • Pearl J. (1985). How to Do with Probabilities what People Say You Can't. Artificial Intelligence Applications. Ed. Weisbin C.R., IEEE, North Holland, pp. 6--12. • Pearl J. (1986). Fusion, Propagation, and Structuring in Belief Networks. Artificial Intelligence, vol. 29. Elsevier Science Publishers B.V., North Holland, pp. 241--288. • Pearl J. (1986a). Constraint-Propagation Approach to Probabilistic Reasoning. Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). Eds. Kanal L.N., Lemmer J.F. Vol. 4, Elsevier Science Publishers B.V., North Holland, pp. 357--369. • Pearl J. (1986b). On Evidentional Reasoning in Hierarchy of Hypotheses. Artificial Intelligence, vol. 28. Elsevier Science Publishers B.V., North Holland, pp. 9--15. • Pearl J. (1986c). Distributed Revision of Composite Beliefs. Artificial Intelligence, vol. 33. Elsevier Science Publishers B.V., North Holland, pp. 173--215. • Монографии • Pearl J. (1988). Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann Publishers, 552 pp. • Pearl J. (2000). Causality: Models, Reasoning, and Inference. Cambridge University Press, 386 pp. • Jensen F.V.(2001). Bayesian Networks and Decision Graphs. Springer-Verlag, NY. 268 pp. • Korb K.B., Nicholson A.E. (2004). Bayesian Artificial Intelligence. Chapman and Hall/CRC, 364 pp. • Kyburg H.E. Jr. (2001). Uncertain Inference. Cambridge University Press, 298 pp. • Lauritzen, S. L. (1996). Graphical Models, Oxford University Press, Oxford, 1996. • Neapolitan R.E. (2004). Learning Bayesian Networks. Pearson Prentice Hall, 674 pp. • Nilsson N.J. (1998). Artificial Intelligence: A New Synthesis. Morgan Kaufmann Publishers, 514 pp.

24. АБС: литература • Gorodetsky V.I., Drozdgin V.V., Jusupov R.M. Application of Attributed Grammar and Algorithmic Sensitivity Model for Knowledge Representation and Estimation // Artificial Intelligence and Information, Control Systems of ROBOTSA. North Holland, Elsevier Science Publ., 1984. pp. 232--237. • Городецкий В.И. Байесовский вывод. АН СССР, ЛИИАН, Препринт № 149. Л., 1991. • Городецкий В.И. Алгебраические байесовские сети --- новая парадигма экспертных систем // Юбилейный сборник трудов институтов Отделения информатики, вычислительной техники и автоматизации Российской Академии наук, т. 2. М., РАН, 1993. с. 120--141. • Городецкий В.И., Тулупьев А.Л. Формирование непротиворечивых баз знаний с неопределенностью // Известия РАН. Серия "Теория и системы управления». 1997. №5. • Тулупьев А.Л. Алгебраические байесовские сети. Теоретические основы и непротиворечивость. СПб.: СПИИРАН, 1995. 76 с. • Тулупьев А.Л. Алгебраические байесовские сети. Логико-вероятностный подход к моделированию баз знаний с неопределенностью. СПб.: СПИИРАН, 2000. 292 с. • Тулупьев А.Л., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход. СПб.: Наука, 2006. 607 с.

25. Веб-сайты • БСД: стоит начинать с www.auai.org • АБС: сайт в разработке, можно периодически проверять www.spiiras.nw.ru(а пока пользоваться Зеленой книгой)

26. ПЛАН • БС — что это • БС — праксис и генезис • Вероятностная логика • Фрагменты знаний (ФЗ) • Алгебраические байесовские сети • Байесовские сети доверия • БС — дидактическое применение • БС — монография

27. БА пропозициональных формул Универсум, множество атомов, множество булевских переменных, Множество атомарных пропозиций… Алгебра пропозициональных формул, построенных над заданным универсумом. Фактор-алгебра классов тождественных пропозициональных формул. Как правило, далее эквивалентные формулы не различаются. В частности, вероятности истинности эквивалентных формул будут совпадать. trueили 1 --- тождественная истина, константа falseили 0 --- тождественная ложь, константа, (f) --- истинностное означивание пропозициональной формулы f.

28. Аргументное место (литерал) Аргументное место или литерал. Используется как обозначение означивания атомарной формулы x или как скользящий индекс. Внутри одной и той же формулы означивания одного и того же аргументного места совпадают. Возможные несовпадения оговариваются отдельно.

29. Логические операции Знак конъюнкции, как правило, опускают: вместо xyпишут xy.

30. Кванты Пусть нам задан набор атомов . Квантом называется конъюнкция, в которую входят все атомы из набора. Каждый атом входит с одним из означиваний: либо положительным либо отрицательным. Пример записи кванта, краткой и полной. Обозначение множества квантов: Пример:

31. Конъюнкты Пусть нам задан набор атомов . Конъюнктом называется конъюнкция положительно означенных атомов из набора. В эту конъюнкцию атом либо входит, либо вообще не входит. Один положительно означенный атом тоже является конъюнктом. Пустая конъюнкция (пустой конъюнкт) эквивалентен тождественной истине. --- примеры конъюнктов. --- краткая запись конъюнкта.

32. Теорема о СДНФ

33. Идеал конъюнктов Также можно рассматривать идеал с пустым конъюнктом.

34. Особенности идеала • Множество всех непустых конъюнктов над заданным набором атомов --- идеал; • Множество всех (все непустые и один пустой) конъюнктов над заданным набором атомов --- идеал; • Непустое пересечение идеалов --- идеал.

35. Идеал конъюнктов 4-го порядка

36. ПРИМЕР (1) . , , , .

37. ПРИМЕР (2) . , , ,

38. Вероятность истинности • Подход по Н. Нильссону (1986 г.) • Более глубокая формализация дана в работах коллектива Фагина, Хальперна, Миггидо (пригодна для рассуждений об оценках сложности) • Другие глубокие формализации • Спор о приоритетах (de Finetti…) • Дж. Буль --- тоже писал о вероятности пропозиции

39. НАБОР ПРОПОЗИЦИЙ

40. Возможные миры

41. Допустимые миры

42. Вероятность пропозиции • В рамках подхода Н. Нильссона мы рассуждаем о вероятности истинности пропозиции; • Для краткости говорят вероятность пропозиции

43. Теорема о СДНФ

44. КВАНТЫ: Множество элементарных событий

45. ВЕРОЯТНОСТЬ ПРОПОЗИЦИИ

46. Индексация конъюнктов (дизъюнктов) и квантов

47. Случайные бинарные последовательности

48. Базовые понятия ТВ на языке СБП

49. Кванты и вероятность истинности

50. Конъюнкты и вероятность истинности