Параллельная поисковая машина для сверх-больших баз данных по окружающей среде

1. Параллельная поисковая машина для сверх-больших баз данных по окружающей среде Михаил Жижин, ИФЗ РАН jjn@wdcb.ru Eric Kihn, NGDC NOAA ekihn@ngdc.noaa.gov

2. План семинара • Генератор погодных сценариев ESG и нечеткий поиск данных • Интерактивный ресурс данных по солнечно-земной физике SPIDR и моделирование космической погоды • Архив изображений Земли из космоса SABR

3. Ключевые слова и технологии • ООП, параллельные вычисления, распределенные базы данных • Искусственный интеллекти нечеткие множества • Компьютерные кластеры • Linux, Web (DHTML), XML, Java, JSP, RMI, SOAP, Web services • Переносимость и масштабируемость • Open Source

4. Что мы храним и ищем?

5. Параллельная поисковая машина • Ищет события как определенные условия и/или тренды в архивах данных • Реализована на вычислительном кластере с распределенными базами данных и параллельными алгоритмами их обработки • Подключение сетевых клиентов к поисковой машине не требует особых вычислительных затрат и трафика

6. Основные модели данных • Временные ряды на сетке - BLOBS • Гранулированиепо времени BLOBS зависит от приложений: 1 год для климатических данных, 1 день космической погоды • Метаданные в формате XML, включая символьные выражения и формулы для виртуальных параметров (напр.,скорость ветра) • Проекция на общую терминологическую базу метаданных

7. Протоколы и интерфейсы • JDBC (доступ к кластеру баз данных) • Java RMI, JAX-RPC (модели данных высокого уровня и распределенные синхронные сервисы) • JMS, JAXM (асинхронные сервисы на EJB платформe) • SMTP, Java Mail (синхронизация региональных узлов) • HTTP (доступ пользователей)

8. Модель данных ESG

9. Поиск событий в ESG • Поиск и отбор источников данных • Редактор сценариев нечеткого поиска • Параллельный запрос в базы данных • Нечеткий поиск событий • Визуализация результатов поиска • Экспорт данных, внешние сервисы

10. Поиск и отбор источников данных

11. Узлы и области на сетке

12. Временные ряды в узле

13. 5-мерная визуализация в области

14. Поиск событий в терминах нечеткой логики «классическое» множество «нечеткое» множество

15. Нечеткие термины

16. Нечеткая логика First operand: fuzzy set A Fuzzy NOT Fuzzy AND Second operand: fuzzy set B Fuzzy OR

17. Нечеткое И: Т-норма Определение: Примеры:

18. Формулы Ягера (Yager) Определение: Пределы:

19. Гладкость норм Ягера • Нечеткие функции • принадлежности • множеств A и B; • b) T-нормы(И) для • q = 1, 2, 5, и 50; • c) T-конормы (ИЛИ) • для q = 1, 2, 5, и 50

20. Случай двух переменных

21. Многомерный поиск в ESG • Многомерные функции принадлежности в ESG задаются как конъюнкции (И)одномерных функций принадлежности для каждого параметра и узла • Например, «сильный ветер» И «средняя температура» И «влажность 60%» • В качестве оператора И используется Т-норма Ягера при q=5

22. “High” Wind “Average” Temperature “About” 60% Humidity

23. Нечеткий запрос

24. Сценарий ESG

25. Результат нечеткого поиска

26. Заполнить форму на счет модели Собрать данные из сети Рассчитать модель Визуализировать результаты Вернуть ссылки на графику и данные Интерактивное моделирование

27. Климатические модели ESG • NCEP/NCAR CDAS/Reanalysis Project Output Parameters: 1) pressure level data on 10 isentropic surfaces: horizontal winds, omega (dP/dt), geopotential height, specific/relative humidity, absolute vorticity and divergence on standard pressure levels every 6 hours; 2) total cloud cover, convective and total precipitation; 3) surface wind stress, latent/sensible heat flux, soil temperature/moisture, gravity wave drag, SST, 2m temperature, 2m humidity, 10m winds, runoff, mean sea level pressure, surface pressure, and snow. The data is available every 6 hours. The above list is not complete. URL: http://wesley.wwb.noaa.gov/reanalysis.html • COAMPS - Coupled Ocean/Atmosphere Mesoscale Prediction System Output Parameters: Similar to NCEP/NCAR model URL: http://www.nrlmry.navy.mil/projects/coamps/ • ACMES - Advanced Climate Modeling and Environmental Simulations Output Parameters: Similar to NCEP/NCAR model URL: http://www.meso.com/meso/research/acmes/acmes.html • MM5 – 5th generation mesoscale model of atmospheric circulation Output Parameters: Similar to NCEP/NCAR model URL: http://www.mmm.ucar.edu/mm5/mm5-home.html

28. Космические модели ESG • IRI - International Reference Ionosphere Model Output Parameters: Electron density, electron temperature, ion temperature, ion composition (O+, H+, He+, NO+, O+2) URL: http://nssdc.gsfc.nasa.gov/space/model/models/iri.html • AMIE - Assimilative Mapping of Ionospheric Electrodynamics Model Output Parameters: Ionospheric electric potential distribution URL: http://www.hao.ucar.edu/public/research/tiso/amie/AMIE_head.html • MSM - Magnetospheric Specification Model Output Parameters: Electron and ion fluxes in the inner and middle magnetosphere; fluxes of electrons precipitating into the ionosphere; ionospheric electric fields; magnetic-field mapping information URL: http://rigel.rice.edu/~freeman/dmb/index.html • PIM - Parameterized Ionospheric Specification Model Output Parameters: Electron density profiles (EDPs) between 90 and 25000 km altitude, corresponding critical frequencies and heights for the ionospheric E and F2 regions, and Total Electron Content (TEC) URL: http://users.primushost.com/~cpibos/ • IONSCINT - Ionospheric Scintillation Simulation Algorithm Output Parameters: A simulated prediction of scintillation intensity throughout a specified theater for communication with a specified satellite.

29. Запрос модели IONSCINT

30. Результат моделирования