Сетевой интерактивный ресурс данных по физике космоса

1. Сетевой интерактивный ресурс данных по физике космоса Space Physics Interactive Data Resource (SPIDR) Михаил Жижин, ИФЗ РАН jjn@wdcb.ru

2. Основная концепция • Интерактивный поиск данных (data mining) • Параллельность – сразу в нескольких базах данных • Метаданные – общий список параметров, спутников и наземных станций • Многодисциплинарная визуализация • События – удовлетворить нечеткие критерии отбора • Функции • Гибкая доставка данных по Сети (content delivery) • Синхронные региональные серверы • Персональная «покупательская» корзина • Адаптивный формат экспорта данных • Приложения • Сбор и контроль качества данных • Синтез данных • B2B источник для моделей космической погоды

3. Основные разделы данных • SSN – статистика солнечных пятен, с 1700 • Геомагнитные вариации (минутные и часовые) тестируется, c 1901 • Геомагнитные и солнечные индексы, с 1932 • Параметры ионосферы, c 1954 • IMF – межпланетное магнитное поле и параметры солнечного ветра, с 1973 • GOES – геостационарные спутники NOAA, с 1986 • DMSP – метеорологические спутники, с 1991 • Изображения Солнцав различных диапазонахимагнитограммы, с 1992

4. Типовой узел SPIDR

5. Кластер баз данных

6. Linux-кластер

7. Кластер баз данных в Москве 15 Linux nodes 1 Tbyte of disk space 1 Gbit Ethernet backbone 1 Gbit optical link to Internet

8. Подключаемые (pluggable) базы данных Для подключения новой базы данных необходимо: • Написать метод доступа к базе, создающий объект модели данных SPIDR (день наблюдений параметра на станции) по JDBC запросу (MySQL, Oracle); • Создать HTML (JSP) форму запроса данных; • Проинформировать сервлеты выборки и визуализации о новом типе данных (метаданные о физических единицах, масштабах и типах шкал на графиках, и т.п.)

9. http://clust1.wdcb.ru/spidr Ссылки на узлы Прошлые сессии Доступные данные на текущий момент Новости

10. Динамический интерфейс

11. Синхронные графики временных рядов

12. Интерактивная картография HTML Карта станций для интервала дат Java Список и описания отобранных станций HTML

13. Web-анимация рядов изображений со спутников Снимки Земли: DMSP, Terra Изображения Солнца: обсерватории и спутники

14. Расстановка узлов SPIDR

15. Поддержка множества узлов • Региональные узлы в России, США, Африке, Австралии, Япониии Китае • Сравнение метаданных на разных узлах (web-сервисы) • Независимая загрузка данных в любой из узлов (браузер или web-сервис) • Автоматическая синхронизация узлов (e-mail) • Автоматический анализ логов загрузки и предупреждение об ошибках (e-mail)

16. Загрузка данных через Web

17. Сравнение метаданных на разных узлах SPIDR

18. Детальная инвентаризация за период-элемент-станцию

19. Сравнение узлов и синхронизация по запросу

20. Геомагнитные данные из России

21. Нечеткий поиск событий Data basket Fuzzy search Visualization

22. Критерий поиска в терминах нечеткой логики «Спокойный день»: • Малые значения индекса Kp • Индекс Dst около нуля «Магнитная буря»: • Большие значения индекса Kp • Большие отрицательные значения Dst

23. Форма «нечеткого» запроса Временной интервал для поиска Параметры Тип нечеткой функции принадлежности Пороги и значимость

24. Результат поиска – список событий

25. «Синтез» данных в SPIDR Минутные данные о солнечном ветре (скорость, плотность, магнитное поле): • ACE – с августа 1997 • WIND – с ноября 1994 • IMP8 – с июля 1992 по ноябрь 2000

26. Слияние минутных данных с трех спутников • Средняя скорость солнечного ветра и задержка до границы магнитосферы для каждого спутника • На данную минуту если нет данных ACE, то использовать WIND, в крайнем случае IMP8 (с учетом положения вне

27. Сравнение с часовыми данными OMNI, 1-7 августа 1999 Магнитное поле Плотность 1 мин OMNI

28. Space Weather Reanalysis - SWR

29. Контроль качества данныхдля SWR

30. SWR homepage http://swr.ngdc.noaa.gov/swr

31. SWR временные ряды Графики временных рядов Java апплет или GIF изображения Запрос на выборку временного ряда в интервале времени для нескольких узлов на сетке и по множеству параметров

32. SWR значения поля на сетке Статические карты 9 – 12 на страницу Динамический Java для анимации изменения поля во времени

33. Распределение пользователейна узле в Болдере, США 6400 users from USA

34. Статистика в реальном времени Число пользователей Запросы на визуализацию и экспорт данных Доступна на каждом узле из меню: - SPIDR tools - Statistics

35. Bugrat – база данных ошибоки исправлений

36. Основная концепция • Интерактивный поиск данных (data mining) • Параллельность – сразу в нескольких базах данных • Метаданные – общий список параметров, спутников и наземных станций • Многодисциплинарная визуализация • События – удовлетворить нечеткие критерии отбора • Функции • Гибкая доставка данных по Сети (content delivery) • Синхронные региональные серверы • Персональная «покупательская» корзина • Адаптивный формат экспорта данных • Приложения • Сбор и контроль качества данных • Синтез данных • B2B источник для моделей космической погоды

37. Coming releaseSPIDR 3.0 • MVC and workflow state machine using Jakarta Struts • Enhanced usability with wizards: data collection trails “by time” and “by dataset” • Ionosphere data loading and synchronization re-worked • Web services for all B2B transactions • SWR data products included • Experimental SPDML-compliant metadata • Experimental GRID Globus toolkit ver. 3+