1 / 14

Реинжениринг данных общего архива наблюдений САО РАН

Реинжениринг данных общего архива наблюдений САО РАН. Желенкова О.П., Витковский В.В., Пляскина Т.А.

kelsie-chambers
Download Presentation

Реинжениринг данных общего архива наблюдений САО РАН

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Реинжениринг данных общего архива наблюдений САО РАН Желенкова О.П., Витковский В.В., Пляскина Т.А. САО РАН, 27-31 июля, 2009

  2. IAU : FITS-формат; классификация астрономических объектов; обозначения объектов; резолюция 5 Комиссии IAU об открытом веб-доступе к цифровым архивам обсерваторий, финансируемых из государственных бюджетов IVOA: VOTable-формат; Unified Content Descriptors (UCD); протоколы доступа к данным: ConeSearch, SIAP, SSAP, SLAP, TAP …; Astronomical Data Query Language (ADQL), протоколы для веб-сервисов– PLASTIC, SEA, …

  3. Требования к организации архивного CD/DVD диска: • включает метку диска и каталоги с наблюдениями • в каталоге хранятся данные одной ночи • название каталога включает дату наблюдений • наблюдение хранится в одном файле • нет жестких ограничений на формат файла

  4. Архивная система включает хранилище данных (SF) и информационно-поисковую систему (SIS): CD/DVD disks description CD/DVD (I) CD/DVD disks logs SIS storage area Primary copies of CD/DVD disks CD/DVD (II) Soft & Docs SIS SF

  5. Типы архивных файлов (235578): Наблюдения– 91% Журналы наблюдений-- 1% Вспомогательные данные-- 8% Оптические и радио данные

  6. Оптические наблюдательные данные (169890файлов, 96% - FITS):

  7. Разделение наблюдательных данных по типу наблюдений: Прямые снимки 55% Эшелле-спектры 10% Длинная щель 17% Мультиобъектная спектроскопия 15% Фабри-Перо 12% Не определяются алгоритмом <0.1% Стандартные запросы, кроме выбора данных по дате наблюдения, из-за отсутствия необходимых параметров в заголовках файлов реализуются к части наблюдательных файлов (без учета ошибок в параметрах): Нет значений координат 17% Нет имени объекта 4% Не определено название программы 30% Не определен заявитель 29% Не определены наблюдатели 29% САО РАН, 06.02.2008

  8. Таблицы поисковой системы • Таблицы, содержащие информацию для коррекции значений параметров файлов (например: BTA, 6-m and so on) • Таблицы и представления с параметрами файлов • Таблица для связи параметров FITS-файлов и атрибутов поисковой системы

  9. Схема таблиц поисковой системы 9

  10. Деятельность International Alliance Virtual Observatory (IVOA) • регистры • модель астрономических данных • семантика– Unified Content Descriptors (UCD) • доступ к данным • язык запросов к астрономическим данным • программные сервисы для работы с данными в распределенной среде • формат для обмена данными (VOTable)

  11. Сопровождение и хранение (1) [WG AD, IVOA IG CP] Определение процедур для сбора информации, необходимой для доступа и управления данными • оценка – выбор того, что сохранять • поступление – контролируемый импорт данных • организация – как структурировать материал • описание – метаданные для обеспечения подлинности версии, семантического описания и целостности • хранение - создание архивной формы и помещение в хранилище • доступ – обнаружение и манипуляции RCDL-VIII, Суздаль, 2006

  12. Сопровождение и хранение (2) Автоматизированная обработка, как в электронных библиотеках • Извлечение метаданных • Регистрирование метаданных и файлов • Проверка семантики и синтаксиса • Проверка целостности • Упаковка данных и метаданных • Шаблоны потока работ для контроля сопровождения и архивизации • Независимость от инфраструктуры (постоянные архивы) • Стандартные операции для взаимодействия с новой технологией RCDL-VIII, Суздаль, 2006

  13. Работа поддержана грантом РФФИ 07-07-00415 Спасибо за внимание!

More Related