1 / 24

Новые сервисные функции общего архива наблюдательных данных САО РАН

Новые сервисные функции общего архива наблюдательных данных САО РАН. Желенкова О.П., ПляскинаТ.А ., Витковский В.В., Шергин В.С., Черненков В.Н ., Малькова Г.А.  САО РАН ( Нижний Архыз ). Общий архив наблюдательных данных САО РАН. Локальные архивы. Оптика: 2 25 CD /DVD Радио: 7CD

vito
Download Presentation

Новые сервисные функции общего архива наблюдательных данных САО РАН

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Новые сервисные функции общего архива наблюдательных данных САО РАН ЖеленковаО.П., ПляскинаТ.А., ВитковскийВ.В., ШергинВ.С., ЧерненковВ.Н., МальковаГ.А.  САО РАН (Нижний Архыз) BRIS-VII, 22-25 июля 2014

  2. Общийархив наблюдательных данных САО РАН Локальные архивы Оптика: 225CD/DVD Радио: 7CD Итого: 232CD/DVD Форматы данных: FITS, RFLEX, BINARY Локальные архивы: 16 Основной архив оптика радио BRIS-VII, 22-25 июля 2014

  3. Характеристики локальных архивов BRIS-VII, 22-25 июля 2014

  4. Объем и темп прироста данных Состав общего архива наблюдений САО По локальным архивам (к-во файлов): По типу наблюдений: Прямые снимки 48% Эшелле-спектры 10% Длинная щель 16% Мультиобъектная спектроскопия 14% Фабри-Перо 12% Не определяются алгоритмом <0.1%

  5. Примеры наблюдательных данных BRIS-VII, 22-25 июля 2014

  6. Архивная система включает область хранения (SF) и информационно-поисковую систему (SIS) CD/DVD disks description CD/DVD (I) CD/DVD disks logs CD/DVD (II) Soft & Docs SIS SF DATA (данные, подготовленные для ИПС) PRIME (оригиналы CCD/DVD дисков) USB-disk (DATA+programs) backup ИПС BRIS-VII, 22-25 июля 2014

  7. ОБЛАСТЬ ХРАНЕНИЯ АРХИВНОЙ СИСТЕМЫ • 2 копии архивных данных на CD/DVD-дисках – MASTER (I) и COPY (II); • на выделенном сервере для рабочего варианта ИПС - PRIME и DATA (объем ~1ГБ); • на файл-сервере для тестового варианта ИПС - PRIME и DATA (объем ~1ГБ); • копия DATA+программный пакет на USB-накопителе • полный back-upИПС, включающий две копии данных, сервисные файлы и программное обеспечение. BRIS-VII, 22-25 июля 2014

  8. Основные требования к организации данных в архиве • Архивный CD/DVD диск включает метку диска и каталоги с данными • Каталог на диске содержит наблюдения одной даты • Имя каталога – это дата наблюдений • Одно наблюдение – один файл • Нет ограничений на формат файлов Стандартные запросы • дата наблюдений • координаты • имя источника • название программы наблюдений • заявитель программы • фильтр • тип файла • тип наблюдений BRIS-VII, 22-25 июля 2014

  9. OASIS(ObservationArchiveSearchInformationSystem) информационно-поисковая система общего архива наблюдений ИПС архивной системы (архитектура «клиент-сервер приложений-сервер БД) => база данных (ОС Fedora 12, СУБД PostgreSQL 8.4), включающая 17 таблиц и представлений, web-интерфейс (Perl, CGI, DBD/DBI), реализующий набор стандартных запросов (по дате, координатам, имени объекта, автору программы, типу файла, программе наблюдений) и http-копирование данных Стандартные запросы, кроме выбора данных по дате наблюдения, из-за отсутствия необходимых параметров в заголовках файлов реализуются к части наблюдательных файлов: Нет значений координат 17% Нет имени объекта 4% Не определено название программы 30% Не определен заявитель 29% Не определены наблюдатели 29% BRIS-VII, 22-25 июля 2014

  10. Схема таблиц ИПС OASIS Каждый файл описывается в ИПС набором из ~60 параметров, которые используются для динамического формирования веб-интерфейса, установления соответствия параметров FITS-заголовка и атрибутов таблиц ИПС , идентификации файлов, определения типа файла и т.п. Одни таблицы схемы являются справочниками, другие - содержат параметры, описывающие каждый наблюдательный файл. BRIS-VII, 22-25 июля 2014

  11. Веб-интерфейс ИПС архива наблюдений (I) BRIS-VII, 22-25 июля 2014

  12. Веб-интерфейс ИПС архива наблюдений (II) BRIS-VII, 22-25 июля 2014

  13. Модернизация веб-интерфейса OASIS I. Обновлен сервис визуализации данных с возможностью контроля координатной привязки. II. Проведена массовая коррекция FITS-заголовков архива SCORPIO (~120 тыс. файлов) и привязка прямых снимков (~22 тыс. файлов). III. Авторизованный доступ для заявителей и наблюдателей к закрытым данным.

  14. Веб-интерфейс ИПС архива наблюдений (IV) BRIS-VII, 22-25 июля 2014

  15. BITPIX = 16 / No. of bits per pixel NAXIS = 2 / No. of axes in matrix NAXIS1 = 1044 / No. of pixels in X NAXIS2 = 1046 / No. of pixels in Y BSCALE = 1.00 / REAL = TAPE*BSCALE + BZERO BZERO = 32768.0 / DATAMAX = 9448.0 / MAX PIXEL VALUE DATAMIN = 78.0 / MIN PIXEL VALUE DATE = '2011-03-31T21:15:58.673' / UTC date this file was written CREATOR = 'CCDServer v2.1' / ACQUSITION SYSTEM DATE-OBS= '2011-03-31T21:15:43.007' / UTC date of Observation start TELESCOP= 'BTA 6-meter' / TELESCOPE NAME INSTRUME= 'SCORPIO ' / INSTRUMENT OBSERVER= 'Makarov, Uklein' / OBSERVERS OBJECT = ' G18.1+2' / NAME OF IMAGE PROG-ID = 'Groups of dwarf galaxies' / observational program AUTHOR = 'Makarov ' / AUTHOR OF PROGRAM FILE = 'S8560202.FTS' / original name of input file IMAGETYP= 'obj' / object, flat, dark, bias, scan, eta, neon, push ORIGIN = 'SAO RAS ' / observatory START = '01:15:47' / measurement start time (local) (hh:mm:ss) EXPTIME = 10.0 / actual integration time (sec) CAMTEMP = 143.251 / camera temperature (K) DETECTOR= 'EEV CCD42-40' / detector RATE = 160.0 / readout rate (KPix/sec) GAIN = 1.946 / gain, electrons per adu NODE = 'B' / output node (A, B, AB) BINNING = '2x2' / binning PXSIZE = '27.0 x 27.0' / pixel size (mkm x mkm) UTC = 76543.200 / UTC at exposure start (sec) 21:15:43.20 LST = 45424.730 / Local sidereal time (sec) 12:37:04.73 RA = 165.3988782 / Right Ascension (degr.) 11:01:35.73 DEC = 30.5988931 / Declination (degr.) +30:35:56.0 EPOCH = 2000.0 / EPOCH OF RA AND DEC Z = 22.9 / zenith distance A = 63.0 / azimuth PARANGLE= 48.4 / parallactic angle ROTANGLE= 127.7 / field rotation angle SEEING = ' 1.5 ' / seeing FILTER = ' ' / filter FOCUS = 40.63 / focus of telescope (mm) IMSCALE = '0.355 x 0.355' / image scale ("/Pix x "/Pix) SLITWID = / slit width (") MIRRTEMP= 2.4 / mirror temperature (C) DOMETEMP= 0.7 / dome temperature (C) OUTTEMP = 0.6 / outside temperature (C) WIND = 5.3 / wind (m/s) CLOUDS = 0 / clouds (%) PRESSURE= 596.1 / pressure MODE = 'Image ' / mode of instrument DISPERSE= ' ' / disperser, dispersion A/px SPERANGE= ' ' / spectral coverage SLITMASK= / slit mask SLITPOS = / slit coordinates in 2x2 map ORDER = / order of dispersion TILTPOS TILTPOS = ' ' / tilt position FILTERS = ' ' / name of both wheels FILTPOS1= 0 / position of wheel number 1 FILTPOS2= 0 / position of wheel number 2 POLAMODE= / CAMFOCUS= 5.59 / focus of reducer (mm) COLFOCUS= / FOCUS OF COLLIMATOR QGCONST = / Queensgate constant LSCAN = / wavelength of IFP scan CHANNEL = / IFP channel HISTORY COMMENT ' MJD-OBS = 55651.8859144 / Modified Julian Date of observation AIRMASS = 1.08538 / airmass for current zenith distance WCSAXIS = 2 / Number of WCS axes CTYPE1 = 'RA---TAN' / RA-Gnomic projection CUNIT1 = 'deg' / RA units - degrees CRPIX1 = 466.3 / X reference pixel CRVAL1 = 165.3988782 / RA of reference pixel CTYPE2 = 'DEC--TAN' / Decl-Gnomic projection CUNIT2 = 'deg' / Decl units - degrees CRPIX2 = 551.0 / Y reference pixel CRVAL2 = 30.5988931 / Decl of reference pixel EQUINOX = 2000.0 / Equinox of equatorial coordinates RADECSYS= 'FK5' / using FK5 coordinates system CD1_1 = -0.0000592925 / rotation matrix coefficient [1,1] CD1_2 = 0.0000786492 / rotation matrix coefficient [1,2] CD2_1 = 0.0000786492 / rotation matrix coefficient [2,1] CD2_2 = 0.0000592925 / rotation matrix coefficient [2,2] HISTORY scorpio_wcs: dA=0.01dgr. Scale=0.3546 dX=-54.7 dY=30.0 END Модернизация веб-интерфейса OASIS и FITS-заголовок для прямых снимков

  16. Веб-интерфейс OASIS – on-fly визуализация

  17. Наблюдательный цикл • планирование наблюдательного времени (подача заявки, рецензирование, составление расписания наблюдений) • подготовка наблюдательного эксперимента • наблюдение (телевизионный контроль погодных условий и телескопа, управление телескопом, управление приемниками, регистрация и сбор наблюдательных данных, протокол наблюдений) • архивизация наблюдательных данных (помещение в область постоянного хранения, контроль корректности параметров, доступ к данным) • получение научных данных (первичная обработка, фотометрическая и координатная калибровка) • доступ к данным (веб-доступ, доступ, совместимый со стандартами виртуальной обсерватории)

  18. Планирование наблюдательного времени – on-line заявка на наблюдательное время и составление расписания наблюдений 6-м телескоп БТА (с 2003 г.) Цейсс-1000 (с 2000 г.) Цейсс-2000 (2005 г.)

  19. On-line заявка. Веб-интерфейс (I) В системе реализованы функции для трех групп пользователей с разным уровнем привилегий при работе с информациейи соответственно с отличающимися по функциональности веб-интерфейсами: user – доступ только к своим заявкам, просмотр расписания; expert – просмотр всех заявок и расписания; administrator – доступ ко всем данным, составление расписания, поддержка системы. Поддерживается архив заявок с 1993 года.Текстовые версии заявок импортировались в базу данных с помощью авторской утилиты.

  20. On-line заявка. Веб-интерфейс (II)

  21. Составление расписания. Веб-интерфейс (I)

  22. Составление расписания. Веб-интерфейс (II)

  23. Веб-приложение для интерактивного заполнения журнала наблюдений БТА и архивизации протоколов ночи

  24. Спасибо за внимание! Работа поддержана грантами РФФИ: 07-07-00415, 10-07-00412 и 11-07-00108 Информационно-поисковая система архива наблюдений обсерватории: http://oasis.sao.ru/oasis/cgi-bin/fetch?lang=ru BRIS-VII, 22-25 июля 2014

More Related