1 / 16

TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu

TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu. D. Unat , A. S. Balkır, E. Şenay, C. Özturan Bilgisayar Müh. Bölümü Bo ğaziçi Universi tesi. M. Yılmazer Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü, Boğaziçi Üniversitesi. Türkiye’deki Sismik Veri Toplama İstasyonları.

juro
Download Presentation

TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu D. Unat, A. S. Balkır,E. Şenay, C. Özturan Bilgisayar Müh. Bölümü Boğaziçi Universitesi M. Yılmazer Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü, Boğaziçi Üniversitesi

  2. Türkiye’deki Sismik Veri Toplama İstasyonları 2

  3. Verilerle İlgili Bilgiler • Veriler takriben 100 istasyondan toplanmaktadır • Veriler ziplenmiş SAC dosyası formatında tutulmaktadır • Veriler her saat başı Kandilli’deki veri deposuna aktarılmaktadır • Veriler Kandilli web sunucusundan erişilebilmektedir • Her saat başı bir istasyondan aktarılan ziplenmiş SAC dosyası büyüklüğü takriben 20K-580K arasında değişebilir • Bir ayda toplanan veri büyüklüğü takriben: 32 GB • 10 senelik veri büyüklüğü takriben : 3.8 TB 3

  4. Proje Motivasyonu Grid Web sunucusu Veri + Yüksek Hesaplama Gücü indir Kullanıcı bilgisayarı • Bu büyüklükteki verilerin web üzerinden yerel bilgisayara indirilmesi ve işlenmesi kolay/pratik değil • Milyonlarca dosyanın web üzerinden sunulması pratik değil • Grid üzerinde hem veri hemde hesaplama gücü bu verilerin/dosyaların işlenmesini çok kolaylaştırır. 4

  5. Proje Bileşenleri 5

  6. 1.Tr-Grid Kandilli Sismik Veri Deposu • Veri yansıtıcı programı Perl dilinde ve LWP paketini kullanarak geliştirildi • Cron ile saat başı çalıştırılıyor • Kandilli web sitesindeki: http://barbar.koeri.boun.edu.tr/sismo/zKDRS/zzTRlogin.asp veri se.ulakbim.gov.tr veri deposuna yansıtılmaktadır ve lfc.ulakbim.gov.tr dosya kataloğuna kayıt edilmektedir. LFC_HOME yeri: /grid/trgrid/kandilli/barbar.koeri.boun.edu.tr/wData/ 6

  7. 1.Tr-Grid Kandilli Sismik Veri Deposu • Çıkabilen Problemler • Kandilli tarafında olabilen problemler: • Bazı istasyonlar zamanında verilerini göndermeyebilir • Veri web sayfasına yüklenmemiştir • Kandilli web sayfasının geçici olarak çalışmaması • Özel durumlarda gecikmeler (örneğin tatil günleri vs.) • Tr-Gridtarafında olabilen problemler: • Proxy sertifikasının yaratılması başarılı olmayabilir • Sunucu kapalı olabilir • Ağ kullanımı yoğunluğundan dolayı kopya ve kayıt yapmada zaman aşımına uğramak • Bu problemleri çözmek için • İndirme sorunu yaşayan dosyaların listesi tut • Uygun zamanlarda bu dosyaları tekrar indir 7

  8. 2. C++ SAC Dosya İteratörleri (devam ediyor) • Yüzbinlerce SAC dosyası bulunuyor • Bu dosyalara erişmek ve dosyalar üzerinde iterasyon yapmak için yüksek seviyeli programlama arayüzüne ihtiyaç vardır esenay@levrek:~$ lfc-ls -l /grid/trgridd/kandilli/barbar.koeri.boun.edu.tr/wData/2006/04/11/23 -rw-rw-r-- 1 103 110 256478 Apr 12 2006 2006041123.AKS.SHZ.KO.zip -rw-rw-r-- 1 103 110 158038 Apr 12 2006 2006041123.ALT.SHZ.KO.zip ....... ....... -rw-rw-r-- 1 103 110 17984 Apr 12 2006 2006041123.YOZ.SHZ.KO.zip • Dosya erişimlerini ve iterasyonlarını kolaylaştırmak için C++ sınıfları ve iteratörleri tanımlanacaktır. • Üzerinde iterasyon yapılan dosyalara erişimi hızlandırmak için boru hattı teknikleri (pipelining) kullanılacaktır 8

  9. 2. C++ SAC Dosya İteratörleri (devam ediyor) • İstasyon, yıl, ay, gün, saat üzerine iterasyon yapma • Örnek: #include <kandilli> ..... Kandilli K ; KandilliStation station ; for(station = K.begin() ; station != K.end() : station++ ) { ....... } 9

  10. 2. C++ SAC Dosya İteratörleri (devam ediyor) Dosya indir Dosyayı işle • Çok-sicim (multi-thread) ve boru hattı (pipelining) kullanılarak İterasyon yapılacak dosyalara erişimin hızlandırılması Çok sicimli döngü Orijinal döngü Dosya indir Dosyayı işle 10

  11. 2. C++ SAC Dosya İteratörleri (devam ediyor) Dosya5 işle Dosya4 işle Dosya3 işle Dosya2 işle Dosya1 işle Dosya5 indir Dosya4 indir Dosya3 indir Dosya2 indir Dosya1 indir 5 4 3 2 1 iterasyon başlangıcı iterasyonlar • Boru hatlı (pipelined) dosya erişimi 11

  12. 3. Örnek Uygulama (devam ediyor) • Saat başı gelen verilerden deprem merkezini bulma uygulaması • Çıkan sonuçların Google Maps’ta gösterilmesi 12

  13. 3. Örnek Uygulama (devam ediyor) • İstasyon bilgilerinin Google Maps’ta gösterilmesi 13

  14. 3. Örnek Uygulama (devam ediyor) • Otomatik bulunan depremlerin web arayüzü ile sorgulanması 14

  15. 3. Örnek Uygulama (devam ediyor) • Google Maps’ta sorgulanan aralıklardakidepremlerin gösterilmesi 15

  16. Kaynakça • Didem Unat, Developing Grid-Enabled Applications for Kandilli Observatory and Earthquake Research Institute on TR-Grid. Senior Project Report, Dept. of Computer Eng. Boğaziçi University, 2006. • E. Şenay, A. S. Balkır Developing Kandilli Earthquake Analysis Application on TR-GRID, Senior Project Report, Dept. of Computer Eng. Boğaziçi University, 2006-07 (in progress). 16

More Related