450 likes | 655 Views
P-GRADE Portal ı. Cevat Şener Bilgisayar Mühendisliği Bölümü, Orta Doğu Teknik Üniversitesi Ankara, Türkiye. Peter Kacsuk ’un sunumundan alıntılarla. İçerik. P-GRADE Portalının geliştirilme nedeni Kısaca P-GRADE Portalı Portalda uygulama geliştirme Portalda uygulama çalıştırma
E N D
P-GRADE Portalı Cevat Şener Bilgisayar Mühendisliği Bölümü, Orta Doğu Teknik Üniversitesi Ankara, Türkiye Peter Kacsuk’un sunumundan alıntılarla 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İçerik • P-GRADE Portalının geliştirilme nedeni • Kısaca P-GRADE Portalı • Portalda uygulama geliştirme • Portalda uygulama çalıştırma • Portalda parametre çalışma eklentisi 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Genel Durum Uygulama Kullanıcı arayüzleri Uygulama araçları, standartları P-GRADE Portalı Komut satırı araçları Üst seviye grid servisleri (aracı,…) Grid ortakatmanı Temel grid servisleri:AA, iş gönderme, bilgi alma, … 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Grid Hesaplamanın Şimdiki Durumu ve Geleceği • Grid sistemlerive ortkatmanının hızlı gelişimi: • GT2, OGSA, GT3 (OGSI), GT4 (WSRF), LCG-2, gLite, … • Birçok grid sistemleri bunlarla üretildi: • EGEE (LCG-2 gLite), UK NGS (GT2), Open Science Grid(GT2 GT4), NorduGrid (~GT2) • Aynı temel servisler her yerde kullanılabilir olmasına rağmen, farklı yollarda geliştirildi • Veri servisleri • Hesaplama servisleri • Güvenlik servisleri (single sign-on) • Aracılar 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Kısaca P-GRADE Portalı • Genel kullanımlı, iş akışı tabanlı Grid portalı • İş akışına dayanan grid uygulamalarının geliştirilmesini ve çalıştırılmasını sağlar • GridSphere-2’ye dayalı • Yeni portletler kolaylıkla eklenebilir • Kullanıcı ihtiyaçlarına göre uyarlanabilir • Grid sistemlerindeki birlikte çalışabilirlik sorununu iş akışı seviyesinde çözer 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İlgili Projeler • Portalın geliştirilme ve eğitim çalışmaları çeşitli projeler tarafından yürütülmektedir: • SEE-GRIDwww.see-grid.eu Geliştirme ve uygulama desteği • Coregrid www.coregrid.net Araştırma, geliştirme • EGEEwww.eu-egee.orgLCG ve gLite eğitimleri, uygulama geliştirme • ICEAGEwww.iceage-eu.org Grid eğitimleri 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
P-GRADE Portalında iş akışı nedir? • Yönlendirilmiş, çevrimsiz çizge (directed acyclic graph, DAG) • Düğümler, program işlerini • Kapılar,işlerin istediği ya da ürettiği girdi/çıktı dosyalarını • Düğümleri birbirine bağlayan kenarlar, dosya transfer işlemlerini temsil eder. • İş akışının anlamı: • Eğer bütün girdi dosyaları hazırsa o iş çalıştırılabilir. 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışlarında İki Seviyeli Paralellik • İş akışlarının düğümleri içindeki paralellik • İş akışlarının düğümleri arasındaki paralellik Birden fazla iş paralel olarak çalışabilir İşler paralel bir programdan oluşabilir • P-GRADE portalındaki iş akışı kavramı, karmaşık problemlerin etkili bir şekilde paralelleştirilmesini sağlar • İş akışları iki seviyede paralellik sağlar : 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Kısa Menzilli Hava Tahmini (Macaristan Meteoroloji Servisi) Tehlikeli hava koşullarının (fırtına, sis) tahmin edilebilmesi can ve mal güvenliği için oldukca önemlidir 25 x İşlenecek bilgi: yüzey seviyesi, yükseklik ölçümleri, radar, uydu, aydınlanma, önceki hesaplamaların sonuçları 10 x 5 x 25 x • Gereksinimler: • Hesaplama zamanı < 10 dk • Yüksek çözünürlük (1km) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Tipik Kullanıcı Senaryosu(Geliştirme Aşaması) İş akışını kaydetme Editörü başlatma Sertifika sunucusu Gridservisleri Portal sunucusu İş akışı oluşturma, iş akışı üzerinde değişiklik yapma 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Geliştirme(İş Akışı Editörünü Açma) Editör, bir Java Webstart uygulamasıdır. İndirip kurulması, sadece bir “tık” ile! 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Editörü(Grafik Tanımlama) • Toplu işlerden yönlü, çevirimsiz bir grafik oluşturma amaçlanır: • Sürükle-bırak birleşenleri:işler ve kapılar • Özelliklerinin tanımlanması • Kapıların bağlanması(çevirim, döngü veya koşul eklenemez) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Editörü(İşin Özellikleri) • İşin özellikleri: • (Linux) exe dosyası • Tipi • Gerekli işlemci sayısı • Komut satırı parametreleri • Kullanılacak Grid/VO (ve CE) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Editörü(Hangi CE?) Bilgi Sistemi portleti, bu sorgulamada yardımcı olacaktır. 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Otomatik Kaynak Seçimi • İş için aracı bir Grid/VO seçin(ör. trgridb) • İşin belli gereksinimleri varsa bunları JDLde tanımlayın. • İş akışı editörünün kendi JDL editörü vardır. • İş için en iyi kaynağı bulmak için portal aracıyı kullanacaktır. 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Editörü(Seçimi Aracıya Bırakma) “_BROKER” ile biten Grid ismini seçin. CE ismini önemsemeyin. Dilerseniz JDL editörü ile JDL komutları ekleyebilirsiniz 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Editörü(JDL Editörü) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Editörü(Port Tanımlama) Tip: input:İş için gerekli output:İş üretir Dosya tipi:local:masaüstümde remote:Grid üzerinde SE’de Dosya: dosyanın yeri Dosya tutum tipi: Permanent:iş akışının sonuçlarına dahil Volatile:yalnızca işler arası veri aktarımı için 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Dosya İsimlendirme Örnekleri • Local • Kullanıcının bilgisayarında c:\experiments\11-04.dat • Remote • LFC mantıksal dosya ismilfn:/grid/egrid/sipos/11-04.dat • GridFTP adresi gsiftp://myhost.com/11-04.dat 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Lokal ve Uzak Dosyalar LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR UZAK GİRDİ DOSYALARI UZAK ÇIKTI DOSYALARI LOKAL ÇIKTI DOSYALARI LOKAL ÇIKTI DOSYALARI Sadece kalıcı dosyalar! İşiniz depolama dosyalarına doğrudan ulaşabilir. Gridservisleri Depolama elemenları Portal sunucusu Hesaplama elemanları 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Editörü(İş Akışını Kaydetme) İş akışı tanımlandı! Şimdi çalıştırılabilir! 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması –1. adım) Sertifika sunucusu Gridservisleri PROXY SERTİFİKASININ İNDİRİLMESİ Portal sunucusu 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Sertifika Yöneticisi(Sertifika Portleti) • GSI tabanlı gridlere ulaşabilmek için portal sunucusu proxy sertifikasına ihtiyaç duyar • “Sertifikalar” portleti: • X.509 sertifikalarının MyProxysunucularına yüklenmesi • kısa zamanlı proxy sertifikalarının portal sunucusuna indirilmesi 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Sertifika Yöneticisi(Proxy’nin İndirilmesi) • MyProxy sunucusu detayları • Makine ismi • Port numarası • Kulancı ismi (yüklemeden) • Şifre (yüklemeden) • Proxy parametreleri • Yaşam uzunluğu • Açıklama 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Sertifika Yöneticisi(Proxy’nin Grid/VO ile İlişkilendirilmesi) Proxy detayları ve seçebileceğiniz Grid/VO olasılıkları 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Sertifika Yöneticisi(Proxy Sertifikalarının Taranması) Portal sunucusunda aynı anda birden fazla proxy sertifikası bulunabilir! HUNGRID CE ve SEleri SEE-GRID CE ve SEleri 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması –2. adım) Sertifika sunucusu DOSYALARIN TRANSFERİ, İŞLERİN GÖNDERİLMESİ Gridservisleri Portal sunucusu 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Yönetimi(İş Akışı Portleti) • Bu portlette, “Workflow” listesinde iş akışlarının durumu, boyutu ve biten işlerin çıktıları gösterilir. • Kullanıcıların portal sunucusundaki depolama alanlarını kontrol edebilmek için, kota yöneticisi bulunmaktadır. 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması –3. adım) Sertifika sunucusu Gridservisleri İŞLERİ İZLEME Portal sunucusu İŞLERİ GÖZLEMLEME ve İŞ AKIŞI İLERLEMESİ 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı ve İş Seviyesinde Gözleme(İş Akışı Portleti) • İş akışının ilerleyişi portaldan takip edilip gözlenebilir. 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışı ve İş Seviyesinde Gözlemleme(İş Akışı Portleti) • Paralel işlerin ilerleyişi de portaldan takip edilip gözlenebilir.(Eger Mercury monitor için hazırlanmışsa) 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Başarısız Olan İş Akışının Kurtarılması1. Adım Hata sebebini log dosyasından öğrenin İş akışı çalıştırılırken bir işte hata oluştu 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Başarısız Olan İş Akışının Kurtarılması2. Adım Hatalı işi başka bir CEye yönlendirin, ya da yeni bir proxy sertifikası indirin. Biten işlerde düzeltme yapmanıza gerek yok! İş akışının çalıştırılması hata alınan noktadan devam edebilir! 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması – 4. Adım) Sertifika sunucusu Gridservisleri Portal sunucusu SONUÇLARIN İNDİRİLMESİ SONUÇLARIN İNDİRİLMESİ 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Sonuçların İndirilmesi... 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Parametre Çalışma Eklentisi • Kullanıcılar iş akışı seviyesinde parametre çalışması desteğine ihtiyaç duymaktadır. • Parametre çalışması: • Eger kullanıcının varolan, hazır bir iş akışı varsa kullanıcılar bu iş akışını • Tekrar çalıştırmak (değişiklik yapmadan) • Farklı parametrelerle çalıştırmak ihtiyacı duymaktadır. 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
İş Akışlarında Üç Seviyeli Paralellik Aynı iş akışının birden fazla kopyası farklı veri dosyalarıyla işlem yapabilir. • İş akışlarının düğümleri içindeki paralellik • (SIMD/MIMD/MISD) • İş akışlarının düğümleri arasındaki paralellik(SIMD/MIMD/MISD) • İş akışına parametre çalışması eklentisi(SIMD) Birden fazla iş paralel olarak çalışabilir İşler paralel bir programdan oluşabilir 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
ParametreÇalışmasıİş Akışı Çalıştırılması 4 x 3 normal iş akışı çalıştırılması 1 PS iş akışı çalıştırılması PÇkapısı: girdi dosyasının 4 kopyası PÇ kapısı: girdi dosyasının 3 kopyası = Böylece 3. seviyede paralellik sağlanarak, çok fazla Grid kaynağına ihtiyaç duyulmaktadır. 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Sonuçlar • P-GRADE Portalı gridler arasındaki farklılıkları ve karmaşıklıkları saklar • Globus X – LCG2 – gLite iş akışı seviyesinde birlikte çalışılabilirliği • Grid teknolojileri arasındaki geçişler son kullanıcıdan saklanır • Çeşitli bileşenlerden oluşan büyük Grid uygulamaları geliştirilebilir • Sıralı kodlar • MPI kodları • Eski kodları (Legacy codes) • Kodlarda gride özel konutların bulunmasına gerek kalmaz • Uygulama geliştirme, çalıştırma ve izlemek için grafiksel araçlar kullanılır • Ortak takım çalışmalarını destekler • İş akışlarının paylaşılması • İşlerin paylaşılması • Standart portlet APIsiyle geliştirilmiştir özel uygulama alanlarına, kullanıcı gruplarına göre ayarlanabilir. 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul
Teşekkürler! portal@grid.org.tr www.grid.org.tr/servisler/pgrade www.lpds.sztaki.hu/pgportal 15-16 Mart 2007, Boğaziçi Üniversitesi, İstanbul