gLite Grid Servisleri ve Güvenlik

gLite Grid Servisleri ve Güvenlik Aslı Zengin – asli@ulakbim.gov.trOnur Temizsoylu – onurt@ulakbim.gov.tr

Grid Mobil Erişim O R T A K A T M A N Kümeler, Süper Bilgisayarlar İş İstasyonu Veri Depolama, Sensörler, Deneyler Görselleştirme İnternet, Ağlar TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM2/32

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM3/32 gLite Mimarisi Uygulama Orta Katman Globus Lokal Hesaplama Uygulama Veritabanı Grid Grid Uygulama Katmanı Veri Yönetimi (DM) Meta Yönetimi İş Yönetimi (WMS) Ortak Servisler Bilgi ve İzleme Replika Yönetimi Grid Planlayıcısı Alt Katman Grid Servisleri CE Servisleri SE Servisleri Replika Kataloğu Yetkilendirme ve Raporlama Kütük Veritabanı Servisleri Grid Yapı Servisleri Yapı İzleme ve Sorun Giderme Sunucu Kurulum Yönetimi Depolama Yönetimi Kaynak Yönetimi Yapılandırma Yönetimi

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM4/32 gLite Ana Servis Tipleri • Depolama Elemanı (SE) • Replika Kataloğu (RLS,LFC) • İşyükü Yöneticisi (WMS) Kaynak Aracısı (RB) • Kullanıcı Arayüzü (UI) • Bilgi Servisi (IS) • Hesaplama Elemanı (CE) • İş Dağıtıcı • Hesaplama Ucu (WN)

gLite Servis Tipleri- UI – Kullanıcı Arayüzü - • gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır. • Kullanıcı arayüzünde: • Kullanıcılar kişisel hesaplara sahiptir. • Kullanıcıların sertifikaları yüklüdür. • Aşağıdaki işlemleri komut satırı arayüzü sağlar: • Çalıştırılmak üzere iş göndermek • Bir iş için uygun kaynakları göstermek • Dosyaları kopyalamak ve replika etmek • İşleri takip etmek ve iptal etmek • Bitmiş işlerin sonuçlarını almak TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM5/32

gLite Servis Tipleri- CE – Hesaplama Elemanı - • gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip) • gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir. • Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir. • Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır: • Globus kapısıdır. • Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur. • Lokal kaynak yönetim sisteminin ana sunucusudur(PBS, LSF, Condor...). • İş kuyrukları ve hesaplama sunucusu isimleri ayrı hesaplama elemanı kuyruklarını tanımlar: lcg-CE için: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-dteam glite-CE için: glitece.ulakbim.gov.tr:2119/blah-pbs-sgdemo TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM7/32

gLite Servis Tipleri- CE – Hesaplama Elemanı - Bilgi Servisi gatekeeper Kuyruk Sunucusu Grid Kapısı … Hesaplama Ucu (WN) Hesaplama Ucu (WN) Hesaplama Ucu (WN) Hesaplama Ucu (WN) TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM8/32

gLite Servis Tipleri- SE – Depolama Elemanı - • Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar. • Her bir gLite sitesi en az bir depolama elemanı içerir. • İki protokol kullanırlar: • Dosya transferi için GSIFTP • Dosya erişimi için RFIO (“Remote File Input/Output”) • Depolama kontrol yönetimi: • Dosyalara saydam erişim sağlar • Dosyaların durumunu gösterir • Dosyaların saklanma zamanını takip eder • Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir. TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM10/32

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM11/32 gLite Servis Tipleri- Veri Yönetimi Servisleri - UI Grid ortamına dosya yükleme • Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden) • Uygulamanın depolama elemanına veri saklaması • Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak) • Küçük dosyalar için işlere ait giriş torbaları (“input sandbox”) kullanılabilir. SE CE SE CE Grid Bileşenleri

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM12/32 gLite Servis Tipleri- Veri Yönetimi Servisleri - UI Grid Ortamından Dosya Alma • Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı • Küçük dosyalar için çıktı torbası (“output sandbox”) kullanılabilir. • Uygulamanın depolama elemanından veriyi alıp lokal kullanması • Uygulamanın depolama kaynağından alınıp çalıştırılması SE CE SE CE Grid Bileşenleri

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM13/32 LCG-2 Servis Tipleri- Veri Yönetimi Servisleri - UI Veri Replikasyonu • Hesaplama kaynaklarının yük dengelemesi • Genellikle işler verinin hali hazırda var olduğu sitelerde çalışır. • Veriye ulaşımda performansı arttırma • Birçok uygulama aynı dosyaya erişme ihtiyacı duyabilir. • Kritik dosyaların yedeklenmesi SE CE SE CE Grid Bileşenleri

gLite Servis Tipleri- IS – Bilgi Servisi - • Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir. • gLite bilgi servisleri, LDAP tabanlıdır. • LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır. TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM15/32

gLite Servis Tipleri- IS – Bilgi Servisi - Kullanıcı Uygulaması İş Dağıtıcısı İzleme Servisleri BDII-A BDII-B CE Site GIIS CE Site GIIS CE Site GIIS SE Lokal GRIS CE Lokal GRIS SE Lokal GRIS SE Lokal GRIS CE Lokal GRIS CE Lokal GRIS CE Lokal GRIS SE Lokal GRIS CE Lokal GRIS TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM16/32

gLite Servis Tipleri- IS – Bilgi Servisi - • IS servisleri üç ana aşamada bulunabilir: • GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir. • GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir. • Üst seviye bilgi servisleri Grid altyapısının geneli hakkında bilgi verir. • GRIS Globus MDS (“Monitoring and Discovery”) servisini, diğerleri ise BDII (“Berkeley DB Information Index”) servisini kullanır. • BDII bütün GIIS servislerini iki dakikada bir tarar. • GIIS servisleri kendi altındaki bütün GRIS servislerini tarar. • Bütün kullanıcılar katalogları tarayabilir. TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM17/32

gLite Servis Tipleri- Veri Yönetimi Servisleri - • Veri yönetimi nedir? • Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar. • Veriler grid dosyaları şeklinde saklanabilirler. • Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur. • Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir. • Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler. • Globally Unique Identifier (GUID) “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6” • Site URL (SURL) (or Physical/Site File Name (PFN/SFN)) “sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” • Logical File Name (LFN) “lfn:cms/20030203/run2/track1” • Transport URL (TURL) “gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat” TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM19/32

gLite Servis Tipleri- WMS – İş yükü Yönetimi - • Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler. • İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. • Kullanıcıların: • İşlerini gönderebilmelerine, • İşlerini en uygun kaynaklarda çalıştırmalarına, • Kaynakların kullanımını da aynı anda optimize etmeye, • İşleri hakkında bilgi almasına, • İşlerinin sonuçlarını almasına sağlar. TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM21/32

gLite Servis Tipleri- İş Yükü Yönetim Sistemi (WMS) - • WMS aşağıdaki parçalardan oluşur: • İş Yükü Yöneticisi: Sistemin ana parçasıdır. • Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur. • İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar. • Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur. • Kayıt Tutma: İş hakkında bilgi tutar. • İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır. • WMS servisinin bir işi çalıştırabilmesi için: • İşin karakteristiğini (basit, MPI, DAG) • Hesaplama ihtiyaçlarını ve seçeneklerini • Yazılım bağımlılıklarını bilmesi gerekir. TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM22/32

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM23/32 LFC UI Ağ Sunucusu WMS Bilgi Servisi İş Yükü Yöneticisi Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM24/32 UI: Komut satırı, GUI, C++, Java API’leri ile kullanıcının iş yükü yönetiminin bütün özelliklerini kullanmasını sağlar. UI LFC Gönderildi Ağ Sunucusu WMS Bilgi Servisi İş Yükü Yöneticisi Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM25/32 LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi İş Yükü Yöneticisi glite-job-submit myjob.jdl Myjob.jdl JobType = “Normal”; Executable = "sum.exe"; InputSandbox = {"/home/user/sum.exe","/home/file*”, "/home/user/DATA/*"}; OutputSandbox = {“sim.err”, “test.out”, “sim.log"}; Requirements = other. GlueHostOperatingSystemName == “linux“; İş tanımlama dili (JDL) işin ihtiyaçlarını ve karakteristiğini belirler. Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM26/32 Ağ sunucusu: Gelen istekleri karşılamakla yükümlüdür. LFC UI İş Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Giriş Torbasındaki Dosyalar (InputSandbox) RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM27/32 LFC UI İş Yükü Yöneticisi: İsteği karşılamak için gerekli işlemleri yapmakla sorumludur. Gönderildi Ağ Sunucusu WMS Bilgi Servisi İş Yükü Yöneticisi Beklemede RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM28/32 LFC UI Kaynak Aracısı Ğönderildi Ağ Sunucusu Gönderilen iş nerede çalışmalı ? WMS Bilgi Servisi İş Yükü Yöneticisi Beklemede RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM29/32 Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur. Kaynak Aracısı LFC UI Gönderildi Ağ Sunucusu WMS İş Yükü Yöneticisi Bilgi Servisi Beklemede RB deposu Kontrol Servisi SE bilgi ve durumu CE bilgi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM30/32 LFC UI Ğönderildi Ağ Sunucusu Kaynak Aracısı Grid'in durumu nedir ? WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi RB Deposu Kontrol Servisi SE characts & status CE characts & status İhtiyaç duyulan veriler nerede? Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM31/32 LFC UI Kaynak Aracısı Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi CE seçimi RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM32/32 LFC UI İş Adaptörü: İş gönderilmeden önce son işlemleri yapmakla sorumludur (Gerekli ön işleme betiklerinin yaratılması...). Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi İş Adaptörü RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM33/32 LFC UI Ğönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Kontrol Servisi: Gerçek iş yönetimi işlemlerinden sorumludur. Hazır RB Deposu Kontrol Servisi SE bilgisi ve durumu CE bilgisi ve durumu Hesaplama Elemanı Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM34/32 LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Hazır RB Deposu Kontrol Servisi Planlandı SE bilgisi ve durumu CE bilgisi ve durumu Giriş Torbası Dosyaları İş Hesaplama Elemanı Depolama Elemanı Job Status

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM35/32 LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi RB Deposu Hazır Kontrol Servisi Planlandı Çalışıyor Grid olanaklı veri transferleri Hesaplama Elemanı Depolama Elemanı İş İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM36/32 LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Hazır RB Deposu Kontrol Servisi Planlandı Çıkış Torbası Dosyaları Çalışıyor Hesaplama Elemanı Bitti Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM37/32 LFC UI Gönderildi Ağ Sunucusu WMS Bilgi Servisi Beklemede İş Yükü Yöneticisi Hazır RB Deposu Kontrol Servisi glite-job-output <job-id> Planlandı Çalışıyor Hesaplama Elemanı Bitti Depolama Elemanı İş Durumu

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM38/32 LFC Gönderildi Ağ Sunucusu Bilgi Servisi Beklemede UI İş Yükü Yöneticisi Çıkış Torbası Dosyaları Hazır RB Deposu WMS Kontrol Servisi Planlandı Çalışıyor Hesaplama Elemanı Bitti Depolama Elemanı Temizlendi İş Durumu

Grid Altyapısında Güvenlik ve Sertifika Otoritesi TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM39/32

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM40/32 GÜVENLİK • Güvenlik ihtiyacı: Artan sanal bilgi paylaşımı ve haberleşme • Bilgi değerli! Servis sağlayıcıların sorumluluğu Kullanıcıların güveninin sağlanması • Güvenlik ve kişisel gizlilik dengesinin kurulması

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM41/32 GÜVENLİK • Güvenlik konusunda üç temel kavram: - Kimlik doğrulama “Sistemdeki kullanıcı kim?” - Yetkilendirme “Kullanıcının yapacağı işe yetkisi var mı?” - Sorumluluk “Kullanıcı ne zaman, nerde, ne yaptığından sorumludur”

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM42/32 GRİD’DE GÜVENLİK • Grid kullanıcıları: Geniş ve dinamik kullanıcı kitlesi Farklı sitelerde farklı kullanıcılar Kişisel ve gizli veriler Heterojen yapıda öncelikler • Grid siteleri: Heterojen dağılmış kaynaklar Sitelere erişim yolları Yerel politikalar Üyelik

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM43/32 ÇöZüM: SAYISAL SERTiFiKA Sayısal sertifika nedir? • Sayısal sertifika, ya da sayısal kimlik, günlük hayatta kullanılan ehliyet, pasaport gibi kimlik kartlarının elektronik ortamdaki karşılığıdır. • Sayısal sertifika kişinin kimliğini ve söz konusu bilgiye veya online hizmete ulaşım hakkını kanıtlamak için geliştirilmiştir.

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM44/32 ÇöZüM:SAYISAL SERTiFiKA • Asimetrik Şifreleme Yöntemi Açık anahtar: Sertifika otoritesi güvenilir bir kaynak olarak, bir kurum ya da kişiyi bir açık anahtar ile eşleştirir. Açık anahtar sayısal imzaların doğrulanması için kullanılır. Gizli anahtar: Gizli anahtar sadece sahibi olan kişi ya da kurum tarafından bilinir ve sayısal imzayı oluşturmak için kullanılır.

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM45/32 ÇöZüM: SAYISAL SERTiFiKA Sayısal sertifika hangi bilgileri içerir? • Kullanıcıya ait açık anahtar • Kullanıcının adı • Sertifikanın geçerli olduğu tarih aralığı • Sertifika Otoritesinin adı • Sertifika Otoritesinin seri numarası

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM46/32 Sertifika Otoritesi • Sertifika otoritesi, sayısal sertifikaların oluşturulması, yönetilmesi, gerektiği durumlarda sertifikaların dünyaya duyurulmasını sağlayan sertifika hizmet sağlatıcısıdır. • Sertifika otoriteleri, oluşturdukları sertifikaların güvenliğini sağlayarak, gerektiği durumlarda sertifikaları yenilemek ile sorumludur.

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM47/32 PKI • PKI-Public Key Infrastructure (Açık Anahtarlama Yapısı): Sertifikaların, anahtar ikililerinin yönetimini sağlayan yazılımsal ve yordamsal bütünlüktür. PKI Sertifika Otoritesi tarafından yönetilir.

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM48/32 PKI’inİşlevleri • Anahtar ve sertifika üretimi • Gizli anahtarın korunması • Belli durumlarda sertifikaların iptal edilmesi • Anahtar yedeklenmesi ve yeniden elde edebilme • Anahtar ve sertifika güncelleme • Sertifika arşivi

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM49/32 EUGridPMA • European Policy Management Authority for Grid Authentication in e-Science: • Avrupa’da Grid sağlayıcılarının güvenlik ve sertifika otoritelerini denetleyen uluslararası bir üst kuruldur. • Grid ortamında kullanıcıların güvenli bir şekilde dağıtık kaynaklara ulaşması için gereken minimum şartları belirler. • IGTF (International Grid Trust Federation) aracılığıyla diğer kuruluşlardan APGridPMA (Asia-Pacific) ve TAGPMA (America) ile iletişim ve işbirliği içindedir.

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM50/32 TR-GRID Sertifika Otoritesi (TR-GRID CA) • TR-GRID Sertifika Otoritesi (TR-GRID CA) Türkiye’deki ulusal Grid uygulamalarında güvenlik altyapısını sağlamaktan sorumludur. • Ulusal Grid Sertifikasyon Politikası-CP/CPS Belgesi (CertificationPolicy/Certificate Practice Statement) : http://www.grid.org.tr/servisler/sertifika/policy • Web sayfasından veya e-posta yoluyla sertifika başvurusu: http://www.grid.org.tr/servisler/sertifika/cert_request ya da ca@grid.org.tr • E-posta yoluyla sertifika iptali: ca@grid.org.tr

gLite Grid Servisleri ve Güvenlik