Grid Hesaplama ve YEF@TR-Grid

1. Grid Hesaplama ve YEF@TR-Grid TR ATLAS Gaziantep Grid Workshop 19-21 Haziran, 2008. Gaziantep Üniversitesi

2. Grid ve Grid Hesaplamaya Temel Bakış • Tanım • Evrimi • Neden ihtiyacımız olduğu • Grid Hesaplama • TR-Grid Oluşumu • Ulusal Grid Oluşumu (UGO) ve Hedefleri • TR-GRİD Alt Yapısı • TR-GRİD Projeleri (7. Çerçeve Programı) • Grid Uygulamaları İÇERİK

3. Küme nedir? • İletişim ve yazılım anlamında, birbirine sıkı sıkıya bağlı, tek bir bilgisayar gibi çalışabilen bir grup bilgisayar. • Grid = “Kümelerin kümesi” • Coğrafik olarak dağıtık bulunan kaynakların bütünleştirilmesi • Dev sanal süperbilgisayar + Paylaşım kültürü • Orta katman yazılımı yardımı ile • Globus  açık kaynak kod • EDG, LCG, gLite  AB projelerinde geliştirildi GRID Nedir ?

4. 2100 2100 2100 2100 2100 2100 2100 2100 2100 PERFORMANS EVRİM Masaüstü, Taşınabilir SMP,Süper Global Grid Lokal Küme “Kümelerin kümesi”

5. Bütün bir sistem gibi davranabilen dev bir kaynak topluluğu İşlemci gücü, Veri depolama alanı, Veritabanı, Uygulama, Cihaz (teleskop vb.), Araştırmacı, Deney, Proje, Kütüphane, … • Ana unsur  İşbirliği! • Kaynaklardan yararlanmak için, kaynak verin! DEV BİR KAYNAK

6. “The Computational Grid is analogous to Electricity (Power) Grid and the vision is to offer a dependable, consistent, pervasive, and inexpensive access to high-end resources irrespective their location of physical existence and the location of access.” BİR BENZETME

7. İnternet gibi Grid de, büyük çaplı bilimin gereksinimleriyle doğdu. • büyük bilim merkezlerinin ortak iletişim ortamı gereksinimi  İnternet • İnternet ortamı üzerinde farklı tip kaynakların paylaşımı için farklı farklı yaklaşımlar • kaynak paylaşımı için çok daha genel bir yaklaşım arayışı  Grid ARAYIŞ

8. internetwork internetwork … internetwork network network network network network … network Internet İNTERNET VE ...

9. kümelerin kümesi kümelerin kümesi … kümelerin kümesi Grid küme küme küme küme küme küme … küme GRİD

10. Neden Grid? • Araştırmacıların kompleks bir işte • Hesaplama zamanını azaltmak için • Büyük verilere ulaşmak için • Özel ekipmanlara ulaşmak için • Diğer kullanıcılarla çalışabilmek için çok sayıda kaynağa veya servise ihtiyacı vardır. Internet

11. Gelişim sürecinde farklı yöntemler • Adanmış kümeler ile  örnek: EGEE • Süperbilgisayarlar ile  örnek: DEISA • Masaüstü bilgisayarlar ile  örnek: SETI@Home • Hedef GELİŞİM

12. Dinamik kaynak bağışlama • Masaüstü Gridi Üniversite Sunucusu PC bağışlayan Uygulama Internet PC bağışlayan PC bağışlayan

13. SETI: Evrensel Masaüstü Gridi • SETI@home • 226 ülkede 4 milyon kullanıcı • 1200 CPU sene/gün • 38 TF • 77 farklı işlemci tipi

14. Kümeler ile Grid Boş kaynakların 7/24 bağışlanması Enst1 Enst2 Bağışlayan ve kullanan Bağışlayan ve kullanan Internet Kullanıcı Kullanıcı

15. En Büyük Çalışan Grid: EGEE • Scale • > 49 ülkede 224 site • ~ 38.000 işlemci • > 15 PB veri alanı • > Günde onbinlerce çalışan iş • > Yüzden fazla kayıtlı sanal organizasyon

16. TeraGrid Caltech: Data collection analysis ANL: Visualization LEGEND Visualization Cluster Cluster IA64 Sun IA32 0.4 TF IA-64 IA32 Datawulf 80 TB Storage 1.25 TF IA-64 96 Viz nodes 20 TB Storage IA64 Storage Server Shared Memory IA32 IA32 Disk Storage Backplane Router Extensible Backplane Network LA Hub Chicago Hub 30 Gb/s 40 Gb/s 30 Gb/s 30 Gb/s 30 Gb/s 30 Gb/s 10 TF IA-64 128 large memory nodes 230 TB Disk Storage 3 PB Tape Storage GPFS and data mining 6 TF EV68 71 TB Storage 0.3 TF EV7 shared-memory 150 TB Storage Server 4 TF IA-64 DB2, Oracle Servers 500 TB Disk Storage 6 PB Tape Storage 1.1 TF Power4 EV7 IA64 Sun EV68 IA64 Pwr4 Sun SDSC: Data Intensive NCSA: Compute Intensive PSC: Compute Intensive PSC integrated Q3 03

17. Bir Grid’in “Grid” olabilmesi için • kaynaklar tek merkezden yönetilmiyor olacak • açık standartlar kullanılacak • azımsanamayacak kalitede servis sunulacak Hepsi Grid mi ?

18. Yüksek Enerji Fiziği • Biyomedikal • Dijital Kütüphaneler • Bilgisayar Hesaplamalı Kimya • Yerbilim • Jeo-fizik • Astro-fizik • Füzyon • Finans • … UYGULAMA ALANLARI

19. Hesaplama, görüntüleme, veri depolama vb. kaynakların birbirlerine bağlanarak, sistem kısıtları nedeniyle başka şekilde çözülemeyecek olan problemlerin çözülebilmesine olanak tanıyan yaklaşım. • Tekil uygulama veyaÇok sayıda uygulama içeren “iş akışı” (workflow) • Uygulama  ardışıl (sequential) veya paralel GRİD HESAPLAMA

20. TR-GRİD OLUŞUMU VE ÇALIŞAN UYGULAMALAR TR ATLAS Gaziantep Grid Workshop 19-21 Haziran, 2008. Gaziantep Üniversitesi

21. İÇERİK • Ulusal Grid Oluşumu (UGO) ve Hedefleri • UGO Danışma Kurulu • TR-GRİD Alt Yapısı • TR-GRİD Projeleri (7. Çerçeve Programı) • Grid Uygulamaları

22. ULUSAL GRİD OLUŞUMU TR-GRİD HEDEFLERİ • Grid çalışmaları ULAKBİM koordinasyonunda hesaplama kaynaklarının grid altyapısı altında toplanması amacı ile 2003 yılında TR-Grid Oluşumu adı altında başlatılmıştır. • Ulusal kullanıcı kitlesini bilgilendirmek • Bölgesel uygulamalar geliştirmek • Ulusal grid altyapısını kurmak • Uluslararası grid projelerine katılmak • ...

23. TR-Grid UGO Danışma Kurulu • TR-Grid UGO Danışma Kurulu; TR-Grid e-Altyapısı için ulusal starteji ve politikaların belirlenmesi, uygun projelerin üretilmesi, gerekli finansmanın sağlanması ve yürütülen çalışmaların uygunluğunun denetlenemesi gibi sorumlulukları olan ve ULAKBİM Yönetim Kurulunca tanınan bir kurul olarak hayata geçirilmiştir. ULUSAL GRİD OLUŞUMU

24. ULUSAL GRİD OLUŞUMU

25. TR-Grid Altyapısı - GRID • 7 Grid Sitesi: • TR-01-ULAKBIM (66 CPU, 4 TB) • TR-03-METU (312 CPU, 12 TB) • TR-04-ERCIYES (64 CPU, 0.75 TB) • TR-05-BOUN (64 CPU, 0.75 TB) • TR-07-PAMUKKALE (64 CPU, 0.75 TB) • TR-09-ITU (64 CPU, 0.75 TB) • TR-10-ULAKBIM (364 CPU, 12 TB) • Toplam grid kaynağı: 998 CPU, ~30 TB Depolama • Desteklenen sanal organizasyonlar: atlas, cms, biomed, ops, dteam, see, seegrid, sgdemo, eumed, trgrida, trgridb, trgridd, trgride

26. TR-Grid Altyapısı - HPC • 3 HPC Kümesi: • TR-03-METU (312 CPU, 12 TB) • TR-10-ULAKBIM (364 CPU, 12 TB) • Infiniband (Sıkıbağlı) Küme (240 CPU, 6 TB) • Toplam HPC kaynağı: 916 CPU, 30 TB Depolama • Kurulu paket programlar: Gamess, CPMD, NAMD, Espresso, Octa, R, Gromos, Gromacs, Siesta, Abinit, Gaussian, VASP, Charmm, Amber ...

27. TR-Grid Kullanıcı İstatistikleri • Toplam 241 kullanıcı: • 20 TBAG kullanıcısı • 221 normal kullanıcı • Toplam 36 üniversite + TAEK • 13 farklı disiplin

28. TR-Grid Sertifika Otoritesi • Grid altyapılarında kullanıcıların çalışabilmesi ve sunucuların birbirleri ile güvenli konuşabilmesi için PKI sertifikalarına ihtiyaç vardır. • Kendi kullanıcılarını yetkilendirebilmeleri için her ülkenin en az bir grid sertifika otoritesi olması beklenmektedir. • Grid sertifika otoriteleri GridPMA tarafından onaylanır. EUGridPMA Avrupa içinde yetkilendirmeyi yapan organizasyondur. • TR-Grid CA 2005 Ekim ayında EUGridPMA tarafından akredite edilmiştir. Yrd. Doç. Dr. Erol Şahin Orta Doğu Teknik Üniversitesi Bilgisayar Mühendisliği

29. TBAGKullanıcı İstatistikleri • Toplam 8 grup: • Tbag1: ODTÜ, Gazi, Balıkesir Üniv., Fizik Bölümü – VASP • Tbag2: Erciyes Üniv., Fizik Bölümü – Espresso • Tbag3: Atatürk Üniv., Biyokimya – Kendi kodları • Tbag4: Bilkent Üniv., Fizik Bölümü – VASP • Tbag5: ITU, Kimya Bölümü – Gaussian, NAMD, VASP • Tbag6: Yeditepe, Boğaziçi Üniv., Kimya – NAMD, Charmm • Tbag7: Dokuz Eylül Üniv., Fizik – Octa • Tbag8: Bilkent Üniv., Fizik Bölümü – VASP, Espresso

30. TR-Grid Kullanıcı İstatistikleri • Kullanıcıların disiplinlere göre dağılımı: (Diğer: Elektronik müh, metalurji, biyoloji, kriptografi, istatistik, eczacılık, makina müh, çevre müh,biyomedikal vs.)

31. TR-Grid Kullanıcı İstatistikleri • Kullanıcıların üniversitelere göre dağılımı: (Diğer: Dokuz Eylul, Ege, IYTE, Kırıkkale, Abant İzzet Baysal, Hacettepe, Marmara, Osmangazi, TOBB, Sabancı, Fırat, Gaziantep, Mustafa Kemal, Van Yüzüncü Yıl vs.)

32. SEE-GRID2 (2006-2008) (South Eastern European GRid-enabled eInfrastructure Development) TR-GRİD PROJELERİ Ana Yükleniciler: • GRNET, Yunanistan • CERN, İsviçre • MTA SZTAKI, Macaristan • IPP-BAS, Bulgaristan • ICI, Romanya • TÜBİTAK, Türkiye • ASA/INIMA, Arnavutluk • UoBL, Bosna Hersek • UKIM, Makedonya • UOB, Sırbistan • UoM Karadağ • RENEM Moldovya • RBI, Hırvatistan Alt Yükleniciler: • 27 üniversite / araştırma merkezi

33. SEE-GRID 2 • Belirlenecek uygulamaların grid ortamına taşınması • Ulusal Grid Sertifika Otoritesinin işletilmesi • Uygulamların test edilmesi ve kullanıcı yardım masası desteği • Ulusal ve uluslarası eğitim ve çalıştaylar düzenlemek ve katılmak • Desteklenen Uygulamalar • SDA (Boğaziçi Üniversitesi) • GPiP (Bilkent – Koç Üniversiteleri) • GridAE (ODTÜ) • P-Grade Portal Geliştirme Desteği (ODTÜ) TR-GRİD PROJELERİ

34. TR-GRİD PROJELERİ • INFN, İtalya (Koordinatör)‏ • CERN, İsviçre • CNRST, Fas • GARR, İtalya • CYNET, Kıbrıs Rum Kesimi • DANTE, İngiltere EUMEDGRID (2006-2008) (Empowering eScience Across the Mediterranean) • GRNET, Yunanistan • HIAST, Suriye • CERIST, Cezayir • MRSTDC, Tunus • TÜBİTAK, Türkiye • RED.ED, İspanya

35. EUMEDGRID (2006-2008) (Empowering eScience Across the Mediterranean) • EUMEDGRID altyapısına katılım • Grid servislerinin kurulumu ve bölgesel • Bölgesel grid uygulaması geliştirmek • - HuM2S (Boğaziçi Üniversitesi) • SEE-Grid ve EGEE'de edinilen tecrübeyi Akdeniz Bölgesine taşımak TR-GRİD PROJELERİ

36. EGEE (Enabling Grids for E-SciencE) • EGEE, Avrupa Birliği tarafından desteklenen ve grid teknolojisindeki yeni gelişmelere dayalı olarak araştırmacılara kesintisiz hizmet veren bir grid servisidir. TR-GRİD PROJELERİ - 40 Ülkede 200 Site ~ 30 000 CPUs (7/24) - 10 000 iş/gün - 48 Ülkede 250 Site ~ 41000 CPUs (7/24) - 25.000 iş/gün (eş zamanlı) - 100.000 iş/gün

37. EGEE HEDEFLERİ • Yeni hesaplama kaynaklarını kabul edebilecek kararlı, dengeli ve güvenli bir grid ağı oluşturmak • Kullanıcılara güveli bir servis sağlayabilmek için sürekli geliştirilen ve bakımı yapılan bir grid ortakatmanı sağlamak • Bilimsel çalışma yapan kullanıcılar dışında endüstriden de yeni kullanıcılar bulmak • Federasyonlar: TR-GRİD PROJELERİ - CERN - İrlanda ve İngiltere - İtalya - Fransa - Almanya ve İsviçre - Rusya - Amerika - NRENs - Orta Avrupa - Kuzey Avrupa - Güney Doğu Avrupa - Güney Batı Avrupa

38. TR-Grid UGO Destekli Grid Uygulamaları • Ulusal Destekli Uygulamalar (TUGA)‏ • Eğitim Ontolojisi (AGMLAB)‏ • AB Çerçeve Programı Destekli Uygulamalar • SE4SEE (Güney Doğu Avrupa için Grid Olanaklı Arama Motoru, Bilkent Üniversitesi)‏ • SDA (Sismik Veri Analizi, Boğaziçi Üniversitesi)‏ • G-PiP (Grid Olanaklı Protein-Protein Etkileşimi Tahmini, Koç üniversitesi ve Bilkent Üniversitesi)‏ • GridAE (Grid Tabanlı Yapay Evrim, Orta Doğu Teknik Üniversitesi)‏

39. TR-Grid UGO Destekli Grid Uygulamaları • AB Çerçeve Programı Destekli Uygulamalar • HuM2S (İnsan Hafızasının Simülasyonla Modellenmesi, Boğaziçi Üniversitesi)‏ • P-Grade Portalı ( Grid Uygulama Geliştirme Portalı) MTA SZTKI, Orta Doğu Teknik Üniversitesi • TR-Grid Altyapısının Desteklediği Kullanıcı Uygulamaları • YEF (ATLAS, CMS)‏ • Gaussian, Gamess, NAMD, PWSCF, CPMD, Abinip, VASP, Amber,... • MPI Kullanıcıları

40. Sayısal ortamda yeralan akademik ve bilimsel kaynakları, araştırmacılara arama motoru teknolojisi ile sunan bir akademik dijital kütüphane Eğitim Ontolojisi – AGMLAB • TUGA kapsamında verilen destek ile http://bilgin.grid.org.tr Güven Fidan ve ekibi tarafından geliştirilmiştir. • AGMLAB http://www.bilgi.com geliştiricisi ve TR-Grid UGO’nun ilk endüstriyel iş ortağıdır.

41. Grid altyapısında çalışabilen isteğe bağlı, ülkeye özel, kategorik ve kişisel bir arama motorudur. SE4SEE (Search Engine for South East Europe) • SEE-GRID kapsamında Prof. Cevdet Aykanat ve öğrencileri tarafından geliştirilmiştir. • http://se4see.grid.org.tr

42. Kandilli Rasathanesinin topladığı sismik verilerin grid üzerinde erişim ve hesaplama için sunulması SDA (TR-Grid Üzerinde Kandilli Sismik Veri Sunucusu) • SEE-GRID2 kapsamında önerilmiş, SEE-GRID-SCI uygulaması olarak seçilen SDA Prof. Can Özturan, Kandilli Rasathanesinden M. Yılmazer ve öğrencileri tarafından geliştirilmektedir.

43. Protein veri bankalarında yer alan protein – protein etkileşmelerini tahmin eden grid olanaklı bir algoritmanın geliştirilmesi GPiP (Grid Protein – Protein Interaction Prediction) • RAD50 - DNA çift-sarmalı kırılma tamir proteini(1l8dB) ↔ BRCA1 – Göğüs kanseri hassasiyet proteini (1miuA) 1aq5AC yoluyla. Bu etkileşim literatürde doğrulanmıştır. • SEE-GRID2 kapsamında Prof. Cevdet Aykanat, Dr. Atilla Gürsoy ve öğrencileri tarafından geliştirilmektedir.

44. Yapay Evrim uygulamaları için grid tabanlı bir altyapının geliştirlimesi amaçlanmıştır. GridAE evrimsel hesaplamaları grid üzerinde dağıtacak ve kullanıcıya şefaf bir arabirim sağlayacaktır. GridAE (Artificial Evolution) • Uygulama konusu olarak özerk robotlar için denetleyici geliştirme konusunda çalışılmaktadır. • SEE-GRID2 kapsamında desteklenen GridAE, Dr. Erol Şahin, Dr. Cevat Şener ve öğrencileri tarafından geliştirilmektedir.

45. P-GRADE portalı seri ya da paralel işlerden oluşan iş akışlarının tanımlanıp çalıştırılmasına, bu işlerin durumunun portal üzerinden takip edilmesine olanak veren bir grid portalıdır. P-GRADE Portalı • SEE-GRID2 kapsamında desteklenen P-Grade Portalı Prof. Peter Kascuk, Dr. Cevat Şener ve öğrencileri tarafından geliştirilmektedir. • http://www.grid.org.tr/servisler/pgrade/

46. İnsanlar arasındaki tavsiye etme ve sosyal baskı gibi etkileşimlere dayalı bir karmaşık sistemin insan belleğinde neden olduğu değişimlerin simüle edilmesi HuM2S (Human Memory Modelling by Simulation) • EUMEDGRID kapsamında desteklenen HuM2S, Prof. Haluk Bingöl ve öğrencileri tarafından geliştirilmektedir.

47. Simülasyon • Bulk Veri İşleme • Etkileşimli Uygulamalar • İş Akışı • Paralel Uygulamalar • Kalıtsal Uygulamalar EGEE UYGULAMA AİLESİ • >20 Uygulama - Yüksek Enerji Fiziği (LHC, Tevatron, HERA,...)‏ - Biyoloji (Biyomedikal, İlaç Araştırmaları, Tıbbi Görüntüleme)‏ - Yer Bilimleri (Hidroloji, Çevre Kirliliği, İklim Modelleme, Jeofizik)‏ - Hesaplamalı Kimya - Astrofizik (Planck, MAGIC)‏ - Füzyon - Finans, Dijital Kütüphane - Nanoteknoloji

48. Örnek Uygulamalar - LHC Monte Carlo Simülasyonu - Füzyon Simülasyonu - WISDOM – Sıtma/Kuş Gribi • Özellikleri - CPU gücü - Çok sayıda bağımsız iş - Uzman kullanıcı - Küçük girdi / büyük çıktı • İhtiyaçlar - İş yönetim araçları - Minimal veri yönetimi SİMÜLASYON

49. SONUÇ • Yeni projeler “FP7 (SEE-GRID-SCI, MEDIAN, EGEE3, ...)” • Yeni “Grid Kullanıcıları” • Yetkin “Grid Sistem Yöneticileri” • Grid Eğitimleri ve Ulusal Grid Çalıştayına aktif katılım • Kamu ve Endüstri ortaklıkları • ....

50. YEF @ TR-Grid TR ATLAS Gaziantep Grid Workshop 19-21 Haziran, 2008. Gaziantep Üniversitesi