270 likes | 631 Views
نقش طراحی پایگاه دادههای توزیع شده و Grid Database Design . هما برادران هاشمي. استاد راهنما: دکتر رهگذر. فهرست مطالب. مجتمع کردن پايگاه هاي داده ها در گريد نیازمندیهای برنامههای کاربردی Grid از پایگاه داده نیازمندیهای سیستمهای موجود Grid و پایگاه دادهها
E N D
نقش طراحی پایگاه دادههای توزیع شده وGrid Database Design هما برادران هاشمي استاد راهنما: دکتر رهگذر
فهرست مطالب • مجتمع کردن پايگاههاي دادههادر گريد • نیازمندیهای برنامههای کاربردی Grid از پایگاه داده • نیازمندیهای سیستمهای موجود • Grid و پایگاه دادهها • ابزاري براي دسترسي به پايگاه داده • جمعبندی • منابع
مقدمه • سیل عظیم دادهها در علوم امروزی • وجود مسائل پيچيده • حجم داده های بالا • نيازمند توان محاسباتی بالا • حضور کمرنگ DBMS در گرید راه حل مناسب • مجتمعسازی تکنولوژی پایگاه دادهها در گرید • استفاده مشترك از مجموعه اي از منابع دور از همبعنوان يك كامپيوتر قدرتمند منفرد
نمونه کاربرد • آشكارسازهاي پروژه Large Hardon Collider (LHC) در Cern(مركز تحقيقات هسته اي اروپا) : • توليد چندين ترا بايت در سال • نيازمند 20 T FLOPS توان محاسباتي Floating Point Per Second 40 2بايت
مزايا و محدوديتهاي روشهای پیشین • مزایا • هزينه پايين • پيشرفت و بهبود الگوريتمهاي به كار رفته • محدودیتها • محدوديتهاي مكاني ومالي نياز به روشي كاملترو به صرفهتر
راه حل مناسب • استفاده از بيش از 500 ميليون كامپيوتر بيكار در جهان مثال: سيستم Condor درسال 1985 توسط MaronLivny هدف استفاده از پردازنده هاي بيكاردانشگاهها ، براي حل مسائلي مانند تحليل دادهها با استفاده از : • چند وظيفه اي بودن سيستم عامل يونيكس • بستر ارتباطي مناسب
مشکلات ترکیب پایگاه دادهها و گرید • دو دلیل اصلی پیچیدگی • تفاوتها بین محصولات سرور در نمونهها پایگاه داده • گونهها مختلف نمونهها پایگاه داده • معامله: میان افزار کلی برای ترکیب پایگاه دادهها در محیط گرید • نمونههای پایگاه داده با تمام قابلیتها • راه حلهای معمول برای کم کردن تاثیرات
چگونه میتوان پایگاه دادهها را با گرید ترکیب کرد؟ • چگونه میتوان DBMSهای موجود را به سمت گرید برد؟ • راه حل کوتاه مدت: نگهداری محدودیتها • راه حل بلند مدت: تسعه به سمت میان افزار گرید و کامپوننتهای سرور پایگاه داده • سه سوال اصلی • نیازمندیهای پایگاه دادههای گرید چیست؟ • به چه صورت میان افزارهای موجود و سرورهای پایگاه داده این نیازمندیها را برآورده میکنند؟ • چگونه ممکن است که نیازمندیها کاملا برآورده شوند؟
نیازمندیهای پایگاه داده از برنامههای کاربردی گرید • پیش نیاز • نیاز به توانایی تامین شده توسط DBMSجاری • query, update, indexing, transaction, recovery, replication, security, … • مورد نظر نبودن تولید DBMSگرید از ابتدا • اضافه شدن ویژگیهای جدید با توسعه DBMSهای جاری • تجاری بودن بیشترین DBMSهای استفاده شده • متن باز نبودن آنها • دو دسته از نیازمندیها • کلی در مقابل کامپوننتها برنامه کاربردی گرید • پایگاه دادهای خاص منظوره
سيستمCondor مزیت • كاربرد در مقياس كوچك (مانند دانشگاه) محدودیتها • گستردگي شبكه و زياد بودن پردازنده هاي بيكارمتصل به اينترنت • مسائل مالي مرتبط درمقياس بزرگ
محاسبات اینترنتی بر روی دادههای گرید • شبكه Entropia در سال 1997 توسط Scot Kusowski هدف به کارگيری 30 هزار كامپيوتردر سراسر دنيا برای حل مسائل علمی موفقيت تعيين بزرگترين عدد اول *رسيدن به توان 1 T FLOPS
محاسبات اینترنتی بر روی دادههای گرید (ادامه) • پروژه SETI@HOME در سال 2002 • برروي بيش از 8/3 ميليون كامپيوتر شخصي دنيا هدف • جستجوي داده هاي حاصل از راديو تلسكوپ Arecibo براي يافتن علائمي از منابع هوشمند فرا زميني • 27 T FLOPS توان محاسباتي • در 226 كشور دنيا SETI : Search For Extra Terrestrial Intelligence at home
محاسبات گرید • امكان استفاده توزيعي از كامپيوترها در نقاط مختلف به صورت يك سيستم منفرد • نخستين بار در سال 1995طي پروژه I-WAY اتصال 17 سايت بامنابع قدرتمند در آمريكاي شمالي ازطريق شبكه هاي سريع و استفاده همزمان از توان اين سايتها هدف
چشماندازی از یک پایگاه داده Grid امكانات فراهم شده توسطGrid • اشتراك گذاري • انتخاب • اجتماع منابع گوناگون توزيع شده از لحاظ جغرافيايي
پروژههای تحقیقاتی وابسته به پایگاه دادههای Grid • Power Grid متعلق به NASA ارائه خدمات به محققين ناسا و دانشگاهيان • European Data Grid • Particle Physics Data Grid • Grid Physics Network (GrPhyN) تحليل داده هاي حاصل از آزمايشهاي فيزيك ذرات بنيادي
SETI@homeThe Search for ExtraTerrestrialIntelligence http://setiathome.ssl.berkeley.edu/
Folding@home برای تشخیص الگوی فولد پروتئین و بیماریهای مرتبط به آن
FightAIDS@Home • Common goal= advance AIDS research
تحليل پاسخ درمانهاي شيمي درماني بيماران سرطاني
اصول ساخت پایگاه دادهGrid • قلمروهاي مديريتي چند گانه و استقلال آنها • مكانها و قلمروهاي مديريتي متفاوت منابعGrid • ناهمگوني • اتصال منابع ذاتا متفاوت از لحاظ : معماري ، شبكه و ... • مقياس پذيري • اندازه متغيرشامل چند منبع تا چندين ميليون منبع • تحمل پذيري نسبت به تاخير و پهناي باند ارتباطي • پويايي و انعطاف پذيري • خرابي و خارج شدن منابع • استفاده بهينه از منابع موجود در هر لحظه
database شمای سطح بالایی از پایگاه دادهGrid و ارتباط اجزای آن Grid Information Service Grid Resource Broker Application R2 R3 R4 R5 RN Grid Resource Broker R6 R1 Resource Broker Grid Information Service
سرویسهای فراهم شده توسط Grid(از دید کاربر نهایی) • سرويسهاي محاسباتي مثال: (Information Power Grid)NASA IPG • سرويسهاي داده اي • پردازش داده هاي اين مجموعه، توسط يك Grid محاسباتي مثال: شبيه سازيهاي طراحي داروها • سرويسهاي برنامه اي • ساخته شده توسط سرويسهاي Grid داده اي و محاسباتي مثال: NetSolve • سرويسهاي اطلاعاتي • نحوه نمايش ، ذخيره سازي ، دستيابي و به اشتراك گذاري اطلاعات
بایدها و نبایدهای پایگاه دادههای Grid • بایدها • امكان پيوستن سايت مورد نظر به صورت دلخواه • زيرساخت مطمئن ، تحمل پذير در برابر خطا بدون هيچ نقطه شكست • پشتيباني از قطعات ناهمگن • نبایدها • تداخل يا تناقض با مديريت فعلي سايت • تضعيف امنيت كاربران يا سايت مورد نظر • محدوديت در زبانها،ابزارها وكتابخانه هاي برنامه نويسي موردنياز كاربر
آینده پایگاه دادههای Grid • استفاده روزافزون دانشمندان از سرويسهاي شركتهاي Grid computing • استقبال بيشتراز طرف مردم براي اختصاص دادن زمانهاي بيكاري كامپيوترهاي خود به Grid • هدايت برنامه هاي Grid توسط ابزارهاي بدون سيم
جمعبندی • آغاز پروژههاي وسيعي بمنظور استفاده از وب براي اجراي برنامههاي موازي و توزيعي با توجه به رشد و گسترش اينترنت • رساندن توان محاسباتي به چندين ترا فلاپس توسط تكنولوژي Grid • استفادهكنوني وسيع از Grid به منظور اجراي پروژههاي تحقيقاتي
منابع M. Antonioletti et al. “The design and implementation of grid database services in OGSA-DAI”. Concurrency - Practice and Experience, 17(2-4):357-376, 2005. G. Aloisio, M. Cafaro, S. Fiore, and M. Mirto, “The grid-DBMS: Towards dynamic data management in grid environments,” in ITCC (2), pp. 199–204, 2005. M. A. Nieto-Santisteban, A. S. Szalay, A. R. Thakar, W. J. O'Mullane, J.Gray, and J. Annis, “When Database Systems Meet the Grid,” Microsoft Research, MSR-TR-2004-81, December 2004. S. GOEL, H. SHARDA, D. TANIAR, “Atomic Commitment in Grid database systems”, FIP international conference on network and parallel computing, Wuhan, CHINE, vol. 3222, pp. 22-29 , 2004. Chervenak, A., Foster, I., Kesselman, C., Salisbury, C. and Tuecke, S. “The Data Grid: Towards an Architecture for the Distributed Management and Analysis of LargeScientific Data Sets,” J. Network and Computer Applications, 2001. Heinz Stockinger, “Distributed Database Management Systems and the Data Grid.” 18th IEEE Symposium on Mass Storage Systems and 9th NASA Goddard Conference on Mass Storage Systems and Technologies, San Diego, April 17-20, 2001. R. G. G. Cattell and D. K. Barry. “The Object Database Standard: ODMG 3.0”. Morgan Kaufmann, 2000.