1 / 15

Rozloženie záťaže pri top-k fazetovom vyhľadávaní

Rozloženie záťaže pri top-k fazetovom vyhľadávaní. Vedúci práce RNDr. Peter Gurský, PhD. Riešiteľ práce Bc. Juraj Bobák. Use Case. request. S i1. click. D i1. response. S i1. read. D i2. S i3. D i3. S ij. D ij. Charakteristika problému.

chin
Download Presentation

Rozloženie záťaže pri top-k fazetovom vyhľadávaní

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Rozloženie záťaže pri top-k fazetovom vyhľadávaní Vedúci práce RNDr. Peter Gurský, PhD. Riešiteľ práce Bc. Juraj Bobák

  2. Use Case request Si1 click Di1 response Si1 read Di2 Si3 Di3 Sij Dij

  3. Charakteristika problému „vstupom“ problému je vytvoriť systém narozloženie záťaže pri top-k fazetovomvyhľadávaní pri takomto vyhľadávaní sa vykonávajú rozdielne zložité dopyty, ktoré je potrebné rozdeľovať medzi rôzne výkonné servery pri zohľadnení ich vyťaženosti atribútom rozloženia záťaže je taktiež počet používateľov vytvárajúcich dopyty pri vyhľadávaní

  4. Ciele • Požiadavky na Load Balancer • Fail-Over – reagovať na nedostupnosť serveru • Scalability – rozšírenie clusteru o server zvýši výkon clusteru • Analýza náročnosti dopytov • Rozdeľovanie záťaže na základe vyťaženia serverov a zložitosti dopytov

  5. Vyťaženie serveru Na základe výkonu, vyťaženosti CPU a operačnej pamäte spočítať vyťaženosť serveru Rozposielať správy o vyťaženosti po sieti obežníkmi (broadcast)

  6. Aplikácia na zistenie vyťaženia serveru • Dve časti: Messenger a Listener • Messenger.js • odosiela dáta obežníkmi po sieti o vytaženosti CPU, pamäte a siete • každý typ dát odosiela v inom čase a asynchrónne • Listener.js • počúva na sieti obežníky a prijímané dáta o každom stroji ukladá • na požiadanie vráti aktuálny stav serverov

  7. Náročnosť dopytov zistiť náročnosť dopytov Upravovať náročnosť dopytov „live“ podľa empiricky získaného očakávaného času a reálnych prevádzkových časov (tiež vhodné na varovanie o problémoch)

  8. Náročnosť dopytov • Uložiť konfiguráciu náročnosti dopytov do konfiguračného súboru, ktorý bude obsahovať náročnosť na: • pamäť serveru • procesor stroja • sieť (tá by mala byť rovnaká - top-k) • záleží tiež na použitom úložisku • je rozdiel v náročnosti na operačnú pamäť pri databáze • MySQL a Indexe

  9. Zisťovanie náročnosti dopytov • dopyty pre projekt „kapsa“ • zatiaľ len jeden typ dopytu– fullscan domény • potreba dát na testovanie • aktuálne dáta • náhodne vygenerované dáta

  10. Testovanie dopytu – čas odpovede testovali sme dopyt na 17-ich doménach 6 rovnakých databáz, z ktorých každá mala postupne o polovicu menšiu doménu (o polovicu menej záznamov) 100 dopytov pre každú doménu v každej databáze

  11. Výsledná konfigurácia domén

  12. Algoritmy pre LoadBalancer LoadBalancer - dva varianty algoritmu 1. algoritmus zohľadňuje len vyťaženie CPU a dostatok voľnej operačnej pamäte na výpočet dopytu 2. algoritmus pracuje s premenlivými váhami na základe vyťaženia CPU a voľnej operačnej pamäte pre n dopytov s najvyššou spotrebou operačnej pamäte

  13. Testovanie LoadBalancerov mod_proxy v základnom nastavení - mod_proxy mod_proxy s nastavenými váhami serverov – mod_proxy_ver2 mod_jk v základnom nastavení – mod_jk_ver1 mod_jk s nastavenými váhami serverov – mod_jk_ver2 kapsa LoadBalancer – algoritmus I – kapsa_lb_ver2 kapsa LoadBalancer – algoritmus II – kapsa_lb_ver3

  14. Výsledky testovania

  15. Ďakujem za pozornosť

More Related