210 likes | 329 Views
Vortrag zur Diplomarbeit in der Arbeitsgruppe Datenbanken und Informationssysteme Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems. Sven Bittner, 9 . Januar 2004 Betreuung durch Dr. Annika Hinze und Prof. Dr.-Ing. Heinz F. Schweppe. Anbieter (Sensoren). Ereignisse.
E N D
Vortrag zur Diplomarbeit in der Arbeitsgruppe Datenbanken und InformationssystemeEntwurf und Analyse eineseffizienten verteilten Benachrichtigungssystems Sven Bittner, 9. Januar 2004 Betreuung durch Dr. Annika Hinze und Prof. Dr.-Ing. Heinz F. Schweppe
Anbieter (Sensoren) Ereignisse Profile Abonnenten Benachrich- tigungen p1=(t>22°C) e1: t=15°C (e2) p2=(t<18°C) e2: t=30°C (e1) e3: r=0,2 liter (e3), (e4) p3=(r>0,1 lit.) e4: r=2 liter Filterung Effiziente, skalier-bare Filterung Motivation Benach- richtigungs- system (BS) • Gebäudesteuerung (mittleres Gebäude) • >104Profile • >103Ereignisse/Sekunde Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Gliederung • Zentralisierte Filterung • Verteilte Filterung • Experimente • Zusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Gliederung • Zentralisierte Filterung • Verteilte Filterung • Experimente • Zusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
20 2 t r p4 1 4 p5 r 8 s 10 p7 2 20 8 t r p6,7,8 * 8 r p7 Zentralisierte Filterung • Schnellste Struktur [GS95] • Filterbaum über alle Attribute eines Typs • Probleme – Hauptspeicherbedarf sehr groß (breiter Baum) – Nur Gleichheitsoperatoren – Statische Filterstruktur p4=(s=1,t=20,r=2) p5=(s=2,t=10,r=4) p6=(s=2,t=20,r=8) p7=(s=2,r=8) p8=(s=2,t=20,r=8) Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
10 p5,7 1 p4 20 s t 2 p4,6,7,8 * p5,6,7,8 2 p4 p7 4 r e5: (s=2,t=6,r=8) p5 8 p6,7,8 Passende Profile: Zentralisierte Filterung: Erweiterung • Erweiterte Struktur – System PrimAS [Bit02, Bit03] • Einzelner Knoten je Attribut (Minibaum) • Eigenschaften + Weniger Speicherbedarf (keine breiten Bäume) + Kantenbeschreibung mit Intervallen + Operatoren: <, >, =, Mengentest, Bereichstest + Dynamischer Umbau möglich Zusätzlich: - Optimierung der Auswertungsreihenfolge [HB02] {p5, p6, p7, p8} ={p7} {p7} {p6, p7, p8} Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Gliederung • Zentralisierte Filterung • Verteilte Filterung • Experimente • Zusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
S Kommunikation mit beliebigen Vermittler A 6 2 Zentrale Filter-komponenten Verteilte Filterung Verteiltes 5 1 Azyklisches Overlaynetz zur Verteilung von Profilen und Ereignissen 4 3 6 2 BS Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Verteiltes 5 1 4 3 (e3) 6 2 BS A1 S1 p3=(r>0,1lit.) e3: r=0,2lit. Verteilte Filterung: Ereignisweiterleitung • Verteilungsstrategien • Ereignisweiterleitung (EW) [CRW99] • Filterung nah bei den Abonnenten • Keine Weiterleitung von Profilen • Fluten von Ereignissen p3 Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
(e3) A1 Verteiltes 5 1 S1 p3=(r>0,1lit.) e3: r=0,2lit. 4 3 6 2 BS Verteilte Filterung: Profilweiterleitung • Profilweiterleitung (PW) [CRW99] • Filterung nah bei den Anbietern • Fluten von Profilen • Keine Weiterleitung von Ereignissen p3 p3 p3 p3 p3 p3 Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
(e3) A1 Verteiltes 5 1 S1 p3=(r>0,1lit.) e3: r=0,2lit. 4 3 6 Filterung von Niederschlags- ereignissen 2 BS Verteilte Filterung: Rendezvousknoten • Rendezvousknoten (RK) [PB02] • Filterung in spezialisierten ereignistypabhängigen RK • Gerichtete Weiterleitung der Profile und Ereignisse an RK • Praxis: Filterung auch in Unterwegsknoten p3 Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Verteilte Filterung: Optimierung • Ausnutzen von Bedeckungen zwischen Profilen • Intuitiv: px > py (überdeckt) gdw. zu px genau die oder mehr Ereignisse als zu py passen • Anwendung • Weiterleiten von Profil px an Nachbarn nur dann, wenn noch kein py mit py > px weitergeleitet wurde • Wenn Profil px von Nachbarn eintrifft, können alle py dieses Nachbarn mit px > py entfernt werden • Berechnung • Bereichsbasierte Berechnung (aufbauend auf Filterstruktur) • Analyse der Kanten der Minibäume abhängig vom Operator • Bildung der Schnittmenge der Überdeckungen der Attribute Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Gliederung • Zentralisierte Filterung • Verteilte Filterung • Experimente • Zusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Experimente • Realisierung der verteilten Filtervarianten und der zentralisierten Filterkomponente in Prototyp DAS • Messungen unter Variation zahlreicher Parameter • Anteil passender Profile • Anteil erfüllender Ereignisse • Vermittlerzahl • Überdeckungen zwischen Profilen • Anzahl Ereignistypen • Lokalitätsverhalten zw. Ereignissen und Profilen • Gesamtprofilanzahl Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Experimente: Auswahl (1) • Einfluss der Gesamtprofilanzahl Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Experimente: Auswahl (2) • Einfluss der erfüllenden Ereignisse Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Experimente: Auswahl (3) • Einfluss der Vermittleranzahl Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Experimente: Fazit • Ergebnisse (Überblick) • Profilweiterleitung • Meist beste Filtereffizienz und geringste Netzlast • Jedoch größten Speicherbedarf • Ereignisweiterleitung • Sehr hohe Netzlast • Speicherbedarf optimal • Hoher Anteil passender Ereignisse beste Filtereffizienz • Hohe Profilanzahl beste Skalierbarkeit • Rendezvousknoten • Unter keiner getesteten Konfiguration bessere Ergebnisse als andere Verfahren Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Gliederung • Zentralisierte Filterung • Verteilte Filterung • Experimente • Zusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Zusammenfassung • Zentrale Filterkomponente PrimAS mit neuer Filterstruktur • Verteiltes Benachrichtigungssystem DAS mit drei verteilten Filteralgorithmen • Experimente: Optimaler Algorithmus abhängig von Systemlast, -nutzung und Anwendung System sollte verschiedene Filteralgorithmen unterstützen und dynamisch anpassen Zentralisierte FilterungVerteilte FilterungExperimenteZusammenfassung Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems
Literatur [Bit02] S. Bittner: Implementierung eines effizienten Matchingverfahrens für Benachrichtigungssysteme, Studienarbeit, Freie Universität Berlin, Institut für Informatik, September 2002. [Bit03] S. Bittner: Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems. Diplomarbeit, Freie Universität Berlin, Institut für Informatik, September 2003. [CRW99] A. Carzaniga, D. S. Rosenblum, A. L. Wolf: Interfaces and Algorithms for a Wide-Area Event Notification Service. Technischer Bericht CU-CS-888-99, Universität Colorado, Fachbereich Informatik, Oktober 1999. [GS95] J. Gough und G. Smith: Efficient Recognition of Events in a Distributed System. In: Proceedings of the 18th Australasian Computer Science Conference (ACSC-18), Adelaide, Australien, 1.-3. Februar 1995. [HB02] A. Hinze und S. Bittner: Efficient Distribution-Based Event Filtering. In: Proceedings of the International Conference on Distributed Computing Systems Workshops (ICDCSW´02), Wien, Österreich, 2.-5. Juli 2002. [PB02] P. Pietzuch, J. Bacon: Hermes: A Distributed Event-Based Middleware Architecture. In: Proceedings of the International Conference on Distributed Computing Systems Workshops (ICDCSW´02), Wien, Österreich, 2.-5. Juli 2002. Sven Bittner - Entwurf und Analyse eines effizienten verteilten Benachrichtigungssystems