Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής

1. ΑΠΟΘΗΚΕΣ ΔΕΔΟΜΕΝΩΝ (Data Warehouses) Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών Αριστοτέλειο Πανεπιστήμιο Θεσ/νικης http://delab.csd.auth.gr/~symeon

2. On-Line Transaction Processing (OLTP)(1/3) Σύστημα Επεξεργασίας Δοσοληψιών:On-Line Transaction Processing (OLTP) • Ένα πλήρες σύστημα που περιέχει εργαλεία για προγραμματισμό εφαρμογών, εκτέλεση και διαχείριση των δοσοληψιών • Μια τέτοια εφαρμογή πρέπει να δουλεύει συνεχώς, να αντεπεξέρχεται αποτυχιών, εξελίσσεται συνεχώς, είναι συνήθως κατανεμημένη και περιλαμβάνει: Σχεσιακή Βάση Δεδομένων Δίκτυο Προγράμματα εφαρμογής • Εξαιρετικά κρίσιμη για τη λειτουργία κάθε οργανισμού

3. On-Line Transaction Processing (OLTP)(2/3) OLTP – Αεροπορική Εταιρεία Κράτησε για τον κ. Χ την θέση 13Α για Αθήνα! 1 Κράτησε για τον κ. Y την θέση 1Cγια Κέρκυρα! ... DB Πόσοι ταξιδεύουν για Θεσσαλονίκη ? 100

4. On-Line Transaction Processing (OLTP)(3/3) OLTP – Τράπεζα Δάνεια Ταμείο DB Πιστωτικές κάρτες ΑΤΜ

5. OLTP– Βασικά Χαρακτηριστικά • Ελάχιστος χρόνος διαθέσιμος για την εκτέλεση μιας δοσοληψίας. • Περιορισμένος αριθμός προσβάσεων στο δίσκο. • Περιορισμένος αριθμός υπολογισμών. • Κάτω όριο λειτουργικών απαιτήσεων: • τουλάχιστον100TPS σε μια ΒΔ της τάξης του1 GB • Άνω όριο λειτουργικών απαιτήσεων: • μέχρι 50000TPS σεμια ΒΔ μεγαλύτερητου1 ΤB.

6. Προβλήματα σχεσιακών Βάσεων Δεδομένωνενός OLTP • Αρκετά δεδομένα μπορεί να είναι ελλιπή (missing data) • ΠΡΟΤΕΙΝΟΜΕΝΕΣ ΛΥΣΕΙΣ • Απόρριψη εγγραφών των οποίων κάποιες τιμές λείπουν • Αντικατάσταση των τιμών που λείπουν με την μέση τιμή της κατηγορίας • Αντικατάσταση των απουσών τιμών χαρακτηριστικών με τις αντίστοιχες τιμές παρόμοιων χαρακτηριστικών

7. Προβλήματα σχεσιακών Βάσεων Δεδομένωνενός OLTP • Αρκετά δεδομένα μπορεί να έχουν θόρυβο και ασυνέπειες (Noisy and inconsistent data) • Εντοπισμός διπλότυπων εγγραφών • π.χ. Συμεωνίδης & Συμαιωνίδης • Εντοπισμός λανθασμένων τιμών χαρακτηριστικών • π.χ. Μηδενική τιμή σε ένα χαρακτηριστικό που αφορά το βάρος προϊόντος • Εξομάλυνση δεδομένων • π.χ. περιορισμός του αριθμού των τιμών ενός αριθμητικού χαρακτηριστικού

8. Προβλήματα σχεσιακών Βάσεων Δεδομένωνενός OLTP • Τα δεδομένα μπορεί να είναι ετερογενή και να παρουσιάζουν συνωνυμίες ή αμφισημίες • Π.χ., πελάτης καταχωρημένος με διαφορετικά στοιχεία στη βάσης του τμήματος πωλήσεων από ότι στη βάση του τμήματος μάρκετινγκ.

9. Εννοιολογικήεναρμόνιση Source 1: Personnel (Cobol) EMP INCOME Source 2: Accounting (DB2) EMP Income Lookup

10. Αποκανονικοποίηση - Denormalization EMP INCOME Income Lookup EMP DW DW.EMP ?

11. Καθαρισμός των δεδομένων –Ομογενοποίηση κλειδιών DW.R R1 + + R2 Lookup

12. Προβλήματα σχεσιακών Βάσεων Δεδομένων ενός OLTP • Λόγω διαδικασιών ενημέρωσης, εισαγωγής, διαγραφής διατηρούν δεδομένα μόνο για την τρέχουσα κατάσταση. • Π.χ., στη βάση του τμήματος προμηθειών διατηρούνται μόνο όσοι προμηθευτές συνεργάζονται αυτή τη στιγμή ενώ μπορεί να χρειασθούν δεδομένα και για προμηθευτές που συνεργαζόταν στο παρελθόν προκειμένου να συγκριθούν οι τιμές τους • Η ανάλυση των δεδομένων δεν είναι εύκολο να επιτευχθεί με εργαλεία όπως η γλώσσα SQL. • Προκύπτουν περίπλοκα ερωτήματα SQL τα οποία δεν είναι εύκολο να συνταχθούν.

13. Προβλήματα σχεσιακών Βάσεων Δεδομένων ενός OLTP • Σε φυσικό επίπεδο οργάνωσης (π.χ. δενδρικές μέθοδοι προσπέλασης) δεν είναι σχεδιασμένα για να ανταποκρίνονται στις απαιτήσεις περίπλοκων ερωτημάτων. • Τα δεδομένα οργανώνονται με Διάγραμμα Οντοτήτων-Συσχετίσεων (ΔΟΣ) και αρχών όπως η κανονικοποίηση, που παράγουν περίπλοκες βάσεις στο νοητικό επίπεδο

14. On-Line Αnalytical Processing (OLAP & OLAM) • Aνάλυσημεγάλου όγκουσύνθετων δεδομένων από διαφορετικές εφαρμογές • Ειδικού τύπου ερωτήματα συνάθροισης • Οπτικοποίηση/στατιστική ανάλυση/πολυδιάστατη ανάλυση • Εξόρυξη Γνώσης (Knowledge Discovery/DataMining) • Εξεύρεση προτύπων σε τεράστιες βάσεις δεδομένων • OLAP + DataMining => On-LineAnalyticalMining

15. Παραδείγματα ερωτήσεων OLAP • Ποιος ήταν ο όγκος πωλήσεων ανά περιοχή και κατηγορία προϊόντος την περασμένη χρονιά; • Πόσο σχετίζονται οι αυξήσεις τιμών των υπολογιστών με τα κέρδη των πωλήσεων τα 10 τελευταία χρόνια; • Ποια ήταν τα δέκα πρώτα καταστήματα σε πωλήσεις CD; • Τι ποσοστό από τους πελάτες που αγοράζουν αναψυκτικά αγοράζουν και πατατάκια;

16. Λειτουργικά Χαρακτηριστικά Απαιτήσεων OLAP • Πρόσβαση σε μεγάλο όγκο δεδομένων • Συμμετοχή αθροιστικών και ιστορικών δεδομένων σε πολύπλοκες ερωτήσεις • Μεταβολή της «οπτικής γωνίας» παρουσίασης των δεδομένων (π.χ., από πωλήσεις ανά περιοχή -> πωλήσεις ανά τμήμα κλπ.) • Συμμετοχή πολύπλοκων υπολογισμών (π.χ. στατιστικές συναρτήσεις) • Γρήγορη απάντησησε οποιαδήποτε χρονική στιγμή τεθεί ένα ερώτημα (“On-Line”).

17. OLTP vs. OLAP OLTP OLAP Λειτουργίες Αυτοματισμός Χάραξη καθημερινών στρατηγικής εργασιών Τύπος Δεδομένων Λεπτομερή Αθροιστικά Όγκος Δεδομένων ~ 100 GB ~ 1 TB Φύση ΔεδομένωνΔυναμικά Στατικά,Iστορικά

18. OLTP vs. OLAP OLTP OLAP I/O ΤύποιΠεριορισμένο I/O Εκτεταμένο I/O Τροποποιήσεις Συνεχείς Περιοδικές Ενημερώσεις Φόρτος Δοσοληψίες με Ερωτήσεις που πρόσβαση λίγων σαρώνουν εγγραφών εκατομμύρια εγγραφών Σχεδίαση ΒΔ Κατευθυνόμενη Κατευθυνόμενη από Εφαρμογή από Περιεχόμενο

19. OLTP vs. OLAP OLTP OLAP Τυπικοί ΧρήστεςΧαμηλόβαθμοι Υπ. Υψηλόβαθμοι Υπ. Χρήση Μέσω Ad-hoc προκατασκευασμένων φορμών Αριθμός Χρηστών Χιλιάδες Δεκάδες Εστίαση Εισαγωγή Εξαγωγή Δεδομένων Πληροφοριών

20. Αποθήκες δεδομένων • Η τεχνολογία των αποθηκών δεδομένων προσφέρει • ολοκλήρωση ετερογενών πηγών δεδομένων και • πλατφόρμα για αποδοτική ανάλυση ιστορικών δεδομένων • Μία αποθήκη δεδομένων αποτελεί μία συλλογή δεδομένων που • επιλέγονται από τις Επιχειρησιακές Βάσεις Δεδομένων, • Ολοκληρώνονται (integrated), • τα δεδομένα αναλύονται με διαδικασίες όπως η On-line Analytical Processing (OLAP) ή η εξόρυξη δεδομένων.

21. Αποθήκες δεδομένων • Μια κεντρικοποιημένη ΒΔ με σκοπό: • την ολοκλήρωση (integration) ετερογενών πηγών πληροφοριών (data sources) => συνάθροιση όλης της ενδιαφέρουσας πληροφορίας σε μία τοποθεσία • την αποφυγή της σύγκρουσης μεταξύ OLTP και OLAP (DSS) συστημάτων => απόδοση εφαρμογών και διαθεσιμότητα του συστήματος • Μπορεί να συμπληρώνεται και από εξειδικευμένα θεματικά υποσύνολα (Data Marts) για περαιτέρω απόδοση των OLAP εφαρμογών

22. Αποθήκες δεδομένων – Λειτουργικά Χαρακτηριστικά • Ιστορικά Δεδομένα • Ο χρονικός ορίζοντας μια αποθήκης δεδομένων είναι πολύ μεγαλύτερος από ότι ενός συστήματος σε λειτουργία • Η ΒΔ έχει τα τωρινά δεδομένα ενώ οι αποθήκες διατηρούν και παλιά δεδομένα (πχ τα προηγούμενα 5-10 χρόνια) • Τροποποιήσεις • Οι τροποποιήσεις στις πηγές δεδομένων δεν φαίνονται άμεσα στις αποθήκες δεδομένων, συνήθως περιοδικά • Μόνο δύο βασικές λειτουργίες: αρχικό φόρτωμα των δεδομένων (loading) και προσπέλαση δεδομένων (access)

23. Επιτυχία αποθηκών δεδομένων(1/2) • Πρώτες προσπάθειες στα μέσα της δεκαετίας του 1990, οπότε οι αποθήκες δεδομένων εξελίχθηκαν σε αγορά της τάξης των 2 δις $. • Στα τέλη της δεκαετίας του 1990, το 95% των 1000 επιχειρήσεων του Fortune ανέπτυσσαν αποθήκες δεδομένων, οπότε η αγορά των αποθηκών δεδομένων ανήρθε οικονομικάτης τάξης των 7 δις $. • Εκτιμήθηκε ότι σε 3 χρόνια από την ανάπτυξη μίας αποθήκης δεδομένων, η απόσβεση γίνεται σε ποσοστό 400%.

24. Επιτυχία αποθηκών δεδομένων (2/2) • Επιτυχημένη περίπτωση εφαρμογής: • αλυσίδα υπεραγορών Walmart, με 2000 υποκαταστήματα. • βοήθησε την Walmart να βελτιστοποιήσει τις διαδικασίες προμήθειας προϊόντων και να μειώσει το κόστος αγοράς τους κατά 20%. • ο όγκος των δεδομένων στην αποθήκη δεδομένων της Walmart ανέρχεται στα 24 ΤΒ, σε ένα σύστημα 96 κόμβων με 900 επεξεργαστές και 2700 δίσκους.

25. Αποθήκες δεδομένων – Βασικές Λειτουργίες

26. Αρχιτεκτονική αποθηκών δεδομένων

27. ΜετασχηματισμόςΔεδομένων Κανονικοποίηση Δεδομένων Μετατροπή τύπων δεδομένων Επιλογή χαρακτηριστικών και στιγμιοτύπων

28. Κανονικοποίηση Δεδομένων Δεκαδική κλιμάκωση Κανονικοποίηση Ελαχίστου-Μεγίστου Κανονικοποίηση με χρήση τιμών Z-scores

29. Μοντέλο Πολυδιάστατων Δεδομένων (Κύβος) και Λειτουργίες που εκτελούνται σε αυτό

30. Ορισμός κύβου δεδομένων Μια αποθήκη δεδομένων βασίζεται σε ένα πολυδιάστατο μοντέλο δεδομένων (multidimensional data model)που αναπαριστά τα δεδομένα με τη μορφή ενός κύβου δεδομένων (data cube) Ένας κύβοςδεδομένων (data cube) επιτρέπει την μοντελοποίηση και την θεώρηση των δεδομένων από πολλές οπτικές γωνίες – Διαστάσεις (dimensions) Για συγκεκριμένες τιμές στις διαστάσεις μια Μέτρηση (Measure) αφορά αυτό που μας ενδιαφέρει να μετρήσουμε ΚύβοςΠΩΛΗΣΕΙΣ Location Item Time Διαστάσεις Μέτρηση: Αριθμός Πωλήσεων για τις συγκεκριμένες διαστάσεις (Location, Item, Time)

31. Ιεραρχίες Διαστάσεων Κάθε διάσταση παίρνει τιμές από διαφορετικά επίπεδα, μπορεί να εκφραστεί σε διαφορετικά επίπεδα λεπτομέρειας Κύβος ΠΩΛΗΣΕΙΣ Location Διαστάσεις: Product, Region, DateΙεραρχίες διαστάσεων: Country Year Industry Item Category Region Quarter City Week Product Month Time Μέτρηση: Αριθμός Πωλήσεων για τις συγκεκριμένες διαστάσεις (Location, Item, Time) Day Store

32. Παράδειγμα: Εννοιολογική ιεραρχία (Concept Hierarchy) για Location all all Europe ... North_America region Germany ... Spain Canada ... Mexico country Vancouver ... city Frankfurt ... Toronto L. Chan ... M. Wind office

33. Μοντέλο Δεδομένων Σχήματος Αστέρα • Σχήμα Αστέρι (Star schema) • Πίνακας γεγονότων στο κέντρο που συνδέεται με ένα σύνολο από πίνακες διαστάσεων • Πίνακας γεγονότων (Fact Table)έχει ως γνωρίσματα: • τις μετρήσεις (πχ αριθμός πωλήσεων, τιμή σε δολάρια, κλπ) • το πρωτεύον κλειδί κάθε σχετικού πίνακα διαστάσεων • Πίνακες Διαστάσεων • Πίνακας με πληροφορία σχετικά με κάθε διάσταση • Ιtem (item_name, brand, type), • Τime(day, week, month, quarter, year)

34. Παράδειγμα Σχήματος Αστεριού item time item_key item_name brand type supplier_type time_key day day_of_the_week month quarter year location branch location_key street city state_or_province country branch_key branch_name branch_type Πίνακας Γεγονότων ΠΩΛΗΣΕΙΣ time_key item_key branch_key location_key units_sold dollars_sold avg_sales Μετρήσεις 4 διαστάσεις (time, item, location, branch)

35. Μοντέλο Δεδομένων Σχήματος Χιονονιφάδας (Snowflake schema) • Είναι μια βελτίωση του σχήματος αστέρα σύμφωνα με την οποία η ιεραρχία διαστάσεων των πινάκων διάστασης κανονικοποιείται σε ένα σύνολο από μικρότερους πίνακες διαστάσεων

36. Παράδειγμα Σχήματος Χιονονιφάδας time time_key day day_of_the_week month quarter year location city city_key city state_or_province country location_key street city_key item Πίνακας Γεγονότων ΠΩΛΗΣΕΙΣ supplier item_key item_name brand type supplier_key supplier_key supplier_type time_key item_key branch_key branch location_key branch_key branch_name branch_type units_sold dollars_sold avg_sales Μετρήσεις

37. Μοντέλο Δεδομένων - Αστερισμοί Γεγονότων (Fact constellations) • Βασίζεται σε Πολλαπλούς Πίνακες Γεγονότων που μοιράζονται τους Πίνακες Διαστάσεων. • Μπορούμε να τους δούμε ως συλλογή από αστέρια ή γαλαξίες

38. Παράδειγμα Σχήματος Αστερισμών Γεγονότων item time item_key item_name brand type supplier_type time_key day day_of_the_week month quarter year location location_key street city province_or_state country shipper branch shipper_key shipper_name location_key shipper_type branch_key branch_name branch_type Πίνακας Γεγονότων ΑΠΟΣΤΟΛΗ Πίνακας Γεγονότων ΠΩΛΗΣΕΙΣ time_key item_key time_key shipper_key item_key from_location branch_key to_location location_key dollars_cost units_sold units_shipped dollars_sold avg_sales Μετρήσεις

39. Κύβος Δεδομένων - Ορολογία Συχνά ο n-Dκύβος λέγεται βασικός κυβοειδής (base cuboid). Περιέχει τον μεγαλύτερο βαθμός λεπτομέρειας. π.χ. Για κύβο με τέσσερεις διαστάσεις (Item, Time, Branch, Location) έχουμε 4-D βασικό κυβοειδή O 0-D cuboid περιέχει τη μεγαλύτερο επίπεδο περίληψης (apex cuboid). Το πλέγμα όλων των κυβοειδών ονομάζεται κύβος δεδομένων.

40. Πλέγμα Κυβοειδών – Κύβος δεδομένων all 0-D(apex) cuboid time item location supplier 1-D cuboids time, item time , location item, location location, supplier 2-D cuboids time, supplier item, supplier time,location,supplier 3-D cuboids time,item,location time,item,supplier item,location,supplier 4-D(base) cuboid time, item, location, supplier

41. OLAP και συνάθροιση • Για την εφαρμογή OLAP πράξεων απαιτείται ο ορισμός του τρόπου παραγωγής των κύβων-αποτελεσμάτων, μέσω μίας συναθροιστικής συνάρτησης • Οι βασικές συναθροιστικές συναρτήσεις είναι • αθροίσματος (sum), • πλήθους (count), • μέσου όρου (avg), • μεγίστου (max), και • ελαχίστου (min).

42. Μετρήσεις - Συναθροίσεις • Εκτός από τις λεπτομερείς πληροφορίες των fact tables, μπορεί να υπολογίσουμε και συναθροίσεις των δεδομένων για καλύτερους χρόνους απόκρισης. • Για παράδειγμα, αν ο fact table είναι SALES(GeographyCode, ProductCode, TimeCode, BrandCode, Amount, Unit) μπορούμε να υπολογίσουμε • AVG(amount) ανά Region, Product, Quarter • SUM(amount) ανά City • MAX(units) ανά Brand,Month, με Region = Europe

43. Παράδειγμα Συναθροίσεων (1/2) Total annual sales of TV in U.S.A. Date 2Qtr 1Qtr sum 3Qtr 4Qtr TV Product U.S.A PC VCR sum Canada Country Mexico Total annual sales of TV in All countries Total annual sales of all Devises in All countries

44. Παράδειγμα Συναθροίσεωνσε πίνακα γεγονότων (2/2) Εκτεταμένος πίνακας πωλήσεων: Ενσωμάτωση των αθροιστικών εγγραφών στον βασικό fact table + μια επιπλέον στήλη που να εξηγεί το επίπεδο συνάθροισης Χωριστός πίνακας/όψηαθροισμάτων Sales table sum Extended Sales table City-dimension sum table

45. Βασικές Αλγεβρικές Πράξεις • Συναθροιστική Άνοδος (Roll up): συνάθροιση της πληροφορίας = μετάβαση από χαμηλότερο σε υψηλότερο επίπεδο ιεραρχίας (π.χ. από day σε month) • Αναλυτική Κάθοδος (Drill down): το αντίστροφο του Roll up (π.χ month σε day) • Οριζόντιος Τεμαχισμός (Slice): πράξη της επιλογής εγγραφών (where) από μία διάσταση. • Κάθετος Τεμαχισμός (Dice): πράξη της επιλογής από περισσότερες διαστάσεις. • Περιστροφή (Pivot): αναδιάταξη τηςπροβολής του πολυδιάστατου κύβου στην οθόνη

46. Πράξη Συναθροιστικής ανόδου Roll-up Country Year Industry Category Region Quarter Product City Month Week Store Day • Η συναθροιστική άνοδος περιλαμβάνει τον υπολογισμό μίας συνολικής τιμής για μία θέση στην ιεραρχία μίας διάστασης δεδομένων. • Για παράδειγμα, με ένα roll-up, οι πωλήσεις σε επίπεδο τοπικών μαγαζιών (Store) παράγουν τις συνολικές πωλήσεις σε επίπεδο πόλης (City) και αυτές με τη σειρά τους με ένα ακόμα roll-up παράγουν τις πωλήσεις σε επίπεδο περιοχής (Region).

47. Παράδειγμα Πράξης Roll-up Country Year Industry Category Region Quarter Product City Month Week Store Sales volume Day Products Store1 Store2 Sales volume $5,2$1,9$2,3$1,1 ElectronicsToysClothingCosmetics $5,6$1,4$2,6$1,1 Products Store1 Store2 Q1 $14,1$2,65$6,9$2,6 ElectronicsToysClothingCosmetics $12,8$1,8$7,2$1,6 Year 1996 $8,9$0,75$4,6$1,5 ElectronicsToysClothingCosmetics $7,2$0,4$4,6$0,5 Q2 Χρόνος: Επίπεδο Quarter Χρόνος: Επίπεδο Year SUM(Sales volumes in dollars)

48. Πράξη Αναλυτικής καθόδου Drill-Down Country Year Industry Category Region Quarter Product City Month Week Store Day • Ο χρήστης περνά από ένα ανώτερο επίπεδο μίας διάστασης που έχει συγκεντρωτικά δεδομένα σε ένα χαμηλότερο επίπεδο με πιο λεπτομερή δεδομένα. Πρόκειται για την αντίστροφη πράξη του roll-up. • Για παράδειγμα, κατά το drill down, ξεκινάμε από τις πωλήσεις ανά περιοχή(Region) και παίρνουμε τις αναλυτικές πωλήσεις ανά πόλη (City) και μετά τις πωλήσεις ανά κατάστημα (Store).

49. Παράδειγμα Πράξης Drill-Down Country Year Industry Category Region Quarter Product City Sales volume Month Week Store Sales volume Day Electronics Store1 Store2 $1,4$0,6$2,0$1,2 VCRCamcorderTVCD player $1,4$0,6$2,4$1,2 Products Store1 Store2 Q1 $5,2$1,9$2,3$1,1 ElectronicsToysClothingCosmetics $5,6$1,4$2,6$1,1 Q1 $2,4$3,3$2,2$1,0 VCRCamcorderTVCD player $2,4$1,3$2,5$1,0 Q2 $8,9$0,75$4,6$1,5 ElectronicsToysClothingCosmetics $7,2$0,4$4,6$0,5 Q2 Item: Επίπεδο Industry Item: Επίπεδο Category

50. ΠράξηΠεριστροφής (Pivot) • Εναλλαγή των γραμμών και των στηλών του κύβου, όπως αυτός παρουσιάζεται στην οθόνη • Δεν απαιτείται κανένας νέος υπολογισμός στη ΑΔ