1 / 26

B. Μεγαλοοικονόμου, Χ. Μακρής

ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΗΧ/ΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ. Εξόρυξη Δεδομένων και Αλγόριθμοι Μάθησης. Δέντρα Απόφασης. B. Μεγαλοοικονόμου, Χ. Μακρής. ( εν μέρη βασισμένο σ ε σημειώσεις του C . Faloutsos ). Περισσότερες Λεπτομέρειες … Δένδρα Απόφασης. Δέντρα Απόφασης Πρόβλημα Προσέγγιση

flint
Download Presentation

B. Μεγαλοοικονόμου, Χ. Μακρής

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΗΧ/ΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ Εξόρυξη Δεδομένωνκαι Αλγόριθμοι Μάθησης Δέντρα Απόφασης B. Μεγαλοοικονόμου, Χ. Μακρής (εν μέρη βασισμένο σεσημειώσεις του C. Faloutsos)

  2. Περισσότερες Λεπτομέρειες… Δένδρα Απόφασης • Δέντρα Απόφασης • Πρόβλημα • Προσέγγιση • Κατηγοριοποίηση μέσω δένδρων • Φάση Κατασκευής – Πολιτικές Διαχωρισμού • Φάση Κλάδευσης (για αποφυγή over-fitting)

  3. Δένδρα Απόφασης • Πρόβλημα:Κατηγοριοποίηση– δηλ., δεδομένου ενός συνόλου εκπαίδευσης(N πλειάδες, μεM χαρακτηριστικά, και ενόςεπιπλέον χαρακτηριστικού-κλάσης) βρες κανόνεςγια να προβλέψεις την κλάση νέων δειγμάτων Σχηματικά:

  4. Δένδρα Απόφασης ??

  5. Δένδρα Απόφασης • Θέματα: • Ελλειπείς τιμές • θόρυβος • ‘σπάνια’ γεγονότα

  6. Δένδρα Απόφασης • Τύποι χαρακτηριστικών: • Αριθμητικός (= συνεχής) – π.χ.: ‘μισθός’ • Διατακτικός (= ακέραιος) – π.χ.: ‘# τέκνων’ • Ονομαστικός (= κατηγορικός) – π.χ.: ‘μάρκα αυτοκινήτου’

  7. num. attr#2 (e.g., chol-level) - - + + + - + - + - + - + num. attr#1 (e.g., ‘age’) Δένδρα Απόφασης • Σχηματικά, έχουμε:

  8. Δένδρα Απόφασης • Και θέλουμε την κλάση του‘?’ ? num. attr#2 (e.g., chol-level) - - + + + - + - + - + - + num. attr#1 (e.g., ‘age’)

  9. Δένδρα Απόφασης • Άρα κατασκευάζουμε ένα δένδρο απόφασης: ? num. attr#2 (e.g., chol-level) - - + + + 40 - + - + - + - + 50 num. attr#1 (e.g., ‘age’)

  10. Δένδρα Απόφασης • Η κατασκευή του δένδρου απόφασης: age<50 N Y chol. <40 + Y N - ...

  11. Δένδρα Απόφασης • Συνήθως, δύο βήματα: • Κατασκευή δένδρου • Κλάδευση δένδρου (για αποφυγή over-training/over-fitting)

  12. num. attr#2 (e.g.,chol-level) - - + + + - + - + - + - + num. attr#1 (e.g., ‘age’) Κατασκευή Δένδρου • Πως;

  13. Κατασκευή Δένδρου • Πως; • Aπ.: Διαχωρισμός, αναδρομικά • Ψευδοκώδικας: Partition ( dataset S) if all points in S have same label then return evaluate splits along each attribute A pick best split, to divide S into S1 and S2 Partition(S1); Partition(S2) • Ερ. 1:πως διαχωρίζουμε το εύρος τιμών ενός χαρακτηριστικού Ai ? • Ερ. 2:πως αξιολογούμε τον διαχωρισμό?

  14. Κατασκευή Δένδρου • Ερ. 1:πως διαχωρίζουμε το εύρος τιμών ενός χαρακτηριστικού Ai ? • Aπ.: • Για αριθμητικάχαρακτηριστικά: • Δυαδικός διαχωρισμός, ή • Πολλαπλός διαχωρισμός • Για κατηγορικά χαρακτηριστικά : • Υπολογισμός όλων των υποσυνόλων (ακριβός!), ή • Χρήση μιας άπληστης (greedy) προσέγγισης

  15. Κατασκευή Δένδρου • Ερ. 2:Πως αξιολογούμε τον διαχωρισμό? • Aπ. : Από το πόσο κοντά στο κανονικό (uniform) είναι κάθε υποσύνολο - πχ., χρειαζόμαστε μια μετρική της ανομοιομορφίας:

  16. Κατασκευή Δένδρου Εντροπία: H(p+, p-) Υπάρχουν άλλες μετρικές; p+: σχετική συχνότητα της κλάσης+ στοS 1 0 0.5 0 1 p+

  17. 1 0 0.5 0 1 p+ Κατασκευή Δένδρου Εντροπία : H(p+, p-) Δείκτης ‘gini’ : 1-p+2 - p-2 p+: σχετική συχνότητα της κλάσης + στο S 1 0 0.5 0 1 p+

  18. Κατασκευή Δένδρου Διαισθητικά...: • Εντροπία: #bits για την κωδικοποίηση της ετικέτας κλάσης • gini: σφάλμα κατηγοριοποίησης, αν τυχαία μαντέψουμε‘+’ με πιθανότηταp+

  19. num. attr#2 (e.g., chol-level) - - + + + - + - + - + - + num. attr#1 (e.g., ‘age’) Κατασκευή Δένδρου Συνεπώς, επιλέγουμε το διαχωρισμό που μειώνει κατά το μέγιστο την εντροπία/σφάλμα-κατηγοριοποίησης: Π.χ.:

  20. Κατασκευή Δένδρου • Πριν τον διαχωρισμόχρειαζόμαστε: (n+ + n-) * H( p+, p-) = (7+6) * H(7/13, 6/13) bits συνολικά, για την κωδικοποίηση όλων των ετικετών κλάσης • Μετά τον διαχωρισμό χρειαζόμαστε: 0 bits για το πρώτο μισό και (2+6) * H(2/8, 6/8) bits για το δεύτερο μισό

  21. num. attr#2 (eg., chol-level) - - + + + - + - ... + - + - + num. attr#1 (eg., ‘age’) Κλάδευση Δένδρου • Για ποιο λόγο;

  22. num. attr#2 (eg., chol-level) - - + + + - + - ... + - + - + num. attr#1 (eg., ‘age’) Κλάδευση Δένδρου • Ερ.: Πως πραγματοποιείται;

  23. Κλάδευση Δένδρου • Ερ.: Πως πραγματοποιείται? • Aπ.1: χρήση ενός συνόλου ‘εκπαίδευσης’ και ενός συνόλου ‘ελέγχου’ – κλάδευση των κόμβων που βελτιώνουν την κατηγοριοποίηση στο σύνολο ‘εκπαίδευσης’. (Μειονεκτήματα;)

  24. Κλάδευση Δένδρου • Ερ.: Πως πραγματοποιείται? • Aπ.1: χρήση ενός συνόλου ‘εκπαίδευσης’ και ενός συνόλου ‘ελέγχου’ – κλάδευση των κόμβων που βελτιώνουν την κατηγοριοποίηση στο σύνολο ‘εκπαίδευσης’. (Μειονεκτήματα;) • Aπ.2: ή, βασιζόμαστε στονMDL (= Minimum Description Language) – πιο λεπτομερώς:

  25. Κλάδευση Δένδρου • Αντιμετωπίζουμε το πρόβλημα ως πρόβλημα συμπίεσης • ...και προσπαθούμε να ελαχιστοποιήσουμε το # των bits για τη συμπίεση (a) των ετικετών των κλάσεων ΚΑΙ (b) της αναπαράστασης του δένδρου απόφασης

  26. (MDL) • Μια εξαιρετική ιδέα– π.χ.: το βέλτιστο n-βαθμού πολυώνυμο για τη συμπίεση αυτών των σημείων: • Αυτό που ελαχιστοποιεί (σύνολο των σφαλμάτων+ n)

More Related