ID3 vs. Apriori

1. ID3 vs. Apriori Christian Schulz, Marc Thielbeer, Sebastian Boldt

2. Inhaltsverzeichnis • Klassifikation ( ID3 ) • Assoziationsanalyse ( Apriori ) • Klassifikationanhand von Assoziationsregeln • Realisierung in KNIME • Probleme • Auswertung der Ergebnisse • Zusammenfassung & Ausblick

3. Klassifikation • Zuordnung von ObjektenmitgemeinsamenEigenschaftenzuGruppen/Klassen • ImGegensatzzum Clustering  Klassenbereitsbekannt • Erstellen von Klassifikationsregeln (z.B “guterKunde” wenn Alter > 20 und …) • Verwendung von Stichproben (Trainigsdaten) Trainingsdaten Klassifikator If object.rank <= 1 && object.age <= 20 { object.skill = “High” }

4. ID3-Algorithmus • Algorithmus der zurEntscheidungsfindungdient • Generierung von Entscheidungsbäumen • Iterative Basisstruktur • FürjedesnichtbenutztesAttributwerdenEntropienbezüglich der Traningsmengeberechnet • AusAttributmithöchstenInformationsgehaltwirdBaumknotengeneriert • Das VerfahrenterminiertwennalleTraningsmengenklassifiziertwordensind

5. Assoziationsanalyse • AssoziationsregelnbeschreibenKorrelationenzwischengemeinsamauftretendenDingen • Zweck : Auffinden von ElementeneinerMenge die das AuffindenandererElementeimplizieren • Beispielregel(Warenkorbanalyse): Kunden die Brotkaufen, werdenmiteinerWahrscheinlichkeit von 60 % auchMilchkaufen • Support & KonfidenzspielenwichtieRolle

6. Apriori-Algorithmus • IterativesVerfahrenzurErzeugung von Assoziationsregeln • Funktionsweise: • Übergabe von: Datensätzen, min. Support, min. Konfidenz • Bestimmung von Frequent Itemsetsderen relative Häufigkeit min. Support übersteigt • Bildung von Assoziationsregeln aus Itemsets die min. Konfidenz erfüllen

7. Klassifikationanhand von Assoziationsregeln • Assoziationsregelnfür die Klassifikationnutzen • Aufstellen der Assoziationsregeln (AprioriAlgorithmus) • Klassifikation des DatensatzesanhanddieserRegeln Trainingsdaten Assoziationsregeln If object.rank <= 1 && object.age <= 20 { object.skill = “High” }

8. Realisierung in Knime • NutzungbestehenderBausteine (ID3 , Apriori , Decision Tree ) • Vergleich von unterscheidlichenDatensätzen • Datenvorverarbeitungmittelsbestimmter Module • Aufteilung von Daten in Trainings und Test-Daten • Ausgabe der Ergebnisse

9. Apriori in Knime • Auslesen der Datenüber File Reader • Aufteilung der kontinuierlichenGrößen in diskreteWertemit Numeric Binner • Partionierung der Daten in Test und Trainingsdaten

10. Apriori in Knime • ManuellesFiltern der RelevantenRegeln • Eintragen in die Rule Engine

11. Apriori in Knime • WennZielattributkeinboolscher Wert -> One2Many Element notwendig • AufteilungjedesmöglichenWertes in einzelneSpaltenmitboolschemWert

12. ID3 & Decision Tree Knime • Einlesen der Datenüber File-Reader • Aufteilung in Intervallemittels Numeric Binner • Partionierung der Datensätze und Training und Testdaten • Vorhersagemittels Predictor

13. Vergleich der Genauigkeiten • Vergleich von 4 Datensätzen • BeiKlassenanzahl = 1 keinegravierendenUnterscheide • BeihöhererKlassenanzahlbessereKlassifizierungmittelsApriori • BeigroßenDatensätzenzuhoherAufwand

14. Probleme • KNIME-Module bietennicht die nötigenEin & Ausgänge • Abbildung von numerischenDaten auf Intervalle • AbbildungdieserIntervalle auf boolscheWerte • MitAnzahl der Klassensteigt der Konfigurationsaufwand in KNIME • A-Priori imGegensatzzum ID3 unterKnimedeshalbsehraufwändig

15. Zusammenfassung & Ausblick • Zielstellung : AprioriRegelnfür die Klassififkation von Datenbessergeeignetals ID3 ? • Knime Module erweitern • FürGroßeDatensätzeaufgrund des manuellenZwischenschrittes in Knimemomentannochungeeignet • VergleichbareErgebnisse der unterscheidlichenAnsätze • BeihöhererAnzahl von KlassenbessereKlassifizierung