1 / 15

Analiza dyskryminacji

Analiza dyskryminacji. Analiza dyskryminacji. Zbiór metod mających na celu jak najlepsze (w zdefiniowanym sensie) opisanie różnic pomiędzy klasami (populacjami). Zagadnienia analizy dyskryminacyjnej obejmują m.in.: Klasyfikację pod nadzorem np. chaid Analizę skupień.

Download Presentation

Analiza dyskryminacji

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Analiza dyskryminacji

  2. Analiza dyskryminacji • Zbiór metod mających na celu jak najlepsze (w zdefiniowanym sensie) opisanie różnic pomiędzy klasami (populacjami). • Zagadnienia analizy dyskryminacyjnej obejmują m.in.: • Klasyfikację pod nadzorem np. chaid • Analizę skupień

  3. LinearDiscriminant Analysis (LDA) • Metoda zaproponowana przez R.A. Fischera w 1936 r., rozwinięta przez R.C. Rao w 1948 r. • W wersji oryginalnej: • Założenie, że X jest macierzą obserwacji z p-wymiarowej przestrzeni euklidesowej (faktyczne pole zastosowań znacznie szersze); • Zmienna objaśniana: klasa przynależności obserwacji (jedna z dwóch – bo fisher założył że mamy tylko 2 ale może być więcej); • Celem reguła decyzyjna oparta na funkcji liniowej.

  4. LDA Fischera (przypadek dwóch klas) • Zadanie Fishera sprowadza się do znalezienia takiego kierunku a w przestrzeni X, który najlepiej rozdziela dwie klasy. • Konstrukcja LDA opiera się na informacji o wskaźnikach położenia i rozproszenia dla obserwacji z dwóch klas: • Estymatora wartości oczekiwanej E(X|g=i); - położenia • Estymatora macierzy kowariancji Cov(X|g=i) - rozproszenia.

  5. LDA Fischera (przypadek dwóch klas) • Estymator wartości oczekiwanej X , k = 1, 2. • Estymator macierzy kowariancji dla każdej klasy

  6. LDA Fischera (przypadek dwóch klas) • Ponieważ w ogólności mamy: • Próbkową miarą zmienności wewnątrzgrupowej wzdłuż kierunku a jest:

  7. LDA Fischera (przypadek dwóch klas) • - jeż

  8. LDA Fischera (przypadek dwóch klas) • Rozwiązanie: • a* - pierwszy wektor kanoniczny • a*Tx – pierwsza zmienna kanoniczna odpowiadająca wektorowi X.

  9. LDA Fischera (przypadek dwóch klas)

  10. Uogólnienie na przypadek g klas • Problem: , gdzie:

  11. Uogólnienie na przypadek g klas • B – macierz wariancji międzygrupowej • W – macierz wariancji wewnątrzgrupowej • Można pokazać, że: • Gdzie:

  12. Uogólnienie na przypadek g klas • Rozwiązanie: a* (wektor maksymalizujący wariancję międzygrupową) jest wektorem własnym macierzy W-1B, odpowiadającym największej wartości własnej tej macierzy. • W praktyce problem rozwiązuje się poprzez rozwiązanie problemów dla dwóch klas.

  13. Uogólnienie na przypadek g klas

  14. Uogólnienie na przypadek g klas • Związki pomiędzy LDA a analizą kanoniczną. • Uchylenie założenia o jednakowych macierzach kowariancji. • UWAGA: metoda została opracowana dla zmiennych mierzonych na skali interwałowej (dla których sensowna jest metryka euklidesowa), ale sprawdza się również dla zmiennych o charakterze porządkowym czy nominalnym.

  15. Literatura • Fisher R.A., „The Use of Multiple Measurements in Taxonomic Problems”, Annals of Eugenics, 7 (2): 179-188. • Rao R.C., „The utilization of multiple measurements in problems of biological classification”, Journalof the Royal Statistical Society, Series B10 (2): 159–203. • Koronacki J., Ćwik J., Statystyczne systemy uczące się, Wydawnictwo Naukowo Techniczne, Warszawa 2005. • Hastie T., R.Tibshirani, J.Friedman, The Elements of Statistical Learning. Springer (zwłaszcza rozdz. 4) → poszukać wersji elektronicznej pdf • M.Krzyśko, W.Wołyński, T.Górecki,M.Skorzybut: Systemy uczące się. + wcześniejsze prace M.Krzyśko o analizie dyskryminacyjnej • McLachlan, G. J. (2004). Discriminant Analysis and Statistical PatternRecognition. Wiley. • Duda, R. O.; Hart, P. E.; Stork, D. H. (2000). PatternClassification (2nd ed.). Wiley

More Related