1 / 15

“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229,

“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, . Introduksjon til PCA fra statistiker-perspektiv Populasjons- og sample-basert Diagonalisering av kovariansmatrise Maksimering av varians, proporsjoner Sentrering (projeksjon)

chenoa
Download Presentation

“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229,

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. “Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, • Introduksjon til PCA fra statistiker-perspektiv • Populasjons- og sample-basert • Diagonalisering av kovariansmatrise • Maksimering av varians, proporsjoner • Sentrering (projeksjon) • Komponentreduksjon • Grafisk representasjon • PCA-modell • Variabel-transformasjon til ukorrelerte variable • Scores + Loading plots • Tolkning • Vise sentrering = projeksjon som fjerner 1-er kolonnen.

  2. “Correspondence Analysis”,Mardia, Kent & Bibby, pp. 237-239 • Introduksjon til korrespondanse-analyse • Tolkning av ”contigency”-tabeller • Mange likeheter med PCA • Egenvektorer av bestemte matriser • Mye brukt innen samfunnsforskning, men også innen nettverk • Forklare modell – egenvektorer ”av hva”? • Forklare metode, problemer med egenverdier. • Vise et eksempel

  3. ”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman, Chapter 3, pp. 41-73 • Lineære regresjonsmetoder • Formulert i statistiker-språk, E(Y|X) • Minste kvadraters metode • Variansestimering, testing • Gauss-Markov Teoremet • Flere inputs, flere outputs • Krymping, ridge regresjon, PLS, PCR • Variabel-seleksjon • OLS-modell + problemer med denne (stor varians) • Tradeoff: Varians vs. Bias • Forklare hvordan og hvorfor ridge virker (krymping av egenverdier) på SVD-form

  4. ”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman Chapter 14.6, pp. 494-502 • Introduksjon til ICA og Projection Pursuit • Latente variabler og faktoranalyse • Cocktail-party problemet • Litt om informasjonsteori • Multidimensjonal skalering (sensorikk, psykometri) • Viktige forskjeller: Cocktail-party vs. ICA • ”Ikke-gaussiskhet = uavhengighet” vha. Sentral-grense-teoremt • Entropi, Neg-entropi

  5. ”Survey on Independent Component Analysis”, Technical Report, Aapo Hyvärinen, 1999. (35 sider) • Lineære transformasjoner • PCA – ukorrelerte retninger • Høyere ordens metoder, uavhengighet • Informasjonsteori, negentropi • Blind dekonvulsjon • Betingelser for at ICA lykkes • Koblinger til andre metoder (PP) • Objektiv-funksjoner, ICA-algoritmer • ICA-modellen • FastICA • Metode-oversikt/relasjoner

  6. “Correspondence Analysis for Visualizing Interplay of Pitch Class, Key, and Composer”, H. Purwins, T. Graepel, B. Blankertz, K. Obermayer • Vise sammenhengen mellom musiske paratmerte vha. korrespondans-analyse • Biplots (score-plots) • Link til multidimensjonal skalering • Link til en kognitiv modell • Beethoven, Mozart, Haydn, Brahms

  7. ”Generalizing the Singular Value Decomposition”, Charles. F. Van. Loan, SIAM. J. Numer. Anal., Vol. 13, No. 1, March 1976, pp. 76-83, • Stasjonære verdier, determinanter • To generaliseringer av SVD • Diagonalisering av to matriser • Bruker flere typer matrise-faktoriseringer • Anvendelser: • Damped Least Squares • Weighted Least Squares • Sette opp modeller for diagonalisering av to matriser • Foreta variabel-transformasjon for å få to LSQ-problemer på diagonal form samtidig • ”Outline of proof” • Vise anvendelser

  8. “On the Early History of the Singular Value Decomposition”, G. W. Stewart, SIAM Review 35 (1993), pp.551-566 • Bidrag fra 5 matematikere • Eugenio Beltrami (1835-1899) • Camille Jordan (1838-1921) • James Joseph Sylvester (1814-1897) • Erhard Schmidt (1876-1959) • Hermann Weyll (1885-1955) • Omhandler deres ansvar for å etablere eksistens av SVD og teori rundt denne. • Oversikt over utgangspunkt + mål for de forskjellige forfatterne • Vise svakheter og styrker ved angrepsmåtene

  9. “Orthogonal Procrustes Rotation for Two or More Matrices”, J.M.F. Ten Berge, Psykometrika, Vol 42. No, 2, June 1977, pp. 267-276 • Optimal rotasjon for å matche to eller flere punktmengder • Psykologi/psykometri • Trase-maksimering vha. Eckart-Young dekomposisjon (=SVD) • Faglig diskurs med Gower • Må kunne bevis for optimal rotasjon i LSQ-forstand • Anvendelser • Isotrop skalering

  10. “The Isotropic Scaling Problem in Generalized Procrustus Analysis”, Ten Berge, J.M.F., and P.A. Bekker 1993, Computational Statistics and Data Analysis 16, pp. 201-204. • Mer krangling med Gower • Viser at Gowers løsning er OK under visse betingelser • ”Closed-form solution” (Gower itererer) • Vektorisering av matriser (”stacking”) • Sette opp problem som ”stacked matrices” • Argumentere for at dette kan løses som et egenverdi-problem

  11. “Perturbation Theory for the Singular Value Decomposition”, G.W. Stewart, in SVD and Signal Processing, II, Algorithms, Analysis and Applications, 1991, pp. 99-109 • SVD: Gir beste lav-rangs-approksimasjon til en matrise • SVD kan skifte raskt (sensitiv) • Likevel: Stabil i en ”underroms-forstand” • Singulære underrom • Kanoniske vinkler mellom underrom • Wedins teorem • Hovedresultater • Lav-rangs-approksimasjon • Stabilitet: ikke pr. vektor, men pr. underrom • Vinkelmål mellom underrom (vinkler)

  12. Constrained Least Squares” Chapter, 12 in “Matrix Computations” , G.H. Golub and C.F. Van Loan, 3rd Edition, 1996, pp.580-587 • Løsning over en delmengde av alle x • Kvadratisk ulikhet (LSQI) • Gjør bruk av GSVD • Lagrange-multiplikatorer • Underromsløsninger • Vektings-metode • Sette opp diagonalisering + Lagrange-problem • Argumentere for unik løsning i visse tilfeller • Null-rom • Underromsmetoder

  13. “Selection of Variables to Preserve Multivariate Data Structure, Using Principal Components”, W.J. Krzanowski, Applied Statistics, Vol. 36, No. 1 (1987), 22-33 • Variabel-seleksjon som bevarer samspill mellom variable • Fjerner variable så lenge biplot er likt. • Bruker PCA + Procrustes-analyse • Kan tenkes utvidet til PLS og ICA? • Vise de tre komponentene, PCA, Procrustes, Backwards selection + hvordan de henger sammen

More Related