Scalar product of vectors

2. Multiplication of a vector by a scalar k Vector mx1 Linear combination of vectors Transposition of a vector Scalar product of vectors

3. The scalar product of a vector with itself Length of a vector , called also norm of a vector Sum of a vector entries Schwartz inequality

5. Kolumny macierzy A nazywamy liniowo zależnymi, gdy istnieją liczby x1, x2, ....,xn nie wszystkie równe 0, dla których: Vectors are told to be linearly independent if A necessary and sufficient condition for the set of vectors x1, x2, ... ,xmto be linearly independent is that c1x1 + c2x2 + ... + cmxm = 0 only when all the scalars ci are zero. Rank of a matrix as the number of linearly independent rows or columns. A quadratic form associated with a symmetric square matrix A is defined as the scalar A is called a positive definite matrix if and only if a) tr(k A) = k tr(A) where k is a real number b) tr(A+B) = tr(A) + tr(B) c) tr(AB) = tr (BA) • d) tr(A) = rank A if A is idempotent, i.e. (A+B The matrix A is positive definite if

6. All principal minors and the determinant of a matrix A are positive if A is positive definite. A very important property is that all positive definite matrices are non singular! • If A is positive definite (pos. semi def.) and B is non singular then B'AB is also positive definite (pos. semi def.). If there exists a square symmetric and positive definite matrix A then there always exists a non singular matrix P such that P'P = A. eigenvalue lambda and an eigenvectorx of the square matrix A ; x0 and x has length 1

7. Dane statystyczne w ujęciu macierzowym Macierz R współczynników korelacji liniowej między zmiennymi X1 oraz X2 składa się z iloczynów skalarnych odpowiadających im wektorów x1std oraz x2stdpomnożonych przez stałą (1/n-1)

9. Problem głównych składowych Znaleźć takie dwie liniowe kombinacje wektorów x1 oraz x2które tworzą zmienne C1 oraz C2 tak, aby C1 miała największa możliwie wariancję oraz była nieskorelowana liniowo z C2 ; U jest macierzą współczynników tych kombinacji

10. Rozwiązanie problemu głównych składowychSingular Value DecompositionSVD

11. wektor u oraz skalar  , dla których zachodzi równość nazwywają się wektorem własnym i wartością własną macierzy R Dla R o wymiarach 2x2 Wartości własne równanie charakterystyczne ma tyle rowiązań, ile wynosi rząd macierzy R Gdy znane są wartości własne R, można wyznaczyć wektory własne u1 i u2 z równań postaci: Macierz wartości własnych Niestety, istnieje ich wiele, trzeba założyć, że mają długość 1 Macierz wektorów własnych Każda nieosobliwa kwadratowa macierz ma tyle wartości własnych i tyle wektorów własnych , ile wynosi jej rząd

12. Własności wektorów i wartości własnych Każdą nieosobliwą macierz kwadratową daje się przedstawić jako iloczyn trzech macierzy; takie przedstawienie nazywa się rozkładem ze względu na wektory i wartości własne (SVD) • Wektory własne są względem siebie ortogonalne - ich iloczyny skalarne są równe 0 • Wartości własne sumują się do rozmiaru macierzy • Iloczyn wartości własnych kwadratowej macierzy R jest równy wyznacznikowi tej macierzy

13. Własności rozwiązania problemu głównych składowych Rozwiązanie problemu głównych składowych Wartość własna to wariancja głównej składowej Kolejne składowe mają coraz mniejszą wariancję Każda składowa „reprezentuje” jaką część sumy wariancji wskaźników Macierzy korelacji między wskaźnikami daje sie wyrazic jako suma macierzy korelacji wynikacjącyh z poszczególnych wymiarów czynnikowych

14. Przykład X1 X2

15. Rozkład SVD macierzy korelacji R dla 2 zmiennych

16. Wyznaczenie głównych składowych macierzy korelacji R

17. Rozkład macierzy korelacji R na sumę macierzy Macierzy korelacji między wskaźnikami daje sie wyrazic jako suma macierzy korelacji wynikacjącyh z poszczególnych wymiarów czynnikowych

18. Rozkład sumy wariancji zmiennych między główne składowe

19. Przykład n=3: SVD + główne składowe R l

20. ZmiennaVectorProblem PCA.xlsx SVD n=2.xlsx SVD n=3 Przyklad X1-X3 Tacq s268-289.xlsx Rozwiązanie ortogonalnego problemu 2-czynnikowego Jeśli mamy SVD, możemy każdy wskaźnik wyrazić jako liniową kombinację głónych składowych

21. Wprowadzenie do analizy czynnikowej

22. Single latent common factor F and two manifest indicators X1, X2 d1 b1 X1 U1 F b2 d2 X2 U2 Model assunptions Unique variables U1 and U2 are linearly independent and independent on common latent factor F: Consequences: Common (explained) variance of an indicator Xi with common factor F equals the square of a factor loading bi: Correlation coefficient between indicators Xi and Xj is a product of their loadings with common factor F:

23. Factor matrix d1 0,8 X1 U1 F • Reproduction of correlation coefficient by the factor model is not unique d2 0,6 X2 U2 Solution 1 Solution 2 Solution 3 Solution 4 0,90*0,53=0,48 0,70*0,69=0,48 0,60*0,80=0,48 0,50*0,96=0,48

24. Two independent factors F1, F2, two indicators X1, X2 d1 b11 X1 X1 U1 F1 b21 d2 X2 X2 U2 b12 b22 F2 Assumptions Unique factors U1 and U2 are linearly independent and independent on common factors F1 and F2: Common factors are linearly independent: Orthogonality of factors Consequences: Common (explained) variance of an indicator with a common factor is the sum of factor loadings squares, with both common factors F1 and F2: Correlatin coefficient between indicators equals the sum of factor loadings products

25. F1 Model 1 F1’ X3 Perfect reproduction of correlations between indicators can be derived from different factor models X1 F2’ X2 X4 X5 F2 Model 2

26. Oblique factor models are as good as orthogonal ones • F1 X1 X2 X3 X4 X5 X6 • F2

27. How to find factor solution Permanent Problems of FACTOR ANALYSIS as a scaling tool How to evaluate its quality Which indicators are useless What variables can be used as an indicators of latent factor What to do if my indicators are binary or ordinary

28. Matrix - eigenvalue matrix decomposition Eigenvectors of R Eigenvalues of R Eigenvalue decomposition of R =

29. Skalowanie - opis a wnioskowanie – przykład regreji wielokrotnej PCA – opis; czy jest problem wnioskowania? FAC – opis - wnioskowanie Path – opis: wnioskowanie – czy istotnie różne od zera SEM – opisl wnioskowanie Problem jednoznaczności konsekwencji modelu dla macierzy kowariancji • Wnioskowanie • Złożenia do OLS/MLE • PLS jako częściowe rozwiązanie problemu poziomu pomiaru i rozkładu

30. Wprowadzenie: założenia i ograniczenia Zmienne interwałowe, zależnosci liniowe, rozkłady normalne Ograniczenia opisowe: Igmorowanie nieliniowych zależności między zmiennymi interwałowymi Ignorowanie zmiennych porządkowych i binarnych Ograniczenia inferencyjne: normalność rozkładów Czy wszystkie ograniczenia mozna przezwyciężyć? PLS, korelacje tetra i polichoryczne Momenty Momenty – przypomnienie: średnia, wariancja, kowariancja, liniowe przekształcenia, Momenty zmiennej surowej, centrowanej, standaryzowane Momenty rozkładu dwóch zmiennych surowych , centrowanych, standaryzowanych Rachunek momentów w notacji wektorowej-algebraicznej Wektor a skalar – przykład na osi R1 Rozmiar wektora, wektor kolumnowy, wierszowy Wyróżnione wektory: 0, 1 Operacja na 1 wektorze: transpozycja, mnożenie/dzielenie przez stałą Operacje na dwóch wektorach +/-, */:, Liniowa kombinacja wektorów Iloczyn skalarny wektorów. Wektory ortogonalne Długość wektora/norma Wektory orto-normalne

31. Wiele wektorów Liniowa kombinacja wektorów Macierz – uporządkowany zbiór wektorów kolumnowych Rozmiary macierzy - Operacje ma macierzy Dodawanie, mnożenie przez stałą, transpozycja Liniowa kombinacja wektorów w zapisie macierzowym Wybrane macierze symetryczna, diagonalna, jednostkowa, odwrotna, zerowa, Ślad Rząd Wyznacznik Wartości własne, wektory własne pierwsza, druga ostatnia,

32. Wektory geometrycznie Układ odniesienia – ortogonalny układ współrzędnych Układ jedno-wymiarowy (na R1) Wektor w układzie odniesienia: początek, koniec, współrzędne wektora Długość wektora a jego współrzędne Rzut końca wektora na osie układu współrzędnych Wektor o długości 1 Dwa wektory – współrzędne, długości Kąt między wektorami Trygonometria na płaszczyźnie: sinus, cosinus i relacje między nimi Cosinus różnicy kątów Cosinus kąta między wektorami

35. Wyznaczyć C1 – C3 (c1-C2) dla obu zestawów danych surowych Sprawdzić, czy są wzgl ędem siebie ortogonalne