Análise de regressão linear simples: abordagem matricial

1. Análise de regressão linear simples: abordagem matricial Álgebra de matrizes é amplamente utilizada na estatística. É praticamente uma necessidade na regressão linear múltipla, pois permite que grandes sistemas de equações e conjunto de dados sejam representados de forma compacta e operacional. Matrizes Matriz: um conjunto de elementos arranjados em linhas e colunas. Exemplo: Coluna 1 Coluna 2 Linha 1 Linha 2 A = (3 x 2) Linha 3 (Dimensão: 3 x 2) Linhas i=1,2,3 (linhas) j=1,2 (colunas) Colunas Representada por letras em negrito, p.e., A, B, C, , , , , etc.

2. Matriz quadrada: Número de linhas = número de colunas. Contém apenas uma coluna. Também são representados por letras minúsculas em negrito. Vetor: Vetor linha ou transposto: Matriz transposta (A’): Igualdade de matrizes:mesma dimensão e todos os correspondentes elementos são iguais. a=bimplica:

3. Aplicação na regressão: O vetor y consiste de n observações da variável resposta: Matriz X de delineamento: O vetor dos parâmetros:

4. Adição e subtração de matrizes: Matrizes de mesma dimensão Aplicação na regressão: Temos o modelo de regressão, para a i-ésima observação: Este modelo pode ser escrito em forma matricial.

5. Vamos definir os vetores de respostas médias e de resíduos: Assim, o modelo de regressão escrito na forma matricial, fica: Multiplicação de matrizes: Por escalar:

6. Multiplicação de matriz por matriz: Nota: geralmente ABBA. Exercício: faça a multiplicação das matrizes: Aplicação na regressão:

7. Importante: Importante:

8. Importante: Portanto, o modelo na forma matricial fica: Tipos especiais de matrizes Matriz simétrica: se A=A’ ela é dita simétrica. Exemplo:

9. Um caso importante de matriz simétrica na regressão é: Matriz diagonal:é uma matriz quadrada, cujos elementos fora da diagonal são todos iguais a zero, por exemplo, Dois tipos importantes de matrizes diagonal são: matriz identidade e matriz escalar. Matriz identidade (I): é uma matriz diagonal cujos elementos da diagonal são todos iguais a um (1). Pré multiplicando (ou pós multiplicando) qualquer matriz A (r x r), pela identidade, a matriz A fica inalterada. Para uma matriz A de dimensão (r x r), temos:

10. Matriz escalar: é uma matriz diagonal cujos elementos da diagonal são todos iguais. Pode ser dada por I: Vetores e matrizes com todos os elementos iguais a um (1)

11. Operações importantes: Dependência linear e posto de uma matriz Dependência linear

12. Considere a matriz: Observe que a terceira coluna é um múltiplo da primeira coluna: Portanto, as colunas da matriz A, sãolinearmentedependentes. Elas contém informações redundantes (supérfluas), pois uma coluna pode ser obtida como uma combinação linear das outras. Considere cvetores colunas de uma matriz (r x c) : c1, c2,...,cc.De modo geral, define-se dependência linear como: • quando c escalares 1,..., c, nem todos iguais a zero, podem ser determinados tal que:  Os c vetores colunas são linearmente dependentes

13. Se o único conjunto de escalares, para o qual a igualdade vale (=0) é:  Os c vetores colunas são linearmente independentes Exemplo: considere os escalares:1=5, 2=0, 3=-1e 4=0, assim temos: Portanto, as colunas são linearmente dependentes. Observe que alguns ’s são iguais a zero. Posto (rank) de uma matriz O posto de uma matriz é definida como sendo o número máximo de colunas (linhas) linearmente independentes. No exemplo acima, encontramos 3 colunas (1,2 e 4) linearmente independentes. Não existem escalares 1, 2 e 4 tal que 1C1+ 2C2+ 4C4=0 a não ser estes: 1=0, 2=0e 4=0. Assim, o posto de A é 3.

14. Segue-se que o posto de uma matriz (r x c) não pode exceder o min(r,c), isto é, o mínimo entre r e c. No caso de uma matriz, por exemplo, C, que é o resultado do produto de duas outras matrizes (A e B), o rank de C não pode exceder o mínimo entre o rank(A) e o rank(B). (Definição: o rank, posto ou característica de uma matriz, é o número de linhas não nulas na sua forma escalonada canônica). Exercício: seja a matriz encontre o valor do rank de (A). OBS. Matriz de rank incompleto Inversa de uma matriz Na álgebra de matrizes, a inversa de uma matriz A (quadrada), é uma outra matriz, denominada por A-1, tal que: Muitas matrizes quadradas não tem inversa. Para aquelas que têm, a inversa é única.

15. Encontrando a inversa. A inversa de uma matriz quadrada (r x r) existe se o rank da matriz é r. Esta matriz é denominada de não singular ou de posto completo.Uma matriz (r x r) com rank menor do que r é denominada de matriz singular ou de posto incompleto e não tem inversa. A inversa de uma matriz (r x r) de rank completo também tem rank r. Usaremos programas estatísticos ou matemáticos para encontrar inversas de matrizes. Por exemplo, para a matriz: a inversa, obtida no PROC IML do SAS, é dada por: Comandos SAS proc iml; reset print; A={2 4, 3 1}; INVERSA=inv(A); A 2 rows 2 cols 2 4 3 1 INVERSA 2 rows 2 cols -0.1 0.4 0.3 -0.2

16. Aplicação na regressão Na análise de regressão, a principal inversa é a de X’X: O determinante desta matriz é dada por: Assim, a inversa de X’X é dada por: Como: Chega-se a forma simplificada:

17. Uso da matriz inversa Se temos uma equação: Assumindo que A tem inversa, podemos pré-multiplicar ambos os lados da igualdade por A-1: Como A-1AY=IY=Y, obtemos a solução: Exemplo: suponha o seguinte sistema de equações: Escrevendo na forma matricial temos:

18. A solução do sistema de equações é dada por: Matrizes e vetores aleatórios São vetores ou matrizes que contém elementos que são variáveis aleatórias. Por exemplo, o vetor Y é aleatório, pois os elementos Yi são variáveis aleatórias. O valor esperado de um vetor ou matriz aleatória Para um vetor aleatório y, a esperança matemática é: Para uma matriz Y, de dimensão n x p, a esperança matemática é: Valores esperados das v.a.

19. Aplicação na regressão: Sabemos que os termos dos erros aleatórios, i, tem esperança igual a zero,isto é, E(i )=0. Para o vetor de erros aleatórios, temos: Matriz de variância-covariância de um vetor aleatório A matriz de variância-covariância de um vetor aleatório y, de dimensão n x 1, é:

20. Observe que na diagonal temos as variâncias das variáveis aleatórias, 2(Yi). Na i-ésima linha e j-ésima coluna da matriz temos as covariâncias,(Yi,Yj). Como (Yi,Yj)=(Yj,Yi), para todo ij, 2(y) é uma matriz simétrica. Exercício: considere um vetor aleatório y, com três observações Y1, Y2 e Y3. A variância de uma v. a. é definida por , 2(Y)=E[(Y-E(Y))2] (Apêndice). A covariância entre Y1 e Y2 é definida por: (Y1,Y2)=E[(Y1-E(Y1))(Y2-E(Y2))]. Mostre que: Aplicação na regressão Suponha que os erros tenham variância constante, 2(i)= 2, e sejam não correlacionados, (i, j)=0 para ij. A matriz de variância-covariância do vetor de erros é dada por:

21. Alguns teoremas básicos Em muitas situações temos um vetor aleatório W, o qual é obtido pré-multiplicando-se o vetor aleatório Y por uma matriz A (com valores fixos): W=AY. Temos os seguintes teoremas: Exercício: considere, Mostre as expressões para E(W) e 2(W). Análise de regressão linear simples através de matrizes O modelo de regressão linear simples, com erros normais (3) é dado por: ( 9 )

22. Já definimos o vetor de observações Y, a matriz de delineamento X, e o vetor de erros aleatórios . O vetor de parâmetros , é definido como: O modelo de regressão linear simples em termos matriciais, fica: ( 10 ) Exercício: mostre que aplicando-se as operações matriciais do modelo (10 ) chegamos as observações do modelo ( 9). Os valores esperados das observações Yisão dados por: E(Yi)= 0+1Xi assim,

23. A coluna de un’s (1’s) na matriz de delineamento X pode ser vista como uma variável dummy X01 no modelo de regressão linear alternativo: No modelo ( 10), o  é um vetor de variáveis aleatórias com distribuição normal,independentes com E()=0 e 2()=2I. Método de mínimos quadrados para estimação dos parâmetros do modelo Para obter as equações normais pelo método de mínimos quadrados, devemos minimizar o critério: Na forma matricial escrevemos: Fazendo o desenvolvendo temos:

24. Como (X)’=’X’ e y’X é um escalar, portanto: Para encontrar os valores de  que minimizam Q, devemos diferenciar Q com respeito a 0 e 1, ou seja: Igualando o vetor a zero, dividindo por 2, e substituindo por bobtemos: Sistema de equações normais Onde b’=[b0 b1] Observando-se as equações normais e X’X vemos que sempre que as colunas de X’X são linearmente dependentes, as equações normais também serão linearmente dependentes. Diversas soluções para b0e b1podem ser obtidas. Felizmente, na regressão, as colunas de X’X são linearmente independentes, portanto, temos solução única para b0e b1. Exercício: desenvolva X’Xb=X’y e verifique que são exatamente as equações normais obtidas no capítulo (parte) 1 do curso.

25. Estimativas dos coeficientes de regressão Para obtermos as estimativas dos coeficientes de regressão, a partir das equações normais, devemos pré-multiplicar ambos os lados da igualdade pela inversa de X’X: Como (X’X)-1( X’X)=I e Ib=b, temos:

26. Exemplo: vamos usar a abordagem matricial para obtermos os coeficientes de regressão para o exemplo de uma pesquisadora que está estudando a porcentagem de acertos com o tamanho da cache. Vamos definir o vetor y e a matriz X:

28. A inversa de (X’X) é: Finalmente, obtemos:

29. Exemplo: vamos usar a abordagem matricial para obtermos os coeficientes de regressão para o exemplo de uma pesquisadora que está estudando o comportamento de Staphilococcus aureus em frango, mantido sob condições de congelamento doméstico (-18oC) ao longo do tempo. Vamos definir o vetor Y e a matriz X:

30. A inversa de (X’X) é: Finalmente, obtemos:

31. Exercício: usando métodos(álgebra) matriciais, encontre os coeficientes de regressão para o exemplo das idades das casas e o valor do aluguel do imóvel. O vetor Y e a matriz X são dadas por: Valores estimados e resíduos Valores estimados Em termos matriciais, os valores estimados são obtidos por:

32. Exemplo: vamos estimar os valores de porcentagem de acertos na cache de acordo com o nosso modelo RLS.

33. Para o exemplo de populações de bactérias e o tempo, temos: Exercício: usando métodos (álgebra) matriciais, encontre os valores estimados pelo modelo de regressão ajustado, para o exemplo das idades das casas e o valor do aluguel do imóvel.

34. Matriz de projeção (Hat Matrix) O vetor de valores estimados, pode ser obtido através da seguinte expressão: (Matriz de projeção, simétrica e idempotente: HH=H) Como vemos, os valores ajustados (estimados), podem ser obtidos como combinações lineares das observações da variável de resposta Yi, com os coeficientes sendo os elementos da matriz H.

35. Exercício: para o exemplo de porcentagem de acertos na cache e o tamanho da cache, obtenha os valores ajustados através da expressão: Resíduos Os resíduos, em termos matriciais, são dados por: Para o exemplo de porcentagem de acerto na cache e o tamanho, obtemos os seguintes valores para os resíduos:

36. Continuando com o exemplo de populações de bactérias e o tempo, obtemos os seguintes valores para os resíduos: Exercício: obtenha os valores dos resíduos para o exemplo das idades e valores dos aluguéis de imóveis.

37. Matriz de variância-covariância dos resíduos Da mesma forma que os valores estimados, os resíduos também podem ser obtidos como combinação linear das observações Yi, isto é: A matriz (I-H) é simétrica e idempotente. A derivação da matriz de variância-covariância do vetor dos resíduos é feita como segue. Sabemos que Portanto, Porém, para o modelo com erros normais, temos: Também, (I-H)’=(I-H) , devido a propriedade de simetria. Assim:

38. Esta matriz é estimada por: Exercício: obter s2(e) para os dados de população de Staphilococcus. Calcule a correlação entre (e1,e2). Programe no SAS a matriz de correlação. Proc IML do SAS X 6 rows 2 cols (numeric) 1 0 1 7 1 14 1 21 1 28 1 35 XLX 2 rows 2 cols (numeric) 6 105 105 2695 IXLX (inversa) 2 rows 2 cols (numeric) 0.5238095 -0.020408 -0.020408 0.0011662 proc iml; reset print; X={1 0, 1 7, 1 14, 1 21, 1 28, 1 35}; XLX= X`*X; IXLX=inv(XLX); H=X*IXLX*X`; I=I(6); S=I-H; QME=0.065977; s2erros=QME*S:

39. S=I-H 6 rows 6 cols (numeric) 0.4762 -0.3810 -0.2381 -0.0952 0.0476 0.1905 -0.3810 0.7048 -0.2095 -0.1238 -0.0381 0.0476 -0.2381 -0.2095 0.8190 -0.1524 -0.1238 -0.0952 -0.0952 -0.1238 -0.1524 0.8190 -0.2095 -0.2381 0.0476 -0.0381 -0.1238 -0.2095 0.7048 -0.3810 0.1905 0.0476 -0.0952 -0.2381 -0.3810 0.4762 S2ERROS s2(erros) 6 rows 6 cols (numeric) 0.0314 -0.0251 -0.0157 -0.0063 0.0031 0.0126 -0.0251 0.0465 -0.0138 -0.0082 -0.0025 0.0031 -0.0157 -0.0138 0.0540 -0.0101 -0.0082 -0.0063 -0.0063 -0.0082 -0.0101 0.0540 -0.0138 -0.0157 0.0031 -0.0025 -0.0082 -0.0138 0.0465 -0.0251 0.0126 0.0031 -0.0063 -0.0157 -0.0251 0.0314

40. Análise de variância Soma de quadrados O termo da correção é dada por: A soma de quadrados total é dada por: A soma de quadrados do erro (resíduo) é dada por: A soma de quadrados da regressão é dada por:

41. Exemplo: Para os dados de porcentagem de acertos na cache e o tamanho da cache, vamos obter as somas de quadrados da ANOVA. Correção: Soma de quadrados total: Assim: SQTotal =28.652,398-28471,969=180,428

42. Soma de quadrados da regressão: Assim: SQRegressão = 28626,659-28471,969=154,6899 Soma de quadrados do erro: SQErro = 180,4284-154,6899=25,7385 Estes resultados são exatamente os mesmos obtidos no capítulo 1.

43. Exemplo: Continuando com os dados de populações de bactérias e o tempo, vamos obter as somas de quadrados da ANOVA. Correção: Soma de quadrados total: Assim: SQTotal =54,3781-53,8082=0,5699

44. Soma de quadrados da regressão: Assim: SQRegressão = 54,1141-53,8082=0,3059 Soma de quadrados do erro: SQErro = 54,3781-54,1142=0,264 Estes resultados são exatamente os mesmos obtidos no capítulo 1.

45. Soma de quadrados como formas quadráticas As somas de quadrados de uma ANOVA, correspondem ao que se denomina de formas quadráticas, isto é, pode-se mostrar que as somas de quadrados são formas quadráticas. Exemplo de uma forma quadrática das observações Yipara n=2 é: Polinômio de segundo grau Podemos colocar esta expressão em termos matriciais da seguinte forma: A matriz A deve ser simétrica e é chamada matriz da forma quadrática. Em geral uma forma quadrática é definida por:

46. Sabemos que: Com este resultado podemos expressar as somas de quadrados através das formas quadráticas: 2. (AB)’=B’A’ Assim, podemos escrever: Soma de quadrados total: Usando o resultado: Soma de quadrados da regressão Obtemos: Soma de quadrados do erro Como H é simétrica, H’=H, assim podemos escrever: Exercício: verifique que as matrizes das formas quadráticas são simétricas

47. 2 2 ' 1 σ ( b ) σ ( X X ) Inferência na análise de regressão Vamos tratar aqui das expressões para o cálculo das estimativas das variâncias dos estimadores pontuais de maior interesse. Coeficientes de regressão A matriz de variância-covariância de b é dada por: é ù s s 2 ( b ) ( b , b ) = 2 0 0 1 σ ( b ) ê ú s s 2 ( b , b ) ( b ) ë û 0 1 1 - = é ù + 2 2 2 2 s s - s X X å å n 2 2 - - ê ú ( ) ( ) X X X X = 2 σ ( b ) i i 2 2 ê ú - s s X å å ë û 2 2 - - ( ) ( ) X X X X i i Substituindo-se 2 pelo Quadrado médio residual (QME), obtemos a estimativa da matriz de variância-covariância de b, representada por s2(b).

48. Demonstração: Sabemos que: Assim, Mas, Além disso, pelo fato de que (X’X)-1é simétrica, temos: A’=X(X’X)-1 Dessa forma encontramos:

49. Exemplo: desejamos calcular s2(b0) e s2(b1) com os dados de porcentagem de acertos na cache e o tamanho através da abordagem matricial.

50. Exemplo: desejamos calcular s2(b0) e s2(b1) com os dados de populações de bactérias e o tempo através da abordagem matricial. Exercício: calculars2(b0) e s2(b1)com os dados de valores de aluguéis e a idade das casas. Resposta média Para estimar a resposta média em Xh, vamos definir o vetor: Vimos que os valores estimados, na forma matricial, são dados por: