Tópicos sobre regressão linear múltipla

1. Tópicos sobre regressão linear múltipla • Soma de quadrados extra (testes de hipóteses) • Multicolinearidade • Modelos polinomiais 1. Soma de quadrados extra Nos textos de estatística em língua inglesa, este assunto aparece com a denominação de Soma de Quadrados Extra (Extra Sums fo Squares). A idéia básica é verificar a redução na soma de quadrados do erro quando uma ou mais variáveis preditoras são adicionadas no modelo de regressão, dado que outras variáveis preditoras já estão incluídas no modelo. De outro lado, podemos pensar no acréscimo na soma de quadrados da regressão quando uma ou mais variáveis explanatórias são adicionadas no modelo. * Utilização: verificar se certas variáveis X podem ser retiradas do modelo de regressão. (Construção de modelos).

2. Exemplo: foi realizado um estudo com 20 mulheres para estudar a relação da quantidade de gordura no corpo (Y) com as seguintes variáveis explanatórias:1) espessura do triceps (X1); 2) circunferência da coxa (X2) e 3) circunferência do meio do braço (X3). Os dados são apresentados na tabela a seguir: Xi1 Xi2 Xi3 Yi ------------------------------------------ 19.5 43.1 29.1 11.9 24.7 49.8 28.2 22.8 30.7 51.9 37.0 18.7 29.8 54.3 31.1 20.1 19.1 42.2 30.9 12.9 25.6 53.9 23.7 21.7 31.4 58.5 27.6 27.1 27.9 52.1 30.6 25.4 22.1 49.9 23.2 21.3 25.5 53.5 24.8 19.3 31.1 56.6 30.0 25.4 30.4 56.7 28.3 27.2 18.7 46.5 23.0 11.7 19.7 44.2 28.6 17.8 14.6 42.7 21.3 12.8 29.5 54.4 30.1 23.9 27.7 55.3 25.7 22.6 30.2 58.6 24.6 25.4 22.7 48.2 27.1 14.8 25.2 51.0 27.5 21.1 A quantidade de gordura no corpo das 20 mulheres foram obtidas por um método incômodo e dispendioso, pois envolve a imersão das pessoas na água. Portanto, seria muito útil se um modelo de regressão com algumas ou todas as variáveis preditoras fornecessem estimativas confiáveis da quantidade de gordura no corpo pois as mensurações das variáveis preditoras são fáceis de serem obtidas.

3. A seguir vamos apresentar os resultados da análise de variância da regressão para quatro modelos ajustados: Modelo 1) regressão da quantidade de gordura (Y) sobre espessura do triceps (X1); Modelo 2) regressão da quantidade de gordura (Y) sobre a circunferência da coxa (X2); Modelo 3) regressão da quantidade de gordura (Y) sobre espessura do triceps (X1) e sobre a circunferência da coxa (X2); Modelo 4) regressão da quantidade de gordura (Y) sobre espessura do triceps (X1),sobre a circunferência da coxa (X2) e circunferência do braço (X3) Modelo 1:

4. Modelo 2: Modelo 3:

5. Modelo 4: Notação: SQR(X1): soma de quadrados da regressão quando apenas X1está no modelo. SQE(X1): soma de quadrados do erro quando apenas X1 está no modelo. SQR(X1,X2): soma de quadrados da regressão quando X1e X2 estão incluías no modelo. SQE(X1,X2): soma de quadrados do erro quando X1e X2 estão incluías no modelo.

6. Observe, no exemplo, que a SQE(X1,X2)=109,95, a qual é menor do que aquela que contém apenas X1no modelo, SQE(X1)=143,12. A diferença é denominada de soma de quadrados extra e é representada por SQR(X2|X1): Esta redução na soma de quadrados do erro é o resultado da adição de X2 no modelo dado que X1já está incluída no modelo. Esta soma de quadrados extra dada por SQR(X2|X1), mede o efeito marginal da adição de X2 no modelo de regressão quando X1 já está incluída no modelo. Equivalentemente, podemos calcular a soma de quadrados extra como: Vamos considerar a soma de quadrados extra de X3 dado que X1 e X2 já estão incluídas no modelo:

7. Ou, de forma equivalente: Outra soma de quadrados extra: (efeito da adição de X2e X3 ao modelo quando X1 já está no modelo). Ou, de forma equivalente: Decomposição da SQRegressão em soma de quadrados extra

8. Tabela da ANOVA com a decomposição da soma de quadrados da regressão. A tabela da ANOVA abaixo contém a decomposição da SQR para o caso de três variáveis explanatórias (X), frequêntemente usadas nos programas estatísticos.

9. Exemplo: para os dados de gordura do corpo, os resultados da decomposição indicada na tabela anterior, ficam: Observe que cada soma de quadrados de regressão extra, envolvendo uma única variável, está associado 1 grau de liberdade. Da mesma forma, a uma soma de quadrados de regressão extra, envolvendo duas variáveis explanatórias, como: SQR(X2, X3|X1), estão associados dois graus de liberdade, pois, SQR(X2, X3|X1)=SQR(X2|X1)+SQR(X3|X1,X2)

10. Considerações sobre o programa estatístico: SAS (Statistical Analysis System). data gordura; input triceps coxa midarm gordura; datalines; 19.5 43.1 29.1 11.9 24.7 49.8 28.2 22.8 30.7 51.9 37.0 18.7 . . . . . . . . 30.2 58.6 24.6 25.4 22.7 48.2 27.1 14.8 25.2 51.0 27.5 21.1 ; proc glm; model gordura=triceps coxa midarm; run; X1 X2|X1 X3|X1,X2 Source DF Type I SS Mean Square F Value Pr > F TRICEPS 1 352.27 352.279 57.28 0.0001 COXA 1 33.17 33.17 5.39 0.0337 MIDARM 1 11.55 11.55 1.88 0.1896

11. Por exemplo, se desejamos calcular a soma de quadrados extra, SQR(X1, X3 |X2), utilizando o SAS ou outro programa estatístico, que fornece soma de quadrados extra com 1 grau de liberdade, na ordem em que as variáveis entram no modelo, precisaríamos entrar com as variáveis na ordem X2, X1, X3 ou X2, X3, X1. Na primeira ordem temos: SQR(X2) SQR(X1|X2) SQR(X3|X1, X2) SQR(X1, X3 |X2) No SAS: proc glm; model gordura=coxa triceps midarm; run; Source DF Type I SS Mean Square F Value Pr > F COXA (X2) 1 381.97 381.97 62.11 0.0001 TRICEPS (X1|X2) 1 3.47 3.47 0.56 0.4633 MIDARM (X3| X2, X1) 1 11.55 11.55 1.88 0.1896

12. Exemplo: para os dados de empresas de estúdio fotográfico, os resultados da decomposição da soma de quadrados da regressão em X1 e X2|X1, fica: Decomposição do modelo: X2 (renda) e X1|X2 (população|renda)

13. A importância do cálculo das somas de quadrados extra, é que podemos fazer uma variedade de testes de hipóteses sobre os coeficientes de regressão, onde, a questão de interesse, é saber se certas variáveis explanatórias podem ser retiradas do modelo de regressão. 2. Testes de hipóteses sobre os coeficientes de regressão usando as somas de quadrados extra. Teste se um único coeficiente k=0 Desejamos saber se o termo kXkpode ser retirado do modelo. As hipóteses são: O modelo completo: Vamos considerar um modelo de primeira ordem com 3 variáveis preditoras:

14. Vamos considerar as hipóteses: Ajustamos o modelo completo e obtemos SQE(completo)=SQE(X1,X2,X3), com n-4 graus de liberdade, uma vez que há 4 parâmetros no modelo. O modelo reduzido: Sob a hipótese nula, o modelo fica: Ajustamos o modelo reduzido e obtemos SQE(reduzido)=SQE(X1,X2), com n-3 graus de liberdade.

15. O teste estatístico (como já foi visto) é dado por: Observe que no numerador temos a soma de quadrados extra: Assim, o teste estatístico é dado por: Exemplo: com os dados de gordura do corpo, vamos verificar se podemos retirar a variável circunferência do meio do braço (X3) do modelo. As hipóteses são:

16. Já obtivemos os resultados das somas de quadrados do erro do modelo completo e, também, da soma de quadrados extra, quando as variáveis entram no modelo na ordem X1, X2, X3.Assim, o teste estatístico vale: Com o auxílio de um programa estatístico encontramos P(F>1,88)=0,189261, portanto, não rejeitamos a hipótese nula e concluímos que podemos retirar a variável X3do modelo que já contém X1, X2. O mesmo teste pode ser feito com o uso da estatística Com 1 grau de liberdade, sempre temos que: (t*)2=(-1,37)=1,88=F*, portanto, os dois testes produzem os mesmos resultados.

17. Nota: soma de quadrados parcial no SAS Soma de quadrados tipo III no SAS, também conhecida como soma de quadrados parcial. Este tipo produz somas de quadrados do tipo: Exemplo: para os dados de gordura do corpo, temos: Source DF Type III SS Mean Square F Value Pr > F TRICEPS (X1|X2,X3) 1 12.70 12.70 2.07 0.1699 COXA (X2|X1,X3) 1 7.53 7.53 1.22 0.2849 MIDARM (X3|X1,X2) 1 11.55 11.55 1.88 0.1896

18. Teste se vários coeficientes k=0 Exemplo: para o modelo Podemos querer saber se podemos retirar os termos 2X2e 3X3 do modelo. As hipóteses são dadas por: O modelo reduzido: Sob a hipótese nula, o modelo fica: A soma de quadrados do erro para este modelo é SSE(R)=SQE(X1), com n-2 graus de liberdade.

19. O teste estatístico é dado por: Observamos que: Substituindo, o teste F* fica: Exemplo: desejamos saber se para os dados do problema de gordura do corpo, podemos retirar ambas as variáveis: circunferência da coxa (X2) e circunferência do meio do braço (X3).

20. Como já vimos anteriormente: SQR(X2, X3|X1)=SQR(X2|X1)+SQR(X3|X1,X2) SQR(X2, X3|X1)= 33,17+11,54=44,71  resultados na tabela da ANOVA O valor da estatística de teste é: A probabilidade de se encontrar um valor de F* mais extremo do que este é P(F>3,63)=0,050128. Para =0,05, estamos no ponto limitrófico, pode-se desejar fazer outras análises antes de se tomar uma decisão.

21. 3. Outros tipos de testes Quando deseja-se fazer um teste sobre os coeficientes de regressão, que não se um (1) ou todos eles são iguais a zero, as somas de quadrados extra não podem mais serem utilizadas e o teste necessita que se faça ajustes separados dos modelos completo e reduzido. Caso 1) Exemplo, para o modelo completo Desejamos testar: O procedimento é ajustar o modelo completo, e então ajustar o modelo reduzido: Onde crepresenta um coeficiente comum para 1e 2sob H0 e (Xi1+Xi2) é a nova variável X.

22. Usamos o teste estatístico geral: Com 1 [p.e.dados gordura corpo (20-3)-(20-4)=17-16=1] e n-4 graus de liberdade. Caso 2) Exemplo: desejamos testar, De acordo com a hipótese nula, o modelo reduzido fica: A variável resposta fica Yi-3Xi1-5Xi3. Usamos o teste estatístico geral dado anteriormente com 2 e n-4 graus de liberdade.

23. Exemplo: desejamos saber se para os dados do problema de gordura do corpo, podemos considerar um único coeficiente para ambas as variáveis circunferência da coxa (X2) e circunferência do meio do braço (X3), ou seja, 2=3. Para o modelo completo, a SQE(C)=98,41com 16 gl. O modelo reduzido fica: A SQE(R)=101,11 com 17 graus de liberdade. A P(F>2,06)=0,170470, portanto, não devemos rejeitar a hipótese nula. Exercício: qual a interpretação: a taxa de variação em Y é a mesma para mudança de uma unidade em X2e X3.

24. 4. Multicolinearidade Questões de interesse na análise de regressão múltipla: • qual é a importância relativa dos efeitos das diferentes variáveis • preditoras? • qual é a magnitude do efeito de uma dada variável preditora sobre a • variável resposta? • pode alguma variável preditora ser retirada do modelo porque ela tem • pouco efeito sobre a variável resposta? • alguma variável preditora ainda não incluída no modelo deveria ser • considerada para inclusão? • As respostas para estas questões são relativamente fácil se: • As variáveis preditoras incluídas no modelo não são correlacionadas entre si; • Além disso, não são correlacionadas com qualquer outra variável que é relacionada com a variável resposta, mas é omitida do modelo.

25. Ocorrência de multicolinearidade: exemplo Variável resposta: gasto com alimentação Variáveis regressoras: renda, poupança, idade do chefe do lar (Variáveis incluídas no modelo) Provavelmente estas variáveis são correlacionadas Provavelmente estas variáveis regressoras estão correlacionadas com outras variáveis que afetam o gasto com alimentação, por exemplo, tamanho da família (variável não incluída no modelo).

26. 5. Modelos de Regressão Polinomial As variáveis explanatórias devem ser quantitativas. Servem para representar modelos com resposta curvilínea. São fáceis de serem ajustados, pois são um caso especial do modelo de regressão linear múltipla. Usos dos modelos polinomiais •Quando a função de resposta curvilínea verdadeira é realmente uma função polinomial. •Quando a função de resposta curvilínea verdadeira é desconhecida (ou complexa), porém, uma função polinomial é uma boa aproximação para a verdadeira função. Exemplo: produção em resposta a aplicação de adubação. O principal problema com o uso de modelos polinomiais é com a extrapolação.

27. Uma variável preditora - Modelo de segunda ordem Considere o modelo polinomial: Onde, A variável preditora, xi, é centrada, ou seja, é dada como desvio em relação a sua média. A razão para usar uma variável preditora centrada no modelo de regressão polinomial é que X e X2 freqüentemente são altamente correlacionadas. Isto pode causar sérias dificuldades para inverter a matriz X’X para estimar os coeficientes de regressão. Trabalhando-se com variáveis centradas, reduz-se a multicolinearidade substancialmente e, isto, tende a diminuir as dificuldades computacionais. Geralmente, muda-se a notação para os modelos polinomiais: cuja função de resposta (resposta média) é:

28. 0 0 O gráfico desta função é uma parábola e denominada de função de resposta quadrática.

29. O coeficiente de regressão 0representa a resposta média de Y quando x=0, isto é, quando X=média de X. O coeficiente de regressão 1é frequentemente chamado de coeficiente de efeito linear, e 11é chamado de coeficiente de efeito quadrático. Duas variáveis preditoras - Modelo de segunda ordem quadrático linear Modelo: Onde: Observe que o penúltimo termo do modelo representa a interação entre x1e x2. O coeficiente 12 denomina-se coeficiente do efeito da interação.

30. Modelo usado: Observe que o modelo apresenta ponto de máximo em x1=0 x2=0. Mostra as várias combinações dos níveis das 2 v. preditoras que resultam na mesma resposta

31. Implementação dos modelos de regressão polinomial Ajuste dos modelos de regressão polinomiais. Como já foi visto, os modelos de regressão polinomial são casos especiais do modelo de regressão linear múltipla geral, assim, todos os resultados vistos para o ajuste de modelos e para inferência estatística são válidos aqui. Uma abordagem hierárquica para o ajuste do modelo. Geralmente, ajusta-se um modelo de segunda ou terceira ordem e, então, procura-se estudar se um modelo de menor ordem é adequado. Exemplo: vamos considerar uma variável preditora e um modelo com efeito cúbico, Provavelmente, desejaríamos testar: Podemos usar as somas de quadrados extra para realizar estes testes.

32. A decomposição da SQR é dada por: Para testar 111=0, a soma de quadrados extra adequada é SQR(x3|x,x2). Se, ao invés, desejamos testar se 11= 111=0, a soma de quadrados apropriada é SQR(x2,x3|x)=SQR(x2|x)+SQR(x3|x,x2). Para manter a hierarquia do modelo, se, por exemplo, o termo cúbico é significativo, então o termo quadrático e linear devem ser mantidos no modelo. Por exemplo, para duas variáveis preditoras, x1 e x2 o termo da interação (x1x2 ) não deveria ser mantida no modelo, sem, também, manter as variáveis preditoras na primeira potência (termos lineares). A equação de regressão em termos das variáveis X. Depois que o modelo de regressão polinomial foi ajustado, freqüentemente, desejamos expressar o nosso modelo em termos das variáveis originais X.Isto é feito facilmente.

33. Suponha o seguinte modelo: Em termos da variável original, X, o modelo fica: Onde: Exercício: substitua x por ( ) em 12 e obtenha as expressões 14, 15 e 16. Os valores ajustados e os resíduos para a função de regressão em termos de X ou das variáveis centradas são os mesmos.

34. Os desvios padrões estimados dos coeficientes de regressão em termos das variáveis centradas x em (12) não valem para os coeficientes de regressão em termos das variáveis originais, X, em (13). Se os desvios padrões estimados para os coeficientes de regressão em termos de X são necessários, eles podem ser obtidos usando-se o teorema onde a matriz de transformação A é obtida de (14)-(16). Exercício: estruture a matriz A. Exercício: um analista de uma cadeia de cafeterias deseja investigar a relação entre o número de máquinas self service e as vendas de café. 14 cafeterias que são similares em termos de volume de negócios, tipo de clientela, e localização foram escolhidas para o experimento. O número de máquinas colocadas em teste variou de zero (o café é fornecido por um (a) atendente) até 6 e foi atribuído aleatoriamente para cada cafeteria. Os resultados do experimento foram:

35. Foi ajustado um modelo de efeito quadrático para os dados: Com: A matriz de variância-covariância das estimativas dos parâmetros é: Encontre as variâncias das estimativas dos coeficientes de regressão em termos das variáveis originais, X. Exemplo: um pesquisador está estudando os efeitos da taxa de carga e da temperatura sobre o tempo de vida de pilhas. A taxa de carga (X1) foi controlada em três níveis (0,6, 1,0 e 1,4) e a temperatura ambiente (X2)foi controlada em três níveis (10, 20 e 30oC). Os outros fatores que contribuem para a perda de carga foram controlados (fixos). A vida das pilhas (Y) foi medida em termos do número de ciclos de carga-descarga até falhar. Os resultados obtidos, foram:

36. O pesquisador não está seguro sobre a natureza da função de resposta na região de estudo. Assim, o pesquisador decidiu ajustar um modelo de regressão polinomial de segundo grau:

37. As variáveis foram codificadas da seguinte forma (considerando que os níveis são equidistantes) Aqui, 0,4 e 10 é a diferença entre os níveis adjacentes das variáveis. As correlações entre as variáveis valem: Ajuste do modelo. Os resultados, apresentados na página seguinte, foram obtidos com o uso do programa SAS.

38. Dependent Variable: NUMERO Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model 5 55365.56140 11073.11228 10.565 0.0109 Error 5 5240.43860 1048.08772 C Total 10 60606.00000 Root MSE 32.37418 R-square 0.9135 Dep Mean 172.00000 Adj R-sq 0.8271 C.V. 18.82220 Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > |T| Type I SS INTERCEP 1 162.842105 16.60760542 9.805 0.0002 325424 COTAXA 1 -55.833333 13.21670483 -4.224 0.0083 18704 COTEMPE 1 75.500000 13.21670483 5.712 0.0023 34202 COTAXA2 1 27.394737 20.34007956 1.347 0.2359 1645.966667 COTEMPE2 1 -10.605263 20.34007956 -0.521 0.6244 284.928070 TATE 1 11.500000 16.18709146 0.710 0.5092 529.000000 Modelo ajustado:

39. Gráfico de resíduos: nenhum dos gráficos sugere que o modelo de regressão seja inadequado.

40. Teste do ajuste (Test of fit): como existem 3 repetições em x1=0, x2=0, podemos realizar o teste F para falta de ajuste (lack of fit) do modelo (17). A soma de quadrados do erro puro é dado por: Como existem c=9 distintas combinações dos níveis de X, existem n-c=11-9=2 graus de liberdade associados com a soma de quadrados do erro puro. Além disso, no output do SAS, temos: SQE=5240,44, portanto, a soma de quadrados da falta de ajuste vale: Com c-p=9-6=3 graus de liberdade, onde p é o número de parâmetros do modelo. O teste estatístico é dado por: A P(F>1,82)=0,626153, portanto, não rejeitamos a hipótese nula, assim, o modelo está ajustado.

41. Coeficiente de determinação: no output do SAS temos: Assim, cerca de 91% da variabilidade do tempo de vida das pilhas é explicada pelo modelo (17). Observe que o coeficiente de determinação ajustado é bem menor: 0,8271(devido ao grande número de parâmetros no modelo). Teste F (Verificar se um modelo de 1a. ordem é suficiente) O teste estatístico é dado por:

42. Na saída do SAS, temos as somas de quadrados tipo I (Type I SS). A ordem de entrada das variáveis explanatórias no modelo foi: Portanto, temos as seguintes somas de quadrados parciais: A soma de quadrados extra desejada é calculada por:

43. O valor desta soma de quadrados é: O quadrado médio residual vale: QMR=1048,1. Assim, o teste estatístico vale: A P(F>0,78)=,553749. Portanto, concluímos que os termos quadráticos e da interação podem ser retirados do modelo, assim, um modelo de primeira ordem é adequado na região de estudo. O modelo de primeira ordem O modelo de primeira ordem ajustado é dado por: Exercício: 1)faça uma análise de resíduos e verifique se o ajuste do modelo está realmente bom. 2) Reescreva o modelo (18) em termos das variáveis originais X. 3) Calcule os desvios padrões das estimativas dos parâmetros para este modelo.

44. A figura mostra a superfície de resposta para o modelo de primeira ordem com as variáveis originais. Usamos esta superfície para estudar o efeito da carga e temperatura sobre a vida das pilhas. Observamos que usando-se temperaturas mais altas e menores taxas, a vida das pilhas diminui.

45. Intervalo de confiança para k O pesquisador deseja encontrar os intervalos de confiança de 95% para os parâmetros do modelo (18). Sabemos que: Para 1 o intervalo de confiança é dado por: Exercício: dado o s(b2)=12,67, encontre o intervalo de confiança para 2.

46. Modelos de regressão com interação Efeitos da interação Termo da interação Interpretação dos modelos de regressão com interação de efeito linear Considere o modelo:

47. Pode ser mostrado que a mudança na resposta média com o acréscimo de 1 unidade em X1 quando X2 é mantido constante é: Da mesma forma temos para X2: Exemplo:

48. O aumento em Y com o acréscimo de 1 unidade em X1 é maior, quanto maior for o nível de X2.

49. Implementação dos modelos de regressão com interação • Alta multicolinearidade pode existir entre algumas das variáveis explanatórias e algumas das interações, assim como entre algumas interações. Uma medida remediadora é usar: • Uma alternativa é usar a técnica conhecida como regressão polinomial, pois os polinômios ortogonais sempre serão não correlacionados. • Com muitas variáveis regressoras implica num grande número de interações. Medida: usar um modelo aditivo e fazer o gráfico de resíduos versus interações;

50. Fazer a lista de exercícios número 7