Regressão linear múltipla

1. Regressão linear múltipla Modelos de regressão linear múltipla Exemplos: • •Em um estudo com 67 escritórios de uma rede financeira, a variável resposta foi o custo operacional no ano que se findou. Haviam 4 variáveis preditoras: o valor médio emprestado aos clientes durante o ano, o número médio de empréstimos, número total de novos empréstimos processados, e índice de salários dos escritórios. (Temos um levantamento). • • Num estudo sobre a produtividade de trabalhadores ( em aeronave, navios) o pesquisador deseja controlar o número desses trabalhadores e o bônus pago (remuneração). (Aqui temos um experimento). • • Num estudo sobre a resposta à uma droga, o pesquisador deseja controlar as doses da droga e o método de aplicação. (Também temos um experimento). • Num estudo sobre o tempo de CPU, para avaliar a demanda por recursos, o pesquisador decidiu verificar o efeito de X1=disk I/O e X2=memory size.

2. » Em todos os exemplos foram necessárias várias variáveis preditoras no modelo para um bom ajuste do mesmo. » Um modelo contendo várias variáveis preditoras resulta numa estimação mais precisa. » As análises aqui desenvolvidas são válidas para o delineamento inteiramente casualizado.

3. Modelo de regressão de primeira ordem com duas variáveis preditoras O modelo de regressão linear é dado por: Onde Yi é a resposta no i-ésimo ensaio, Xi1e Xi2são os valores das duas variáveis preditoras no i-ésimo ensaio. Os parâmetros do modelo são 0, 1, 2 e o termo do erro é i. Vamos assumir que E(i)=0, portanto, a função de regressão do modelo de primeira ordem é: A representação gráfica desta função é um plano no espaço. A figura, na página seguinte, mostra este plano para a função: A função de regressão na regressão múltipla é chamada de superfície de resposta.

4. Plano de resposta Yi • i E(Yi) = 20,00 • (1,33;1,67) 0

5. Significado dos coeficientes de regressão: O parâmetro 0 é o intercepto do plano de regressão. Se a abrangência do modelo inclui X1=0 e X2=0 então 0=10 representa a resposta média E(Y) neste ponto. Em outras situações, 0 não tem qualquer outro significado como um termo separado no modelo de regressão. O parâmetro 1 indica a mudança na resposta média E(Y) por unidade de acréscimo em X1quando X2 é mantido constante. Da mesma forma 2 indica a mudança na resposta média por unidade de aumento em X2quando X1é mantido constante. Neste modelo, o efeito de X1sobre a resposta média não depende de X2e vice-versa, assim, dissemos que as variáveis preditoras tem efeito aditivo ou não interagem. Temos um modelo de primeira ordem sem interação. Exemplo: considerar o modelo de regressão da figura anterior. Y = vendas no mercado (em 10.000 unidades monetárias); X1= despesas com o ponto de venda (em 1.000 u.m.); X2= gastos com TV (em 1.000 u.m.). Como 1=2, se o gasto em uma localidade aumenta em 1 unidade (1.000 u.m.), enquanto o gasto com TV é mantido constante, espera-se um acréscimo nas vendas de 2 unidades (20.000 u.m.).

6. Exercício: faça a interpretação para 2. Resposta: como 2=5 se o gasto com TV em uma localidade aumenta em 1 unidade (1.000 u.m.) e o gasto com o ponto é mantido constante, as vendas esperadas aumentam 50.000 u.m. Exercício: no modelo Faça a interpretação do parâmetro k . Resposta: indica a mudança na resposta média E(Y) com o acréscimo de uma (1) unidade na variável preditora Xk, quando todas as outras variáveis preditoras são mantidas constantes.

7. Modelo linear geral de regressão Vamos supor que temos X1, X2,..., Xp-1 variáveis preditoras. Vamos definir o modelo de regressão, com erros normais, em termos das variáveis preditoras: Onde: 0, 1,..., p-1, são os parâmetros; Xi1,..., Xi,p-1 são constantes conhecidas; i são independentes com distribuição N(0, 2) i=1,2,...,n. A função resposta para o modelo, como E(i)=0,é dada por: Algumas situações em que podemos usar o modelo em consideração.

8. 1) Temos p-1 variáveis preditoras: todas as variáveis preditoras apresentam efeito aditivo, ou seja, não apresentam um efeito de interação entre elas (o efeito de uma variável preditora não depende dos níveis da outra variável preditora). 2) As variáveis preditoras são qualitativas: neste caso temos variáveis como: sexo, invalidez (normal, parcialmente inválido, inválido). Usamos variáveis indicadoras, que recebem valores 0 e 1 para identificar as categorias de uma variável qualitativa. Exemplo: desejamos fazer uma análise de regressão para estimar a distância de um hospital (Y), baseado na idade dos pacientes (X1) e sexo (X2). O modelo de regressão é: Onde:

9. A resposta média do modelo (6) é: Para pacientes do sexo masculino, X2=0, temos: Para pacientes do sexo feminino, X2=1, temos: As duas funções respostas representam duas retas paralelas com diferentes interceptos. Exercício: faça a representação gráfica das funções 8 e 9. Outro exemplo: vamos considerar uma terceira variável no modelo, o status sobre a invalidez dos pacientes, a qual apresenta três categorias. Em geral, representamos uma variável qualitativa com c categorias, por meio de c-1 variáveis indicadoras. Portanto, no exemplo, vamos definir as variáveis X3e X4 como:

10. O modelo com idade, sexo e status da invalidez fica: Neste curso, temos um capítulo somente para o estudo de variáveis qualitativas. Como modelar e interpretar os coeficientes de regressão? 3) Regressão polinomial: contém termos quadráticos e de maior ordem nas variáveis preditoras. Exemplo:

11. O gráfico deste modelo é uma parábola. Apesar da natureza curvilínea da função resposta do modelo (11) ele é um caso especial do modelo (4). Fazendo-se Xi1=Xie Xi2=Xi2, temos o modelo (1).

12. 4)Variáveis transformadas: uma transformação bastante utilizada é a logarítmica: O modelo fica: A função resposta é complexa. Porém, o modelo (12) é da forma do modelo linear geral de regressão. Exercício: coloque o modelo (13) na forma do modelo de regressão linear geral (4). Basta fazer:

13. 5) Modelos com efeito da interação entre variáveis preditoras. O efeito de uma variável preditora depende dos níveis das outras variáveis preditoras. Exemplo: Observe que fazendo-se Xi3=Xi1Xi2 obtemos o modelo linear geral de regressão (4). 6) Combinando modelos: Exemplo: Fazendo-se: temos o modelo linear geral de regressão (4).

14. A figura ilustra um desses modelos mais complexos.

15. Modelo de regressão linear múltipla em termos matriciais A expressão do modelo linear geral de regressão é dada por: Em termos matriciais, precisamos definir:

16. Em termos matriciais, o modelo de regressão linear geral é dado por: (17)  é um vetor de variáveis aleatórias independentes e normalmente distribuídas com esperança (média), E()=0 e matriz de variância-covariância dada por: =2I Assim, o vetor das observações Y tem esperança e variância dadas por: (18)

17. Exercício: uma empresa opera estúdios fotográficos para crianças em 12 cidades. A empresa deseja expandir seus estúdios para outras cidades semelhantes e deseja investigar se as vendas (Y) podem ser estimadas através do número de pessoas com 16 anos ou menos (X1) e a renda per capita na cidade (X2). Os resultados foram:

18. A) Escreva o modelo de regressão linear de primeira ordem (sem efeito quadrático e interação). B) Faça um gráfico de dispersão (Scatterplot) entre vendas e número e outro para vendas e renda. C) Mostre a matriz X, os vetores Y e para os dados do exercício. D) calcule os valores médios (esperanças) das observações, E(Y).

19. Respostas: A) B)

21. C)

23. Estimação dos coeficientes de regressão O sistema de equações normais para o modelo (17) é: E os estimadores de mínimos quadrados são dados por: Método de máxima verossimilhança Vamos considerar o modelo com erros normais (17). A função de máxima verossimilhança é dada por: (21) Os estimadores de máxima verossimilhança são exatamente os mesmos obtidos com o método de mínimos quadrados.

24. Continuação do Exercício do estúdio fotográfico. Dados os resultados: E) Encontre as estimativas dos parâmetros do modelo. F) Apresente a função de regressão estimada. G) Faça a interpretação das estimativas dos parâmetros do modelo.

25. Valores estimados e resíduos Os valores estimados são obtidos por: Os resíduos são obtidos através da expressão matricial: Exercício: H)para verificar o ajuste do modelo de regressão para os dados, é necessário encontrar os valores estimados e os resíduos. Encontre estes resultados para os dados da empresa de estúdio fotográfico.

26. Análise de variância Soma de quadrados e quadrados médios Onde J é uma matriz n x n de un’s e H=X(X’X)-1X’é a matriz de projeção. Os quadrados médios são dados por:

27. Teste F para regressão Hipóteses em teste: A estatística de teste é dada por: Se F*> F(; p-1,n-p), rejeitamos a hipótese nula, caso contrário, aceitamos a hipótese. Não devemos esquecer de usar o valor p. Exemplo: continuação do exercício sobre a empresa de estúdio fotográfico.

28. Exercício: interprete o teste F da análise de variância com o uso do valor p. Se a hipótese nula for rejeitada, isto garante que podemos fazer estimação (predição) válidas? Resp. não.

29. Coeficiente de determinação (R2) Define-se R2por: Mede a redução da variabilidade total de Y associada com o uso do conjunto de variáveis X1,...,Xp-1. Como na regressão linear simples, temos: Assim, R2=0 se todas as estimativas bk=0 (k=1,...,p-1), e R2=1 quando todas as observações Y caírem exatamente na superfície de regressão ajustada, isto é, quando: Como R2aumenta com a adição de variáveis explanatórias, sugere-se utilizar o coeficiente de determinação ajustado (corrigido) para os graus de liberdade. O coeficiente de determinação ajustado é dado por:

30. Um alto valor de R2não necessariamente implica que o modelo ajustado se presta para se fazer inferências precisas, pois apesar de um valor alto de R2, o QME ainda pode ser grande. O modelo pode não ser exatamente linear. Coeficiente de correlação múltipla (R) O coeficiente de correlação múltipla mede o relacionamento linear entre Y e Ŷ. Exercício: calcule o coeficiente de determinação (R2), o coeficiente de determinação ajustado (R2a) e o coeficiente de correlação (R), para os dados da empresa de estúdios fotográficos . Faça a interpretação desses coeficientes. Inferência sobre os parâmetros da regressão Os estimadores de mínimos quadrados ou de máxima verossimilhança são não tendenciosos, isto é: E(b)=. A matriz de variância-covariância dos estimadores, 2(b), é dada por:

31. A estimativa da matriz de variância-covariância é dada por: Exercício: para o exemplo da empresa de estúdios fotográficos, obtenha s2(b). Intervalo de confiança para os parâmetros k Para o modelo com erros normais, (17), temos: Assim, o intervalo para k, com confiança 1- é dado por: Exercício: para o exemplo da empresa de estúdios fotográficos calcule o intervalo de confiança para 2, com confiança de 95%. Faça a interpretação.

32. Testes de hipóteses para k Hipóteses: Estatística de teste: Critério do teste: Se |t* |t(1-/2;n-p), aceita-se a hipótese nula, caso contrário rejeita-se a mesma. Exercício: para o exemplo da empresa de estúdios fotográficos, teste a hipótese para 2=0 vs a hipótese de que 2 é diferente de zero, ao nível de significância de 5%. Faça a interpretação. Verifique se chegamos a mesma conclusão com o uso do intervalo de confiança.

33. Estimação da resposta média e predição de uma nova observação Intervalo de confiança para E(Yh) Para valores dados de X1,X2,...,XP-1, representados por: Xh1,Xh2,...,Xh,P-1, a resposta média é representada por E(Yh). Vamos definir o vetor: A resposta média estimada, correspondente ao vetor Xh, é dada por :

34. A variância estimada da resposta média é dada por: O intervalo de confiança para a resposta média, E(Yh), é dado por: Exercício: encontre o intervalo de confiança.para a resposta média (vendas) considerando Xh1=65,4 (população objeto) e Xh2=17,6, (renda per capita) com 95%. Faça a interpretação. Você considera que este intervalo dá informação precisa? Utilize os seguintes resultados:

35. Limites de predição para uma nova observação Yh(novo) Os limites de predição com confiança 1- para uma nova observação Yh(nova)correspondente ao vetor Xh, os valores das variáveis explanatórias, são: A variância do erro de predição (é a diferença entre a nova observação e o valor estimado) é dado por: Exercício: a empresa deseja predizer as vendas para uma nova cidade com as seguintes características Cidade A: Xh1=53,1 Xh2=17,7 encontre o intervalo de predição com 95%. Faça a interpretação. Você considera que este intervalo é satisfatório? Utilize os seguintes resultados:

36. Observação: Isto serve para mostrar que apesar de termos um alto valor para o R2=0,845, não temos precisão suficiente para fazer os intervalos de predição. Assim, alto coeficiente de determinação, não significa que podemos fazer predição precisa. Pode-se pensar em adicionar ou substituir variáveis preditoras do modelo. Cautela com extrapolações. X2 • X2 X1 X1

37. Diagnóstico do modelo Os procedimentos vistos para o modelo de regressão linear simples aplicam-se diretamente para o caso do modelo de regressão linear múltipla. Os capítulos 9 e 10 do livro texto apresentam muitos outros procedimentos. • matriz de diagrama de dispersão • gráfico tridimensional (ver a nuvem de pontos de diferentes perspectivas para identificar padrões) • gráficos de resíduos (versus: valores estimados, tempo, alguma outra seqüência, variáveis regressoras, variáveis regressoras omitidas, termos da interação, box-plot(desenho esquemático), gráfico normal de probabilidades) • testes para homogeneidade de variâncias, normalidade, falta de ajuste Exemplo: Empresa de estúdio fotográfico em 21 cidades.

38. Dados de 21 cidades da empresa de estúdio fotográfico: OBS POPULACA RENDA VENDAS 1 68.5 16.7 174.4 2 45.2 16.8 164.4 3 91.3 18.2 244.2 4 47.8 16.3 154.6 5 46.9 17.3 181.6 6 66.1 18.2 207.5 7 49.5 15.9 152.8 8 52.0 17.2 163.2 9 48.9 16.6 145.4 10 38.4 16.0 137.2 11 87.9 18.3 241.9 População (X1) Renda (X2) Vendas (Y) 12 72.8 17.1 191.1 13 88.4 17.4 232.0 14 42.9 15.8 145.3 15 52.5 17.8 161.1 16 85.7 18.4 209.7 17 41.3 16.5 146.4 18 51.7 16.3 144.0 19 89.6 18.1 232.6 20 82.7 19.1 224.1 21 52.3 16.0 166.5

39. Matriz de diagrama de dispersão: Observa-se uma tendência linear entre vendas (Y) e população (X1); também entre vendas (Y) e renda (X2). Observa-se, também, uma relação linear entre X1 e X2. Não se observa outliers, não se observa separações nos dados.

41. A matriz de correlação: Observe que a renda ESTÁ CORRELACIONADA com a população.

42. A figura indica que é razoável admitir uma superfície plana como modelo de regressão para os dados.

43. Exercício: dados os vetores dos valores estimados e dos resíduos. Faça os seguintes gráficos e interprete. 1 - resíduos versus valores estimados 2 - resíduos versus X1 3 - resíduos versus X2 4 - resíduos versus X1X2 (interação)

44. Y ajustados 187.18411 154.22943 234.39632 153.32853 161.38493 197.74142 152.05508 167.86663 157.7382 136.84602 230.38737 197.18492 222.6857 141.51844 174.21321 228.12389 145.74699 159.00131 230.98702 230.31606 157.0644 X1X2 1143.95 759.36 1661.66 779.14 811.37 1203.02 787.05 894.4 811.74 614.4 1608.57 1244.88 1538.16 677.82 934.5 1576.88 681.45 842.71 1621.76 1579.57 836.8 ERROS -12.78411 10.170574 9.8036764 1.271469 20.215072 9.7585779 0.7449178 -4.666632 -12.3382 0.3539791 11.512629 -6.084921 9.3142995 3.7815611 -13.11321 -18.42389 0.6530062 -15.00131 1.6129777 -6.216062 9.4356009

45. Indica que a função de regressão linear múltipla é adequada (plano) • Indica que a suposição de homogeneidade de variância é atendida • Não apresenta outliers (valores discrepantes).

46. A suposição de normalidade dos erros está satisfeita, ou seja, a distribuição dos erros segue aproximadamente uma distribuição normal.

47. Não se observa nenhum padrão, indicando que o modelo linear é adequado. • Homogeneidade de variâncias.

48. Não se observa nenhum padrão, indicando que o modelo linear é adequado. • Homogeneidade de variâncias.

49. Nota-se que não é necessário a inclusão da interação X1*X2 no modelo.

50. Gráfico dos valores absolutos dos resíduos versus valores estimados: homogeneidade de variâncias. • Não se observa um acréscimo ou decréscimo da variabilidade com o aumento dos valores estimados. Portanto, considera-se a suposição de homogeneidade de variância atendida. • Se ocorrer heterogeneidade de variância, fazer gráficos dos resíduos absolutos versus cada variável preditora para identificar qual(is) estão relacionadas com a falta de homogeneidade.