Análise Exploratória de Dados - 2006

1. Análise Exploratória de Dados - 2006 R - LIG -07

2. Resultados da Prova 1 turma MAA: 20 alunos - 2005 summary(notas) Min. 1st Qu. Median Mean 3rd Qu. Max. 3.60 4.80 5.70 5.69 6.30 8.20

3. Resultados da Prova 1 turma MAA: 38 alunos - 2006 Min.  1,8 Q1  5,35 Q2 6,75 Q3 8,075 Max. 9,5 Média 6,45 Desvio-padrão2,13

4. Objetivos • Definir e construir gráficos de quantis. • Trabalhar com transformações de variáveis buscando “simetrizar” os dados. • Definir medidas de assimetria.

5. Gráficos de quantis • É possível construir uma representação gráfica dos quantis de uma distribuição de freqüências, chamada gráfico de quantis. • No eixo das abscissas colocamos os valores de p e no eixo das ordenadas os valores de q(p). • Depois, unimos os pontos obtidos por segmentos de retas, para que se possa obter q(p) para todo p.

6. Gráficos de quantis: exemplo • Considere os dados sobre os 30 municípios mais populosos do Brasil em dados2bm.txt. • dados=read.table(“http://www.im.ufrj.br/~flavia/aed06/dados2bm.txt”,header=T) • Defina o vetor de valores de p da seguinte forma: • prop=c(0:10) • prop=prop/10

7. Gráficos de quantis: exemplo • Calcule os quantis correspondentes aos valores em prop para os tamanhos das populações: • quantis=quantile(dados$pop10mil,prop) • Finalmente, trace o gráfico usando a função plot: • plot(prop,quantis,main=“Gráfico de quantis dos dados sobre população”,sub=“30 maiores municípios brasileiros”)

8. volta

9. Para que os pontos sejam unidos por segmentos, insira o argumento type=“l”na função plot.

10. Para que ambos pontos e linhas entre pontos apareçam no gráfico, insira o argumento type=“b”na função plot.

11. Gráficos de quantis (cont.) • O gráfico de quantis pode ser útil para verificar se a distribuição dos dados é simétrica (ou aproximadamente simétrica). • Se os dados forem aproximadamente simétricos, os pontos no topo superior direito do gráfico de quantis comportam-se como os pontos do canto inferior esquerdo.

12. Gráficos de quantis (cont.) • Se os dados forem assimétricos à direita, os pontos do topo superior direito são mais inclinados do que os pontos no canto inferior esquerdo. • No exemplo anterior, claramente percebemos uma assimetria positiva.

13. Gráficos de quantis: exemplo • Vejamos um exemplo com dados aproximadamente simétricos. • source(“http://www.im.ufrj.br/~flavia/aed06/exemplo2a7.txt”) volta

14. Gráficos de quantis: exemplo • Vejamos um exemplo de conjunto de dados com assimetria negativa. • source(“http://www.im.ufrj.br/~flavia/aed06/exemplo3a7.txt”) volta

15. Exercício 1 • Construa o gráfico de quantis, para os dados do exemplo 13: emissão de dióxido de Carbono. volta

16. Transformações • Diversas técnicas estatísticas são baseadas na suposição de que os dados provêm de uma distribuição normal ou, pelo menos, aproximadamente simétrica.

18. Transformações • Porém, em muitas situações, os dados em que estamos interessados apresentam assimetria e/ou podem conter valores atípicos.

20. Transformações (cont.) • Existem métodos estatísticos que são desenvolvidos para dados não normais. • Porém, se quisermos utilizar algum método para dados normais, quando os dados não parecem ter esse tipo de comportamento, o que se pode fazer é uma transformação desses dados visando a simetrização .

21. Transformações (cont.) • Uma família de transformações freqüentemente explorada é Normalmente, o que se faz é experimentar valores de p na seqüência ...,-3,-2,-1,-1/2,-1/3,-1/4,0,1/4, 1/3,1/2,1,2,3,...

22. Transformações (cont.) • Para cada valor de p construímos gráficos apropriados (histogramas, boxplots, quantis,...) para os dados originais e transformados, de forma a poder escolher o valor de p apropriado. • Para dados positivos, a distribuição é geralmente assimétrica à direita.

23. Transformações (cont.) • Para essas distribuições, a transformação sugerida com 0<p<1 é apropriada, pois valores grandes de x decrescem mais, relativamente a valores pequenos. • Para distribuições assimétricas à esquerda experimente valores de p maiores que 1.

24. Dados sobre emissão de dióxido de carbono • Vimos que a distribuição das emissões de dióxido de carbono é bastante assimétrica à direita. • Proponha uma distribuição que torne os dados aproximadamente simétricos.

25. Continuação do exemplo Pela sugestão anterior, devemos buscar por um valor de p que esteja entre 0 e 1. Aqui, teríamos problema com a transformação logarítmica, pois há uma observação com emissão 0. Na figura a seguir, foi solicitado um boxplot para valores de p que variaram da seguinte forma: 1/2,1/3,1/4,1/5, 1/6 e 1/7.

27. Continuação do exemplo • É possível verificar, a partir da figura anterior, que os valores de p entre 1/5 e ¼ são os que resultaram numa distribuição aproximadamente simétrica. • Podemos continuar e escolher um valor de p entre 1/5 e ¼, por exemplo, (1/5+1/4)/2.

30. Exercício 2 • Analise a distribuição dos dados sobre notas em Estatística (dados3bm.txt) quanto à assimetria, construindo um gráfico de quantis para estes dados.

32. Exercício 2 (conclusão) • Pelo gráfico de quantis dos dados sobre notas em Estatística, podemos perceber que a distribuição é aproximadamente simétrica. • Isto pode ser confirmado pelo boxplot e pelo histograma das notas.

34. Exercício 3 • Análise a forma da distribuição da variável densidade demográfica em dados sobre o Brasil (dados1bm.txt). • Proponha uma transformação buscando tornar a distribuição aproximadamente simétrica.

35. Exercicio 3(cont.) • Construindo o boxplot de densidade demográfica, percebe-se, claramente, forte assimetria positiva.

36. Transformações • Como os dados são todos positivos, podemos começar tentando a transformação logarítmica. • boxplot(log(dados$dd))

39. Exercício 4 • Trabalhe com a base de dados sobre veículos. • Para cada variável entre preço, tamanho e motor, analise as distribuições quanto à assimetria. • Nos casos onde há assimetria, proponha, se possível, uma transformação de simetrização.

40. Leitura e organização dos dados • dados=read.table(“http://www.im.ufrj.br/~flavia/aed06/dados7bm.txt”,header=T)

41. Continuação • É possível verificar que a distribuição da variável preço apresenta assimetria positiva. • Tente a transformação logarítmica, pois os preços são todos positivos.

44. Exercício 5 • Considere a variável CO(gás carbônico nos dados sobre poluição (dados4bm.txt). • Calcule as principais medidas de posição e dispersão. • Construa um histograma, ramo-e-folhas e boxplot. • Comente sobre a forma da distribuição desta variável.

45. dados=read.table(”http://www.im.ufrj.br/~flavia/ aed06/dados4bm.txt",header=T) names(dados) [1] "data" "CO" "O3" "temp" "umid" summary(dados$CO) Min. 1st Qu. Median Mean 3rd Qu. Max. 4.700 6.300 7.200 7.464 8.025 12.500 sd(dados$CO) [1] 1.543912 range(dados$CO) [1] 4.7 12.5 IQR(dados$CO) [1] 1.725

48. 4 | 77 5 | 12 5 | 55677789 6 | 1111122222222233333444444 6 | 5666677777899999999 7 | 00122233444 7 | 5566777778888899999999 8 | 012334 8 | 55678999 9 | 0114 9 | 557 10 | 1333 10 | 8 11 | 4 11 | 69 12 | 0 12 | 5 Ramo-e-folhas

50. Forma da distribuição • Os dados apresentam assimetria positiva não muito acentuada. • Verifique como fica a distribuição na escala logarítmica desta variável. • Repita esta análise uni-variada para as outras variáveis dos dados sobre poluição (ozônio, umidade, temperatura).