Exploración y preparación de datos

1. Exploración y preparación de datos Tema 6 Dr. Francisco J. Mata

2. Objetivos • Presentar la importancia de la exploración de los datos • Discutir la necesidad de preparar los datos Dr. Francisco J. Mata

3. Explorar • Obtener estadísticas básicas • Valores extremos • Valores perdidos • Distribuciones • Histogramas • Comparar valores con descripciones • ¿Aparecen todos los códigos para una variable categórica? • ¿Distribución de valores es esperada para variables categóricas? • ¿Valores mínimos y máximos para una variable son razonables? • Relaciones entre variables Dr. Francisco J. Mata

4. Explorar • Haga lista de asuntos sorprendentes o que no estén claros • Pregunte al proveedor de los datos Dr. Francisco J. Mata

5. Explorar • Observar • Número de registros (observaciones) • Número de variables (columnas) Dr. Francisco J. Mata

6. Ver la tabla de datos es otra buena forma de iniciar la exploración Dr. Francisco J. Mata

7. Explorar una variable Penetración de producto Dr. Francisco J. Mata

8. Explorar relaciones Ingreso por hogar 1999 Ingreso por familia 1999 Dr. Francisco J. Mata

9. Ejemplo • Archivo de datos de censo sobre adultos de los Estados Unidos Dr. Francisco J. Mata

10. Estadísticas descriptivas para variables continuas Variable Label Mean Std Dev Range x1 age 38.582 13.640 73.000 x5 education-num 10.081 2.573 15.000 x11 capital-gain 1077.650 7385.290 99999.000 x12 capital-loss 87.304 402.960 4356.000 x13 hour-per-week 40.437 12.347 98.000 Dr. Francisco J. Mata

11. Age Minería de datos Dr. Francisco J. Mata

12. Education-number Minería de datos Dr. Francisco J. Mata

13. Gain Minería de datos Dr. Francisco J. Mata

14. Loss Minería de datos Dr. Francisco J. Mata

15. Hours Minería de datos Dr. Francisco J. Mata

16. Estadísticas Descriptivas para Variables Discretas Workclass Cumulative Cumulative x2 Frequency Percent Frequency Percent Federal-gov 960 3.12 960 3.12 Local-gov 2093 6.81 3053 9.94 Never-worked 7 0.02 3060 9.96 Private 22696 73.87 25756 83.83 Self-emp-inc 1116 3.63 26872 87.46 Self-emp-not-inc 2541 8.27 29413 95.73 State-gov 1298 4.22 30711 99.95 Without-pay 14 0.05 30725 100.00 Frequency Missing = 1836    Chi-Square 107220.7383 DF 7 Pr > ChiSq <.0001 Dr. Francisco J. Mata

17. Estadísticas Descriptivas para Variables Discretas Education   Cumulative Cumulative x4 Frequency Percent Frequency Percent 10th 933 2.87 933 2.87 11th 1175 3.61 2108 6.47 12th 433 1.33 2541 7.80 1st-4th 168 0.52 2709 8.32 5th-6th 333 1.02 3042 9.34 7th-8th 646 1.98 3688 11.33 9th 514 1.58 4202 12.91 Assoc-acdm 1067 3.28 5269 16.18 Assoc-voc 1382 4.24 6651 20.43 Bachelors 5355 16.45 12006 36.87 Doctorate 413 1.27 12419 38.14 HS-grad 10501 32.25 22920 70.39 Masters 1723 5.29 24643 75.68 Preschool 51 0.16 24694 75.84 Prof-school 576 1.77 25270 77.61 Some-college 7291 22.39 32561 100.00 Chi-Square 66643.3355 DF 15 Pr > ChiSq <.0001 Dr. Francisco J. Mata

18. education*education-num Dr. Francisco J. Mata

19. education*education-num Dr. Francisco J. Mata

20. Estadísticas Descriptivas para Variables Discretas Race Cumulative Cumulative x9 Frequency Percent Frequency Percent Amer-Indian-Eskimo 311 0.96 311 0.96 Asian-Pac-Islander 1039 3.19 1350 4.15 Black 3124 9.59 4474 13.74 Other 271 0.83 4745 14.57 White 27816 85.43 32561 100.00 Chi-Square 87941.8892 DF 4 Pr > ChiSq <.0001 Dr. Francisco J. Mata

21. Estadísticas Descriptivas para Variables Discretas Sex Cumulative Cumulative x10 Frequency Percent Frequency Percent Female 10771 33.08 10771 33.08 Male 21790 66.92 32561 100.00 Chi-Square 3728.9506 DF 1 Pr > ChiSq <.0001 Dr. Francisco J. Mata

22. Estadísticas Descriptivas para Variables Discretas Native-country Cumulative Cumulative x14 Frequency Percent Frequency Percent Cambodia 19 0.06 19 0.06 Canada 121 0.38 140 0.44 China 75 0.23 215 0.67 Columbia 59 0.18 274 0.86 Cuba 95 0.30 369 1.15 Dominican-Republic 70 0.22 439 1.37 Ecuador 28 0.09 467 1.46 El-Salvador 106 0.33 573 1.79 England 90 0.28 663 2.07 France 29 0.09 692 2.16 Germany 137 0.43 829 2.59 Greece 29 0.09 858 2.68 Guatemala 64 0.20 922 2.88 Haiti 44 0.14 966 3.02 Holand-Netherlands 1 0.00 967 3.02 Honduras 13 0.04 980 3.06 Dr. Francisco J. Mata

23. Estadísticas Descriptivas para Variables Discretas Native-country   Cumulative Cumulative x14 Frequency Percent Frequency Percent Hong 20 0.06 1000 3.13 Hungary 13 0.04 1013 3.17 India 100 0.31 1113 3.48 Iran 43 0.13 1156 3.61 Ireland 24 0.08 1180 3.69 Italy 73 0.23 1253 3.92 Jamaica 81 0.25 1334 4.17 Japan 62 0.19 1396 4.37 Laos 18 0.06 1414 4.42 Mexico 643 2.01 2057 6.43 Nicaragua 34 0.11 2091 6.54 Outlying-US(Guam-USVI-etc) 14 0.04 2105 6.58 Peru 31 0.10 2136 6.68 Philippines 198 0.62 2334 7.30 Poland 60 0.19 2394 7.49 Portugal 37 0.12 2431 7.60 Puerto-Rico 114 0.36 2545 7.96 Scotland 12 0.04 2557 8.00 Dr. Francisco J. Mata

24. Estadísticas Descriptivas para Variables Discretas Native-country Cumulative Cumulative x14 Frequency Percent Frequency Percent Scotland 12 0.04 2557 8.00 South 80 0.25 2637 8.25 Taiwan 51 0.16 2688 8.41 Thailand 18 0.06 2706 8.46 Trinadad&Tobago 19 0.06 2725 8.52 United-States 29170 91.22 31895 99.74 Vietnam 67 0.21 31962 99.95 Yugoslavia 16 0.05 31978 100.00 Frequency Missing = 583 Chi-Square 1059744.4599 DF 40 Pr > ChiSq <.0001 Dr. Francisco J. Mata

25. Preparación de datos • Datos pueden ser • Incompletos: valores para una variable perdidos • Ruidosos: contienen errores o valores extremos • Inconsistentes: esquemas de codificación diferentes Dr. Francisco J. Mata

26. Preparación de datos • Actividades • Limpieza de datos • Integración de datos • Transformación de datos • Reducción de datos Dr. Francisco J. Mata

27. Limpieza de datos • Dar valores a datos perdidos • Suavizar el ruido en los datos identificando valores extremos • Corregir inconsistencias Dr. Francisco J. Mata

28. Valores perdidos • Valores para una variable no fueron registrados Dr. Francisco J. Mata

29. Valores perdidos • Opciones • Eliminar registros con valores perdidos: puede sesgar la muestra • Reemplazar valores perdidos por un valor especial -999.99: modelos no pueden distinguir este valor de uno perdido • Utilizar la media, mediana o moda: puede cambiar la distribución de los datos • Generar un valor aleatoriamente: puede ser difícil conocer la distribución de los valores particularmente si existe un patrón en los valores perdidos Dr. Francisco J. Mata

30. Valores perdidos • Opciones • Predecir el valor utilizando árboles de decisión o redes neuronales • Particionar los registros y construir varios modelos: posible cuando se puede conocer la causa de la falta de registro de los datos • Utilizar procedimientos que puedan manipular datos perdidos Dr. Francisco J. Mata

31. Suavizar el ruido en los datos identificando valores extremos • Utilizar las distribuciones de valores para identificar valores extremos • Utilizar técnicas automáticas de detección de grupos (“clustering”) • Utilizar métodos de regresión Dr. Francisco J. Mata

32. Distribuciones para identificar valores extremos Valor extremo Minería de datos Dr. Francisco J. Mata

33. Técnicas automáticas para detectar grupos Dr. Francisco J. Mata

34. Métodos de regresión Dr. Francisco J. Mata

35. Corregir inconsistencias • Inconsistencias pueden existir debido a la forma en que fueron registrados lo datos • Corrección • Errores de entrada de datos pueden ser corregidos buscando los registros originales • Uso de dependencias funcionales Dr. Francisco J. Mata

36. Integración de datos • Combinación de datos de múltiples fuentes para crear nuevos registros • Problemas • Identificación de entidades • Claves para hacer uniones • Redundancia • Valores que pueden ser derivados de otras variables o atributos • Algunas redundancias se pueden detectar mediante análisis de correlación o tablas de contingencia • Duplicación de registros o tuples • Detección y corrección de conflictos en valores de datos • Pesos en kilos y libras Dr. Francisco J. Mata

37. education*education-num Dr. Francisco J. Mata

38. education*education-num Dr. Francisco J. Mata

39. Transformación de datos • Datos son transformados o consolidados en formas apropiadas para minería de datos • Métodos • Discretización • Generalización • Normalización • Construcción de atributos o variables Dr. Francisco J. Mata

40. Discretización • Tomar un valor continúo y representarlo en valores discretos • Ejemplo: transformar edad en • Joven • Edad medio • Adulto mayor Dr. Francisco J. Mata

41. Generalización • Tomar un valor más detallado y generalizarlo de acuerdo con una jerarquía País 15 valores Provincia o estado 365 valores Ciudad 3,567 valores Calle 674,339 valores Dr. Francisco J. Mata

42. Normalización • Valores de una variable o atributo se convierten para que caigan en un intervalo pequeño • -1.0 a 1.0 • 0.0 a 1.0 • o tengan cierta media y desviación estándard Dr. Francisco J. Mata

43. Normalización • Métodos • Normalización min-max • Normalización “z-score” Dr. Francisco J. Mata

44. Normalización • Normalización min-max • v´ = ((v – minA) / (maxA-minA)) (new_maxA-new_minA) + new_minA • Ejemplo: • Mínimo y máximo para ingreso es $12,000 y $98,000, respectivamente • Se quiere transformar ingreso al intervalo [0.0,1.0] • El valor 73,600 se convierte en • ((73,600-12,000) / (98,000-12,000)) (1.0-0) + 0 = 0.716 Dr. Francisco J. Mata

45. Normalización • Normalización “z-score” • v´ = (v – media_A) / dev_est_A • Ejemplo: • Media y desviación estándar para ingreso es $54,000 y $16,000, respectivamente • El valor 73,600 se convierte en • (73,600-54,000) / 16,000 = 1.225 Dr. Francisco J. Mata

46. Construcción de atributos • Nuevos atributos son construidos a partir de atributos existentes • Ejemplo: venta = cantidad * precio Dr. Francisco J. Mata

47. Reducción de datos • Obtener una representación reducida del conjunto de datos que es mucho más pequeña en volumen pero mantiene la integridad de los datos originales Dr. Francisco J. Mata

48. Reducción de datos • Técnicas • Muestreo • Agregación • Reducción de dimensión Dr. Francisco J. Mata

49. Reducción de datos • Muestreo • Seleccionar un subconjunto de registros o tuples pequeño pero representativo de la población • Existen técnicas estadísticas para seleccionar muestras representativas Dr. Francisco J. Mata

50. Reducción de datos • Agregación • Sumarizar información usualmente sobre períodos de tiempo • Ejemplo: sumar las ventas por trimestre para obtener ventas anuales • Asociado con cubos OLAP Dr. Francisco J. Mata