1 / 65

Regresión lineal múltiple

Regresión lineal múltiple. Tema 2. Descripción breve del tema. Introducción Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores

connie
Download Presentation

Regresión lineal múltiple

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Regresión lineal múltiple Tema 2 Depto. Estadística, Universidad Carlos III

  2. Descripción breve del tema • Introducción • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis • Modelo en forma matricial • Estimación de los parámetros • Propiedades de los estimadores • Inferencia, descomp. de la variabilidad y predicción • Multicolinealidad y diagnosis • Extensiones del modelo Depto. Estadística, Universidad Carlos III

  3. Objetivos • Formulación del modelo de regresión múltiple • Métodos de estimación para dichos modelos • Tomar decisiones acerca de los parámetros • Aprendizaje de utilización de gráficos para detectar el tipo de relación entre las variables • Cuantificación del grado de relación lineal Depto. Estadística, Universidad Carlos III

  4. Descripción breve del tema • Introducción • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis • Modelo en forma matricial • Estimación de los parámetros • Propiedades de los estimadores • Inferencia, descomp. de la variabilidad y predicción • Multicolinealidad y diagnosis • Extensiones del modelo Depto. Estadística, Universidad Carlos III

  5. Introducción • Estudio conjunto de varias variables (más de dos). • Varias variables independientes xi se utilizan para explicar otra dependiente y • Utilizamos toda la información disponible Depto. Estadística, Universidad Carlos III

  6. El modelo de regresión múltiple • n observaciones de la forma (xi1,…, xik,yi) • Objetivo: aproximar y a partir de x1,…,xk • x1,…,xk: variables independientes o explicativas • y: variable dependiente o respuesta (a explicar) Depto. Estadística, Universidad Carlos III

  7. Ejemplo: semiconductores Depto. Estadística, Universidad Carlos III

  8. Ejemplo: semiconductores Depto. Estadística, Universidad Carlos III

  9. Ejemplo: semiconductores Depto. Estadística, Universidad Carlos III

  10. Descripción breve del tema • Introducción • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis • Modelo en forma matricial • Estimación de los parámetros • Propiedades de los estimadores • Inferencia, descomp. de la variabilidad y predicción • Multicolinealidad y diagnosis • Extensiones del modelo Depto. Estadística, Universidad Carlos III

  11. Linealidad • Los datos se ajustan aproximadamente a la ecuación: • Con dos variables explicativas: Los datos están aproximadamente contenidos en un plano. En general, en un hiperplano. Depto. Estadística, Universidad Carlos III

  12. Homogeneidad • El valor promedio de la perturbación es cero, Depto. Estadística, Universidad Carlos III

  13. Homocedasticidad:Var[ui]=s2 Varianza de perturbaciones constante Depto. Estadística, Universidad Carlos III

  14. Independencia • Perturbaciones ui independientes entre sí. • En particular E[uiuj]= 0 para i ¹ j Depto. Estadística, Universidad Carlos III

  15. Normalidad • Las perturbaciones siguen distribución normal ui~N(0, s2) • En consecuencia: Depto. Estadística, Universidad Carlos III

  16. Otras hipótesis • El número de datos n es mayor que k+1 • Ninguna variable explicativa es combinación lineal de las demás (las xi son linealmente independientes) Depto. Estadística, Universidad Carlos III

  17. Descripción breve del tema • Introducción • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis • Modelo en forma matricial • Estimación de los parámetros • Propiedades de los estimadores • Inferencia y predicción • Multicolinealidad y diagnosis • Extensiones del modelo Depto. Estadística, Universidad Carlos III

  18. Forma matricial del modelo • Habitualmente escribimos el modelo como Y = Xb + U con: Depto. Estadística, Universidad Carlos III

  19. Descripción breve del tema • Introducción • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis • Modelo en forma matricial • Estimación de los parámetros • Propiedades de los estimadores • Inferencia, descomp. de la variabilidad y predicción • Multicolinealidad y diagnosis • Extensiones del modelo Depto. Estadística, Universidad Carlos III

  20. Método de Mínimos Cuadrados Valor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada Depto. Estadística, Universidad Carlos III

  21. Mínimos Cuadrados • Objetivo: Buscar los valores de b0,b1,…,bk que mejor ajustan nuestros datos. • Ecuación: • Residuo: • Minimizar: Depto. Estadística, Universidad Carlos III

  22. Mínimos Cuadrados • Resultado en forma matricial: Depto. Estadística, Universidad Carlos III

  23. Ejemplo: semiconductores Depto. Estadística, Universidad Carlos III

  24. Interpretación geométrica • Hemos calculado: • Tenemos: • Definimos la matriz: H es idempotente, simétrica y del mismo rango que X, (k+1). Es una matriz de proyección. Depto. Estadística, Universidad Carlos III

  25. Interpretación geométrica • H simétrica (obvio) • H idempotente • Residuos ortogonales a valores ajustados • Residuos ortogonales a matriz de diseño X Depto. Estadística, Universidad Carlos III

  26. Interpretación geométrica Subespacio vectorial generado por las columnas de X Depto. Estadística, Universidad Carlos III

  27. Varianza • Para estimar s2 utilizamos la varianza residual • Es insesgado como estimador de s2 y además Depto. Estadística, Universidad Carlos III

  28. Descripción breve del tema • Introducción • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis • Modelo en forma matricial • Estimación de los parámetros • Propiedades de los estimadores • Inferencia, descomp. de la variabilidad y predicción • Multicolinealidad y diagnosis • Extensiones del modelo Depto. Estadística, Universidad Carlos III

  29. Propiedades de los estimadores • Normalidad. Sabemos Y=Xb +U, de donde Y~N(Xb,s2I). Como también es normal. • Esperanza. • Varianza. Depto. Estadística, Universidad Carlos III

  30. Propiedades de los estimadores Tenemos La varianza s2 suele ser desconocida y utilizamos el error estándar estimado Depto. Estadística, Universidad Carlos III

  31. Descripción breve del tema • Introducción • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis • Modelo en forma matricial • Estimación de los parámetros • Propiedades de los estimadores • Inferencia, descomp. de la variabilidad y predicción • Multicolinealidad y diagnosis • Extensiones del modelo Depto. Estadística, Universidad Carlos III

  32. Inferencia. Contrastes para b Para averiguar si la variable xi afecta a la respuesta, debemos plantear el contraste Rechazamos la hipótesis nula si: Depto. Estadística, Universidad Carlos III

  33. Ejemplo: semiconductores Depto. Estadística, Universidad Carlos III

  34. Inferencia. Int. de confianza para b Podemos construir un intervalo de confianza para bi con nivel de confianza 1-a como Si n > 30 y a = 0.05, sabemos que tn-k-1,a/2 @ 2. Depto. Estadística, Universidad Carlos III

  35. Descomposición de la variabilidad Igual que en la regresión simple VT=VE+VNE Depto. Estadística, Universidad Carlos III

  36. Coeficiente de determinación • El coeficiente de determinación se define: • El coeficiente de determinación ajustado es más interesante ya que sólo aumenta si disminuye la varianza residual Depto. Estadística, Universidad Carlos III

  37. Ejemplo: semiconductores Depto. Estadística, Universidad Carlos III

  38. Contrastederegresión(fueraprograma) Para averiguar si existe relación lineal entre la variable respuesta y las explicativas, realizamos Rechazamos la hipótesis nula si: Depto. Estadística, Universidad Carlos III

  39. Ejemplo: semiconductores Depto. Estadística, Universidad Carlos III

  40. Predicción para la media • Buscamos estimador puntual e I.C. para el valor medio de la respuesta cuando x=x0 Depto. Estadística, Universidad Carlos III

  41. Predicción para la media • El intervalo de confianza para la media que obtenemos es: Depto. Estadística, Universidad Carlos III

  42. Ejemplo: semiconductores • ¿Cuál sería el I.C. para para la respuesta media si la longitud del cable es 8 y la altura de la estructura es 275? Depto. Estadística, Universidad Carlos III

  43. Ejemplo: semiconductores Depto. Estadística, Universidad Carlos III

  44. Predicción para una nueva observación • Intervalo de predicción • Ejemplo: semiconductores (long. 8, altura 275) Depto. Estadística, Universidad Carlos III

  45. Descripción breve del tema • Introducción • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis • Modelo en forma matricial • Estimación de los parámetros • Propiedades de los estimadores • Inferencia, descomp. de la variabilidad y predicción • Multicolinealidad y diagnosis • Extensiones del modelo Depto. Estadística, Universidad Carlos III

  46. Multicolinealidad • Problema frecuente que se presenta cuando las variables explicativas son muy dependientes entre sí. • No es un problema del modelo, sino de los datos, surge cuando det(XtX) próximo a cero. • Las variables explicativas son significativas en el modelo simple, pero dejan de serlo en el múltiple. Depto. Estadística, Universidad Carlos III

  47. Índice de condicionamiento • Los autovalores de XtX son mayores o iguales que cero, para que haya multicolinealidad, alguno tiene que ser aproximadamente cero. • Si 10 £ Ind.Cond. £ 30, multiolinealidad moderada • Si Ind.Cond. > 30, multicolinealidad alta Depto. Estadística, Universidad Carlos III

  48. Ejemplo: Sabor del queso Depto. Estadística, Universidad Carlos III

  49. Ejemplo: sabor del queso Multicolinealidad moderada Depto. Estadística, Universidad Carlos III

  50. Ejemplo: sabor del queso Depto. Estadística, Universidad Carlos III

More Related