600 likes | 1.12k Views
Regresión lineal simple. Tema 2. Descripción breve del tema. Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud
E N D
Regresión lineal simple Tema 2 Depto. Estadística, Universidad Carlos III
Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III
Objetivos • Construcción de modelos de regresión • Métodos de estimación para dichos modelos • Inferencia acerca de los parámetros • Aprendizaje de utilización de gráficos para detectar el tipo de relación entre dos variables • Cuantificación del grado de relación lineal Depto. Estadística, Universidad Carlos III
Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III
Introducción • Estudio conjunto de dos variables • Relación entre las variables • Regresión lineal • Historia del concepto de regresión lineal Depto. Estadística, Universidad Carlos III
Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III
Ejemplo: Pureza del oxígeno en un proceso de destilación Depto. Estadística, Universidad Carlos III
Ejemplo: Pureza del oxígeno en un proceso de destilación Depto. Estadística, Universidad Carlos III
El modelo de regresión simple • n pares de la forma (xi,yi) • Objetivo: valores aproximados de Y a partir de X • X: variable independiente o explicativa • Y: variable dependiente o respuesta (a explicar) Depto. Estadística, Universidad Carlos III
El modelo de regresión simple Depto. Estadística, Universidad Carlos III
Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III
Linealidad: datos con aspecto recto Depto. Estadística, Universidad Carlos III
Homogeneidad • El valor promedio del error es cero, Depto. Estadística, Universidad Carlos III
Homocedasticidad:Var[ui]=s2 Varianza de errores constante Depto. Estadística, Universidad Carlos III
Independencia: Observaciones independientes, en particular E[uiuj]= 0 Depto. Estadística, Universidad Carlos III
Normalidad: ui~N(0, s2) Depto. Estadística, Universidad Carlos III
Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Tansformaciones Depto. Estadística, Universidad Carlos III
Método de Mínimos Cuadrados Valor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada Depto. Estadística, Universidad Carlos III
Mínimos Cuadrados (Gauss, 1809) • Objetivo: Buscar los valores de b0 y b1 que mejor se ajustan a nuestros datos. • Ecuación: • Residuo: • Minimizar: Depto. Estadística, Universidad Carlos III
Mínimos Cuadrados (Gauss, 1809) • Resultado: Depto. Estadística, Universidad Carlos III
Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III
Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III
Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III
Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III
Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III
Método de Máxima Verosimilitud • Mismo resultado. • Estimación de la varianza: Depto. Estadística, Universidad Carlos III
Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III
Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III
Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Depto. Estadística, Universidad Carlos III
Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Depto. Estadística, Universidad Carlos III
Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III
Inferencia respecto a los parámetros IC Depto. Estadística, Universidad Carlos III
Inferencia respecto a los parámetrosContraste de Hipótesis Depto. Estadística, Universidad Carlos III
Ajusteregresiónsimple:purezaoxígeno Depto. Estadística, Universidad Carlos III
Descomposición de la variabilidad • La variabilidad del modelo satisface: VT =VE+VNE • Contraste de regresión Depto. Estadística, Universidad Carlos III
Ajusteregresiónsimple:purezaoxígeno VE Depto. Estadística, Universidad Carlos III
Ajusteregresiónsimple:purezaoxígeno VNE Depto. Estadística, Universidad Carlos III
Coeficiente de determinación Depto. Estadística, Universidad Carlos III
Predicción Dos tipos de predicción: • Predecir un valor promedio de y para cierto valor de x. • Predecir futuros valores de la variable respuesta. La predicción es la misma (a partir de la recta de regresión) pero la precisión de los estimadores es diferente. Depto. Estadística, Universidad Carlos III
Predicción (promedio) Estimación de la media de la distribución condicionada de y para x=x0: Intervalo de confianza para la media estimada Depto. Estadística, Universidad Carlos III
Ajusteregresiónsimple:purezaoxígeno La anchura del intervalo aumenta cuando aumenta Depto. Estadística, Universidad Carlos III
Predicción para futuros valores Intervalo de predicción Depto. Estadística, Universidad Carlos III
Ajusteregresiónsimple:purezaoxígeno Depto. Estadística, Universidad Carlos III
Descripción breve del tema • Introducción • El modelo de regresión simple • Hipótesis del modelo • Linealidad, homogeneidad, homocedasticidad, independencia y normalidad • Estimación de los parámetros • Mínimos cuadrados, Máxima Verosimilitud • Propiedades de los estimadores • Coeficientes de regresión, varianza residual • Inferencia y predicción • Diagnosis Depto. Estadística, Universidad Carlos III
Diagnosis Una vez ajustado el modelo, hay que comprobar si se cumplen las hipótesis iniciales. • Gráficos de residuos frente a valores previstos. • Si las hipótesis iniciales se satisfacen, este gráfico no debe tener estructura alguna. Depto. Estadística, Universidad Carlos III
Ajuste regresión simple:Datos pureza oxígeno Depto. Estadística, Universidad Carlos III
Relaciones no lineales Gráficos de residuos Depto. Estadística, Universidad Carlos III
Linealidad Soluciones a la falta de linealidad: • Transformar las variables para intentar conseguir linealidad. • Introducir variable adicionales. • Detectar la presencia de datos atípicos o ausencia de otras variables importantes para explicar la variable respuesta. Depto. Estadística, Universidad Carlos III
Homocedasticidad Cuando la varianza de las perturbaciones es muy diferente para unos valores de la variable explicativa que para otros tenemos heterocedasticidad e . ^ y Depto. Estadística, Universidad Carlos III
Homocedasticidad Soluciones a la heterocedasticidad: • Si la variabilidad de la respuesta aumenta con xsegún la ecuación Var(y|x) = g(x), dividimos la ecuación de regresión (y) entre g(x). • Transformar la variable respuesta y puede que también x. • Si lo anterior no funciona, cambiar el método de estimación. Depto. Estadística, Universidad Carlos III