Estimación de máxima verosimilitud

1. Estimación de máxima verosimilitud Programa de doctorado en Estadística, Análisis de datos y Bioestadística Fundamentos de Inferencia Estadística Jordi Ocaña Rebull Departament d’Estadística Divisió de Ciències Experimentals i Matemàtiques

2. Contenido • Concepto de estimación de máxima verosimilitud (MLE) • Relación con la suficiencia • Equivariancia • Obtención práctica de MLE. Ecuaciones de verosimilitud • Métodos numéricos de obtención de MLE • Algoritmo de Newton-Raphson

3. Concepto de estimación de máxima verosimilitud MLE • Dada una función de verosimilitud L para un parámetro , una estimación de máxima verosimilitud es un valor tal que • “Escoger aquel valor que dé las máximas oportunidades a los hechos observados” • Fisher en su formulación actual, orígenes en el siglo XVIII (Bernouilli, Lambert)

4. Comentarios sobre el concepto de estimación MLE • Q no tiene por que ser numérico • Puede no existir • Puede no ser única • Pero en general existe y es única. Entonces se puede hablar con propiedad de “la” MLE • Maximización sobre Q, no sobre los valores matemáticamente admisibles • A menudo sin expresión cerrada, para y concreto buscar numéricamente max L

5. Relación con la suficiencia • Supongamos que existe una (o “la”) estimación MLE de q, . Entonces se puede afirmar que es función de cualquier estadístico suficiente: • Consecuencia del teorema de factorización • Maximizar equivale a maximizar

6. Equivariancia • La MLE es invariante frente a transformaciones biyectivas: • Si y no biyectiva lo anterior cierto si se considera verosimilitud inducida:

7. Obtención práctica de MLE. Ecuaciones de verosimilitud • Maximizar L equivalente a maximizar la log-verosimilitud, l, cosa que suele ser más fácil. El problema se suele reducir a resolver las “ecuaciones de verosimilitud” • Sólo condición necesaria. Estudiar también las segundas derivadas, • Si no, estudio detallado de L o l

8. Métodos numéricos de obtención de MLE • Estos problemas son tema importante de la Estadística computacional • Dos situaciones distintas: • Obtención directa del máximo de L o de l • Si es posible derivar analíticamente l: solución numérica de las equaciones de verosimilitud (problema más fácil) • Muchas técnicas aplicables: básica es el algoritmo de Newton-Raphson

9. Algoritmo de Newton-Raphson(expresión general) • Objetivo: solucionar la ecuación g(x)=0 • Procedimiento: • valor inicial x0 propuesto como solución aproximada • iteración con sucesivas soluciones aproximadas x0, x1, ..., xs, ... Mediante • detenida al cumplirse algún criterio de convergencia

10. Algoritmo de Newton-Raphson(aplicado a la estimación MLE) • Ahora • Procedimiento: • inicial (p.e. método de los momentos) • iteración • detenida al cumplirse algún criterio de convergencia, p.e.