Inmaculada de la Fuente Luis M. Lozano

1. BAYESIAN STATISTICS Inmaculada de la Fuente Luis M. Lozano

2. HISTORY • El reverendo Thomas Bayes prueba un caso particular de lo que hoy se conoce como Th. de Bayes (1702-1761) • Pierre Simon de Laplace (1749-1827) prueba una versión más general del Th. de Bayes • La relevancia del Th. De Bayes para la Estadística no se aprecia hasta el s.XX

3. El paradigma FRECUENTISTA ha sido el predominante en la Teoría de la Probabilidad durante los s. XIX y XX (Fisher, Neyman, Pearson, Venn, Von Mises,….) • El paradigma BAYESIANO tienen un gran auge en las últimas dos décadas (DeFinetti, Savage, ….) • Las herramientas básicas de la Estadística frecuentista, intervalos de confianza y tests de hipótesis avanzan considerablemente. • Todo este tiempo existen los equivalentes bayesianos, pero su resolución requiere muchos más cómputos y el avance es más lento.

4. PROBLEMAS EN INFERENCIA ESTADISTICA ESTIMACIÓN DE PARÁMETROS CONTRASTE DE HIPÓTESIS

5. El Th. de Bayes se deriva de la formulación de la Probabilidad conjunta de dos eventos A y B:Sea p(A) la probabilidad de que A ocurra, p(B) la de que ocurra B y p(A,B) la probabilidad de que ocurran A y B, entonces: p(A,B)=p(A).p(B/A)=p(B).p(A/B)El Th. de Bayes establece, simplemente, que:

6. La versión anterior del Th. de Bayes es aceptada por frecuentistas y bayesianos La Estadística Bayesiana utiliza formulaciones alternativas de dicho teorema. Otras versiones: DISTRIBUCIÓN INICIAL Y FINAL (I)

7. DISTRIBUCIÓN INICIAL Y FINAL (II) El parámetro (desconocido): θ Los datos (conocidos): datos La probabilidad de los datos dado θ: p(datos/θ) La probabilidad “inicial” de θ: p(θ) La probabilidad “final” de θ: p(θ/datos) El denominador es constante luego lo podemos obviar

8. DISTRIBUCIÓN INICIAL Y FINAL (III) El Th. De Bayes se utiliza para combinar datos con unas creencias “a priori” en referencia a una cantidad desconocida, resultando unas creencias “a posteriori”acerca de la cantidad desconocida. Esta aproximación ha sido comparada con tareas de aprendizaje donde la experiencia sirve de base para la continua adaptación del sistema de creencias del investigador. Probabilidad inicial del parámetro: p(θ) Probabilidad final del parámetro: p(θ/datos)

9. DEFINICIÓN DE PROBABILIDAD (I) DEFINICIÓN FRECUENTISTA. La probabilidad de un evento, o de que una cantidad tome un valor en un intervalo determinado, es una frecuencia. Supongamos muchas circunstancias en las que ocurre el suceso A. La proporción de circunstancias en las que ocurre A es su “probabilidad” … es una probabilidad objetiva

10. DEFINICIÓN DE PROBABILIDAD (II) DEFINICIÓN BAYESIANA.La probabilidad de que ocurra un suceso A (o de que una cantidad tome un valor en un intervalo dado), es un grado de creencia. El grado de creencia que tenemos en que A puede cambiar si lo confrontamos con nuevos datos. La probabilidad de A es una representación numérica de este grado de creencia. Si tu y yo estamos de acuerdo en la creencia sobre el suceso A podemos definir una probabilidad objetiva, si no lo estamos, definimos una probabilidad subjetiva.

11. QUE ES FIJO Y QUE ES ALEATORIO ? (I) FRECUENTISTA. En este caso tenemos un valor fijo y desconocido para el parámetro. Los datos son un ejemplo de entre muchos posibles datos que podríamos recoger. La filosofía frecuentista evalúa cómo de verosímiles son los datos de acuerdo a diferentes valores hipotéticos para el parámetro desconocido. Las afirmaciones acerca de la probabilidad de observar los datos que tenemos, dados diferentes valores hipotéticos para el parámetro, se resumen en un Intervalo de Confianza

12. QUÉ ES FIJO Y QUÉ ES ALEATORIO ? (II) BAYESIANO. El valor del parámetro es desconocido. Los datos son conocidos, ellos han sido observados. Un bayesiano evalúa como de verosímiles son diferentes valores posibles para la cantidad –parámetro- desconocido, dados los datos observados. Por tanto, las afirmaciones a las que se llega se refieren a la probabilidad de que la cantidad desconocida tome un determinado valor en un cierto Intervalo de Credibilidad

13. UN PROBLEMA DE INFERENCIA BAYESIANA • Queremos hacer inferencias acerca de un parámetro θ • Establecemos la distribución inicial de θ (conjugada) • Calculamos la distribución final (transformada mediante el Th. De Bayes) • Las inferencias se realizan en la distribución final

14. PROBLEMA DE ESTIMACIÓN DE PARÁMETROS • Queremos estimar un parámetro θ • Establecemos la distribución inicial de θ (conjugada) • Calculamos la distribución final (transformada mediante el Th. De Bayes) • La estimación puntual es la media de la distribución final (función de pérdida) • El intervalo de credibilidad se construye como un mero ejercicio probabilístico

15. SABEMOS INTERPRETAR UN INTERVALO DE ESTIMACIÓN? (I) FRECUENTISTA. Un intervalo de confianza al 95% para una cantidad θ Si se recogen muchas veces nuevos datos y se calculan intervalos de confianza en cada ocasión, el 95% de estos intervalos de confianza contienen el verdadero valor de θ

16. SABEMOS INTERPRETAR UN INTERVALO DE ESTIMACIÓN? (II) BAYESIANO. Un intervalo de credibilidad al 95% La probabilidad de que el valor de θ esté entre 2,5 y 4,5 es del 95%, dados los datos observados y nuestra creencia inicial

17. PROBLEMA DE CONTRASTE DE HIPÓTESIS • Queremos contrastar H0 frente a H1 • Establecemos la distribución inicial de H0 y H1 • Calculamos la distribución final (transformada mediante el Th. De Bayes) de H0 y H1 • Se establece el factor Bayes

18. TEST DE HIPÓTESIS (I) FRECUENTISTA.Dadas dos hipótesis H0 y H1, se calcula, si H0 fuera cierta, la probabilidad de obtener datos al menos tan extremos como los que tenemos. Si esa probabilidad es baja (p-valor) se rechaza H0 Una hipótesis es, o verdadera, o falsa. Los frecuentistas calculan sólo la verosimilitud de los datos observados y no pueden asignar probabilidades a cada una de las hipótesis

19. TEST DE HIPÓTESIS (II) BAYESIANO. Dadas dos hipótesis H0 y H1, se calcula la probabilidad de cada una de ellas, dados los datos obtenidos y la información previa. gana la hipótesis que tiene mayor probabilidad. Se calcula la probabilidad de que cada hipótesis sea verdadera

20. FACTOR BAYES Odds ratio inicial: Odds ratio final: Factor Bayes:

22. INFERENCIA BAYESIANA PARA LA PROPORCIÓN • MODELO DISCRETO INICIAL NO INFORMATIVO • Suponemos que los valores posibles para la proporción de veredictos de culpabilidad son 11, todos igualmente verosímiles con probabilidades cada uno de ellos de 1/11=0,9091 (prob. a priori) • Suponemos que se selecciona una muestra de 5 elementos de los que 3 emiten veredicto de culpabilidad 3/5=0,60. Tenemos una distribución Binomial n=5 y p=0,60. La probabilidad de obtener 3 éxitos será:

23. f(θ):distrib.inicial f(3/θ): verosimilitud de la muestra o probab. de obtener 3 éxitos si la verdadera proporción de los que dicen culpable en la población es θ

24. ESTIMADOR PUNTUAL BAYES El valor esperado de la distribución final del parámetro vale φ*(θ)=0,571287 Se pueden construir intervalos de credibilidad P(0,50<θ<0,80)=0,7184 P(0,40<θ<0,80)=0,8413