Montecarlo basado en cadenas de Markov

1. Montecarlo basado en cadenas de Markov Programa de doctorado Estadística, Análisis de datos y Bioestadística Métodos de Montecarlo y Estadística Computacional Departament d’Estadística Divisió de Ciències Experimentals i Matemàtiques

2. Contenido • Planteamiento. Posibles enfoques de Montecarlo • Algoritmo general de Metropolis-Hastings • Algoritmo de Metrópolis • Muestreador de independencia • Metropolis-Hastings paso a paso Condicionales completas • Muestreo de Gibbs • Algunas cuestiones abiertas

3. Planteamiento • El método de Montecarlo permite determinar la distribución, p(y), de un estadístico, o algún aspecto de la misma (media, varianza) • Ejemplos: • distribución posterior en un análisis bayesiano: • varianza de un estadístico (caso frecuentista):

4. Posibles enfoques de Montecarlo • Típico “algoritmo de Montecarlo” para aproximar esta distribución: generar n muestras iid, x, evaluar repetidamente el estadístico sobre ellas t(x), y aproximar p mediante la distribución empírica de valores obtenidos. • Alternativamente: generar proceso estocástico cuya distribución estacionaria sea p. Después de fase transitoria (“fase de calentamiento”), recolectar valores t(xt), t=1,...,n, no independientes pero con distribución, muy aproximadamente, p.

5. Algoritmo de Metropolis-Hastings • Posible generador: proceso de Markov, p(xt+1|Xt=xt,..., X0=x0)=p(xt+1|Xt=xt). • Algoritmo de Metropolis-Hastings: en fase t, próximo valor Xt+1 generado a partir de Xt=xt proponiendo valor Y a partir de densidad q(y| Xt=xt). Este valor se acepta como el siguiente Xt+1 con probabilidad a(xt,y), o se rechaza y se vuelve a generar un nuevo y, etc. • Ciertamente, genera una cadena de Markov. Pero objetivo es que distribución estacionaria sea p.

6. Algoritmo de Metropolis-Hastings • ¿Qué densidad q hay que utilizar?: cualquiera sirve (bajo ciertas condiciones) siempre que • No todas las q igual de eficientes, compromiso: • Alta probabilidad de aceptación • Fase de calentamiento corta • Que no sean slow mixing chains • Los distintos métodos de Montecarlo de Markov difieren en la elección de q.

7. Algoritmo de Metrópolis • Densidades simétricas q(x|y)=q(y|x) para todo x,y. Ejemplo: q(·|x) normal multivariante de media x y S constante. También caminata aleatoria de Metropolis q(y|x)=q(|x-y|). • Probabilidad de aceptación: • Elección del parámetro de escala (S) delicada: si y-xt tiende a ser pequeño a (y,xt) grande pero con lenta velocidad de mixtura.

8. Muestreador de independencia • Basado en q(y|x)=q(y). Conduce a • Suele funcionar bien cuando q es una buena aproximación a p, pero con colas más pesadas. • Típica elección si aplicable TCL: q normal multivariante de media igual a la moda de p y matriz de covarianzas “algo mayor que”

9. Metropolis-Hastings paso a paso (single component) • En lugar de actualizar X en bloque, mejor considerar componentes {X1,X2,...,Xh} y actualitzarlas una a una. • Notación: X-i = {X1,X2,...,Xi-1, Xi+1,...,Xh} • Cada iteración dividida en h etapas. Etapa i de tt+1 actualiza Xt.i: se propone Yi según qi(yi|xt.i,xt.-i), con xt.-i ={xt+1.1,xt+1.2,...,xt+1.i-1, xt.i+1,...,xt.h}. Aceptado con probabilidad

10. Muestreo de Gibbs • Es el algoritmo de Montecarlo de Markov más conocido y utilizado. • Caso particular de Metropolis-Hastings paso a paso: emplear • Seguridad total de aceptación: a(x,y)=1. • Existen muy buenos métodos para generar valores a partir de condicionales totales. • Conocido de antiguo en Mecánica estadística “descubierto” en los años 80 por estadísticos.

11. Condicionales completas • p(xi|x-i) se conoce como la distribución condicional completa, la distribución de xi dadas las restantes componentes. • Algoritmo de Metropolis-Hastings continua siendo válido ya que el conjunto de todas las condicionales completas determina unívocamente p. Resultado importante en estadística espacial. • Algoritmo paso a paso: ventajas computacionales, simplificación de a, ...

12. Algunas cuestiones abiertas, mal conocidas todavía • Orden de actualización en algoritmos paso a paso, no necesariamente actualizar siempre en orden i=1,2,...,h. (Incluso se ha propuesto que orden aleatorio es mejor en ciertos casos). • Número de cadenas: ¿muestrear de varias cadenas de Markov cortas (independientes entre ellas) o de una única, larga? • Elección de valores iniciales x0. Teóricamente no importan pero pueden influir en longitud de “fase de calentamiento”.

13. Más cuestiones abiertas • Longitud de la fase de calentamiento • Difícil determinarla analíticamente • Criterios empíricos basados en datos generados: • Diagnósticos gráficos: los más utilizados • Serían preferibles criterios de decisión más rigurosos (diagnósticos de convergencia): existen muchos, tema difícil y dependiente de decisiones como una o muchas cadenas, funciones que expresan el grado de estacionariedad, etc • Momento de interrupción • Vinculado a estimación de la precisión • Difícil debido a la dependencia entre observaciones