Entender la característica de funcionamiento relativa

1. Entender la característica de funcionamiento relativa Simon J. Mason International Research Institute for Climate and Society

2. QUE? El WMO incluye caracteristicas relativas operacionales (ROC) como parte de su sistema estandarizado de verificacio (SVS). El nombre incomprensible no significa intimidacion! El nombre fue heredado de la teoria de descubrimiento o identificacion.La maioria de los meteorogolos se refieren a ella como ROC simplemente. El ROC se usa para medir que tan buenos son los pronosticos, pero la misma o es una medida sencilla de prognostico de abilidad como la correlacion, sino que se presenta generalmente gratificante.

3. ¿Por qué? El ROC fue seleccionado como parte del SVS del WMO por muchas rezones, incluyendo las siguientes characteristicas: • Se puede utilizar con pronosticos determinantes y de probabilidad. • Fue disenado para medir que tan buenos son los pronosticos en el contexto de un modelo muy simple al tomar decisiones determinantes, y por lo tanto es mas conveniente para medir que tan buenos son los prognosticos desde la perspectiva del usuario en comparacion con otras medidas comunmente usadas. • Reconoce que la calidad del pronostico no puede ser medida por un simple numero.

4. ¿Cuándo? El ROC funciona con incognitas binarias. Incognitas binarias son preguntas que tienen respuestas "si" /"no" Por ejemplo: Llovera esta tarde? Estara caliente manana? Producira tornados esta tormenta? Por supuesto, la Segunda y tercera pregunta tienen que ser definidas exactamente: "Caliente" podria ser definida como "mayor de 30o C," "inusualmente humedo" podria significar "mas de 500 mm de lluvia.

5. Como veremos posteriormente, el pronostico no tiene que ser expresado con un simple "si" o "no," pero la respuesta si tiene que ser un simple "si" o "no." Si los pronosticos son expresados como ( o convertidos a) "si" o "no," la verificacion es simple: As cajas amarillas son pronosticos correctos, las cajas azules son pronosticos incorrectos.

6. Como? • El ROC plantea las siguientes preguntas: • Para cuantos de los no-acontecimientos las advertenciasfueron proporcionadas incorrectamente? • Para cuantos de los acontecimientos las advertencies fueron proporcionadas corretamente?

7. La major manera de ilustrar es por medio de un juego.

8. A Usted le sera mostrado un arreglo de 120 azulejos de Mahjong organizados en 8 filas numeradas y 15 columnas (A-O). Usted tendra un minuto para recordar las posiciones de 12 "wind" azulejos. Ellos son los unicos azulejos que se distinguen por sus characters Chinos, negros, y grandes (mostrados en el lado opuesto). Hay 3 de cada uno, pero no se preocupe por distinguir entre los azulejos, solo trate de recordar las 12 posiciones. Trate de recordar el mayor numero possible. La mayoria de la gente recordaran unos cuantos.

9. Por ejemplo, en el subconjunto abajo hay 3 azulejos del viento; están en C1, B3, y G3.

10. 1. Muy confidente (usted recuerda esta localización claramente); 2. Bastante confidente (usted piensa que hay un azulejo del viento aquí, pero puede estar en una localización vecina); 3. Levemente confidente (usted piensa que puede haber un azulejo del viento en alguna parte cerca aquí); 4. Apenas conjeturando (usted piensa que puede haber localizado del azulejo que espera arbitrariamente,hay conseguido por suerte). Usted debe también indicar cómo estas confidente y se ha recordado la localización correctamente. Utilice las categorías siguientes:

11. Si usted no puede recordar los 12, intento que enumera un racimo de las localizaciones para ésos usted no es totalmente seguro alrededor. Por ejemplo, si usted piensa hay un azulejo del viento en alguna parte en el centro de la fila 1 pero no puede recordar la columna exacta, enumera el que usted piensa es primer correctos, y después enumerar localizaciones cualquier lado. Proceda solamente cuándo usted es listo para la prueba.

12. ¡no más de tiempo!

13. Ahora anote las 12 localizaciones como usted las recuerda, e indique su nivel de confianza (1-4). Utilice las referencias de la rejilla abajo.

14. Usted debe ahora tener una lista de 12 localizaciones con indicaciones en cómo es confidente y se las localizaciones están correctas. Una vez que usted sea feliz con sus respuestas, y haya indicado su nivel de confianza apropiadamente, vaya a continuación y compruebe contra las respuestas en la diapositiva siguiente.

16. The 12 correct locations are: A8 C7 D4 E1 E4 H8 I2 K3 L2 L5 L7 M4 Cuente el número que usted consiguió derecho e incorrecto para cada nivel de confianza, y después calcule los totales. Por ejemplo, las cuentas del dr Xs eran como sigue:

17. En el ejemplo, mirando primero solamente las localizaciones que el dr X era muy confidente alrededor, 4 localizaciones esté correcto. Puesto que hay 12 azulejos del viento en total, las localizaciones de el 33% de los azulejos del viento fueron identificadas correctamente. El dr X es tan muy confidente sobre las localizaciones de el 33% de los azulejos del viento. Pero una localización es incorrecta. Hay 108 azulejos del no-viento, y así que 0,9% de los azulejos del no-viento fueron escogidos erróneamente. El dr X es muy confidente que 0,9% de los azulejos del no-viento son azulejos del viento.

18. La mayoría de la gente podría conseguir más de los azulejos del viento si ella incluye las localizaciones que esta bastante confidente alrededor. En el ejemplo, ahora hay las localizaciones 4+2=6 correctas, así que las localizaciones de el 50% de los azulejos del viento fueron identificadas correctamente. Pero las localizaciones 1+1=2 son incorrectas, así que 1,9% de los azulejos del no-viento fue escogido erróneamente.

19. Semejantemente usted puede poder conseguir aún más de los azulejos del viento si incluimos las localizaciones que usted era levemente confidente alrededor, y de ésos para los cuales usted era el conjeturar justo. Sin embargo, como comenzamos a incluir las localizaciones para las cuales usted es menos confidente, el número de las localizaciones escogidas incorrectamente es probable aumentar. La proporción de azulejos del viento escogió tan correctamente aumentos como la confianza disminuye, pero tan también hace la proporción de azulejos del no-viento escogidos incorrectamente.

20. Calcule la proporción correcta e incorrecta en todos los niveles de la confianza. Su tabla debe mirar algo como el siguiente Podemos trazar estos puntos en un gráfico…

22. ¡Felicitaciones!! ¡Usted acaba de dibujar (parte de) un gráfico de ROC! Antes de que intentemos tener más sentido del gráfico intentemos resolverse cómo es bueno es su cuenta.

23. ¿Cómo podemos determinarnos cómo esta buena su cuenta? Una forma es comparar su cuenta con las cuentas de la gente que no había sido dada una oportunidad de memorizar las localizaciones de los azulejos. Esta gente habría tenido que conjeturar todas las localizaciones. Enumeran a la gente que conjetura también localizaciones de la lista 12, pero todos como conjetura.Consideremos cuántas localizaciones ella es probable conseguir correcta.

24. Hay 12 azulejos del viento y 120 azulejos en total: los tan 10% de los azulejos son azulejos del viento. ¿Hay 108 = 120? 12 azulejos del no-viento: los tan 90% de los azulejos son azulejos del no-viento.

25. Alguna de la gente que conjetura será afortunada y conseguirá un número grande correcto, pero otras serán desafortunadas y conseguirán poco correcto. Asumiendo tenemos porciones de conjeturar de la gente, podríamos hacer un promedio de sus cuentas. En promedio el 10% de las localizaciones estarán correcto, y el 90% incorrecto. Tan para cualquier número de conjeturas podemos calcular las cuentas medias.

26. El porcentaje de los azulejos del viento conjeturaba correctamente, y de los azulejos del no-viento conjeturado incorrectamente, es igual. Agreguemos estas cuentas al gráfico.

27. La línea para cualquier número de conjeturas se demuestra, pero las marcas se demuestran solamente para la comparación directa con las cuentas del ejemplo.

28. Las cuentas de la memoria son mejores que conjeturando si hay más azulejos del viento y pocos azulejos del no-viento seleccionados, es decir más de las localizaciones se identifican correctamente que se conjeturan correctamente. En el ejemplo, 5 azulejos eran?very marcado confidente?, y 4 de éstos estaban correctos. En promedio, solamente 0,5 azulejos estarían correctos conjeturando, así que la memoria del dr X es buena. En el gráfico, una buena memoria demostraría puntos a la izquierda y sobre la línea para las conjeturas. Más adelante en nosotros consideraremos la cuestión de cuánto mejor que conjeturando sus cuentas sea. Pero ahora déjenos se aplican qué se ha aprendido a algunos pronósticos del clima.

29. En el ejemplo de Mahjong le dieron 12 ocasiones de señalar a las localizaciones de 12 azulejos del viento de un total de 120 azulejos. Usted podía utilizar su memoria para mejorar en conjeturar, y podíamos identificar si su memoria mejoró sobre conjeturas. Esta clase de problema es muy común, tan ahora nos dejó tomar un ejemplo climatológico equivalente…

30. Esta vez tenemos 30 años de pronósticos de la precipitación, y el problema es identificar los 10 años “secos” sobre el período de 30 años. El problema es similar al juego de Mahjong, pero con las diferencias siguientes: 30 años en vez de 120 azulejos 10 años secos en vez de 12 azulejos del viento 20 años no-secos en vez de 108 azulejos del no-viento No tenemos acceso a los datos de la precipitación, y así que no podemos memorizar los años.En lugar utilizaremos los pronósticos para seleccionar el años.

31. El acercamiento más lógico es utilizar el pronóstico para la menos precipitación (1984 en 0,530) como nuestra indicación más probable de un año seco, el pronóstico para el segundo menos precipitación (1963 en 0,729) como nuestro segundo probable, y el pronóstico para el tercero menos precipitación (1966 en 0,796) como nuestro tercero muy probablemente...

32. Podríamos continuar enumerando todos los años en orden de cómo es confidente somos que cada año es uno de los 10 años “secos”. ¿Seríamos los más confidentes que 1984 es “seco” y lo más menos posible confidente que 1962 es “seco”.

33. Los años realmente “secos” se destacan arriba. Calculemos una tabla de la cuenta de la misma manera que para el juego de la memoria. Utilizaremos a cada fila como nivel que disminuye de la confianza.

34. Nuestra primera selección está correcta, así que hemos identificado 1 (el 10%) de los 10 años “secos” correctamente. El segundo es incorrecto, así que hemos seleccionado 1 (5%) de los 20 ”no-secos” años incorrectamente.Ahora podemos trazar estos puntos?

36. Podemos determinar cómo los pronósticos están buenos exactamente de la misma manera que para el juego de la memoria. Comparemos las cuentas para los pronósticos con las cuentas para la gente que no tiene ningún pronóstico disponible. Esta gente habría tenido que conjeturar todos años “secos”.

37. ¿Allí son 10 años “secos” y 30 años en total: tan los cerca de 33% de los años son “secos”. Hay 20 = 30 10 años “no-secos”: tan los cerca de 67% de los años son ”no-secos”.

38. En el promedio el cerca de 33% de los años escogidos esté correcto, y el 67% incorrecto. Tan para cualquier número de conjeturas las cuentas medias estarán: Y podemos agregar estas cuentas al gráfico…

40. Recuerde eso para que los pronósticos sean mejores que conjeturando, los pronósticos deben identificar correctamente ma's los años “secos” e identifican poco incorrectamente años “no-seco” que las conjeturas. Para los buenos pronósticos la curva estará a la izquierda y sobre la línea diagonal: aquí los pronósticos identifican una proporción grande de años “secos” mientras que escoge solamente una proporción pequeña del años “no-secos” incorrectamente. Los pronósticos parecen ser buenos en la parte izquierda y media del gráfico solamente. ¿Qué este medio?

41. Considere otra vez la tabla que demuestra la orden en la cual escogimos el años “secos” . Note que la mayoría de los años “secos” son identificados por nuestras opciones más confidentes. Nuestras selecciones más confidentes eran bastante acertadas.

42. Sin embargo, después alrededor de la décimotercero selección, los pronósticos no proporcionan la dirección útil para identificar más del años “secos”.

43. Podemos dibujar la conclusión siguiente del gráfico de ROC: Cuándo el pronóstico sugiere que las condiciones vayan a ser secas nosotros puedan ser razonablemente confidentes que “secos” las condiciones ocurrirán.Sin embargo, cuando el pronóstico sugiere que las condiciones vayan a ser normales o mojadas no podemos hacer declaración útil sobre la probabilidad de condiciones “secas”.

44. La correlación entre haber observado y la precipitación del pronóstico es 0,044. De acuerdo con la correlación, no haríamos caso normalmente de estos pronósticos, pero el gráfico de ROC sugiere que puedan ser útiles en el pronóstico condiciones “secas”. ¿El gráfico de ROC indica que los pronósticos son mejores que conjeturas, pero por cuánto?

45. Podemos utilizar un fórmula especial, conocido como la ecuación hipergeométrica, para calcular la ocasión alguien que conjetura el mismo número de años “secos” como pronosticamos correctamente. Esta ecuación está disponible como función en paquetes tales como MS sobresale (HYPGEOMDIST).

46. Utilizar esta ecuación para calcular cómo es bueno son los pronósticos, debemos primero elegimos a que los años vamos a tratar como pronósticos de condiciones “secas”.Publiquemos una advertencia de condiciones “secas” cuando el pronóstico es menos de 1,0.Los años realmente “secos”están marcados en azul marino.

47. Ahora podemos definir los términos individuales de la ecuación: número de años secos = 10 número de años no-secos = 20 número de años = 30 número de advertencias correctas = 7 número de advertencias incorrectas = 6 número de advertencias = 13

48. El resultado nos dice que solamente cerca de 3,9% de la gente que tenía 13 tentativas de conjeturar los 10 años “secos” conseguirían 7 de los años correctos. Pero el resultado solamente nos dice las ocasiones alguien que consigue exactamente el mismo número correcto conjeturando que conseguimos con los pronósticos. Alguna gente podría conseguir más de 7 correctos conjeturando.

49. Porque alguna de la gente que está conjeturando puramente puede tener más de 7 años de correcto, debemos contar éstos también. Necesitamos tan calcular las ocasiones alguien que hace así como, o mejoramos que, nuestros pronósticos apenas conjeturando. Las ocasiones de conseguir 8, 9, o 10 conjeturando son cerca de 0,58%, 0,02%, y 0,0004% respectivamente. Adición de éstos, de las ocasiones de 7 que conjeturan o más del los años “secos” son cerca de 4,5%.

50. Por supuesto, conseguiríamos una diversa respuesta si utilizamos un diverso criterio para decidir cuando publicar una advertencia. Usted debe ser cuidadoso de los muchos problemas en la ejecución de tales pruebas de la significación. Sin embargo, el gráfico de ROC sugiere que estos pronósticos contengan una cierta información útil, a pesar de una correlación de cerca de cero. Como medida sumaria del gráfico, el área debajo de la curva de ROC se calcula con frecuencia…