Preparando tu análisis cuantitativo

1. Preparando tu análisis cuantitativo

2. Al final de esta lección estarás capaz de: • Asegurar que tus datos estén listos para empezar a analizar y ser reportados • Identificar las métricas claves para medir el impacto de tu campaña • Desarrollar una hoja de ruta para guiarte en los diferentes tipos de análisis de tus datos • Reconocer los retos y las oportunidades mas importantes en la colecta y el análisis de datos

3. Actividad, limpiando los datos El propósito de esta actividad es alistar tus datos para poder luego analizarlos, identificando y removiendo todo dato erróneo o mal ubicado.

4. Actividad, son mis datos comparables entre pre y post encuestas? Antes de generar conclusiones acerca el impacto de mi campaña, tengo que poder confiar que los resultados que estoy viendo son realmente debidos al tratamiento, y no simplemente a alguna diferencia de fondo, por ej. diferencias a nivel del diseño de muestreo entre pre y post campaña.

5. Las variables clave para probar el carácter comparable serán específicas al sitio pero pueden incluir: • género • nivel socioeconómico • edad • nivel educativo • tipo de residencia. Esto se hacepara el sitio meta, y para el sitio control Cómo mido si mis encuestas están comparables o no?

6. Como hago esta comparación? Antes de empezar: visualizo el análisis que quiero lograr: Por ej., hubo diferentes cantidades de mujeres y hombres en mis dos periodos de encuesta? Con cruces de variables socio demográficos x periodo de encuesta

7. Pasos en Surveypro Paso 1: defino la variable independiente

8. Pasos en Surveypro Paso 2: defino con qué se cruza: siempre periodo de encuesta

9. Pasos en Surveypro Paso 3: veo qué me dice chi cuadrado Problema: X2 = 99%, diferencias altamente significantes = proporciones de mujeres y hombres entre pre y post encuestas no son iguales = pre y post no comparables

10. En estatabla anterior chi cuadradoestamidiendo TODOS los datosparaverdonde hay diferenciasignificante. Procura ser más específico en el análisis, aislando solo los datos de sitio tratamiento por ejemplo Soluciónposible 1: filtrarporsitio meta

11. Nivel de significancia más baja…pero aún significante!

12. 3 2 4 7 6 1 5 Soluciónposible 2: añadirotrofiltro, poraudiencia meta

13. Añadiendo el filtro para solo una audiencia… Solucionado! X2 < 95%, diferencias no son significantes: datos género pre y post son comparables en sitio meta para propietarios

14. Ya no aguanto! Diferencias pequeñas (< 10 pp) paraalgunos variables = pasable. Proceder con resto del analisis y reflejarestasdiferencias en el informe. Diferencias moderadas (10 – 20 pp) o grandes (> 20 pp) paraalgunos variables = aplicarfiltrospara los análisis. Quépasasialgunosdatospersisten en no ser comparables?

15. Trabajar en Surveyprorealizando los cruces • Las tablas de resultadosaparecen en el “Custom Report” • Colocar los resultados de lastablas de unavez en el informe de aprendizaje de campaña(Tabla “comparibilidad de lasencuestas”, p. 14) Manos a la obra:verifico la comparibilidad entre misencuestas

16. Dónde van los datos de comparabilidad? Variables independientes para evaluar la comparabilidad de las encuestas Hacer por cada audiencia. No olvidar filtrar por sitio (meta / control)

17. Viernes 25 Noviembre

18. Tus datos están listos. Y ahora?

19. Qué quieres aprender con tus datos? Es muy tentador de largarse de una vez a Surveypro y realizar montones de cruces y filtros, queriendo contestar estos tipos de preguntas: • Subieron los niveles de conocimiento?! (Ay si no, me tiro de la ventana…!) • Hubo algún cambio de comportamiento?! (Ay diosito, ojalá que si!) • Cumplí con mis objetivos SMART?!

20. QUÉ??!! OTRA VEZ PLANIFICANDO??!! El Plan Analítico

21. Organízate! Usando el Plan Analítico, puedes pensar y visualizar los pasos de análisis a seguir en Surveypro No hay que olvidar hacer el mismo análisis en sitio control para ver el impacto REAL de la campaña (pp sitio meta – pp sitio control)

22. Qué voy a analizar? • Comparabilidad de las encuestas pre y post • Exposición de las audiencias a materiales, eventos, mensajes • Los cambios en las métricas de los objetivos SMART • Otras preguntas interesantes? • No te olvides de dar un vistazo a tus preguntas abiertas (análisis cualitativo: busca patrones)

23. Comparable • Ya verificastes qué datos son o no son comparables entre tus encuestas pre y post campaña • En tu Plan Analítico podrás determinar exactamente como vas a desarrollar el resto de tu análisis • Si tus datos están comparables • Para tomar en cuenta cualquier variable que NO está comparable

24. Exposición Cómo varió el nivel de exposición de cada material o evento según audiencia meta? Procedimiento: pregunta exposición x audiencia filtrando por sitio PREGUNTA: existe alguna potencial trampa en la forma de interpretar estos resultados? Si hubo contaminación de mensajes de campaña en sitio control, el sitio control ya no vale como tal! Puedes repetir este analisis para ver exposición de materiales según edades, género, nivel de educación, etc.

25. Los “falsos positivos”: exposición pre vs post Mis audiencia(s) meta reportaron haber visto el afiche de campaña antes de que éste existiera? Metodo: cruce de la pregunta pertinente con periodo de encuestas, filtrando por sitio. Conclusión: Hubo falso positivo pero también un aumento altamente significante de 61 – 36 = 25 puntos porcentuales de la gente en sitio meta que se han enterado del tema de deforestación y escasez de agua a través del afiche de la campaña.

26. A donde terminan los resultados de exposición? En el informe de aprendizaje de campaña, sección 3:

27. Midiendo el impacto de la campaña • Recuerda que los objetivos SMART constituyen tus hipótesis acerca el impacto de tu campaña • Seguro que tienes preguntas acerca el impacto de tu campaña: • Hípótesis: es una pregunta formal que se contesta con “si” o “no”, y por lo tanto es algo que la prueba chi cuadrada puede contestar. Pero es muy importante la redacción! Mira estas dos variantes, cual es la diferencia entre ellas? • H1: “Aumentó el nivel de conocimiento acerca la biodiversidad de la isla Serena entre las encuestas pre y post campaña?” • H2: “La campaña aumentó el nivel de conocimiento acerca la biodiversidad de la isla Serena?”

28. Para esto sirve el sitio control Sitio control Se supone que en sitio control, no habrá ninguna diferencia significativa entre pre y post

29. Donde irán los resultados de los análisis de objetivos SMART? Por último van como todo lo demás a las secciones relevantes de tu Informe de Aprendizaje de Campaña, pero primero irán a la plantilla Datos de Encuestas de Campaña:

30. Qué otras preguntas? Ejemplo • Profundiza con preguntas específicas basadas en tus observaciones, hipótesis, o resultados previos: • H1: Los niveles de comunicación interpersonal aumentaron más entre mujeres en cuenca baja que en cuenca alta. (Sospechas que el conjunto de materiales llegaron a ellas mejor) • Pregunta: El indicador de comunicación interpersonal en mi objetivo SMART aumentó más entre mujeres en cuenca alta o cuenca baja? • Identificar los pasos a seguir para el análisis en Surveypro

31. Actividad, desarrollo del Plan Analítico • Revisa la plantilla del Plan Analítico y la Plantilla de Datos de Encuesta • Piensa en las preguntas más obvias que te interesan contestar con los datos de encuesta • Llena tu propio Plan Analítico en base a estos pensamientos • Identifica potenciales retos o dificultades, organízate

32. Ahora deberías estar: • Con datos listos para empezar a analizar y ser reportados • Listo para empezar a identificar las métricas claves para medir el impacto de tu campaña • Listo para desarrollar una hoja de ruta para guiarte en los diferentes tipos de análisis de tus datos (Plan Analítico) • Empezando a reconocer los retos y las oportunidades mas importantes en la colecta y el análisis de datos