EVALUACION CUANTITATIVA DEL SIUBEN

1. EVALUACION CUANTITATIVA DEL SIUBEN Asesores internacionales: Fernando Medina - de la Comisión Económica para América Latina y el Caribe Darwin Marcelo – Banco Mundial Realizada por los consultores: Mariano Jiménez Ingrid Isidor Margarita Molinas SANTO DOMINGO, DICIEMBRE 2009

2. CONTENIDO • Introducción • Metodología de categorización del SIUBEN • Metodología seguida en la evaluación • Resultados de la evaluación • Conclusiones y Recomendaciones

3. INTRODUCCION • Marco Institucional • El SIUBEN fue creado mediante el Decreto Núm. 1073-04 de fecha 31 de agosto del 2004, con la misión de identificar, caracterizar, registrar y priorizar las familias en condición de pobreza, que habitan en zonas geográficas identificadas en el Mapa de la Pobreza y en zonas fuera del mismo, que resulten de interés para los fines de las políticas públicas. • Servicios que ofrece • El SIUBEN ofrece el padrón de hogares elegibles a los programas que entregan servicios sociales, entre los que están: • Solidaridad • Seguro Nacional de Salud (SENASA) • Consejo Nacional de la Persona Envejeciente (CONAPE) • Administradora de Subsidios Sociales (ADEES) • Otras

4. INTRODUCCION Inquietudes de la evaluación ¿Cuáles cambios han ocurrido en la estructura y funcionamiento del modelo de categorización, y en la efectividad de los servicios que presta? Desde su creación hace cinco años, no se ha llevado a cabo un proceso de evaluación al SIUBEN dirigida a responder los cuestionamientos siguientes: ¿Cuáles variables de las que integran el modelo han sido impactadas ya sea por el comportamiento de la economía o por el impacto de las políticas sociales? ¿Cuáles mejoras pudieran introducirse en la metodología seguida para el cálculo de los ponderadores de variables y dimensiones? ¿Cuáles ventajas presenta la metodología implementada frente a otros métodos de estimación de la pobreza aplicados en el país? Y ¿Cuál ha sido la efectividad del SIUBEN como oferente de servicios a los programas sociales que se ejecutan en el país en beneficio de los grupos vulnerables?

5. METODO DE CATEGORIZACION DEL SIUBEN Metodología aplicada El poder tener una respuesta convincente a las inquietudes externadas justificaron llevar a cabo el proceso de evaluación que recientemente concluyó. Es así, como el presente estudio tenía el propósitode evaluar el modelo de categorización del SIUBEN y conocer su desempeño ante los programas sociales que reciben sus servicios, así como proponer los cambios y/o modificaciones que sean necesarios para incrementar su efectividad. La conceptualización teórica y metodológica para medir las condiciones de vida de los hogares y clasificarlos según el nivel de vida, adoptada por el SIUBEN, emana del Informe General de Focalización de la Pobreza en la República Dominicana, de julio 2005, elaborado por el Secretariado Técnico de la Presidencia, Oficina Nacional de Planificación, donde se presenta el Índice de Calidad de Vida (ICV). El ICV, es un indicador que se calcula mediante un modelo estadístico construido siguiendo el método Proxy Means Testing (PMT) e integrado por un conjunto de 17 variables próximas de la pobreza, con sus respectivos ponderadores de variables y dimensiones, que asignan a cada hogar un puntaje en la escala 0 a 100. Un hogar tiene más baja calidad de vida cuanto más su ICV se acerca a cero (0) y más alto cuanto más su ICV se acerca a cien (100).

6. METODO DE CATEGORIZACION DEL SIUBEN Dimensiones incluidas Este modelo que calcula el ICV, se construyó en base a cuatro dimensiones, que son: Características de la vivienda: tipo de vivienda; materiales de pisos, paredes y techos. Servicios básicos y equipamiento del hogar: abastecimiento de agua potable; sistema de eliminación de excretas; iluminación; combustible para cocinar; eliminación de basura; y equipamiento del hogar. Capital humano y género del jefe del hogar: sexo del jefe del hogar; educación del jefe del hogar, educación media del hogar; asistencia escolar de personas entre 6 y 14 años; y hacinamiento Capacidad de sustento familiar: Proporción de niños y niñas de 5 años y menos; proporción de personas de 15 años y más que trabajan. A cada zona urbana y rural al nivel nacional se le construyó un modelo, pudiéndose calcular de forma independiente sus puntuaciones ICV. Algunas de las variables que discriminan en la zona urbana, pueden no ser importantes en la zona rural, lo que genera diferencias entre el conjunto de variables que integra cada dimensión por zona.

7. METODO DE CATEGORIZACION DEL SIUBEN Mapeo de la pobreza Indice de calidad de vida por provincias A partir de las puntuaciones del ICV, se generaron muchos mapas que dieron origen a la publicación de un documento. La descripción socioeconómica a nivel de todas las localidades del país sirvió de base al SIUBEN, para iniciar su trabajo de focalización de hogares en la geografía nacional.

8. METODOLOGIA SEGUIDA EN LA EVALUACION Evaluación del modelo Con el propósito de examinar el modelo vigente se procedió a construir cuatro modelos nuevos, se construyeron dos aplicando la metodología (PMT) y dos fueron obtenidos por Regresión Múltiple no Lineal , iniciando para ambos casos con transformaciones aplicadas a las 17 variables mencionadas: 1) El primer modelo se construyó en la base de datos de la encuesta de Fuerza de Trabajo (ENFT 2007), utilizando las mismas variables. 2) El segundo modelo se construyó reestructurando algunas variables e introduciendo otras que fueron creadas a partir de las ya existentes, utilizando la base de datos de la encuesta ENDESA 2007. Con miras a introducir mejoras a la metodología seguida, se construyeron dos modelos adicionales por regresión no lineal múltiple, como se dijo. El primero utilizando la base de datos de la ENFT y con las variables tal como la incorpora el modelo vigente, y el segundo, utilizando la ENDESA del 2007, con las variables modificadas de la forma que se describió.

9. METODOLOGIA SEGUIDA EN LA EVALUACION • Evaluación del servicio • Revisión del Sistema de Información:se realizó una revisión de los procesos de levantamiento de datos, crítica, codificación y control de calidad mediante reuniones con el personal responsable. Por otra parte, se discutió el manejo electrónico y estadístico dado a los datos tan pronto son ingresados al Sistema. Con esto se buscó evaluar la calidad y seguridad de las informaciones que maneja el SIUBEN. • Consulta de Actores:se llevó a cabo una consulta de actores, mediante la aplicación de entrevistas a profundidad, con miras a evaluar la satisfacción de los clientes del SIUBEN, así como en búsqueda de oportunidades de mejoras en el servicio. Las entidades consultadas fueron las siguientes: • Un ejecutivo del programa Solidaridad • Dos ejecutivos del Seguro Nacional de Salud • El personal ejecutivo del Consejo Nacional de la Persona Envejeciente • El Director de la Administradora de Subsidios Sociales • La Coordinadora del Gabinete de Políticas Sociales

10. RESULTADOS DE LA EVALUACION • Evaluando el modelo • 1)Se presume que algunas variables no están discriminando adecuadamente, tales como: • Material de las paredes • Abastecimiento de agua potable • Disposición de la Basura • Combustible utilizado para cocinar • Tipo de Vivienda • Estas variables pudieran estar causando “ruidos” al modelo, y estar asociadas a una subestimación de los niveles de pobreza extrema y pobreza moderada.

11. RESULTADOS DE LA EVALUACION • Evaluando el modelo • 2)Se encontró que algunas variables son categorizadas, después de ser construidas en formato escalar, que es lo ideal a la hora de incluir una variable en el análisis factorial clásico. Esta observación se puede verificar en las variables: • Educación media de los miembros del hogar de 15 años y más • Porcentaje de miembros del hogar de 5 o menos años • Hacinamiento en el hogar • Porcentaje de los miembros del hogar de 15 años o más que trabajan • 3) De forma similar, otras variables del modelo pudieran incrementar su poder de discriminación si se construyeran en formato escalar y no categórico, como se observa en el cuadro siguiente, se verificó que esta modificación introduce mejoras al modelo:

12. RESULTADOS DE LA EVALUACION Evaluando el modelo 4) El modelo incrementa su capacidad predictiva si se incorporan otras variables determinantes próximas de la pobreza:

13. RESULTADOS DE LA EVALUACION Evaluando el modelo 5)Las variables integrantes del modelo no debieran ser afectadas por los problemas coyunturales de la economía, tal es el caso de la variable Porcentaje de miembros del hogar de 15 y más años que trabajan. 6) Al introducir en el modelo los cambios enumerados se modifica la estructura de las dimensiones del modelo. (DIM_1 + DIM2) = Caract. viviendas + servicios básicos + equipamiento en el modelo vigente. Género del jefe Deja de integrar capital humano

14. RESULTADOS DE LA EVALUACION Evaluando el modelo En la zona rural, el modelo también presenta cambios importantes en la configuración de sus dimensiones. 7) Se construyó una ficha socioeconómica sugerente que incluye, además de las variables vigentes otras relacionadas con riesgos de ubicación de vivienda, entre otras con miras a que el SIUBEN la pruebe en el terreno o que la utilice como insumo en su proceso de mejora continua. 8) Se exploró la posibilidad de incorporar mejoras en la metodología que se siguió para construir el modelo vigente (PMT). Dado que esta genera un modelo lineal, partiendo de variables no lineales, situación que pudiera conllevar a importantes niveles de errores de inclusión y exclusión. Con estos fines se construyeron dos modelos por regresión múltiple no lineal (RMNL), utilizando como variable dependiente el ICV calculado por PMT, y como variables explicativas todas las utilizadas en el modelo obtenido por PMT y que calificaron para formar parte del modelo de regresión. El modelo obtenido aparenta tener un mejor ajuste a los datos. Sin embargo, se debe seguir evaluando esa iniciativa.

15. RESULTADOS DE LA EVALUACION Evaluando el modelo 9) Todos los análisis realizados han permitido avanzar en el conocimiento de las posibles fuentes de error de inclusión y exclusión. Los errores del modelo deben ser calculados utilizando como referencia un modelo que incorpore las mejoras identificadas en la evaluación, donde además, se realicenpruebas de sensibilidad que den certeza de las mejoras introducidas, utilizando las bases de datos de la encuesta ENDESA 2002 Y 2007, y con la base de datos piloto que se creará con el levantamiento de una encuesta nacional con representación regional, con la aplicación de una nueva ficha socioeconómica mejorada.

16. RESULTADOS DE LA EVALUACION • Evaluando el modelo • 10) Como fortalezas del modelo, se tiene que fue construido siguiendo una de las mejores metodologías conocidas para el estudio de la pobreza (PMT). Permite el cálculo del Indice de Calidad de Vida, que mide la pobreza estructural tomando en cuenta múltiples dimensiones, lo que le da ventajas frente a otros métodos. Las puntuaciones generadas para cada hogar y persona individual han permitido aproximarse al cálculo de la magnitud de la pobreza extrema y moderada en el país, así como identificar las áreas geográficas de mayor carencia socioeconómica. Es una poderosa herramienta para apoyar la planificación del desarrollo social en la República Dominicana. • 11) Entre las oportunidades de mejoras se pudieron identificar las siguientes: • Se hace necesario la obtención de un modelo donde todas sus variables aporten significativamente a su capacidad de discriminación.

17. RESULTADOS DE LA EVALUACION • Evaluando el modelo • Se hace necesario incorporar las variables al modelo con una estructura que le permita tener el mejor desempeño posible en el modelo. • Sería enriquecedor para el modelo incluir otras dimensiones, como es por ejemplo; el riesgo de ubicación de la vivienda (por cañadas, deslizamiento de tierra, ríos, otras). Seguir evaluando las bondades que proporcionan las dimensiones: acceso a la tecnología y la información, así como la posesión de medios de transporte en el hogar, entre otras. • Es recomendable excluir del modelo la variable porcentaje de los miembros del hogar de 15 y más años que trabajan, debido a su elasticidad ante los cambios coyunturales. • Es recomendable evaluar las mejoras que podría introducir al modelo dominicano la construcción de los ponderadores de variables y dimensiones a partir de los valores propios obtenidos en la aplicación del análisis factorial clásico.

18. RESULTADOS DE LA EVALUACION • Evaluando el modelo • El modelo obtenido por PMT, es un buen instrumento para medir la pobreza estructural, el mismo no incorpora variables de ingreso, por su grandes fluctuaciones ante los cambios relacionados con el ciclo económico y la coyuntura del momento. Sin embargo, sería importante que el SIUBEN, genero algunos indicadores que permitan ofrecer información sobre los niveles de pobreza coyuntural, lo que comúnmente se le llama pobreza monetaria.

19. RESULTADOS DE LA EVALUACION Evaluando el servicio Este componente de la evaluación incluye el Sistema de Información y la opinión de los programas focalizados que demandan servicios del SIUBEN. a) Sobre el sistema de información, se muestra un diagrama con el flujo de los procesos: El equipo de evaluación se reunió con el personal responsable de la ejecución de estos procesos, con miras a determinar si el tratamiento que le dan a los datos garantiza la obtención de informaciones confiables.

20. RESULTADOS DE LA EVALUACION • Evaluando el servicio • Las fuentes de datos que alimentan el sistema son: • Los censos levantados por el SIUBEN • Las actualizaciones por novedades • Inclusión por demanda • Al revisar cada uno de los procesos del SIUBEN, desde el levantamiento de los datos hasta la obtención del padrón de hogares elegibles, se encontró que la Institución ha sido rigurosa en la implementación de la metodología desarrollada para llevar a cabo la identificación de las familias que viven en estado de pobreza en el país, así como también en el manejo de los datos, al establecer los procedimientos y controles necesarios para asegurar la calidad de los mismos y de los servicios que presta. • El SIUBEN, se nutre básicamente del censo levantado en el año 2004. Dado el tiempo transcurrido, algunos hogares presentan problemas de ubicación, sin embargo, ya la Institución está dando los pasos preparatorios para levantar el segundo censo, iniciativa que resolverá en el corto plazo el problema descrito.

21. RESULTADOS DE LA EVALUACION Evaluando el servicio b) Sobre el servicio a los programas focalizados, ya mencionados, a los cuales se les aplicó una entrevista a profundidad, se encontró que estos valoran de forma significativa el servicio que reciben del SIUBEN, según se puede apreciar con estas palabras textuales, al responder una pregunta sobre lo que significa el SIUBEN para ellos (el caso de SENASA) “El SIUBEN, es la piedra angular del Seguro Nacional de Salud en términos de lo que es la identificación de los beneficiarios directos del Régimen Subsidiado” Así mismo, estarían dispuestos a apoyar cualquier iniciativa de parte del SIUBEN, que tienda a mejorar la oportunidad de los servicios y a fortalecer la interacción interinstitucional. Estos programas reportan al SIUBEN, de forma regular, las novedades que encuentran en la dinámica de las características socioeconómicas y demográficas de la población servida.

22. CONCLUSIONES Y RECOMENDACIONES 1) Se presume que el modelo vigente está operando con la presencia de algunas variables que pudieran estar afectando su capacidad discriminante. Para corregir esta distorsión es recomendable aplicar otros análisis adicionales que conduzcan a un nuevo modelo que incorpore las oportunidades de mejoras identificadas y realizar las pruebas de sensibilidad que conduzca a tomar decisiones con cierta precisión al respecto. 2) Se presume que algunas variables del modelo no están teniendo su mejor desempeño, debido a que se incorporaron con estructuras categóricas, pudiéndose haber introducido en formato escalar o de intervalo, que es lo ideal cuando se desea aplicar un análisis factorial por componentes principales clásico. Es conveniente que se tome esta observación en consideración al construir un nuevo modelo. 3) Existe la posibilidad de que el modelo vigente mejore su capacidad predictiva si se incorporan otras dimensiones, como transporte, acceso a las tics, riesgos de ubicación de la vivienda, y quizás algunas variables de salud, entre otras. Se recomienda incluirlas en un modelo de prueba que permita validar sus bondades.

23. CONCLUSIONES Y RECOMENDACIONES 4) Se consideró como no conveniente la permanencia en el modelo de la variable ocupación de los miembros del hogar, dada su elasticidad ente los cambios coyunturales de la economía. Se sugiere no incluirla en el posible modelo a construir. 5) El modelo de categorización vigente es un polinomio lineal, construido con variables no lineales, lo que constituye una debilidad. Se recomienda seguir probando con otros modelos no lineales, ya sea por regresión múltiple o por cualquier otra metodología que introduzca un mejor ajuste a los datos. 6) El modelo actual solo mide la pobreza estructural, por lo que se recomienda la construcción de otros indicadores que den cuenta del nivel de la pobreza coyuntural, con miras a ofrecer apoyo a la formulación de políticas y programas que pudieran desarrollarse como medidas de protección social a grupos poblacionales vulnerables. 7) Los análisis aplicados en el curso de esta evaluación permitieron avanzar en el conocimiento de las distintas fuentes de error que pudieran afectar el sistema y muy en particular el modelo de categorización de hogares. Es así como se recomienda a partir de esta evaluación calcular los errores de inclusión y exclusión del modelo vigente a partir de un nuevo modelo que incorpore todas las mejoras identificadas en este estudio.

24. CONCLUSIONES Y RECOMENDACIONES • Es recomendable construir otro modelo de categorización que incorpore todas las mejoras identificadas, utilizando una base de datos construida en base a una nueva ficha socioeconómica enriquecida, la cual debe ser aplicada en una encuesta nacional, al menos con representación regional. • 9) El Sistema de Información del SIUBEN es robusto en términos de su nivel de calidad, así como de la seguridad de sus datos. Sería atinado seguir capacitando el personal responsable y crear otras áreas que potencien su utilidad y que amplíen el portafolio de servicios que oferta la institución. • 10)Los programas focalizados dan una alta valoración al servicio que reciben del SIUBEN, en tanto que favorecen intensificar la interacción técnica y están dispuestos a apoyar las iniciativas orientadas a mejorar la oportunidad en la entrega de servicios. Esto constituye una coyuntura favorable para que el SIUBEN siga incrementando su liderazgo institucional, como punta de lanza de la obra de protección social del Gobierno.

25. GRACIAS