CDD MODULOS MISCELENEOS

1. CDDMODULOS MISCELENEOS Mayo 2012

2. Temario INDICE • Contexto General • Definición de Ambiente • Procedimiento de Ejecución • Job Principal Borrados de Archivos Dat • Borrado de Archivos Dat • Job Principal Borrado Histórico • Borrado Histórico • Job Principal Carga Tablas EPR • Carga Tablas EPR • Carga Tabla Estados • Otras Funcionalidades • Tablas de Control • Check List de Diagnostico

3. Contexto General • MISCELANEOS • Borra de Archivos Dat Proceso que borrar desde el directorio /dsdata/DSCDD/DAT, todos los archivos (Enviados por SABRES) utilizados en el proceso de Carga de CDD, su periodicidad será diaria, es decir, se debe ejecutar manualmente y sólo se ejecutara si el proceso de carga estén correctamente finalizado • Borrado Histórico Proceso que borrar a las particiones cargadas en CDD, con el fin de mantener una porción de historia e ir eliminando la más antigua determinada por un parámetro • Carga Tablas EPR Proceso que carga las Tablas EPR al modelo Oracle, este proceso no tiene validación de integridad sobre los dato es slo un trasvasije desde los Archivos enviados por SABRE hacia el modelo EPR de Oracle.

4. Contexto General • Para desarrollar la solución se utilizó: • DATA STAGE 7.52 Solución implementada mediante Jobs ETL • BASE DATOS Oracle 10g y Teradata 12

5. Definición de Ambiente • Estructura de Carpeta Unix • /dsapp/DSCDD/CNF Carpeta de archivos de configuración (DSParams, ListadoFeeds.cnf) • /dsapp/DSCDD/SHL Carpeta donde se encuentran las Shell para la ejecución del proyecto • /dsdata/DSCDD/DAT Carpeta que tendrá todos los archivos de carga enviados por SABRE • /dsdata/DSCDD/HSH Carpeta donde se generaran los archivos HASH utilizados por el proceso • /dsdata/DSCDD/TMP Carpeta donde se generaran los archivos Temporales utilizados por el sistema

6. Procedimiento de Ejecución • Configuración: • Configuración de Parámetros de  DSParams • Ejecución Shell: Nombre Shell: Ejecuta_DSCDD.sh / Ejecuta_DSCDD_OnDemand.sh Parámetros: FECHA = Fecha a procesar formato YYYYMMDD. ( Sólo se ingresa para proceso on-demand. Proceso batch programado calcula internamente el valor de la fecha de proceso). SERVER = DNS o IP del servidor donde se encuentra el Job. USER = Usuario con permiso de ejecución del Job. PASSWORD = Password del usuario. PROYECTO = Nombre del Proyecto que contiene el Job. JOB = Nombre del Job a ejecutar. MODO = Modo de ejecución <NORMAL|RESET|VALIDATE> PATH_LOG = Path donde se encuentran los logs. PARAMETRO = Parámetro a insertar en el Job. WARN = Numero de Warning permitidos antes del Fatal Error. 0 es Ilimitado. DESTINATARIOS=Direcciones e-mail a quienes se le enviara la información correspondiente. (Para más de un destinatario se separa por coma.)

7. Procedimiento de Ejecución • Ejecucion Norma y On-Demand En CDD existen dos Shell, una que gatilla los procesos programados (Ejecuta_DSCDD.sh) y otra que gatilla los proceso On-Demand (Ejecuta_DSCDD_OnDemand.sh) • Ejemplo de ejecución Programada (Control-M): La ejecución programada ejecutara secuencialmente la carga de Teradata, en primera instancia gatillara la carga del modelo WRK y en segunda instancia y si termina correctamente, ejecutara para el modelo FDM que será visto en esta presentacion ./Ejecuta_DSCDD.sh 57.228.129.28 dscdddscddDSCDD CDD_00_Main_Ejecucion_Teradata NORMAL /dsdata/DSCDD/LOG PS_FECHA_DE_ARCHIVOS_CDD 0 cynthia.rivera@lan.com • Ejemplo de ejecución On-Demand (Manual): ./Ejecuta_DSCDD_OnDemand.sh 20110214 57.228.129.28 dscdddscddDSCDD CDDFDM_00_EJECUTA_ALL NORMAL /dsdata/DSCDD/LOG PS_FECHA_DE_ARCHIVOS_CDD 0 cynthia.rivera@lan.com La ejecuciones sólo se diferencian en que para el Proceso OnDemand se debe ingresar la Fecha de Proceso (20110214) y en la programada se Calcula.

8. Job Principal Borrados de Archivos Dat • CDDBR_00_Ejecuta_All • Sequence principal que gatilla el proceso que Borra los archivos .Dat, utilizados en el proceso de Carga El proceso comienza enviado un Correo informando el inicio del proceso de Borrado • CDDBR_00_Borra_Archivos_DAT

9. Borrado de Archivos Dat • JOB (CDDBR_00_Borra_Archivos_DAT) • Job encargado de validar si para un periodo determinado, su ejecución termino correctamente, si termino correctamente se borraran todo los archivos del directorio (/dsdata/DSCDD/DAT) de lo contrario, la rutina Data Stage se enviara un mensaje indicando : • Los registro fueron eliminado correctamente' • Problemas al Eliminar los archivos desde el directorio ':$PS_PATH_DAT:' por favor verificar' • No se pueden Eliminar los archivos por que exsiten tablas con estado distinto de OK, para el periodo: XXXX • No se han eliminado los archivos por que no Existe ningún proceso CDD para el Periodo ‘XXXX

10. Job Principal Borrado Histórico • CDDBR_00_Ejecuta_All • Sequence principal que gatilla el proceso para borrar los datos históricos desde CDD. El proceso comienza enviando un Correo, informando el inicio del proceso, Valida conectividad a la base de Dato (Oracle), y gatilla el Job de borrado de particiones • CDD_DELHIST_01_Trunca_Rango_Historico

11. Borrado Histórico • CDD_DELHIST_02_Trunca_Particiones • Job encargado de truncar cada una de las tablas involucradas en el proceso de carga, dado el loop con la lista de Tabla que se deben truncar, se realiza el llamado a al Job que llamara al Procedimiento almacenado encargado de truncar las tablas • CDD_DELHIST_02_Trunca_Particiones

12. Borrado Histórico • CDD_DELHIST_02_Trunca_Particiones • Comienza con el llamado a una tabla dual rescatando un valor por defecto (Fecha), seguido de la llamada a un StoreProcdedure(BorraParticionHist), que con el nombre de la tabla, Fecha de Proceso y la cantidad de días que desea proteger, se realiza el truncado para cada tabla, el control de ejecución del StoreProcedure se realizara con las excepciones que este arroje, cualquier excepción será motivo para abortar el proceso.

13. Job Principal Carga Tablas EPR • CDDEPR_00_Ejecuta_All • Sequence principal que gatilla el proceso que Carga los archivos EPR enviados por SABRES, al Modelo Oracle • EPR El proceso comienza enviado un Correo informando el inicio del proceso, Valida conectividad a la base de Dato (Oracle), valida si vienen informada todas las tablas involucradas en el proceso (.done), y comienza la carga, este módulo no tiene validaciones es sólo un trasvasije de información a las tablas del modelo • CDDEPR_00_Carga_Tablas_EPR 13

14. Carga Tablas EPR • Sequence CDDEPR_00_Carga_Tablas_EPR • El sequence CDDEPR_00_Carga_Tablas_EPRes el encargado de orquestar de forma “PARALELA” la carga de las tablas EPR (LA_EPR_HEADER, LA_EPR_KEYWORD), comienza con el llamado al Job Control (CDDEPR_01_JobControl) para cada tabla, que validara si las cargas ya fueron realizadas para no cargar nuevamente la información, creara los archivos de control, inicializara el proceso de carga en las tablas de control LAN y CORPORATIVA, llamara a los job de carga según sus parámetros, insertara los registro con errores en la Tabla de Error de CDD y actualizara las tabla de control con el Status de la carga, a medida que termina el proceso de carga, se ejecutara las dependencia, que complementara con información a las tablas de control con el status final del Job 14

15. Carga Tabla Estados • CDDFDM_00_GrabaEstado • Job que lee la tabla de control y graba un archivo de texto todos los registros asociado a la carga de TD y que será enviado al final del proceso vía correo electrónico, con el fin de informar al administrador el estado final de la carga. 15

16. Otras Funcionalidades • Otras Funcionalidades La administración de Cada proceso tiene la capacidad de: • Reintentos: (Valor Paramétrico, default 3) de ejecuciones de Jobs una vez detectado la caída de alguno de ellos, si después de los reintentos definidos no logra auto recuperarse se da por abortado el Sistema. • Recuperación: Capacidad de Recuperar sólo los proceso abortados, para lo cual, se debe gatillar la misma Shell de Ejecución. • Para cada proceso se registrara las ejecuciones en las tablas de control internas como corporativa.

17. Tablas de Control • Tabla de Control • Ejemplos de cómo se visualizan los registro procesados en la tablas de control CDD, esta tabla registra para ambos procesos sea este Proceso para el Modelo Oracle y Teradata • CTR_CDD • EJECUTA_PROCESOS

18. Check List de Diagnostico • Tips para correcto funcionamiento del sistema • A continuación se detalla los tips de buenas practicas: • Se debe considerar que para una buena ejecución del proceso se debe encontrar 100% compilado y sin errores. Se recomienda que mensualmente se realice una compilación completa del sistema. • Dado el gran volumen de archivos de procesamiento de datos a cargar diariamente , se recomienda contar con al menos un 20% ó 10% de espacio libre en Unix. • Los Administradores de base de datos tanto de ORACLE, deben tener la preocupación de mantener los tablespaces asignados con espacio suficiente. • Se recomienda realizar mantención semanal a las tablas de oracle con el objetivo de mantener los índices actualizados.

19. Preguntas • PREGUNTAS ¿ ?