1 / 51

NEW HOST GPNR Carga Diaria

NEW HOST GPNR Carga Diaria. Mayo 2012. Inicio Presentación. Contexto General Preparación del ambiente Estructura Modelo de Datos Requerimientos del Sistema Procesos y Etapas del Sistema Debug del Sistema Check List de Diagnostico. Contexto General. Descripción del Proceso

shaeleigh-fuller
Download Presentation

NEW HOST GPNR Carga Diaria

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. NEW HOST GPNRCarga Diaria Mayo 2012

  2. Inicio Presentación • Contexto General • Preparación del ambiente • Estructura • Modelo de Datos • Requerimientos del Sistema • Procesos y Etapas del Sistema • Debug del Sistema • CheckList de Diagnostico

  3. Contexto General • Descripción del Proceso Bajo el contexto del Proyecto Host, GPNR debe adaptarse a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2. El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.

  4. Preparación de Ambiente

  5. Estructura Carpetas Unix y DataStage

  6. Modelo de Datos GPNR Tablas nuevas Tablas originales

  7. Requerimientos de Hardware Requerimientos Mínima Recomendada Memoria RAM 2.50 [GB] 3.50 [GB] Discos Reservado Áreas de Sort (dsproject) 500 [MB] Áreas de Data 1 [GB] Áreas Temp 2.50 [GB] Áreas de Hash 600 [MB] CPU 4 [CPU] 1.500 [MHz] • Espacio Teradata: Requerimientos Mínima Recomendada BDD Work 6.00 [GB] 8.00 [GB] BDD Temp 6.00 [GB] 8.00 [GB] BDD Ctrl 1.00 [GB] 2.00 [GB] BDD Logs 1.00 [GB] 1.00 [GB]

  8. Ejecución de procesos

  9. Ejecutando la Shell Carga Diaria(SHELL_PROC_GPNR_CD.sh) • Ejecutada la Shell (SHELL_PROC_GPNR_CD.sh ), por pantalla se mostrara información relacionada al status (on line) del proceso, además se genera un archivo log con el detalle de la ejecución. La ejecución es sin parámetros.

  10. Validaciones de la Shell(SHELL_PROC_GPNR_CD.sh) • Entre las validaciones que se realizan durante la ejecución: • REVISION UPTIME DE MAQUINAS • REVISION UPTIME BASE DATOS • REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE • REVISION UPTIME DE SERVICIO DE DATASTAGE

  11. Proceso Carga Daria – Etapas • Etapa 1:Validación (Datastage, Unix): Ejecuta validación de estructura de los archivos CDD, cantidad de columnas, validación de tipo de dato, largo, nulo de columnas, validación de existencia de archivos.

  12. Proceso Carga Daria – Etapas • Etapa 1:Validación.

  13. Proceso Carga Daria – Etapas • Etapa 2:Extracción (Datastage, Teradata, Oracle, Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso.

  14. Proceso Carga Daria – Etapas • Etapa 2:Extracción.

  15. Proceso Carga Daria – Etapas • Etapa 2:Extracción.

  16. Proceso Carga Daria – Etapas • Etapa 2:Extracción.

  17. Proceso Carga Daria – Etapas • Etapa 2:Extracción.

  18. Proceso Carga Daria – Etapas • Etapa 3:Integridad (Datastage, Teradata, Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios.

  19. Proceso Carga Daria – Etapas • Etapa 3:Integridad.

  20. Proceso Carga Daria – Etapas • Etapa 3:Integridad.

  21. Proceso Carga Daria – Etapas • Etapa 3:Integridad.

  22. Proceso Carga Daria – Etapas • Etapa 3:Integridad.

  23. Proceso Carga Daria – Etapas • Etapa 3:Integridad.

  24. Proceso Carga Daria – Etapas • Etapa 3:Integridad.

  25. Proceso Carga Daria – Etapas • Etapa 4:Transformación (Datastage, Teradata, Oracle, Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS.

  26. Proceso Carga Daria – Etapas • Etapa 4:Transformación.

  27. Proceso Carga Daria – Etapas • Etapa 5:Carga Intermedia (Datastage, Teradata, Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.

  28. Proceso Carga Daria – Etapas • Etapa 5:Carga Intermedia.

  29. Proceso Carga Daria – Etapas • Etapa 5:Carga Intermedia.

  30. Proceso Carga Daria – Etapas • Etapa 5:Carga Intermedia.

  31. Proceso Carga Daria – Etapas • Etapa 5:Carga Intermedia.

  32. Proceso Carga Daria – Etapas • Etapa 5:Carga Intermedia.

  33. Proceso Carga Daria – Etapas • Etapa 6: Cálculos complejos (Datastage, Teradata, Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS.

  34. Proceso Carga Daria – Etapas • Etapa 6: Cálculos complejos.

  35. Proceso Carga Daria – Etapas • Etapa 6: Cálculos complejos.

  36. Proceso Carga Daria – Etapas • Etapa 6: Cálculos complejos.

  37. Proceso Carga Daria – Etapas • Etapa 6: Cálculos complejos.

  38. Proceso Carga Daria – Etapas • Etapa 6: Cálculos complejos.

  39. Proceso Carga Daria – Etapas • Etapa 7: Carga Cálculos Complejos (Datastage, Teradata, Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día. 

  40. Proceso Carga Daria – Etapas • Etapa 7: Carga Cálculos Complejos.

  41. Proceso Carga Daria – Etapas • Etapa 8: Tratamiento de Vigencias (shell, DataStage, Teradata, Unix): Abre y cierra vigencias de los PNRs.

  42. Proceso Carga Daria – Etapas • Etapa 8: Tratamiento de Vigencia.

  43. Proceso Carga Daria – Etapas • Etapa 9: Carga Final (shell, Teradata, Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final.

  44. Proceso Carga Daria – Etapas • Etapa 10: Tickets Derivados y Reservas NT (shell, Teradata, Unix): Ejecuta los tickets derivados y las Reservas NT

  45. Proceso Carga Daria – Etapas • Etapa 11:Término de Procesos (shell, Teradata, Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.

  46. Informe Final TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS :      553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS :      199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET :      293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET :        1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX :      328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET:     2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT :      969803

  47. Debug del Sistema • Revisión tablas de control • Verificar que el número de secuencia de la ultima etapa ejecutada y su estado.

  48. Debug del Sistema • Revisión DataStage Director • Verificar todos los jobs de la etapa se encuentren Finished

  49. Debug del Sistema • Revisión Archivo Log (/dsdata/DSNHGPNR/LOG/LOG_TMP_$TIPOPROCESO_YYYMMDD.log) • Verificar output de las actividades para validar causa del error.

  50. Debug del Sistema • Reintentar ejecución del proceso para verificar output de las actividades para validar causa del error.

More Related