1 / 25

Proyecto Gestión PNR V2

Proyecto Gestión PNR V2. Bitácora. Ambiente Tablas Control de Proceso Modelo de datos Pre-condiciones de Datastage Unix Requerimientos Archivos Shell Ejecución de procesos y Anexos Ejecución de procesos Nomenclatura utilizada Definiciones de Alto Nivel Screenshots

livvy
Download Presentation

Proyecto Gestión PNR V2

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ProyectoGestión PNR V2

  2. Bitácora • Ambiente • Tablas Control de Proceso • Modelo de datos • Pre-condiciones de Datastage Unix • Requerimientos Archivos Shell • Ejecución de procesos y Anexos • Ejecución de procesos • Nomenclatura utilizada • Definiciones de Alto Nivel • Screenshots • Informes Vía Email • Introducción • Descripción General • Alcance del Proyecto • Contexto del Sistema • Carga Diaria - Definición • Carga Diaria – Etapas • Control & Monitoreo – Definición • Control Históricos – Definición • Recarga – Definición • Proceso Cutover - Definición

  3. Descripción General • Objetivos • Bajo el contexto del Proyecto Host, GPNR debe adaptarse a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2. • El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.

  4. Alcance Proyecto • El nuevo sistema se divide en los siguientes Módulos: • Proceso de Negocio: • Carga Diaria • Control Histórico • Recarga. • CutOver: • Cierre de Vigencias • Carga Inicial • Proceso Administración: • Control & Monitoreo.

  5. Carga Diaria - Definición • Proceso general de gestión PNR que permite volcar la información, correspondiente a un día de transacciones en el host, en el modelo Teradata de Gestión PNR. A continuación se describirán los sub procesos correspondientes a Carga Diaria.

  6. Carga Diaria - Etapas • Etapa 1:Validación (Datastage,Unix): Ejecuta validación de estructura de los archivos cdd, cantidad de columnas, validacion de tipo de dato, largo, nulo de columnas, validacion de existencia de archivos. • Etapa 2:Extracción (Datastage,Teradata,Oracle,Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso. • Etapa 3:Integridad (Datastage,Teradata,Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios. • Etapa 4:Transformación (Datastage,Teradata,Oracle,Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS. • Etapa 5:Carga Intermedia (Datastage,Teradata,Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.

  7. Carga Diaria - Etapas • Etapa 6: Cálculos complejos (Datastage,Teradata,Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS. • Etapa 7: Carga Cálculos Complejos (Datastage,Teradata,Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día.  • Etapa 8: Tratamiento de Vigencias (shell,Teradata,Unix): Abre y cierra vigencias de los PNRs. • Etapa 9: Carga Final (shell,Teradata,Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final. • Etapa 10: Tickets Derivados y Reservas NT (shell,Teradata,Unix): Ejecuta los tickets derivados y las Reservas NT • Etapa 11:Término de Procesos (shell,Teradata,Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.

  8. Modelo de Datos GPNR Tablas nuevas Tablas originales

  9. Control y Monitoreo - Definición • El proceso de control y monitoreo para Gestión PNR se realiza sobre el procesos de carga diaria (o carga normal) y control de históricos de GPNR, pero puede ser usado para cualquier sistema que sea modelado a nivel de Procesos, Etapas y actividades.

  10. Tablas Control de Proceso Tablas nuevas

  11. Tablas Control de Proceso Tabla de Procesos Tabla de control que permite registrar el estado de ejecución de las shells pertenecientes a los diferentes tipos de procesos. Tabla Etapas Tabla de control que permite registrar el estado de ejecución de los jobs pertenecientes a cada etapa de un determinado proceso. Tabla de Actividades Tabla de control que permite registrar el estado de ejecución de los jobs/shells pertenecientes a cada actividad de una determinada etapa. Tabla de Recuperaciones Tabla de control que permite registrar el estado de ejecución perteneciente a cada proceso de recuperación realizada.

  12. Control de Históricos - Definición • El Proceso de Control de Históricos es un proceso mensual encargado de borrar datos y archivos denominados como “historia” y se divide en tres etapas: • Etapa I: Control histórico CDD files • Etapa II: Control histórico de Tablas de Procesos • Etapa III: Control histórico de Tablas de Negocio

  13. Recarga - Definición • La función principal del proceso de recarga es disponibilizar una herramienta que permita ejecutar un proceso de carga diaria recibiendo como input una fecha del pasado • Un proceso de Recarga realiza los siguientes pasos: • Recupera del path de respaldo de CDD files, el zip correspondiente a la fecha ingresada como input • Descomprime el zip en el directorio base • Ejecuta el proceso de carga diaria indicando que esa carga es parte de una recarga.

  14. Proceso CutOver - Definición • El proceso de CutOver, en el contexto de Gestion PNR está compuesto de 2 subprocesos: • Carga Inicial: Proceso que acumula, subdivide y carga una lista de PNR’s. La carga se realiza mediante el proceso de Carga Diaria. • Cierre de Vigencias: Proceso que cierra las vigencias de los PNR’s que se van a migrar según una fecha determinada.

  15. Pre – Condiciones de DataStage Unix • Los TNS asociados a Instancia OPER, FAST asociados al ambiente de instalación deben estar configurados en el archivo TNSNAMES. • Para poder ejecutar dsjob es necesario poder actualizar siguiente parámetro en ambiente Unix donde reside servidor DataStage: cd `cat /.dshome` . ./dsenv • Debe existir el Proyecto DSNHGPNR en el Servidor DataStage versión 7.5 en los directorios: /dsapp /dsdata

  16. Requerimientos Archivos Shell • Para la descarga de los archivos tipo Shell desde Harvest es necesario que ante cualquier migración vía FTP se deba utilizar el Modo de transferencia ASCII. Esto impide que se agregue el carácter ^M al final de cada archivo. • En caso de que los archivos contengan el carácter ^M, se debe ejecutar a nivel de línea comando en Unix, ‘vi’ para el archivo con problemas y luego ejecutar siguiente comando: :1$s/^M//g • En caso de que lo anterior no funcione, el comando: “dos2unix –ascii (filename) (filename)” también limpia el caracter ^M.

  17. Ejecución de procesos

  18. Nomenclatura utilizada • Tipo de Proceso • Alertas del Sistema • Estado de Proceso

  19. Definiciones de alto nivel • Proceso: • Ejecución de un conjunto de etapas sucesivas que implementan una necesidad de negocio • Etapa: • Ejecución de un conjunto de actividades. Las etapas siempre son secuenciales, y por lo tanto a cada etapa se le asigna un orden de secuencia dentro del proceso. • Actividad: • Unidad funcional mínima y a diferencia de las etapas no tiene restricción de secuencialidad, por lo que eventualmente podrían ejecutarse de forma paralela

  20. Definiciones de alto nivel • Recuperación: • Cuando un proceso es gatillado luego de ocurrida una falla, se dice que es una recuperación del proceso. • Control: • Conjunto de elementos que permiten identificar un proceso, ejecutar sus etapas y en caso de falla reiniciar desde la última etapa ejecutada de forma exitosa. • Monitoreo: • Este concepto se reduce al conjunto de elementos que permiten monitorear un proceso. Entendiéndose como supervisión humana de los parámetros de monitoreo mientras un proceso está en curso con el objetivo de identificar posibles anomalías.

  21. Screenshots • Agrupación de Etapas Unix

  22. Screenshots • Tabla Etapas • Tabla Procesos • Tabla Recuperaciones • Tabla Actividades

  23. Informes vía Email – Informe Final TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS :      553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS :      199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET :      293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET :        1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX :      328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET:     2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT :      969803

  24. Informes vía Email – Informe error ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** INICIO PROCESO  : 2012/02/27 10:54:14 ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** INICIO PROCESO VALIDACIÓN  :  2012/02/27_10:54:14 ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION UPTIME MAQUINAS ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----     --> * OK * La máquina 57.228.166.84 Se encuentra OPERATIVA     --> * OK * La máquina 57.228.166.80 Se encuentra OPERATIVA     --> * OK * La máquina 57.228.166.83 Se encuentra OPERATIVA     --> * OK * La máquina 57.228.128.8 Se encuentra OPERATIVA ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----  ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION UPTIME BASE DATOS ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----     --> Generando conexion  SID : ldsbdcros1_fast     -->                     USR : SRVMDCNHGPNR     -->                     LOG : /dsdata/DSNHGPNR/LOG/LOG_CONEXION_ORA_20120227.log     --> Revisando conexion SID : ldsbdcros1_fast  ...     --> * OK * La Base Datos ldsbdcros1_fast Se encuentra OPERATIVA     --> Generando conexion  SID : 57.228.128.8     -->                     USR : usr_dh_nhgpnrd    -->                     LOG : /dsdata/DSNHGPNR/LOG/LOG_CONEXION_TERA_20120227.log     --> Revisando conexion SID : 57.228.128.8  ...     --> * OK * La Base Datos 57.228.128.8 Se encuentra OPERATIVA  ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----     --> Espacio Utilizado en (directorio dsdata)                             [92] %     --> Espacio Maximo a Utilizado en (directorio dsdata) No debe superar al [90] %     --> Espacio disponible en dsdata insuficiente [92] % el maximo utilizado NO debe superar al [90] %

  25. Focus Business SolutionsBarros Errazuriz 1953 – Of 605. Providencia Santiago (Chile) Tel: (56 2) 421 7390 Fax:(56 2) 421 7390 www.focusbs.com

More Related