Housing del CPD principal: Experiencia de traslado y puesta en marcha

1. Housing del CPD principal: Experiencia de traslado y puesta en marcha jorge.moreno@catastro.meh.es

2. Antecedentes • Introducción. Motivación del Housing • Traslado • FASE 1: Implantación CPD • FASE 2: Implantación infraestructura de LAN/WAN/SP • FASE 3: Traslado • FASE 4: Modelo gestión del servicio • Principios de diseño

3. Introducción Motivación del Housing

4. Antecedentes Sistemas de información del catastro: Distribuidos en 52 Gerencias Se consolidan en SSCC (BDN) Se explotan y difunden al exterior por la OVC Cada uno de estos entornos estaba en un CPD dedicado: 52 gerencias (BBDD Provinciales) Castellana, 272 Madrid (BDN) Alcalá 5 y 7 Madrid (OVC - Internet) Entorno complicado de mantener: Refrigeración y alimentación eléctrica > 60 máquinas UNIX/Oracle que mantener (Copia de seguridad, etc) Necesario replicar datos para asegurar coherencia

5. Primeros intentos de consolidación • Consolidación de servidores en Castellana, 272 • Para liberar espacio, se consolidan servidores utilizando blades (servidores en tarjeta) • Alimentación eléctrica dice ¡BASTA! • Problemas de Aire Acondicionado • Implantación de acceso Internet y Seguridad Perimetral en Castellana • Movimiento de Web Catastro desde Alcalá • Centralización de datos • Centralización de acceso Citrix • Centralización de correo electrónico

6. Alternativas… • Primera opción: Nuevo CPD en Castellana, 272 • Imposible por edificio histórico, etc. • Segunda opción: Alojamiento en otro CPD de la AGE • Tercera opción: CPD en Housing.

7. Primer CPD principal de la AGE externalizado • Ventajas: • Escalable: espacio reservado para posible crecimiento • Servicios e infraestructuras 24 x 7. Monitorización de servicios, control de accesos • Independiente de los servicios de infraestructura del edificios AGE • Facilidad para añadir servicios a la plataforma HW • Inconvenientes: • Desplazamientos • Alquiler mensual jaula • Administración remota

8. Evaluación de alternativas • Redacción de pliego. Factores Críticos de Éxito: • Cercanía • Flexibilidad • Disponibilidad • Servicios de valor añadido • Solicitud de ofertas: • COLT • Interxion • Global Switch • Telvent • Otras (10)

9. Elección de ubicación • La elección: COLT Telecom, Avenida de Manoteras, 42 • Mejor ubicación física • Mejor acceso por trasporte público • Mejores servicios: • Cableado cobre y fibra • Manos remotas • Etc.

10. ¿Qué contratamos? • Alta e implantación del espacio físico (“jaula”) • Traslado de equipos • Servicios de alojamiento en Housing. • Suministro eléctrico, seguridad, temperatura, humedad… • Servicios de control y monitorización remota 24x7 • Servicios de operación remota. • Perfiles técnicos añadidos • Plazo 15 meses 1 junio 2008-31 agosto 2009 • Alta e implantación • 35.000 € + 300.000 € • Alojamiento housing • 61,500 €/mes 738.000€ anual

11. Un proyecto y una oportunidad de mejora • Un Proyecto: Gestión de: • Alcance • Integración • Tiempos • RRHH • Riegos • Configuraciones • Suministros • Calidad • Oportunidad de mejora: • Consolidación de servidores. • Redimensionamiento comunicaciones • Incremento de la seguridad. • Nuevo modelo de explotación.

12. Plan de traslado • Se creó una oficina de proyecto para centralizar las operaciones • Se recogieron datos de los CPD existentes • Se tomaron decisiones: • Traslado en un solo fin de semana • Traslado de equipos de preproducción con anterioridad (un día) • Un solo camión por CPD • Se realizó un plan de proyecto, teniendo en cuenta: • Plazos de entrega e instalación de nuevos equipos • Plazos de provisión del servicio de operadores • Cortes de servicio por parte de Catastro hacia agentes externos • Disponibilidad de recursos humanos

13. Plan de traslado • Se coordinó la logística y las actuaciones de las diferentes empresas: • Telefónica y sus filiales • T-Systems • Equipo de Redes de HP • Equipo de traslados de HP • Almacenamiento de datos EMC • GMV-SGI (Seguridad Perimetral) • COLT • Se coordinó la interconexión con distintos organismos • SGTIC- MEH • Agencia Tributaria • Segipsa • Punto Neutro Judicial • Plan de comunicación interno y externo

14. FASE 1 IMPLANTACIÓN CPD

15. IMPLANTACIÓN CPD Recopilación de datos de equipos y racks Diseño de espacio en CPD COLT Diseño de sistema de cableado y etiquetado Nuevas normas de uso Reconfiguración equipos existentes Implantación y acondicionamiento de la jaula (COLT) Pedidos de materiales COLT y adicionales

16. Recopilación de datos Recogidos datos de 19 Racks: 16 Racks de equipos Symmetrix (2 racks) Clariion (1) Se añaden nuevos racks de infraestructura: Comunicaciones + Seguridad (4) SAN (1) Faltan Racks de nuevos Superdome (3) Total Estimado=27 Racks Recogida de datos en hoja Excel: Dimensiones Distribución de Us Requisitos eléctricos Conectividad de red (puertos y VLANs)

17. Diseño del espacio Espacio asignado: 60m2

18. Diseño del espacio Tres filas de Racks 31 Racks alojados 0 Racks disponibles Estructura Pasillo Frío/Caliente Pasillo frío: Las máquinas tienen los frentes orientados a él Cuenta con rejillas/baldosas perforadas Pasillo Caliente: Las máquinas expulsan el aire caliente a él

19. Diseño de sistema de cableado y etiquetado Reutilizable Busca la mínima intervención para un mantenimiento óptimo Código de colores basado en “capuchones” para los cables Si un servidor ya está parcheado a un switch, el cambio de VLAN no implica reparcheado. Siempre que esa VLAN esté en ese switch Sistema de etiquetado. Opciones: Ubicación físicas (Us) Nombres de máquinas (origen y destino)

20. Nuevos Armarios, Switches y Firewalls Un armario para cada switch, y el firewall de su zona. Proporciona redundancia Permite hacer intervenciones en un rack/switch/firewall sin afectar a los demás Parcheo sobredimensionado aporta flexibilidad Altura (48u) y anchura extra (750 mm) permiten ¡Cerrar la puerta! Asignación Zona externa: Armarios A y B Zona interna: Armarios C y D SAN: Armario E

21. Nuevos Armarios, Switches y Firewalls A B C D

22. Nuevas normas de uso Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución Documento con normas para cableado y racks (pendiente)

23. Reconfiguración equipos existentes A nivel de red Uso de códigos de colores A nivel físico (cambio de rack) Necesario liberar 4 últimas u de cada rack Recableado de corriente Cables cruzados entre armarios Distribución ineficiente de PDUs Todo en hoja de tareas previas pendientes (se actualiza) Conexión de tarjetas de control remoto Creación de VLAN dedicada Recableado de KVM Unión de máquinas hacia KVMs IP

24. FASE 2 IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD

25. IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD • Diseño e implantación de nueva LAN • Diseño e implantación de nueva infraestructura base de SP • Migración de circuitos de Telefónica (WAN) • Migración de circuitos de T-Systems (LAN) • Migración de DWDM de Telefónica • Preparado para “Plug & Play”

26. Diseño e implantación de nueva LAN • Nueva LAN de producción • Los antiguos equipos no se trasladan • Tecnología CISCO • Fisicamente separada en dos • Redes Externas (Internet) • Redes Internas • Busca redundancia y alto rendimiento • Preconfigurada para plug & play • Nueva LAN de gestión • Tecnología HP Procurve • Fisicamente separada en dos • Redes Externas (Internet) • Redes Internas • Complementa a la red de producción para tareas de gestión, backup, etc. • Preconfigurada para plug & play

27. Diseño e implantación de nueva LAN • Nueva LAN en Castellana • El CPD está en otro edificio. ¿es necesario retrasmitir todo el tráfico a el? Configuración routing en Castellana • Configuración interconexión Castellana  Manoteras

28. Nueva infraestructura de Seguridad Perimetral • Nuevos Firewall Internos, Externos y de Gestión • Permiten traslado plug & play, con una infraestructura probada • Cambio de CPD implicaba cambio de Ips y reglas de firewall • Alta disponibilidad

29. Implantación LAN/WAN/SP

30. Implantación LAN/WAN/SP

31. Comunicaciones Traslado de línea DWDM (Telefónica)  Camino crítico Traslado / Alta /Baja de líneas WAN (Telefónica) Accesos Macrolan Punto a Punto Frame Relay ¡¡¡Cuidado con el enrutamiento!!! Acceso IP de la centralita Nuevo circuito MPLS Traslado de líneas de Internet (T-systems) Traslado de 2 de los 4 circuitos previamente Traslado de una clase C al Nuevo CPD Los dos restantes (Orange) se instalaron 15 días después del traslado ¿Dónde se ubican los equipos?

32. Reconfiguración de VLANs VLANs de usuarios de Castellana se enrutarán en el propio edificio. Es necesario partir VLAN de servidores OVC de los usuarios para no transmitir el nivel 2 Las VLANs del CPD no saldrán de el == Todo el tráfico con el CPD es a nivel 3 Se renumeran VLANs

33. FASE 3 TRASLADO

34. Planificación del traslado Participantes: HP realiza el traslado COLT apoyo en CPD EMC y Oracle apoyo para sistemas específicos Disponibilidad de RRHH Elección de fechas. 2 posibilidades: Finales julio Principios septiembre Estrategia de migración Plan de traslado Consolida y coordina procedimientos para cada Área o suministrador Plan de contingencia Plan de continuidad de servicio

35. Plan de traslado Previo: Ensayo de apagado Ensayo de backup TOTAL

36. Plan de traslado: Prerequisitos Electrónica de red CISCO implantada Electrónica de red CISCO configurada de acuerdo con los servidores Electrónica de red de Seguridad implantada Cableado estructurado implantado Cableado de alimentación implantado Problemas en racks solucionados antes Etiquetado máquinas e interfaces Máquinas bien colocadas (4 ultimas u libres) Eliminadas dependencias cruzadas (red, corriente, etc.) Conectores CETACT OK Línea DWDM trasladada o Conversores FC-IP disponibles y probados Procedimiento de backup total

37. Plan de traslado: Continuidad de servicio Para mantener el servicio, puede ser interesante montar ciertos equipos con carácter temporal DNS SMTP de cara a Internet y el MEH, con cola de correo Servidor Web, con página de “Ahora no podemos atenderles”

38. Plan de traslado: Fases Backup total Desconexión y embalado de equipos y accesorios. Traslado Montaje en la nueva ubicación, con reconfiguración en su caso Cableado Puesta en producción Se inicia un día antes para preproducción

39. Plan de traslado: Estado Inicial

40. Plan de traslado: Pretraslado

41. Plan de traslado: Pretraslado

42. Plan de traslado: Pretraslado

43. Plan de traslado: Traslado

44. Plan de traslado: Traslado

45. Traslado (18 de julio de 2008) • Fases: • Embalado equipos en origen • Traslado equipos • Desembalado en destino • Integración en el sistema de cableado estructurado • Conexión de equipos según base de datos • Encendido

46. FASE 4 MODELO DE GESTIÓN DEL SERVICIO

47. Gestión del servicio A definir conjuntamente con COLT Figura del Service Manager de COLT Responsabilidad en la DGC Documento de gestión del servicio: Uso de e-points Acceso al CPD Listado de personas autorizadas Documentación de configuración de sistemas Autoridad RRHH adicionales (Cronos) Perfil Exchange 2007 + Entorno Microsoft Perfil Storage - Backup

48. Principios de diseño

49. Principios de diseño • Disposición de Armarios: • Pasillo frío, pasillo caliente • Pasillos con un ancho que permita dar servicio en caliente a las máquinas • Cableado: • Sobredimensionado, para no tener que abrir el suelo • Redundante, todo armario de equipos va al menos a dos de conmutación • Comunicaciones: • Electrónica de alta capacidad • Red diferenciada de gestión (fabricante distinto) • Seguridad: • Física • Lógica • Explotación: • Diseñado para uso 100% remoto

50. Disposición de Armarios • Antes: • Segunda fila recibe calor de la primera • Aire acondicionado realiza sobreesfuerzo  Mayor consumo  Picos de corriente  Apagones  Indisponibilidad de Servicios • Servidores sufren mas desgaste: Necesitan complementar al A/C