Rechenzentrum für GSI und Alice-Tier-2

Rechenzentrum für GSI und Alice-Tier-2 Ein neuer Raum und neue Infrastruktur

Rechenzentrum für GSI und Alice • Motivation • Historie • Planung • Bau und Inbetriebnahme • Zukunft • Aktuell IT-Palaver - Helmut Kreiser / IT

Motivation • RZ – 1 (altes Rechenzentrum) • historisch, ausgelegt auf Mainframes • räumlich sehr eng aufgestellte Rackreihen • Racks nicht tief genug • elektrische Versorgung 180 KW USV- plus Normalnetz • Kühlung und Klima modernisiert • max. 150 KW (180 KW) durch Umluftkühlgeräte • Beschluss • nur zentrale Server und Services • Netzwerk- und backbones • Mass-Storage und Tape-L-ibrary‘s IT-Palaver - Helmut Kreiser / IT

Motivation • Suche nach neuen Räumlichkeiten für „Number Cruncher“ • GSI • Alice • FAIR IT-Palaver - Helmut Kreiser / IT

Historie • Betriebsgebäude Raum BG.2.009 • großer Raum, Klimaanlage, Doppelboden • aber auch • Gebäudeleittechnik • FRS-Werkstatt und Lagerplatz • Strahlenschutz-Cave • Strahldiagnose und Betrieb • UHV • ET (zentrales Not-AUS) • B - RZ (Netzwerk-Knotenpunkt für FAIR) IT-Palaver - Helmut Kreiser / IT

Historie • letzter freier Platz genutzt • Aufstellung von 7 Racks mit 180 Rechnern • 65 KW Stromverbrauch, luftgekühlt • Klimaanlage ausgelastet • „Sauna-Feeling“ • Laut • an „Not-Aus“ gekoppelt • neues RZ - 2 IT-Palaver - Helmut Kreiser / IT

Planung • GSI hat durch MoU Rechenkapazität für Alice zugesagt (Alice-Tier-2 Rechenzentrum) • Anfang 2008 zusätzliche Gelder für das GSI Alice-Tier-2 RZ angekündigt (500 K€) • März: Erstellung einer Konzeptstudie • wassergekühlte Umluftracks • neu strukturierte Stromversorgung • 40 Racks mit ca. 500 KW • notwendige Infrastruktur • Kosten IT-Palaver - Helmut Kreiser / IT

Planung • April: Konzeptstudie (Rittal-System) • 500 KW • Anschluß an zentrale GSI-Kälte • Wärmetauscher • Pufferspeicher (Wasserkreislauf) • zusätzliche Kühleinheiten (Chillars) als Notkühlung • neue Verrohrung • USV für Kühlagreggate und Pumpen • Normalnetzversorgung der Rechner • Statik der Decke überprüfen (750 kg/qm) [ 40 x 13 kg (1HE) + 150 kg Rack = 670 kg/0,6 qm ] [ Blade-Center: 4 x 185 kg + Rack = 890 kg/0,6 qm ] IT-Palaver - Helmut Kreiser / IT

Warum Rittal-System • Racks vorhanden • sehr modular • Kühleinheiten modular (LCP) • stehen neben den Racks • kein Wasser innerhalb eines Racks • Steuerelektronik (Wasserdurchfluß, Lüftersteuerung) • 30 KW Kühlleistung pro LCP • redundant, kühlen in beide Richtungen • horizontaler Luftstrom über die gesamte Höhe IT-Palaver - Helmut Kreiser / IT

Planung • 1. Ausbaustufe • 8 Racks (120 x 60 cm) • 8 LCP (Liquid Cooling Package – Kühlmodule) • Powerversorgung ca. 140 KW • neue NSHV (500 KW + Strom für Kühlaggregate) • Power Distribution Rack (10 x 120 qmm Kabel) • Stromschienen in den Racks ( 2 x 96A/Rack) • Kühlung • Verrohrung für 16 Racks (1 Reihe) • Wärmetauscher (6  12 Grad) • Leckage-Warnanlage (Racks und Verrohrung) • Rauchfrüherkennung (geschlossene Racksysteme mit Umluftkühlung) IT-Palaver - Helmut Kreiser / IT

Bau und Inbetriebnahme • LITCOS: Planung und Durchführung des 1. Abschnitts • GSI: • NSHV und Stromversorgung bereitstellen • Projekt überwachen • Fläche bereitstellen • Verschiebung/Reduzierung der FRS-Werkstatt (Temporär) • Umzug Doku-Schränke MSR • Auflösung Strahlenschutz-Cave mit Teilumzug in einen Dokumentationsraums • Vorbereiten des Raumes für SiSt • Verschließen mehrerer Deckendurchbrüche IT-Palaver - Helmut Kreiser / IT

Zeitablauf • Anfang 2008: Gelder wurden angekündigt • März: Konzeptstudie erstellen • April: Konzeptstudie vorgestellt • Mitte April: • LoI zur Auftragsvergabe • Gespräche zur Flächenbereitstellung und Nutzung • Mitte Mai: Auftragsvergabe • Mitte Mai: Fläche war geräumt und bereitgestellt • Mitte Juni: Beginn der Aufstellungsarbeiten • Ende Juni: Abschluß der Arbeiten • 7. Juli: offizielle Übergabe • 10. Juli: Inbetriebnahme der neuen Infrastruktur • 14.-16. Juli: Umzug der Rechner in die neuen Racks durch IT • 17. Juli: Einschalten aller Systeme • ab 18. Juli: Schrittweise Inbetriebnahme der Rechner IT-Palaver - Helmut Kreiser / IT

Bauphase IT-Palaver - Helmut Kreiser / IT

Inbetriebnahme • Umzug von 250 Rechner • 160 im RZ – 2 (aus luft- in wassergekühlte Racks) • 60 aus dem RZ – 1 • in 3 Tagen durch IT selbst durchgeführt • Im August: Einbau von 7 Blade-Center für zusätzliche Alice-Rechenkapazität • pro Rack auf 40 HE Rechner installiert • Stromverbrauch+Kühlung: 120-130 KW (Spitze) IT-Palaver - Helmut Kreiser / IT

Umzug IT-Palaver - Helmut Kreiser / IT

Blades IT-Palaver - Helmut Kreiser / IT

was wurde erreicht • 8 Racks für Computing komplett voll • ca. 120 – 130 KW Input elektrischer Leistung • Kühlungsinfrastruktur unabhängig von vorhandener Klimaanlage • leise • ausbaufähig auf 16 Racks ohne Aufwand • ca. 250 KW Input elektrischer Leistung • Vollausbau mit weiterer Verrohrung (zusätzliche Investitionen) • Luft-Kühlungstemperatur 20 C, bei ca. 15 Grad Temperaturdifferenz zwischen vorne und hinten in den Racks • bisher störungsfreier Betrieb der Kühleinheiten und Rechner • Kosten: • Infrastruktur ca. 300 K€ • zusätzliche Rechner: ca. 200 K€ IT-Palaver - Helmut Kreiser / IT

Zukunft • weitere Gelder für Alice-Tier-2 in Aussicht • 3 weitere wassergekühlte Racks • Erweiterung der Mittelspannungsanlage (20 KV) in 2008/2009 • eigener Trafo (1 MW) in 2009 • 500 KW für Rechner • Kühlungsinfrastruktur • Mittelfristig: • USV (für Kühleinheiten) • Ausbau auf ca. 30 Racks in 2 Reihen • 3. Reihe wäre möglich IT-Palaver - Helmut Kreiser / IT

Status IT-Palaver - Helmut Kreiser / IT

Aktuell • Ausfall der Rechner im RZ – 2 • Abschaltung der Kühlwasserversorgung • Abschaltung der Stromversorgung • RZ – 2 hat aus Geldmangel keine Notkühlung • Vorschlag Konzeptstudie: GSI-Kühlung nutzen, eigene Chillars und Pufferspeicher als Notkühlung • RZ – 2 hat keine USV-Versorgung • geplant: nur für Kühlungsinfrastruktur und Netzwerk • RZ – 2: keine temperaturgesteuerte Durchflußregelung des Primärwärmetauschers • Abschalten/Anschalten größerer Stromleistungen • Einfluß auf Kühlkreislauf der GSI IT-Palaver - Helmut Kreiser / IT

Rechenzentrum für GSI und Alice-Tier-2