Beruflich Dokumente
Kultur Dokumente
Betriebssicheres Rechenzentrum
Leitfaden Version 3
Impressum
Herausgeber: BITKOM
Bundesverband Informationswirtschaft,
Telekommunikation und neue Medien e. V.
Albrechtstraße 10 A
10117 Berlin-Mitte
Tel.: 030.27576-0
Fax: 030.27576-400
bitkom@bitkom.org
www.bitkom.org
Diese Publikation stellt eine allgemeine unverbindliche Information dar. Die Inhalte spiegeln die Auffassung im BITKOM
zum Zeitpunkt der Veröffentlichung wider. Obwohl die Informationen mit größtmöglicher Sorgfalt erstellt wurden, besteht
kein Anspruch auf sachliche Richtigkeit, Vollständigkeit und/oder Aktualität, insbesondere kann diese Publikation nicht den
besonderen Umständen des Einzelfalles Rechnung tragen. Eine Verwendung liegt daher in der eigenen Verantwortung des
Lesers. Jegliche Haftung wird ausgeschlossen. Alle Rechte, auch der auszugsweisen Vervielfältigung, liegen beim BITKOM.
Leitfaden Betriebssicheres Rechenzentrum
Leitfaden
Betriebssicheres Rechenzentrum
Leitfaden Version 3
Inhaltsverzeichnis
1 Einleitung 7
2 Verfügbarkeit eines Rechenzentrums 8
3.1 ISO 27001 / ISO 27002:2008 11
3 Einfluss von Sicherheitsstandards auf die Gestaltung von Rechenzentren 11
3.2 ITIL 12
3.3 Sarbanes Oxley Act und SAS 70 13
3.4 Bewertung der Standards 13
4 Basis der IT-Infrastruktur: Das Rack 14
4.1 Serverschrank 14
4.1.1 Standard-Serverschrank (Rack) 14
4.1.2 Sicherer Serverschrank 15
4.1.3 Inventarisierung im Serverschrank 16
4.2 Netzwerktechnik 16
4.3 Betriebssicheres Rechenzentrum 17
5.1 Energieversorgungsunternehmen (EVU) – Stromverteilung und Einspeisung ins Unternehmen 18
5.1.1 Ausgangssituation 18
5.1.2 Funktionsweise der Infrastruktur 18
5 Energieversorgung 18
5.1.3 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten 19
5.2 Stromverteilung im Unternehmen 20
5.2.1 Ausgangssituation 20
5.2.2 Funktionsweise der Infrastruktur 20
5.2.3 Intelligente Steckdosenleisten 21
5.2.4 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten 21
5.2.5 Schutzmaßnahmen und Hochverfügbarkeit 21
5.3 Unterbrechungsfreie Stromversorgung (USV) 23
5.3.1 Ausgangssituation 23
5.3.2 Technologien von USV-Systemen 23
5.3.3 Funktionsweise 24
5.3.4 Grundsätzlicher Aufbau statischer USV-Anlagen 25
5.3.5 USV-Redundanz 26
5.3.6 Elektronischer Bypass/Handbypass- Serviceumgehung 26
5.3.7 Energiespeicher 27
5.3.8 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten 27
5.3.9 Besonderheiten 28
5.4 Notstrom 29
5.4.1 Stromerzeugungsaggregate für die Ersatzstromversorgung (Notstrom) bei Netzausfall 29
5.4.2 Notstromversorgungen 30
5.4.3 Auslegung der Notstromanlage 30
5.4.4 Empfohlene Notstromversorgung in Abhängigkeit zu den zulässigen Ausfallzeiten 31
2
Leitfaden Betriebssicheres Rechenzentrum
5.5 Wartung/Instandhaltung 35
5.5.1 Wartung/Service USV-Anlagen 35
5.5.2 Wartung/Service/Probeläufe Netzersatzanlage 35
5.5.3 Wartung / Prüfung Elektroinstallation 35
6 Klimatisierung 36
6.1 Anforderungen 36
6.1.1 Einhaltung von ITK-Betriebsbedingungen 36
6.1.2 Einzusetzende Klimatechnik 36
6.1.3 Redundanz 37
6.1.4 Energieeffizienz 37
6.1.5 Skalierbarkeit 37
6.1.6 Servicekonzept 37
6.2 Umluftklimatisierung 38
6.2.1 Raumkühlung 38
6.2.2 Reihenkühlung 39
6.2.3 Schrankkühlung 40
6.3 Kälteerzeugung 40
6.3.1 Indirekte Freie Kühlung 41
6.3.2 Direkte Freie Kühlung 42
6.3.3 Klimatisierungssysteme ohne Freie Kühlung 42
6.3.4 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten 43
6.4 Fazit 43
7 Brandschutz 4 4
7.1 Technischer Brandschutz 4 4
7.1.1 Funktionsweise der Infrastruktur 4 4
7.1.2 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten 46
7.2 Baulicher Brandschutz 47
7.2.1 Schutzziele 48
7.2.2 Funktionsweise und Raumanforderungen 48
7.2.3 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten 49
7.3 Vorbeugende und organisatorische Brandschutzmaßnahmen 49
8 Flächenkonzeption und Sicherheitszonen für Rechenzentren 51
9 Verkabelung 53
9.1 Ausgangssituation 53
9.2 Normative Grundlagen 53
9.3 Qualität/Komponenten-/Systemauswahl 53
9.4 Struktur 54
9.5 Redundanz und Sicherheit 55
9.6 Installation 56
9.7 Dokumentation und Beschriftung 56
3
10 Die Zertifizierung eines betriebssicheren Rechenzentrums 57
10.1 Einführung 57
10.2 Zertifizierungsmöglichkeiten für Rechenzentren 57
10.3 Der Zertifizierungsprozess 58
10.4 Die Vorteile einer Zertifizierung 59
10.5 Die Wahl des richtigen Zertifizierungspartners 59
11 Anhang 61
12 Glossar 63
13 Danksagung 64
4
Leitfaden Betriebssicheres Rechenzentrum
5
6
Leitfaden Betriebssicheres Rechenzentrum
1 Einleitung
7
2 Verfügbarkeit eines Rechenzentrums
Die fortschreitende Entwicklung und Integration der Redundanzen in der Klima- und Stromversorgung, dop-
Informationstechnologie in allen Geschäftsbereichen pelte Einspeisungen und unterbrechungsfreie Wartungen
bedeutet, dass sich heutzutage kein noch so kleines der Systeme haben sich als Standard für hochverfügbare
Unternehmen einen Ausfall derselben leisten kann. IT-Infrastrukturen etabliert.
Noch vor wenigen Jahren konnten viele Unternehmen mit
einem, auch mehrstündigen, Ausfall ihrer IT-Infrastruktur Bevor jedoch die mit der Planung und der Auslegung der
»überleben«, heute steigt die Zahl derer, für die eine technischen Komponenten für die angestrebte Verfüg-
kontinuierliche Verfügbarkeit der IT unverzichtbar ist, barkeit begonnen wird, sind zusätzliche Betrachtungen
stark an. hinsichtlich der Risikobewertung und der Standortwahl
unumgänglich. Hierzu zählen insbesondere die möglichen
Bei der Erstellung und Erweiterung oder auch Überprü- Arealrisiken, welche geographisch (Luftverkehr, Hochwas-
fung eines IT-Konzeptes ist heute von entscheidender ser etc.), politisch (Kriege, Konfliktherde, Terror etc). und
Bedeutung, wie die Erforderlichkeit der Verfügbarkeit der in Form der nachbarlichen Beziehungen (Betriebsstätten
IT-Infrastruktur des Unternehmens eingeschätzt wird. Die wie Tankstellen, Chemiekalienlager etc.) Einfluss auf die
sich daraus ergebende Grundsatzfrage lautet: Wahrscheinlichkeit eines potentiellen Ausfalls haben
können. Weiterhin sollten auch potentielle deliktische
Angriffe von eigenen oder ehemaligen Mitarbeitern des
»Wie hoch sind die maximalen tolerierbaren Unternehmens und externer Personen in die Gesamtbe-
Ausfallzeiten der IT des Unternehmens?« trachtung einfließen.
Tier III Ende der mehrere Pfade vorhanden, aber nur eine aktiv, redundante Komponenten
80er Jahre Wartung ohne Unterbrechung möglich, 99,982 % Verfügbarkeit
Tabelle 1: Historisches Beispiel für Verfügbarkeitsklassen (nach: Uptime Institute, USA), Quelle: US Uptime Institut: Industry Standards Tier Classification
8
Leitfaden Betriebssicheres Rechenzentrum
oder der Abschluss eines Wartungsvertrages. Hinzu kom- Verfügbarkeitsklassen wie in nachfolgender Tabelle
men auch genaue Instruktionen über das Verhalten im »Verfügbarkeitsklassen nach dem BSI HV-Kompendium«
Fehler- oder Notfall. Weiterhin muss eine solche Struktur aufgeführt. Damit ist die Verfügbarkeitsklasse eines
auch eine schnelle, exakte und zielgerichtete Kommu- Dienstes ein Maß für seine Qualität hinsichtlich der
nikation und eine nachvollziehbare Protokollierung der Dimension Verfügbarkeit mit der Einheit Stunde/Jahr.
Ereignisse ermöglichen.
Ein System wird als verfügbar bezeichnet, wenn es in der
Der Begriff »Verfügbarkeit« bezeichnet die Wahrschein- Lage ist, die Aufgaben zu erfüllen, für die es vorgesehen
lichkeit, dass ein System zu einem gegebenen Zeitpunkt ist. Die Verfügbarkeit wird in Prozent angegeben und
tatsächlich wie geplant benutzt werden kann. Damit ist berechnet sich als 1 minus das Verhältnis aus fehlerbe-
Verfügbarkeit ein quantitativ fassbares und bestimm- dingter Stillstandszeit (= Ausfallzeit) und Gesamtzeit
bares Maß. Man unterscheidet zwischen qualitativen eines Systems.
VK keine Anfor- ca. 2-3 Wochen Hinsichtlich der Verfügbarkeit sind keine Maßnah-
0 ~95% derungen men zu treffen. Die Realisierung des IT-Grundschut-
an die zes für die anderen Grundwerte wirkt sich förderlich
Verfügbarkeit auf die Verfügbarkeit aus.
VK normale Weniger als 90 Std. Hinsichtlich der Verfügbarkeit erfüllt die einfache
1 99,0% Verfügbarkeit Anwendung des IT-Grundschutzes (BSI 100-1 und BSI
100-2) die Anforderungen
VK hohe Weniger als 9 Std. Die einfache Anwendung des IT-Grundschutzes ist
2 99,9% Verfügbarkeit zu ergänzen durch die Realisierung der für hohen
Verfügbarkeitsbedarf empfohlenen Bausteine,
z. B. die Bausteine B 1.3 Notfallvorsorge, B 1.8
Behandlung von Sicherheitsvorfällen und die
Anwendung der Risikoanalyse auf der Basis von
IT-Grundschutz (BSI 100-3).
VK sehr hohe Unter 1 Std. Realisierung der nach IT-Grundschutz für ausge-
3 99,99% Verfügbarkeit wählte Objekte empfohlenen Maßnahmen mit
besonderem Einfluss auf den Grundwert Verfüg-
barkeit, z. B. die Maßnahme M 1.28 USV im Server-
raum oder M 1.56 Sekundär-Energieversorgung im
Rechenzentrum, ergänzt durch HV-Maßnahmen aus
dem HV-Kompendium
9
Berechnet man mit der obigen Formel die Verfügbarkeit
im Zeitraum eines Jahres, so bedeutet eine Verfügbarkeit
von 99,99% beispielsweise eine Stillstandszeit von 52,6
Minuten.
99 % * 87,66 Stunden/Jahr
99,9 % * 8,76 Stunden/Jahr
Verfügbarkeit
(in Prozent)
=
( 1. Ausfallzeit
Produktionszeit +
Ausfallzeit
) = 100
10
Leitfaden Betriebssicheres Rechenzentrum
Eine große Anzahl von Sicherheitsstandards kommt 3.1 ISO 27001 / ISO 27002:2008
bei der Planung und Gestaltung von Rechenzentren zur
Anwendung. Sie stellen einerseits eine Hilfestellung für Die seit Oktober 2005 geltende Normenreihe ISO/IEC
den Verantwortlichen dar, definieren andererseits aber 27001 dient dem Schutz von Informationen als Geschäfts-
auch Anforderungen. werte vor Bedrohungen. Sie gewinnt an Bedeutung, da
sie die Basis schafft, um Unternehmen in die Lage zu
Auf der Ebene der physischen Infrastruktur eines Rechen- versetzen, Anforderungen dritter Instanzen zu genügen.
zentrums werden die baulichen Aspekte, die technischen Das sind beispielsweise gesetzliche Anforderungen (wie
Versorgungssysteme (Elektro/Kälte) und die Sicherheits- KonTraG, HGB sowie GoB, GoBS, GDPdU, BDSG, TMG, TKG,
systeme (Brandmelde- und Brandlöschanlage, Einbruch- StGB), vertragliche Anforderungen (z. B. von Kunden)
meldeanlage, Zutrittskontrollanlage) auf ihre Eignung oder sonstige Anforderungen. Die Norm ersetzt die bisher
und ihren ordnungsgemäßen Einsatz hin überprüft. Eine bekannte britische Standardnorm BS 7799-2, die im
nationale oder internationale Norm gibt es für diesen Februar 2006 zurückgezogen wurde.
Themenkomplex noch nicht. Im deutschsprachigen Raum
existieren zurzeit Prüfkataloge unterschiedlicher Zerti- In der betriebswirtschaftlichen Fachsprache wird der
fizierungsstellen mit einer mehr (wie z. B. der TSI Prüf- Begriff Compliance verwendet, um die Einhaltung von
katalog vom TÜV) oder minder großen Abdeckung von Gesetzen und Richtlinien, aber auch freiwilligen Kodizes
Anforderungen an die physische Infrastruktur. in Unternehmen zu bezeichnen.
Die wichtigsten Normen auf der organisatorischen Die ISO/IEC 27001 unterstützt das Aufsetzen eines Pro-
Ebene wie z. B. ISMS (Information Security Management zesses für den Aufbau und das Betreiben eines Sicher-
Systems) sowie ITIL (IT Infrastructure Library) und der heits-Management-Systems. Dieser Prozess der stetigen
Sarbanes-Oxley-Act werden hier vorgestellt. Verbesserung arbeitet in den vier bekannten Schritten:
»Plan, Do, Check, Act«, wie dies auch von der ISO 9001
(Qualitätsmanagement) her bekannt ist.
Eine wesentliche Hilfe wird auch durch die vom BSI (Bun-
desamt für Sicherheit in der Informationstechnik) seit
vielen Jahren fortentwickelten Grundschutz-Handbücher
(Leitfäden und Kataloge) nach »ISO 27001, basierend
auf IT-Grundschutz« geboten. Die Bausteine in den
Katalogen sind sehr wertvoll bei der Umsetzung eines
Informationssicherheits-Managementsystems.
11
Systeme und Applikationen in Bezug auf die Aufrecht- 3.2 ITIL
erhaltung des Geschäftsbetriebes eines Unternehmens
von Bedeutung sind und wie hoch die Abhängigkeit von Eine wichtige Größe bei der Planung und dem Betrieb
entsprechenden Systemen und Applikationen ist. Abge- eines »Betriebssicheren Rechenzentrums« ist das »IT-
leitet aus den Ergebnissen werden Aussagen über den Service-Management«. Seit Ende der 80er Jahre gibt es
Schutzbedarf getroffen und der Verfügbarkeitsanspruch Best Practice Empfehlungen für IT-Service Management,
an entsprechende Systeme und Applikationen ermittelt. als die Central Computer and Telecommunications Agency
der britischen Regierung (früher CCTA, heute OGC) die ers-
Die Implementierungsphase (DO-Phase) beinhaltet ten Elemente der IT-Infrastructure Libary (ITIL) veröffent-
konkrete Maßnahmen zur Risikominimierung und Risi- lichte. Die schriftlich niedergelegten Richtlinien reichen
koerkennungmittels eines Risikobehandlungsplanes. Die von detaillierten Ratschlägen zu einzelnen Prozessen
ISO 27002:2008 (früher 17799) gibt als »Leitfaden für das innerhalb der ITIL über Verfahrensregeln bis zur jetzt neu
Informationssicherheits-Management« wertvolle Hin- erschienenen Norm ISO 20000 (früher BS 15000).
weise für die Erfüllung der in der ISO 27001 aufgeführten
»Controls/Maßnahmen«. Sie ist praktisch die Anleitung Bei bestehenden Rechenzentren orientieren sich Kunden
zur Umsetzung der ISO 27001. Hier werden unter dem auch an einem Service-Management-System nach ITIL.
Punkt 9 »Physische und umgebungsbezogene Sicherheit« Dienstleistungsrechenzentren sehen sich des Öfteren
auch die Maßnahmen und Umsetzungsvorschläge für mit Ausschreibungen konfrontiert, die im teilnehmenden
Räume und Infrastrukturen benannt. Zertifizierungen Unternehmen ITIL voraussetzen. Zwei Kernbereiche sind
erfolgen nur auf Grund der ISO 27001 bzw. nach BSI ISO dabei immer enthalten:
27001, basierend auf IT-Grundschutz.
Service-Support
Im Rahmen eines regelmäßigen Monitorings und Service-Delivery
periodisch stattfindender Audits (CHECK-Phase) wer- Das Regelwerk ist auf alle IT-Organisationen in allen
den implementierte Maßnahmen regelmäßig über- Unternehmen – gleich welcher Größe – anwendbar.
prüft, um Verbesserungspotentiale abzuleiten (zum
Beispiel Monitoring-Mechanismen des Brandschutzes, Zur schnellen Übersicht, welche Prozesse im Rechenzen-
Brandschutztests). trum vorhanden sind und mit welchen Kennzahlen diese
überwacht werden könnten, hat der Arbeitskreis einen
In der vierten Phase (ACT-Phase) werden die Maßnahmen Leitfaden »Prozesse und KPI in Rechenzentren« entwi-
umgesetzt, die im Vorfeld als Verbesserungen definiert ckelt, der unter www.bitkom.org/rechenzentren zum
wurden. Download zur Verfügung steht.
12
Leitfaden Betriebssicheres Rechenzentrum
3.3 Sarbanes Oxley Act und SAS 70 Auf internationaler Ebene wurden mögliche Konflikte des
Sarbanes-Oxley Acts mit nationalen Vorschriften disku-
Der seit Juli 2002 geltende Sarbanes Oxley Act (SOX) ist tiert. Eine Lösung der Konflikte ist derzeit noch weitest-
ein US-Gesetz zur Verbesserung der Transparenz von gehend ungeklärt. Es ist aber ein »Euro-SOX« in Arbeit.
Unternehmensberichterstattungen und wurde als Folge Ausserdem ist das IDW (Institut der Wirtschaftsprüfer)
der Bilanzskandale von Unternehmen wie Enron oder dabei, seine Vorgaben für die Prüfungsanforderungen an
Worldcom erlassen. Das Gesetz hat nicht nur Auswirkun- Cobit 4.1 zu orientieren.
gen auf Finanzdaten, sondern fordert auch die Sicherheit
im IT-Bereich.
3.4 Bewertung der Standards
Das Gesetz gilt zunächst für alle an amerikanischen Bör-
sen notierten Unternehmen. Aber in der Folge auch für Die dargestellten Standards werden häufig von Kun-
Nicht-US Unternehmen, die jedoch eine an einer amerika- den, Zertifizierungsgesellschaften, Wirtschaftsprüfern
nischen Börse notierte Mutter- oder Tochtergesellschaft und anderen Institutionen überprüft. Man kann darü-
haben. ber streiten, ob durch Sarbanes Oxley und SAS 70 ein
Rechenzentrum betriebssicherer wird – die in der ISO/
Im Rahmen des Sarbanes-Oxley Acts müssen Unter- IEC 27002:2008 und ISO/IEC 27001:2005 enthaltenen
nehmensprozesse beschrieben, definiert und interne allgemeinen Forderungen nach Maßnahmen zur Verbes-
Kontrollverfahren festgelegt werden, die das Risiko eines serung der Sicherheit sind aber durchweg berechtigt und
falschen Bilanzausweises minimieren sollen. Die Prüfung sinnvoll. ITIL und ISO 20000 sichern und verbessern die
von Unternehmen durch zugelassene Wirtschaftsprüfer Prozesse im Bereich von Rechenzentren nachweislich. Bei
erfolgt dabei nach der »SAS 70« Frageliste. Diese wiede- Öffentlichen Auftraggebern wird oft die Zertifizierung
rum basiert im Wesentlichen auf dem Regelwerk »Cobit nach BSI verlangt – hier ist allerdings der Aufwand für
4.1« der ISACA (USA). Hat ein Unternehmen, für welches Dokumentation und Betrieb des ISMS sehr hoch. Besser
SOX als Forderung zutrifft, zum Beispiel einzelne Sys- ist die Kombination von ISO 27001 mit Anlehnung an
teme oder gar die gesamte IT ausgelagert (Outsourcing), IT-Grundschutz (wo sinnvoll), also nicht die Zertifizierung
schlägt die SAS-70-Frageliste auch auf den entsprechen- durch das BSI, Bonn.
den Provider durch, die Verantwortung bleibt immer
beim jeweiligen Auftraggeber. In diesem Fall besteht
die Möglichkeit, dass Wirtschaftsprüfer des Kunden im
Service-Rechenzentrum nach SAS 70 prüfen oder das
Rechenzentrum selbst die Prüfung durchführen lässt. Der
Bericht des Wirtschaftsprüfers darf nicht älter als sechs
Monate ab Zeitpunkt des Jahresabschlusses des Kunden
sein. Deshalb müssen SOX-Prüfungen im Wesentlichen
zweimal jährlich durchgeführt werden, was einen sehr
hohen Aufwand bedeutet.
13
4 Basis der IT-Infrastruktur: Das Rack
Ob separates Rechenzentrum oder einzelner Server- Racks in Einhausungen dar. Bei der Planung von Racks
schrank: Die Basis für eine sichere Unterbringung der und deren Aufstellung im Rechenzentrum ist eine ausrei-
IT-Systeme bildet immer das einzelne Rack. Dabei spricht chende Entwärmung der Komponenten erforderlich. In
man im Wesentlichen von Serverracks, Netzwerkracks einem Rack oder einer Rackreihe ist der für die erforderli-
oder Stromversorgungs- und Stromverteilungsracks. che Entwärmung entsprechende Luftvolumenstrom und
eine ausreichend niedrige Temperatur (als Temperaturdif-
Da die IT-Systeme in den meisten Unternehmen aus ferenz zur gewünschten maximalen Betriebstemperatur
(weltweit) genormten 482,6mm (19«)1-Komponenten der Komponenten), welche den Betrieb der Komponenten
bestehen, bieten skalierbare und flexible Rack-Systeme in im gewünschten Temperaturbereich ermöglicht, aus-
dieser Bauweise die beste Wahl beim Aufbau einer tragfä- zulegen. Die Kontrolle und Regelung der Luftfeuchtig-
higen IT-Infrastruktur. Sie gewährleistet das passgenaue keit innerhalb eines sicheren Bereiches unterhalb der
Zusammenspiel von System- und Supportkomponenten Taupunktgrenze, ist ebenfalls Voraussetzung für einen
wie Stromversorgung, Klimatisierung und Monitoring. störungsfreien Betrieb.
Ob ein Unternehmen seine IT-Systeme in einem eigenen
Rechenzentrum oder als Stand-alone-Lösung in einzelnen Auch auf ein einfach zu integrierendes Stromverteilungs-
Serverschränken unterbringt, hängt von den Anforderun- System sollte geachtet werden, denn letztlich ist die
gen an die IT und den baulichen Voraussetzungen ab. Für Stromversorgung die Voraussetzung für eine verfügbare
beides gelten aber z. B. gleiche Brandschutz- und weitere IT. Eine abgesicherte Niederspannungs-Unterverteilung
Sicherheitsnormen, denn sie sollen die ITK-Systeme und – sollte ebenfalls vorhanden sein, wie auch ein flexibles
noch wichtiger – kritische Unternehmensdaten in ihrem Stromverteilungssystem im Rack selbst, das sowohl aus
Inneren schützen. dem Versorgungsnetz als auch mit einer unterbrechungs-
freien Stromversorgung (USV) gespeist werden kann.
Moderne Lösungen bringen hier mehr als 88kW in ein
4.1 Serverschrank Rack. Möglich wird dies durch vier unabhängige, dreipha-
sige Strom-Einspeisungen, die eine sichere Stromversor-
4.1.1 Standard-Serverschrank (Rack) gung auch bei steigenden Anforderungen garantieren.
Der moderne Serverschrank, kurz Rack genannt, sollte Mit steigender Serverleistung und Packungsdichte im
möglichst variabel aufgebaut sein und sich jederzeit Rack sind die Anforderungen an das Belüftungskonzept
durch flexible Modifikationsmöglichkeiten an zukünftige wie perforierte Türen mit über 80% freier Belüftungsflä-
Anforderungen des IT-Equipments anpassen lassen. Der che und die konsequente Abschottung zwischen Warm-
stufenweise Aufbau , der modulare Ausbau, vom Schrank und Kaltbereichen im Rack enorm gestiegen. Weitere
zur Schrankreihe, vom einzelnen Gang zur ganzen Raum- leistungssteigernde, energetisch optimierte Lösungen
architektur, sichert den Wert aktueller Investitionen. können durch Kalt- bzw. Warmgangeinhausungskon-
zepte, die zur Racklösung gehören, umgesetzt werden. Bei
Multifunktionaler Innenausbau, hohe Tragkraft, auf das extremen Verlustleistungen im Rack sind wassergekühlte
Rack abgestimmte Klimatisierungskonzepte stellen die Lösungen in Form von Luft-/Wasserwärmetauschern
herausragenden Anforderungen an Schranksysteme und unumgänglich.
1 Aus Gründen des Sprach- und Leseflusses wird das genormte 482,6mm-System im Folgenden 19«-System genannt. Die ebenfalls im Folgenden anzutref-
fende Bezeichnung Höheneinheit (HE) entspricht einer Höhe von 44,45mm (1,75«).
14
Leitfaden Betriebssicheres Rechenzentrum
Beides, Stromabsicherung und Klimatisierung, lassen sich – sind folgende Eigenschaften für die durchgängige
durch in die Infrastruktur integrierbare Sensoren überwa- Sicherheit und Verfügbarkeit der Systeme notwendig:
chen. Diese Fühler registrieren z. B. die Feuchtigkeit, die
Temperatur, aber auch die Leistungsaufnahme der Server. gleich bleibende Temperatur und Luftfeuchtigkeit
Ein modernes, sensorenbasiertes Überwachungssystem durch eine Präzisions-Klimatisierung
übernimmt möglicherweise auch die Zugangssteuerung
und weitere Parameter gleich mit. ausreichend sichere Stromversorgung durch unterbre-
chungsfreie Stromversorgung (USV) und gegebenen-
Entscheidend für das Gelingen eines systemübergreifen- falls zusätzlicher, externer Notstromversorgung
den Monitorings auf Racksebene ist die Einbeziehung
der Server und der Infrastrukturen in die Überwachung Schutz gegen Fremdzugriff durch zugriffsgeschützte
sowie eine einfach zu handhabende Bus-Verkabelung der Verschluss-Systeme, netzwerküberwachten Rackzu-
Sensoren selbst. gang, oder gar die biometrische Datenerfassung
Ein wichtiger Punkt bei allen Rack-Lösungen ist das eine ausreichende Brandvorsorge, -detektion und
Thema Stabilität. Durch die hohe Packungsdichte moder- -reaktion
ner Server-Systeme und Speicherlösungen werden je
nach Einsatzfall Server-Racks mit bis zu 1.500 kg Tragkraft die Einbindung der Module bzw. der Architektur in ein
benötigt. Dementsprechend müssen auch Geräteböden, zentrales Monitoring- und Management-System.
Gleitschienen und Snap-In Funktionen für hohe Lasten
ausgelegt sein. Bis zu 100 kg pro Boden oder 150 kg für Gegebenenfalls ist der Doppelboden zu verstärken. Ein
spezielle Aufnahmeschienen können hier zum Tragen weiteres wichtiges Thema sind die Möglichkeiten der
kommen. Kabeleinführung und der internen Kabelführung. Immer
größere Datenmengen bei immer schnelleren Netzen
Die Kabelführung von Strom- und Datenkabeln sollte zur in Verbindung mit einer Verkabelung auf Kupferbasis
Vermeidung von gegenseitiger Beeinflussung getrennt machen empfindlich für Störeinstrahlung. Strom- und
voneinander erfolgen. Dies gilt besonders bei sehr vielen Datenleitungen sollten daher möglichst getrennt
kupferbasierten Kabeln im Schrank. voneinander in den sicheren Serverschrank eingeführt
werden.Bei der Rackauswahl sollte daher unbedingt auf
4.1.2 Sicherer Serverschrank ausreichende Möglichkeiten der Kabelführung geachtet
werden.
Ein sicherer Serverschrank sollte möglichst modular auf-
gebaut sein. Er ermöglicht dem Unternehmen angemes- Soll eine dreiphasige Stromabsicherung zum Einsatz
sene Sicherheit bei überschaubaren Kosten. Ein modularer kommen, besteht die Möglichkeit, die Leistungsaufnahme
Schrank kann bei Bedarf ab- oder umgebaut werden und mittels Motorschutzschaltern zu begrenzen, so dass
an anderer Stelle eingesetzt werden. Auch bei einem eine tatsächliche Abnahme von theoretischen 88kW pro
Umzug hat ein solch flexibles System Vorteile bei der Rack verhindert wird. Bei einphasiger Stromabsicherung
Standortwahl, beim Transport und der Neuaufstellung. könnte sich eine Leistungsbegrenzung mittels Messgerä-
ten und Schwellwerten einstellen.
Die Modularität hat ebenso eine Bedeutung für die Erwei-
terung bei Einhausungslösungen oder Klimatisierungs- Für Ordnung und Übersicht sorgt eine Strukturierung
konzepten. Bei der Planung eines sicheren Serverschran- innerhalb der Verkabelung. Eine hohe Flexibilität inner-
kes – wie auch für ein betriebssicheres Rechenzentrum halb der Kabelführung und die konsequente Einteilung in
Funktionsstränge sind hierfür Voraussetzung.
15
Freiflächen (ungenutze Höheneinheiten) sollten mittels 4.2 Netzwerktechnik
Blechen verschlossen werden, damit die Kaltluft mög-
lichst nur an den zu kühlenden Komponenten vorbeige- Zu einer vollständigen Betrachtung von Rechenzentren
führt wird. unter Sicherheitsaspekten gehört neben den Servern
auch das Thema Netzwerktechnik. Viele Unternehmen
4.1.3 Inventarisierung im Serverschrank haben bereits ihre Telefonanlagen auf Voice over IP (VoIP)
umgestellt. Virtualisierte Clients sind der nächste Schritt.
In Rechenzentren – besonders ab einer bestimmten Größe Damit werden immer mehr geschäftskritische Basis-
– ist es schwer, den Überblick über die vorhandenen dienste über die Datenleitungen abgewickelt, die mit
Hardware-Komponenten zu behalten. Zwar ist es heute Power over Ethernet (PoE) auch die Stromversorgung der
möglich, mit jedem intelligenten IT-Device zu kommuni- Endgeräte übernehmen. Mit der wachsenden Bedeutung
zieren, aber die physische Zuordnung zum Rack und der der Netzwerktechnik für einen störungsfreien Geschäfts-
entsprechenden Höheneinheit ist problematisch. Auch die betrieb steigen auch hier die Sicherheitsanforderungen.
Gerätestruktur in den einzelnen Schränken mit Servern,
Lüftern, USV, etc. ist häufig nicht transparent. Vor diesem Wie bei den Servern bildet auch bei der Netzwerktechnik
Hintergrund gestaltet sich die Inventarisierung und das Rack die Grundlage der Unterbringung. Da die aktiven
stetige Aktualisierung der Daten über die Verteilung der Komponenten ebenfalls in 19“ ausgeführt sind, basieren
Komponenten im Rechenzentrum aufwendig und meist Netzwerkschränke in der Regel auf der gleichen Plattform.
auch zeitraubend. In vielen Fällen wird die vorhandene, Auch was Stabilität, sowie Brandschutz und Zugangskont-
manuell erfasste Dokumentation nicht auf Richtigkeit rolle angeht, herrschen hier vergleichbare Anforderungen.
überprüft. Eine korrekte Dokumentation ist aber notwen- Da die im Gebäude verbaute Netzwerkinfrastruktur aber
dig, um gerade im Fehlerfall Entscheidungen treffen zu in der Regel für mehr als 10 Jahre angelegt ist, empfiehlt
können. es sich, bei der Anschaffung der Netzwerkschränke lang-
fristig zu planen und auf Flexibilität beim Zubehör zu ach-
Ein weiteres Problem ist die »Halbwertszeit« der erho- ten. So lassen sich auch zukünftige Entwicklungen sicher
benen Informationen: Die Erfassung und Aktualisierung abdecken. Denn beim Innenausbau bestehen deutliche
stellt immer eine Momentaufnahme des RZ-Inventars dar. Unterschiede zwischen den Racks.
Eine effiziente Rackbelegung und transparente Kompo-
nentenadministration bedürfen jedoch ständig aktueller Durch das häufige Umstecken an den Anschlussstellen
und somit verlässlicher Daten. der Netzwerkkomponenten, den sogenannten Ports, müs-
sen die Kabel in den Netzwerkschränken deutlich häufiger
Um immer auf aktuelle Inventurdaten zurückgreifen zu neu verlegt werden als das in Serverschränken der Fall
können, gibt es moderne Inventarisierungssysteme direkt ist. Diese auch MACs (Moves, Adds, Changes) genannten
im Rack, um die Komponentenbestückung der 19“-Ebene Änderungen und die steigende Portdichte lassen dem
komplett berührungslos zu erfassen. Kabelmanagement besondere Bedeutung zukommen.
Das beginnt bei den Dachblechen und Sockeln. Einfaches
Die Darstellungen der Rackkonfigurationen stehen zum Einführen an diesen Stellen erleichtert die Nachrüstung
einen visuell auf einer Webseite des zugehörigen Überwa- und sorgt für kurze Kabelwege. Rangierkanäle und Füh-
chungssystems zu Verfügung, oder werden als Daten- rungspaneele schaffen eine saubere Feinverteilung im
paket komplett an ein zentrales Managementsystem Rack. Dabei sollte gerade beim Kabelmanagement auf die
übergeben. Stabilität der Komponenten Wert gelegt werden. Denn
moderne stromführende Netzwerkkabel sind deutlich
schwerer und steifer als ihre Cat-5-Vorgänger.
16
Leitfaden Betriebssicheres Rechenzentrum
Ein Thema, das bei Netzwerkschränken derzeit an Bedeu- dicht abschließendes Decke-Wand-Boden-System zum
tung gewinnt ist die Klimatisierung. Switches und Router Schutz gegen eindringenden Rauch oder Wasser und
werden leistungsfähiger und produzieren mehr Abwärme. eine mehrstufige Brandfrühesterkennung mit multiplen
Daher ist auch hier auf die Ausbaumöglichkeiten zu ach- Ansaugstellen, auch im Doppelboden. Hinzu kommen die
ten. Das Spektrum reicht von passiver Klimatisierung über entsprechend dimensionierte autarke Löschanlage mit
Dachbleche, Entlüftungsaufsätze oder doppelwandige Überdruck- und Klimaschiebern, die personenbezogene
Gehäuse über Lüfter bis hin zu Dachkühlgeräten. Zutrittskontrolle mittels Kartenleser oder biometrischen
Methoden und eine Überwachung der Peripherie des
Rechenzentrums durch LAN-Videotechnik.
4.3 Betriebssicheres Rechenzentrum
Für den flexiblen Ausbau von Rechenzentren ist es von
Neben den oben bereits genannten, grundsätzlichen Vorteil, mit Planern und Lieferanten zusammenzuar-
Anforderungen an ein betriebssicheres Rechenzentrum beiten, die eine langfristige Verfügbarkeit der Produkte
(BRZ), gibt es bei den baulichen Maßnahmen noch viele sicherstellen können.
Projektdetails zu klären.
17
5 Energieversorgung
Eine entscheidende Bedeutung beim Betreiben von technische Fehler in der Stromverteilung (zum Bei-
Serverschränken oder ganzen Rechenzentren kommt der spiel Leitungen, Unterverteilungen)
Stromversorgung zu.
Fehler in den Stromersatzlösungen (zum Beispiel
Die Kette der Stromversorgung beginnt bei den Kraft- Netzersatzanlagen auch Notstromdiesel genannt,
werken der EVU, die den Strom aus diversen Primärener- batteriegepufferte unterbrechungsfreie Stromversor-
gieformen erzeugen. Vom Stromerzeuger wird der Strom gungsanlagen (USV-Anlagen))
mittels Leitungen über Hochspannungsmasten zu den
Mittelspannungsstationen transportiert. Von den Mittel- prozessbedingte Fehler (zum Beispiel Fehler in der
spannungsstationen wird der Strom oft über Erdkabel bis Konzeption der Stromversorgung, logistische Fehler)
zu den Transformatorstationen der verschiedenen Mittel-
spannungsebenen (10, 20 oder 30 kV) geführt. Transfor- Für den Bau von Rechenzentren existieren keine vorge-
matorstationen befinden sich oft in größeren Gebäuden fertigten Stromversorgungslösungen aus der Schublade.
sowie am Straßenrand auf speziell dafür eingerichteten Es gibt jedoch einige Prinzipien für die Stromversorgung,
Grundstücken. die individuell anzupassen sind. Die Herausforderung für
den Planer besteht darin, diese Prinzipien auf den Kunden,
Große Rechenzentren mit mehreren 1.000 Quadratme- seine Wünsche und Bedürfnisse und nicht zuletzt auch
tern Rechenzentrumsfläche haben vielfach zwei Einspei- auf sein Budget hin umzusetzen.
sungen auf der Mittelspannungsebene, so dass eine volle
Redundanz – also die mehrfache Auslegung zur Erhöhung 5.1.2 Funktionsweise der Infrastruktur
der Verfügbarkeit - sogar bis zu den Kraftwerken besteht.
Bei der Stromversorgung sind verschiedene Verkehrs-
Beispiele aus der Vergangenheit zeigen, wie dramatisch wege der Leitungsnetze zu beachten. Es gibt so genannte
Situationen eskalieren können, wenn die Stromver- Stich- und Ringleitungen. Es ist darauf zu achten, dass die
sorgung länger ausfällt und keine Stromersatzlösung Anbindung des Gebäudes über eine Ringleitung erfolgt.
vorhanden ist. Die allgemeine Stromversorgung kann in Diese ist an mind. zwei Mittelspannungsverteilungen
großen Gebieten für mehrere Tage zum Erliegen kommen. angeschlossen, so dass auch bei einem Ausfall einer Seite
Anhand solcher Schadensmeldungen ist leicht verständ- die Stromversorgung noch gesichert ist. Die Mittelspan-
lich, wie notwendig gerade in unternehmenskritischen nung wird in den Trafostationen auf 400 V herunter
Bereichen, zum Beispiel der IT, eine autarke Stromversor- transformiert und mittels Kabel oder Stromschienen über
gung ist. die Niederspannungshauptverteilung und Normalnetz-
verteilung ins Rechenzentrum geleitet. Die Normalnetz-
Unterverteilung versorgt auch die unterbrechungsfreien
Stromversorgungsanlagen (USV) mit Strom.
18
Leitfaden Betriebssicheres Rechenzentrum
5.1.3 Empfohlene Ausstattung bei stark begrenzt. Sie ist abhängig von der Anzahl der vor-
unterschiedlichen Ausfallzeiten handenen Batterien und der zu erbringenden Leistung.
Ein Ausfall von mehr als 30 Minuten kann im Allgemeinen
Der Ausgang der USV Anlagen wird über die USV-Unter- mit einer USV nicht überbrückt werden. In diesem Falle
verteilungen geführt und von dort aus zu den einzelnen sollte automatisch eine funktionierende Rechner-Shut-
Serverschränken. Dafür sind z. B. im Doppelfußboden down-Routine eingeleitet werden, die Benachrichtigun-
Abzweigdosen oder Abgangskästen vorgesehen. Von den gen absetzt, Daten speichert, Applikationen schließt und
Abzweigungen beziehungsweise den Abgangskästen letztendlich die Rechner ordnungsgemäß herunterfährt.
erfolgt die Versorgung mittels weiterer Leitungen bis zu Bei der Planung ist also besonders darauf zu achten, dass
den Netzteilen (NT) der Server im Schrank. Bei nur einer die Überbrückungszeit der USV Anlage größer ist als die
USV Anlage werden die Netzteile A und B gemeinsam ver- Zeit, die für den Transport und Anschaltung einer mobilen
sorgt, bei zwei USV Anlagen jeweils getrennt. Das steigert NEA anfällt. Bei obiger Konstellation werden in der Regel
die Verfügbarkeit durch eine 2 x N Versorgung. Batterien eingesetzt.
Die Kategorie A ist zurzeit in vielen Betrieben des Die Kategorie B bietet ein höheres Sicherheitspotential.
Mittelstandes realisiert, oftmals sogar ohne Einspeise- Hier erfolgt die Stromversorgung bereits ab der Nieder-
möglichkeit für eine mobile Netzersatzanlage (NEA). spannungshauptverteilung in redundanter Ausführung
Diese Variante stellt bei genauer Betrachtung jedoch mit einer zweiten USV. Fällt ein Versorgungsweg hinter
keine wirkliche Sicherheit dar und vertraut lediglich den der Niederspannungshauptverteilung aus, wird automa-
Stromversorgern. Immer wieder hört man die Aussage, tisch über den zweiten, redundanten Weg versorgt. Fällt
» …. es wird schon nichts passieren. Bisher ist auch noch die Mittelspannungseinspeisung aus, ist die Stromver-
nie etwas passiert … «. Fällt jedoch nur ein Glied aus sorgung immer noch über die mobile Netzersatzanlage
der Versorgungskette aus, ist sofort die gesamte EVU- sichergestellt.
Einspeisung unterbrochen und die Stromversorgung
muss über die USV Anlage vorgenommen werden. Die Bei der Kategorie C kommt zusätzlich zur zweiten USV
Überbrückungszeit einer USV-Anlage ist in aller Regel eine zweite USV-Unterverteilung hinzu. Hierdurch ist
EVU Einspeisung
RZ Kategorie
zulässige RZ
Ausfallzeit
Rechenzentrum /
Serverschrank Serverschrank
Serverraum
A Standard 12 h
B Redundante Einspeisungen 1h
19
bereits eine redundante Versorgung von den USV-Anlagen Alle Elektroverteilungen müssen mit einer Eingangsab-
bis zu den Netzgeräten der Server möglich. sicherung versehen sein. Die Größe und Ausführung der
Elektroverteilung richtet sich nach der zu verteilenden
Die Kategorie D ist das »non plus ultra«. Es existiert Leistung, der gewünschten Anzahl von Stromkreisen und
nicht nur eine zusätzliche Redundanz über eine zweite der Leistung pro Stromkreis. Siehe dazu untenstehende
Netzersatzanlage, sondern auch noch eine zusätzliche Tabelle:
Einspeisung aus einer weiteren unabhängigen Mittel-
spannungsstation. Allerdings muss dazu fast immer die Übersicht der Leistungsklassen:
zweite Kabelzuführung von einer anderen Mittelspan-
Phasen Max. Max.
nungsstation seitens des jeweiligen Energieversorger erst Stromstärke Leistung
hergestellt werden. Das bedeutet, dass eventuell mehrere
Kilometer Kabel neu zum Standort des Rechenzentrums 1 16 A 3,6 kW
20
Leitfaden Betriebssicheres Rechenzentrum
21
Verteilung
RZ Kategorie
zulässige RZ
Ausfallzeit
Rechenzentrum /
Serverschrank Serverschrank
Serverraum
Potentialausgleich zu erreichen, ist die getrennte Ver- Beim Personenschutz gibt es neue Anforderungen für den
wendung eines funktionstechnischen PE (FPE) und eines zusätzlichen Schutz für Endstromkreise mit Steckdosen.
sicherheitstechnischen PE (PE) sinnvoll. Unbedingt nötig Seit dem 01.06.2007 gilt die DIN VDE 0100-410:2007-06
für den sicheren Betrieb ist eine permanente Selbstüber- -Schutz gegen elektrischen Schlag- für neu zu errichtende
wachung eines »sauberen« TN-S Systems (z. B. mit einer Anlagen. Änderungen und Erweiterungen von bestehen-
Differenzstrom-Überwachung, RCM) und die Aufschal- den Anlagen sind nach dieser Norm auszuführen.
tung der Meldungen an eine ständig besetzte Stelle,
z. B. an die Leitzentrale. Die Elektrofachkraft erkennt dann Diese Norm schreibt für alle Steckdosen in Wechsel-
über entsprechende Meldungen den Handlungsbedarf spannungssystemen den zusätzlichen Schutz durch
und kann durch gezielte Servicemaßnahmen Schäden Fehlerstrom-Schutzeinrichtungen (RCDs) vor, wenn die
vermeiden. Benutzung von Laien und zur allgemeinen Verwen-
dung bestimmt ist. Es muss sichergestellt sein, dass
Auch für den Leitungsschutz müssen alle Elektrovertei- das sofortige Beheben von Fehlern/Schäden durch eine
lungen mit einer Eingangsabsicherung versehen sein. Elektrofachkraft, auch an den angeschlossenen elekt-
Die Größe und Ausführung der Elektroverteilung richtet rischen Geräten/Verbrauchsmitteln/Betriebsmitteln,
sich nach der zu verteilenden Leistung, der gewünschten gegeben ist. Dies erfordert ein permanentes Monitoring-
Anzahl von Stromkreisen und der Leistung pro Stromkreis system und organisatorische Maßnahmen zur schnellen
(siehe S.20, Tabelle 4: Übersicht der Leistungsklassen). Fehlerbehebung.
Ein besonders schwieriges Thema ist die so genannte.
»Selektive Sicherungsauslegung«, die es ermöglicht Eine permanente Differenzstrom-Überwachung (RCM)
auch bei einem Kurz- oder Erdschluss eines IT-Gerätes in erfüllt die aktuelle Schutzmaßnahmennorm und bietet
einem Schrank diesen sicher abzutrennen, ohne weitere zusätzlich einen erhöhten Brandschutz, auch ohne
Schränke und IT-Geräte in Mitleidenschaft zu ziehen. Abschaltung durch ein RCD.
22
Leitfaden Betriebssicheres Rechenzentrum
5.3 Unterbrechungsfreie Stromversorgung miteinander verbundenen Zellen spricht man von einer
(USV) Sekundärbatterie oder auch nur von einer wieder-auflad-
baren Batterie. Bei Netzausfall wird die Energie des Spei-
5.3.1 Ausgangssituation chers über einen statischen Umformer (Wechselrichter)
am Ausgang der USV-Anlage für die kritischen Verbrau-
Nicht nur ein längerer Komplettausfall, sondern schon cher bereitgestellt. Die Überbrückungszeit wird durch
einfache Spannungsschwankungen oder Kurzausfälle die Last und die Kapazität der Akkumulatoren bestimmt.
im Stromnetz können reichen, um Hard- oder Software Typische Überbrückungszeiten liegen im Bereich von 10
zu schädigen oder so zu stören, dass schwere Fehler in bis maximal 30 Minuten.
den IT-Prozessen auftreten. Unregelmäßigkeiten im Netz
sind zwar selten, aber durchaus häufiger, als gemeinhin Die zweite Technologie ist die dynamische USV-Anlage
angenommen. mit und ohne Hubkolbenverbrennungsmotor. Als
Energiespeicher dient je nach Bauform ein kinetischer
Um die möglichen negativen Folgen solcher kurzer Strom- Massenspeicher oder ebenfalls eine Akkumulatorenan-
ausfälle zu vermeiden, werden USV- Systeme eingesetzt. lage. Die dynamische USV-Anlage stellt die Energie des
Sie filtern Störungen, wie Spannungsstöße oder Span- Speichers über einen rotierenden Umformer (Generator)
nungseinbrüche und überbrücken Unterbrechungen im am Ausgang der USV-Anlage für die kritischen Verbrau-
Netz. Dadurch werden Übertragungsfehler, Rechnerab- cher zur Verfügung. Bei einem kinetischen Speicher ist
stürze und Datenverluste reduziert. die Überbrückungszeit von der Last der IT-Geräte und der
kinetischen Energie des Speichers (Masse und Geschwin-
5.3.2 Technologien von USV-Systemen digkeit) abhängig. Sie bewegt sich im Sekundenbereich.
Für USV- Systeme werden verschiedene Technologien Die dynamische USV-Anlage mit Verbrennungsmotor
angewendet. Die am häufigsten eingesetzte ist die der vereint eine USV- Anlage und eine Netzersatzanlage und
statischen USV- Anlage. Als Energiespeicher kommen wie- kann somit auch Netzausfälle über einen längeren Zeit-
deraufladbare (Sekundär-) Zellen (Akkumulatoren) zum raum überbrücken.
Einsatz. Bei einer Verschaltung aus zwei oder mehreren
80%
70
40
30
20
10
0
0-10 ms 10-20 ms 20 ms - 1s 1s - 1h > 1h
Dauer von Netzausfällen
23
5.3.3 Funktionsweise Für den Einsatz in Rechenzentren sollten grundsätzlich
statische USV- Anlagen mit der Klassifizierung »VFI« nach
Statische USV-Typen werden in drei Kategorien aufge- EN64040-3 bzw. Diesel USV- Anlagen nach DIN 6280-12
teilt. In der europäischen Norm EN62040-3 werden die eingesetzt werden.
Klassifizierung und die zugehörigen Bestimmungsmetho-
den für statische USV-Systeme definiert und beschrieben. Statische USV-Anlagen nach dieser Klassifizierung sind im
Man unterscheidet dabei mehrere Netzstörungsarten (s. Leistungsbereich von 10 kVA bis 1600 kVA verfügbar und
Tabelle 6 unten) können je nach Fabrikat bis zu einer Leistung von 4800
kVA parallel geschaltet werden.
Dynamische USV-Anlagen mit und ohne Verbrennungs-
motoren unterliegen der DIN 6280-12. Diesel-USV- Anlagen sind in einer Leistung von 200 bis
1750 kVA verfügbar. Sie können den Nieder- und Mittel-
spannungsbereich abdecken. Sie sind vielfach parallel
schaltbar.
3. Spannungsspitzen 4 ... 16 ms -
8. Spannungsverzer- periodisch -
rung (Burst)
9. Spannungs- kontinuierlich -
oberschwingungen
Tabelle 6: Arten von Netzstörungen und die passenden USV-Lösungen nach EN62040-3 (Ref.: »Unterbrechungsfreie Stromversorgung European Guide«;
Hsgr. ZVEI 2004
24
Leitfaden Betriebssicheres Rechenzentrum
Einzelblockanlagen beinhalten alle für die Funktion der Sonderlösungen, wie ein zentraler elektronischer Bypass
Anlage erforderlichen Komponenten wie oder eine Zentralbatterie für mehrere USV-Blöcke, werden
nicht mehr betrachtet. Diese Sonderlösungen schränken
Gleichrichter die Redundanz ein und führen zu einem »Single Point of
eigener Batteriezwischenkreis mit Batterie Failure«.
Wechselrichter
elektronischer Bypass Einschubmodulare USV-Anlagen beinhalten wie Einzel-
eventuell Mechanischer Bypass blockanlagen alle für die Funktion erforderlichen Kompo-
nenten (siehe oben). Die Funktion gleicht dem des Modu-
Diese Anlagen sind als eigenständige Einheit voll funk- larblocksystems. Die einzelnen aktiven Komponenten
tionsfähig. Die Batterie kann bei kleineren Leistungen (Gleich-, Wechselrichter, elektronischer Bypass, als Einheit
und kurzen Überbrückungszeiten in der Anlage integriert oder als separate Module, zum Teil auch Batteriesätze,)
sein und bei größeren Leistungen und längerer Über- sind jedoch in Modulbauweise gefertigt und können nach
brückungszeit in externen Batterieschränken oder auf Bedarf ergänzt werden, ohne vorhandene Installationen
Batteriegestellen untergebracht sein. Die Absicherung ändern zu müssen. Die Systemschränke dieser Anlagen
der Batterieanlage erfolgt über spezielle DC-Sicherungen sind bereits vorgerüstet auf einen definierten Endaus-
oder Leistungsschalter. bau. Alle für die möglichen Erweiterungen erforderlichen
Schnittstellen sind bereits vorgerüstet und ohne Umbau
Der Leistungsbereich von Einzelblockanlagen reicht von nutzbar.
ca. 300 VA bis zu ca. 900 kVA.
Dementsprechend muss die Installation vor und hinter
Modularblockanlagen beinhalten alle Komponenten einer der USV-Anlage auch auf die Leistung des Endausbaus
Einzelblockanlage und zusätzlich eine Schnittstelle zur ausgelegt sein.
Kommunikation mit einem Modularblock des gleichen
Typs. In der Praxis gibt es zwei Hauptgründe für den Einsatz
dieser Anlagen:
Jede dieser Anlagen ist als eigenständige Einheit voll
funktionsfähig und entspricht der einer Einzelblockan- Diese Anlagen werden hauptsächlich eingesetzt, um
lage. Durch die Schnittstelle zur Kommunikation können innerhalb eines Systemschrankes eine N+1 Redundanz zu
Modularblockanlagen zur Bildung einer Redundanz bzw. schaffen. Bei Modularblockanlagen kann, um eine Redun-
zur Leistungserhöhung parallel geschaltet werden. Alle danz zu gewährleisten, ein erheblich größeren Platzbe-
erforderlichen Parameter zum synchronen Betrieb der darf und eine größere Investition erforderlich sein.
Wechselrichter und des elektronischen Bypasses werden
über diese Schnittstelle zwischen den parallel geschalte- Beispiele:
ten Anlagen ausgetauscht. Je nach Hersteller können bis
zu 10 Modularblockanlagen parallel geschaltet werden. Verbraucherleistung: 64 kW
Bei der Parallelschaltung von Modularblockanlagen zur
Leistungserhöhung ist zwingend ein externer mecha- Modulare Anlage: 5 x 16 kW = 64 kW + 16 kW = 1
nischer Bypass sowie ein Kuppelschalter zur Trennung Anlagenschrank
des gesamten USV-Systems von den Verbrauchern
erforderlich.
25
Modularblockanlage: 2 x 64 kW = 64 kW + 64 kW = 2 5.3.5 USV-Redundanz
Anlagenschränke
Folgende Redundanzen werden beim Einsatz von USV-
Modularblockanlage: 3 x 32 kW = 64 kW + 32 kW = 3 Anlagen angewendet.
Anlagenschränke
50% 50%
Diese Anlagen sind mit Modulgrößen von ca. 4 kVA bis
zu 200 kVA verfügbar und können - je nach eingesetzten 50%
Modulen - bis 1600 KVA ausgebaut werden. Auch diese
Anlagen können teilweise noch parallel geschaltet wer-
Abbildung 2: Redundanzen beim Einsatz von USV-Lösungen
den, was bei den meisten Anwendungsfällen jedoch nicht
sinnvoll ist. Mit steigender Anzahl von parallel geschalte-
ten Modulen verringert sich die MTBF. 5.3.6 Elektronischer Bypass/
Handbypass- Serviceumgehung
Je nach Hersteller werden unterschiedliche Philosophien
vertreten. Einige Hersteller benutzen für alle USV-Module Der elektronische Bypass hat die Aufgabe, die Verbraucher
eine zentrale Batterieanlage, andere haben die Möglich- unterbrechungsfrei vom Netz auf den Wechselrichter der
keit, jedes Modul mit einer eigenen, von den anderen USV- Anlage (sichere Schiene) und zurück zu schalten. Bei
Modulen unabhängigen, Batterieanlage zu betreiben. Fehlern im Wechselrichterbetrieb oder bei großen Über-
Bei einer Erweiterung einer Zentralbatterieanlage nach lasten schaltet der elektronische Bypass die Verbraucher
mehreren Jahren kann es auf Grund unterschiedlicher unterbrechungsfrei auf das Netz zurück. Der elektronische
Innenwiderstände zu ungleichmäßigen Ladungen / Ent- Bypass kann je nach Ausführung in der USV- Anlage integ-
ladungen und damit zu verkürzten Überbrückungszeiten riert (Einzelblock und Modularblock) aber auch als exter-
sowie zu einer verringerten Gebrauchsdauer kommen. nes Bauteil (Parallelblock mit externem elektronischem
Außerdem stellt eine zentrale Batterieanlage einen »Sin- Bypass) ausgeführt werden. Zur Bildung einer Redundanz
gle Point of Failure« dar. (N+1) kann auch ein weiterer elektronischer Bypass paral-
lel geschaltet werden.
Auch bei dem elektronischen Bypass setzen einige
Hersteller auf einen zentralen elektronischen Bypass für Jede USV- Anlage sollte über einen Handbypass bzw.
alle Module und andere Hersteller auf einen dezentralen eine Serviceumgehung verfügen. Über den Handbypass
Bypass je USV-Modul. Hier verhält es sich ähnlich wie bei kann die USV- Anlage zu Wartungs- und Servicearbeiten
der Zentralbatterie. Die Verfügbarkeit wird durch den spannungsfrei geschaltet werden. Ist der Handbypass
»Single Point of Failure« verringert. in der Anlage integriert, liegt an den Eingangs- und
26
Leitfaden Betriebssicheres Rechenzentrum
Ausgangsklemmen der USV- Anlage auch im Bypass- 12 Jahre und länger – Longlife
betrieb Spannung an. Die Anlage kann nicht ohne
Abschaltung der Verbraucher getauscht werden. Beim Um einen sicheren Betrieb der Stromversorgung zu
Einsatz eines externen Handbypasses bzw. einer Service- gewährleisten, muss die Batterieanlage regelmäßig
umgehung kann die USV- Anlage ohne Abschaltung der geprüft und vor dem Ende der Gebrauchsdauer ersetzt
Verbraucher getauscht werden. Bei einer Parallelschal- werden. Weiterhin muss beachtet werden, dass die Batte-
tung von Modularblöcken oder Parallelblöcken ist der rie während der Nutzungsdauer an Kapazität verliert. Eine
Handbypass bzw. die Serviceumgehung grundsätzlich auf Auslegung auf sehr kurze Überbrückungszeiten birgt die
die maximale Verbraucherlast auszulegen. Gefahr, dass die bereits gealterte Anlage die geforderte
Leistung nicht mehr zur Verfügung stellen kann und die
5.3.7 Energiespeicher USV-Anlage abschaltet. In sicherheitsrelevanten Berei-
chen ist eine Überdimensionierung (Faktor 1,25) gefordert,
Kinetische Energiespeicher werden fast ausschließlich damit am Ende der Gebrauchsdauer noch immer eine
durch die Hersteller der USV-Anlagen ausgelegt bzw. ausreichend hohe Kapazität zur Verfügung steht.
dimensioniert. Die erzielbaren Überbrückungszeiten
liegen im Bereich von Sekunden, so dass sich der Einsatz- Wenn bei dem USV-System auf Redundanz verzichtet
bereich auf Diesel-USV-Anlagen bzw. in Verbindung mit wird, sollte jedoch das Batteriesystem mindestens in zwei
schnell startenden Netzersatzanlagen beschränkt. Strängen aufgebaut werden. Die erzielbare Überbrü-
ckungszeit eines Stranges ist nur ein Teil der geplanten
Zu den elektrochemischen Speichern, die in Verbindung Überbrückungszeit. Damit wird erreicht, dass zumindest
mit USV-Anlagen eingesetzt werden, gehören Blei- und die Netzausfälle bis zu wenigen Sekunden abgesichert
Nickelcadmiumbatterien. Der Einsatz von Lithium-Ionen- sind. Für hochverfügbare Rechenzentren ist das jedoch
Batterien hat sich noch nicht durchgesetzt. Nickelcad- kein geeignetes Mittel.
miumakkumulatoren sind relativ unempfindlich gegen
erhöhte Umgebungstemperaturen, sind jedoch auf Grund 5.3.8 Empfohlene Ausstattung bei
der Umweltbelastung umstritten. unterschiedlichen Ausfallzeiten
Der am häufigsten eingesetzte Energiespeicher in USV- Wichtigste Auslegungsfaktoren eines USV-Systems sind
Systemen ist die Bleibatterie. Bleibatterien sind stark tem- der elektrische Leistungsbedarf der angeschlossenen
peraturempfindlich. Niedrige Temperaturen verringern die kritischen Verbraucher und die Aufstellungsgegebenhei-
Batteriekapazität und somit die Überbrückungszeit bzw. ten. Für die Überbrückung von Netzausfällen muss ein
die Leistung, hohe Temperaturen verringern die Lebens- Energiespeicher wie z. B. ein Batteriesystem (Schrank oder
dauer (auch: Gebrauchsdauer). Die optimale Umgebungs- Gestell mit Trenn- und Sicherungseinrichtungen) oder ein
temperatur beträgt 20°C. Schwungmassenspeicher (Flywheel) passend zur Strom-
versorgungsumgebung geplant werden. Darüber hinaus
Je nach Technologie, Materialeinsatz und weiterer Fak- spielen das Redundanzkonzept und die Möglichkeiten der
toren ergeben sich unterschiedliche Gebrauchsdauern Ein- und Ausgangsversorgung eine wichtige Rolle.
von Batterieanlagen. Gemäß Eurobat bezieht sich die
Gebrauchsdauer auf eine Umgebung von 20°C und Labor- Für den Aufbau des USV-Systems kann aus einer gan-
bedingungen. Folgende Gebrauchsdauern sind spezifiziert zen Reihe unterschiedlicher Konzepte gewählt wer-
den. Kleinere, einzelne USV-Geräte setzt man gern zur
3 – 5 Jahre – Standard Commercial Absicherung weniger Server und IT-Speichersysteme
6 – 9 Jahre – General Purpose ein. Unterschieden werden kann zwischen USV-Schrank
10 – 12 Jahre – High Performance oder Towergerät mit integrierter Batterie oder externem
27
Batteriepack sowie einer Rackvariante für den Einbau im Kühlwasserpumpen oder auch Kühlaggregate/Kom-
19“-Schrank. Größere USV-Systeme als Einzelblock- oder pressoren über eine USV- Anlage zu versorgen. Anstelle
Parallelanlagen, zumeist mit externen Batterieschränken, von Kühlaggregaten/Kompressoren kann auch über
Batteriegestellen oder Schwungmassenspeicheranlagen, einen Speicher die benötigte Energiemenge zur Kühlung
werden meist in eigenen Betriebsräumen aufgestellt und während der Überbrückungszeit zur Verfügung gestellt
betrieben. Hierbei bietet ein modernes wassergekühltes werden. Erfolgt bei hohen Leistungsdichten keine Küh-
USV-System eine kostengünstige und effiziente, direkte lung, kommt es zur Überhitzung und Abschaltung der
USV-Klimatisierung ohne besondere Raumklimatisierung. IT- Geräte, ohne dass die ausgelegte Überbrückungszeit
Weitere Vorteile der USV-eigenen Betriebsräume sind für einen eventuell geplanten Shutdown genutzt werden
Vermeidung von dicken Stromkabeln in Rechnerräumen, kann.
sowie der Einbringung von Batterien als Brandlast in den
Rechnerraum. Die modularen USV-Systeme verbinden 5.3.9 Besonderheiten
Servicefreundlichkeit und die schnelle Anpassungsmög-
lichkeit auf sich häufig ändernde Maximalleistungsanfor- Wichtige Projektierungsmerkmale für Dimensionierung
derungen. Allerdings sollte die Anzahl der eingesetzten und Installation eines USV-Systems sind:
Module beachtet werden, da die Verfügbarkeit mit zuneh-
mender Komplexität der Anlage abnimmt. Beim Einsatz Ausgangs-Nennleistung bei gefordertem Lastleis-
von USV-Systemen in Serverschränken oder als eigenes tungsfaktor (heute mind. 0,95)
USV-Rack in gemeinsamen Räumen mit IT-Equipment
muss bei den Alarm- und Brandschutzeinrichtungen die Anschlussgrößen wie Eingangs- und Ausgangs-/-
zusätzliche Brandlast durch die Akkus berücksichtigt Spannung, -Frequenz
werden.
Ströme, Leiterquerschnitte und Anschlussmöglichkei-
Je nach Energiedichte und gewählter Überbrü- ten für Ein- und Ausgänge der USV
ckungszeit kann es erforderlich sein, Lüftungsgeräte,
USV
RZ Kategorie
zulässige RZ
Ausfallzeit
Rechenzentrum /
Serverschrank Serverschrank
Serverraum
28
Leitfaden Betriebssicheres Rechenzentrum
Wirkungsgrad und Verlustleistung für die unter- die Beachtung des Eingangs-Leistungsfaktors für die
schiedlichen Lastverhältnisse während typischer Dimensionierung eines Notstromaggregats. Dabei
Betriebszyklen (z. B. Tag/Nacht, Werktag/Wochen- sollte der Betrieb über USV-Leistungselektronik und
ende), Beachtung der Energieeffizienzen der Betrieb über den Bypass beachtet werden
Angaben zur Absicherung der USV für die verschiede- der Einfluss des USV-Ausgangsleistungsfaktors auf
nen Betriebsmodi die Möglichkeiten moderne Schaltnetzteile auch bei
voller Beanspruchung zu versorgen
Rückwirkungen auf den Netzeingang und Eingangs-
Leistungsfaktor. Allerdings müssen auch die Rückwir- die Leistungsbeschränkung bei Betrieb in großen
kungen der angeschlossenen Last bei Bypassbetrieb Höhen
der USV berücksichtigt werden
die Effizienz über einen typischen Betriebszyklus
verfügbare Überbrückungszeit einer Batterieanlage, (Auslastungsschwankungen) zu berücksichtigen, um
bzw. Schwungmassenspeichers, bei tatsächlicher Last realistische Betriebskostenabschätzungen zu erhalten
maximal verfügbare Überbrückungszeit einer Der Preis einer USV hängt ab von Ausstattungsdetails
Batterieanlage, bzw. Schwungmassenspeichers, bei wie Filter, Transformatoren, Lüfter, elektronischem Bypass,
Nennlast integrierter oder externer Handumgehung, unterschied-
lichen Schaltungskonzepten. Eine Preiskalkulation von
Angaben zum Energiespeicher und zum Lade-/ Best-practice-Lösungen ist für USV-Systeme sehr komplex
Entladeverhalten und erfordert eine aufwändige Analyse der Gegebenhei-
ten, Randbedingungen, Abhängigkeiten und die Berück-
zulässige Umgebungsparameter wie Betriebstem- sichtigung einer Vielzahl von Einzelparametern.
peratur und Luftfeuchtigkeit; realisierter Schutzgrad;
Anforderungen an Brandschutz und Klimatisierung
5.4 Notstrom
Geräuschentwicklung
5.4.1 Stromerzeugungsaggregate für die
Schutz zur elektromagnetischen Verträglichkeit (EMV) Ersatzstromversorgung (Notstrom) bei
Netzausfall
Abmessungen und Gewichte
Eine störungsfreie Versorgung mit elektrischer Energie
Eine genaue Analyse der einzelnen Merkmale kann wird durch Stromlieferanten nicht jederzeit und an jedem
nicht Ziel des Leitfadens sein, da die Gegebenheiten bei Standort gewährleistet und in ihren Standardverträgen
der RZ-Stromversorgung stets eine detaillierte Planung schließen die Energieversorgungsunternehmen jegliche
erforderlich machen. Einige Abhängigkeiten seien hier Haftung aus. Kurze Unterbrechungen oder lang anhal-
exemplarisch erwähnt: tende Stromausfälle müssen deshalb durch Notstroman-
lagen überbrückt werden, um den Betrieb eines Rechen-
die Bedeutung der angeschlossenen Batterie/ zentrums mit den dazugehörigen technischen Anlagen
Schwungmassenspeicher für die Überbrückungszeit wie Klima, Strom und Sicherheit aufrecht zu halten.
bei Netzausfall, wenn ein Notstromaggregat verfüg-
bar ist
29
Zulässige Ausfallzeiten haben bei der Planung von Not- Dieselmotor, Schwungrad, elektrischer Maschine und
stromanlagen höchste Priorität. Entsprechend werden entsprechenden Kupplungen.
Notstromaggregate in verschiedenen Gruppen unterteilt:
Bereitschaftsaggregate werden immer dann benötigt,
Aggregate ohne geforderte Lastübernahmezeit. Die wenn eine Unterbrechungszeit, wie sie durch den Einsatz
Anlagen werden manuell in Betrieb gesetzt. Diese einfacher Ersatzstromaggregate verursacht würde, für die
Anlagen sind für einen automatischen Betrieb im sichere Weiterführung des Betriebsablaufs beim Verbrau-
Rechenzentrumsbereich ungeeignet. cher nicht vertretbar wäre.
Aggregate für eine zu fordernde Lastübernahmezeit. Am häufigsten kommen die – an zweiter Stelle genann-
Dabei handelt es sich um eine Unterbrechung, die ten – Anlagen mit einer zu fordernden Lastübernahme-
kleiner als 15 Sekunden sein muss, bis das Aggregat zeit im Rechenzentrum zum Einsatz. Die nachfolgenden
nach automatischer Inbetriebsetzung die Versorgung Ausführungen beziehen sich auf diese Anlagen
übernimmt. Eine DIN-Norm regelt die Anforderun-
gen für Stromerzeugungsaggregate mit Verbren- 5.4.3 Auslegung der Notstromanlage
nungsmotoren für Sicherheitsstromversorgungen
in Krankenhäusern und in baulichen Anlagen für Men- Für die Auslegung der Aggregatleistung sind folgende
schenansammlungen. Diese Norm sollte auch als Min- Faktoren bestimmend:
destanforderungen für Stromerzeugungsaggregate
im Bereich von Rechenzentren angesehen werden. Summe der angeschlossenen Verbraucher
In den beiden letzten Fällen sind Sonderausführun- Zuschlag für abweichende Umgebungsbedingungen
gen von Stromerzeugungsaggregaten notwendig, die
als Bereitschaftsaggregat mit einem Energiespeicher Verbraucherleistung
versehen sind. Dieser muss fortlaufend gespeist werden. Bei der Addition der Verbraucherleistung ist darauf zu
Mit den dafür entstehenden Betriebskosten bezahlt der achten, dass Scheinleistung und Wirkleistung anzugeben
Verbraucher seine erhöhte Versorgungssicherheit. sind.
30
Leitfaden Betriebssicheres Rechenzentrum
Notstrom
RZ Kategorie
zulässige RZ
Ausfallzeit
Rechenzentrum /
Serverschrank Serverschrank
Serverraum
A optional 12 h
31
einzuhaltende Vorschriften (DIN VDE, VDS, WHG, TA Funktion der Anlage sowie der Betriebssicherheit und
Lärm, TA Luft, VAws, TRbF, VDN…) dem Umweltschutz. Von den genehmigenden Behörden
können auch noch weitere Auflagen und Forderungen
grundsätzlicher Aggregataufbau / Aggregataus- erhoben werden. Grundsätzlich sollte der Dialog mit den
führung (stationäres Einbau-, Container- oder Behörden schon frühzeitig während der Planungsphase
Haubenaggregat) gesucht werden.
Auslegung der Tankanlage (Tagestank und Eine besondere Bedeutung hat der Lärmschutz. Nach-
Vorratstank) stehend aufgeführt sind Daueremissionsrichtwerte für
Emissionsorte außerhalb von Gebäuden.
Auslegung der Abgasanlage
32
Leitfaden Betriebssicheres Rechenzentrum
oder andere Umstände gegen den Einsatz im Gebäude in der platzsparenden Ausführung. Ein Nachteil ist die
sprechen. Wie bei einem stationären Einbauaggregat sind nicht ganz einfache Zugänglichkeit aller Anlagenteile im
Leistungen im Bereich von weinigen kVA bis weit in den Wartungs- oder Störungsfall. Die folgenden Abbildungen
MVA Bereich möglich. Als dritte Ausführung gibt es Hau- zeigen Netzersatzanlagen im Gebäude und im Container.
benaggregate. Ihr Einsatz erfolgt meistens bei Leistungen
von wenigen kVA bis zu einigen hundert kVA. Vorteil liegt Auslegung Tankanlage
Grundvoraussetzung für die Bestimmung der Tankgröße
ist die erforderliche Betriebszeit sowie die Leistung der
Abgassystem Anlage. Eine Kraftstoffmenge unter 5000 Liter kann im
Aggregateraum gelagert werden. Werden mehr als 5000
Liter benötigt ist ein separater Lagerraum in F90 Qualität
bzw. ein Tank für die oberirdische Lagerung außerhalb des
Schaltanlage
Gebäudes oder ein Erdtank vorzusehen. Der Tagestank
wird als einwandiger Tank mit Auffangwanne ausge-
führt. Er ist so zu montieren, dass ein statischer Druck am
Einspritzsystem des Motors anliegt. Der Lagertank ist als
doppelwandiger Tank auszuführen bzw. ist der Lagerraum
als Auffangwanne für den gesamten Inhalt auszubilden.
Sind zwischen dem Tagestank und dem Vorratstank Kraft-
Abluftstrecke Machinensatz Batterien Zuluftstrecke
stoffleitungen vorgesehen, die nicht auf der kompletten
Abbildung 3: Netzersatzanlage im Gebäude Länge eingesehen werden können, so sind diese doppel-
wandig auszuführen. Die doppelwandigen Leitungen, die
Auffangwannen sowie Hülle bei doppelwandigen Tanks
sind auf Leckage zu überwachen.
33
Auslegung Abgasanlage Kraftstoffpumpen, Magnetventile, Leckagesonden,
Die Nennweite der Abgasanlage richtet sich nach der Rohrbegleitheizungen, Kühlwasservorwärmung, Star-
Nennleistung des Notstromaggregates, der geplanten terbatterieladung, Steuerbatterieladung usw.
Rohrleitungslänge, der Anzahl und Art der Richtungsän-
derungen sowie der geforderten Schalldämpfung. Abgas- Verwaltung der erforderlichen Netz- und Generator-
anlagen von Notstromaggregaten sind Drucksysteme und kuppelschalter für den automatischen Betrieb
erreichen Temperaturen von bis zu 500°C. Sie sind so zu
dämmen, dass jegliche Gefahr für Personen und Sach- Ladung und Überwachung der Batterie
werte ausgeschlossen ist.
Beim Leistungsteil gibt es folgende Möglichkeiten:
Auslegung Motorkühlung
Bis zu einem Leistungsbereich von ca. 1150 kVA ist eine Netz- und Generatorschalter befinden sich in der
Motorkühlung mittels Vorbaukühler möglich. Das Notstromsteuerung
bedeutet, dass die komplette Kühlluft durch den Aggre-
gateraum geführt werden muss. Ab einer Leistung von ca. Der Netzschalter befindet sich in der Niederspan-
800 kVA besteht die Möglichkeit, einen Teil der Motor- nungshauptverteilung, der Generatorschalter in der
wärme über einen Tischkühler abzuführen. In diesem Fall Notstromsteuerung.
verringert sich die Kühlluftmenge, die durch den Aggrega-
teraum geführt werden muss. Ist der Höhenunterschied Der Netz- und der Generatorschalter befindet sich
zwischen Dieselmotor und Tischkühler größer 10 m, ist in der Niederspannungshauptverteilung, die Über-
der Einsatz eines Wärmetauschers zur Verringerung des wachung des Generatornetzes erfolgt über externe
Druckes auf den Kühlkreislauf des Motors erforderlich. Spannungsabgriffe, der Generatorschutz wird über
Sternpunktwandler realisiert.
Auslegung Notstromsteuerung/Schaltanlagen
Jedes Aggregat verfügt mindestens über eine Notstrom- Ein beispielhaftes Versorgungsschema sieht wie folgt aus:
steuerung. Die Notstromsteuerung übernimmt folgende
Aufgaben:
34
Leitfaden Betriebssicheres Rechenzentrum
5.5 Wartung/Instandhaltung erreicht werden. Als Last kann, wenn vorhanden, ein fest
installierter Widerstand dienen, der im Notstromfall die
5.5.1 Wartung/Service USV-Anlagen zu versorgenden Verbraucher oder das vorhandene Netz
mittels Netzparallelbetrieb versorgt. Letzteres bedarf
Grundvoraussetzung für die Aufrechterhaltung der allerdings der Zustimmung und Abnahme seitens des
ordnungsgemäßen Funktion ist die Wartung gemäß den Energieversorgungsunternehmens.
Vorgaben des Herstellers durch dafür vom Hersteller
autorisiertes Fachpersonal. Verschleißteile müssen gemäß Wie auch bei der USV-Anlage sollte die personelle und
Herstellerangaben vor Ablauf Ihrer Gebrauchsdauer zeitliche Verfügbarkeit von entsprechendem Fachpersonal
erneuert werden. zur Beseitigung von Störungen berücksichtigt werden.
Auf Grund der häufig eingesetzten, wartungsfrei ver- 5.5.3 Wartung / Prüfung Elektroinstallation
schlossenen Bleibatterien wird auf deren Wartung ein
nicht so großes Augenmerk gelegt. Die Bezeichnung Entsprechend den gültigen Vorschriften (VDE 0105) sowie
»wartungsfrei« bezieht sich jedoch auf das Innere der der Vorschriften der Berufsgenossenschaft müssen elek-
Batterie. Das bedeutet, dass kein destilliertes Wasser trische Anlagen in regelmäßigen Abständen geprüft und
aufgefüllt werden muss. Jedoch müssen sämtliche gewartet werden. Dafür sind die Anlagen ggf. spannungs-
Verbindungen und die Polschrauben auf das entspre- frei zu schalten und entsprechende wiederkehrende Mes-
chende Drehmoment geprüft werden. Die Spannungen sungen und Prüfungen durchzuführen. Ggf. sollte eine
der einzelnen Batterien sind in Ladeerhaltung und in der A/B-Versorgung bereits bei der Planung der Infrastruktur
Entladephase aufzunehmen und zu protokollieren. Nur in Erwägung gezogen werden. Somit besteht die Möglich-
anhand dieser Daten kann der Zustand der Batterie beur- keit der entsprechenden Freischaltung und Prüfung.
teilt/bewertet werden. Ebenso wichtig ist die regelmä-
ßige Reinigung der Batterieanlage, um Kriechströme bzw.
Kurzschlüsse zu vermeiden.
5.5.2 Wartung/Service/Probeläufe
Netzersatzanlage
35
6 Klimatisierung
36
Leitfaden Betriebssicheres Rechenzentrum
ganzjährige Betrieb dar. Die Außeneinheiten müssen die Energiekosten, die den wesentlichen Teil der Betriebskos-
Wärme ganzjährig bei den am Standort zu erwartenden ten darstellen, in der Regel über den Investitionskosten
Außentemperaturen abführen. Als Auslegungsparameter und stellen somit das wesentliche Entscheidungskrite-
ist hier die maximal am Standort zu erwartende Außen- rium dar.
temperatur anzusetzen.
Um die Energiekosten zu minimieren, sind einige Grund-
Im Gegensatz dazu stehen Komfortklimageräte für Wohn- prinzipien zu beachten:
und Büroräume, wie z. B. Split- oder Multisplitklimageräte,
die einen großen Teil der eingesetzten Energie perma- optimierte Betriebsbedingungen (möglichst hohe
nent für die Entfeuchtung der Umluft einsetzen (Absen- Temperaturen für die Zuluft und somit auch für den
kung der Luftfeuchtigkeit = latente Kühlung). Dadurch Kaltwasser-/Kühlwasserkreislauf)
kommt es zu kritischen Raumbedingungen, aber auch zu
erheblich höheren Betriebskosten. Daher ist ein Einsatz in Nutzung von direkter oder indirekter Freier Kühlung
Rechenzentren und ITK Räumen von Komfortklimagerä-
ten nicht wirtschaftlich. energieeffiziente Geräte und Komponenten ( Lüfter
mit EC-Antrieben, leistungsgeregelte Kompressoren
6.1.3 Redundanz mit hohem COP, …)
Alle technischen Systeme können ausfallen – auch Dimensionierung und möglichst modulare Ausfüh-
Klimageräte. Aufgrund der zahlreichen elektromecha- rung der Teilsysteme (Umluftklima, Kälteerzeugung)
nischen Komponenten in Klimatisierungssystemen
ist daher stets mit einer Ausfallwahrscheinlichkeit zu integrierte Regelung aller Teilsysteme, dynamisch der
rechnen. Aus diesem Grund werden je nach Verfügbar- schwankenden ITK-Last automatisch nachregelnd
keitsanforderung in den meisten Teilsystemen ein oder
mehrere zusätzliche, redundante Geräte installiert als Mehrkosten bei der Investition werden sich aufgrund der
nach Wärmelastaufkommen mindestens notwendig deutlich reduzierten Betriebskosten in einem kurz- bis
sind. Diese Redundanzgeräte stellen bei Ausfällen die mittelfristigen Zeitraum amortisieren.
Erzeugung der Kälteleistung sicher und realisieren somit
die geforderte Verfügbarkeit. Bei einem Geräteausfall ist 6.1.5 Skalierbarkeit
die volle Redundanz im Klimasystem nicht mehr vorhan-
den und korrektive Maßnahmen (Reparaturen) müssen In vielen Rechenzentren wird der maximale Endausbau
umgehend eingeleitet werden, um die Voraussetzungen der ITK-Systeme erst nach mehreren Jahren erreicht.
für sicheren Betrieb wiederherzustellen. Daher muss das Klimatisierungssystem entsprechend
skalierbar sein, als mitwachsende Lösung aus modularen
6.1.4 Energieeffizienz Einheiten. Weiterhin müssen die Teilsysteme in einem
weiten Bereich der schwankenden ITK-Last möglichst
Vor dem Hintergrund der stark steigenden Energiekosten stufenlos nachgeregelt werden können. Ein solches
ist bereits in der Planungsphase der Energieeffizienz des Klimasystem kann dann auch in Teillast mit einem guten
Klimatisierungssystems besondere Bedeutung zuzuord- Wirkungsgrad und hoher Effizienz betrieben werden.
nen. Im Rahmen einer Gesamtkostenbetrachtung ist die
Summe aus Investitionskosten für die Neuanlage und die 6.1.6 Servicekonzept
zu erwartenden Betriebs- und Wartungskosten über die
gesamte Laufzeit zu ermitteln und zu bewerten. Bei einer In den Klimatisierungssystemen werden zum einen
Laufzeit des Klimasystems von 10 bis 15 Jahren liegen die Verschleißteile, wie z. B. Filtermatten, Dampfzylinder
37
verwendet aber auch viele mechanisch bewegte Kom- 6.2 Umluftklimatisierung
ponenten eingesetzt. Daher sind in regelmäßigen
Abständen präventive Wartungszyklen vorzusehen. Die Der überwiegende Teil der heute eingesetzten ITK-Sys-
Leistungen werden unter anderem in der DIN31051 und teme ist luftgekühlt, daher muss die Wärmelast zunächst
der VDMA 24186 beschrieben. Aber auch die einschlägi- mit dem Medium Luft abgeführt werden. Dies geschieht
gen Verordnungen zum Betrieb von Kälteanlagen sind klassisch mit Umluftklimageräten auf Raumebene. Bei
zu beachten, da der Gesetzgeber dem Anlagenbetreiber höheren Wärmelasten reicht allerdings der schlechte
turnusgemäße Dichtigkeitsprüfungen und Anlagenlogbü- Wärmeträger Luft auf Raumebene nicht mehr aus. Dann
cher verbindlich vorschreibt. müssen bessere Trägermedien wie z. B. Wasser oder Käl-
temittel näher an die Wärmelasten herangeführt werden,
Abhängig vom individuellen Verfügbarkeitsanspruch an d.h. bis in die Schrankreihe oder zum Teil sogar bis in den
die Klimatisierung, gibt es abgestimmte Servicevertrags- Schrank. Auf diesem Wege ist gewährleistet, dass die
formen. Die Verträge unterscheiden sich hinsichtlich des hohen Wärmelasten in nächster Nähe an die Klimasys-
Leistungsumfanges: teme übertragen werden und nicht über lange Luftwege
transportiert werden müssen.
Instandsetzungsvertrag
tritt nach einem Ausfall oder einem Fehler ein und 6.2.1 Raumkühlung
stellt die Betriebsfähigkeit der Anlage durch nach-
gelagerte korrektive Serviceleistungen wieder her Die Versorgung mit kalter Zuluft und der Abtransport
der warmen Abluft erfolgt über Umluftklimageräte, die
Wartungsvertrag i. d. R. an den Stirnseiten der Serverräume (im Raum oder
regelmäßige Leistung, die die Verfügbarkeit außerhalb in einer Klimaspange) platziert werden. Die
der Anlage durch präventive Serviceleistungen Zuluft wird über einen Doppelboden im Raum verteilt
sicherstellt und die Abluft meist frei im Raum zu den Umluftklimage-
räten zurückgeführt. In den Umluftklimageräten findet
Instandhaltungsvertrag dann der Wärmeübergang auf ein anderes Trägermedium
Kombination aus Instandsetzung und War- statt (Kühlwasser oder Kältemittel). In der Regel wird dem
tung, dieser vereint präventive und korrektive ITK-Raum ein kleiner Anteil Außenluft zugeführt, zum
Serviceleistungen Luftaustausch und zur Aufrechterhaltung der Luftqualität.
Diese Verträge lassen sich zum Teil auch mit einem 24/7
Notdienst kombinieren und sichern vor Ort Antrittszei-
ten vertraglich zu. Auf diesem Wege kann sichergestellt
werden, dass korrektive Maßnahmen umgehend durch
Fachpersonal eingeleitet werden und die Verfügbarkeit
der Anlage schnellstmöglich wieder vollständig herge-
stellt wird.
38
Leitfaden Betriebssicheres Rechenzentrum
In solchen klassischen Systemen findet allerdings häufig Eine vollständige Einhausung besteht aus mehreren
eine mehr oder weniger starke Vermischung von Zu- und Komponenten:
Abluft statt. Dadurch erreichen Umluftklimageräte eine
Ablufttemperatur, die oft nur wenige Kelvin höher ist als einer vollständigen Abschottung in den Schränken
die Zulufttemperatur. Daraus resultieren große Luftvo-
lumenströme für den Abtransport der Wärmelast und einer Einhausung der Gänge, sei es als Kaltgang- oder
die Kühlleistung der Umluftklimageräte wird erheblich als Warmgangeinhausung
reduziert.
einer Abdichtung des Doppelbodens, es sind keine
Vor einigen Jahren wurden daher Abschottungen (soge- Öffnungen im Warmbereich (Warmgang und unter
nannte Einhausungen) zwischen kalten und warmen den Schränken) erlaubt
Bereichen im Raum eingeführt, die diese Nachteile behe-
ben und einen Luftkurzschluss (Vermischung von Zu- und In dieser Anordnung ist der Luftstrom gewissermaßen
Abluft) unterbinden. gezwungen auf dem Weg vom Doppelboden zurück
zum Klimagerät die Wärme aus den ITK Komponenten
aufzunehmen.
6.2.2 Reihenkühlung
Diese Abschottungen haben mehrere Vorteile: Daher werden in diesen Fällen Klimageräte in die Schrank-
reihen/Rackreihen integriert, entweder für die gesamte
die Temperaturdifferenz zwischen Zu- und Abluft wird Wärmelast dimensioniert oder als zusätzliche Geräte
stark erhöht, dadurch die Leistungsfähigkeit einer zu bestehenden Umluftgeräten. Der Wärmeübergang
bestehenden Klimatisierungslösung entsprechend von Luft auf Wasser oder Kältemittel findet damit näher
verbessert an den Wärmelasten statt und daher ist es nicht mehr
erforderlich die gesamte Kühlluft durch den Doppelboden
die Schränke werden über die gesamte Höhe mit zu führen.
gleicher Zulufttemperatur versorgt, es gibt keine
39
Abbildung 9: Schrankkühlung mit wassergekühltem Rack
6.3 Kälteerzeugung
40
Leitfaden Betriebssicheres Rechenzentrum
41
Bei niedrigen Außentemperaturen zirkuliert das Wasser/ Bei niedrigen Außentemperaturen wird ein Teil der
Glykolgemisch zwischen den kaltwassergekühlten Kli- erwärmten Abluft mit der kalten Außenluft gemischt,
mageräten und dem Freikühlungsregister. Dabei wird die um die vorgegebenen Zuluftkonditionen einzuhalten. Bei
Wärme der Umluft im Klimagerät aufgenommen und am hohen Außentemperaturen schaltet die Anlage in den
Freikühlungsregister im Außenbereich wieder abgegeben. Umluftbetrieb und die Kälteerzeugung über Kältekreis-
Bei hohen Außentemperaturen wird das Wasser/Glykol- läufe ist in Funktion.
gemisch über die Kälteerzeugung im Kaltwassererzeuger
abgekühlt. Die Raumluftfeuchte ist bei diesen Systemen von unter-
geordneter Rolle und variiert über das Jahr hinweg von ca.
Die weiteren Rahmenbedingungen zur Erzielung der min. 15-20 % r.F. bis max. 80-85% r.F. Ein engeres Toleranz-
maximalen Energieeffizienz sind unter dem vorange- feld für die Feuchte würde zu erheblichen Betriebskosten
gangenen Punkt 6.3.2.1 beschrieben und gelten auch für für die Be- und Entfeuchtung führen.
die Indirekte Freie Kühlung mit Kälteerzeugung über
Kaltwassererzeuger. Auch bei der Direkten Freien Kühlung sind Betriebsbe-
dingungen mitentscheidend für die Energieeffizienz des
Die Kälteerzeugung ist in den i.d.R. außen aufgestellten Systems. Eine möglichst hohe Zulufttemperatur im Kalt-
Kaltwassersätzen integriert. Dieses System findet eher für gang begünstigt lange Freikühlzeiträume und trägt somit
mittlere bis große ITK Räume Anwendung. unmittelbar zur Energieeffizienz bei.
42
Leitfaden Betriebssicheres Rechenzentrum
Klimatisierung
RZ Kategorie
zulässige RZ
Ausfallzeit
Rechenzentrum /
Serverschrank Serverschrank
Serverraum
Präzisionskühlung, Re-
Klimatisierung notwendig,
Klimatisierung notwendig, dundanz, Kalt-Warmgang-
A Redundanz notwendig, 12 h
Redundanz optional Trennung, ggfs. USV
USV-Unterstützung
Unterstützung
Präzisionskühlung,
Klimatisierung notwendig,
Klimatisierung notwendig, Redundanz, Kalt-Warm-
B Redundanz notwendig, 1h
Redundanz notwendig gang-Trennung, USV
USV-Unterstützung
Unterstützung
Präzisionskühlung, Geräte
Klimatisierung notwendig, Klimatisierung notwendig,
und Rohrleitungen redun-
C Redundanz notwendig, Redundanz notwendig, 10 min
dant, Kalt-Warmgang-Tren-
USV Unterstützung USV Unterstützung
nung, USV Unterstützung
Präzisionskühlung, Geräte
und Rohrleitungen re-
Klimatisierung notwendig, Klimatisierung notwendig, dundant, Kalt-Warmgang-
D komplette Redundanz not- komplette Redundanz not- Trennung, USV Unterstüt- < 1 min
wendig, USV Unterstützung wendig, USV Unterstützung zung, Notkühlfunktionen
über ein zusätzliches
Klimasystem
6.4 Fazit
Die technischen Lösungen für eine energieeffiziente und Hohe Anforderungen an die Verfügbarkeit der Klimati-
betriebsichere Klimatisierung sind vielfältig und müs- sierung führen zwangsläufig zu einer aufwendigeren
sen vor dem Hintergrund der ITK Anforderungen, den technischen Lösung und zu höheren Investitionskosten,
baulichen Gegebenheiten und wirtschaftlichen Faktoren wo hingegen sich höhere Investitionskosten für eine
individuell im Rahmen eines Projektes und einer Fachpla- energieeffiziente Klimatisierung auch zukünftig aufgrund
nung ausgelotet werden. der zu erwartenden Energiekostenerhöhung in immer
kürzeren Betrachtungszeiträumen amortisieren werden.
Hierin spielen auch die Aspekte der Skalierbarkeit, also
des Mitwachsens der Klimasysteme mit den ITK Anfor-
derungen, und die zukünftigen Veränderungen der ITK
Systemen eine große Rolle.
43
7 Brandschutz
»Es entspricht der Lebenserfahrung, dass mit der Ent- mit gasförmigen Medien » anerkannter Stand der
stehung eines Brandes praktisch jederzeit gerechnet Technik«.
werden muss. Der Umstand, dass in vielen Gebäuden
jahrzehntelang kein Brand ausbricht, beweist nicht, dass 7.1.1 Funktionsweise der Infrastruktur
keine Gefahr besteht, sondern stellt für die Betroffenen
einen Glücksfall dar, mit dessen Ende jederzeit gerechnet Rauchmelder
werden muss.« Dieser Feststellung eines Oberverwal- Für die Branderkennung in Rechenzentren werden
tungsgerichts (OVG NRW vom 22.07.2002 - 7 B 508/01) hauptsächlich Rauchmelder eingesetzt, die nach dem
bereits aus dem Jahre 1987 ist auch heute noch nichts Streulichtprinzip arbeiten. Die Streuung eines Lichtstrahls
hinzuzufügen. Daher ist ein zuverlässiger und wirksamer an Rauchpartikeln in der optischen Kammer des Rauch-
Brandschutz eine unabdingbare Voraussetzung für den melders stellt dabei das Maß für die Rauchdichte dar.
sicheren Betrieb des Rechenzentrums. Dieses Funktionsprinzip findet sowohl in konventionellen,
punktförmigen Rauchmeldern (O-Melder, Punktmel-
Das Löschmittel Wasser allerdings ist im Rechenzent- der) wie auch in hochsensiblen Rauchansaugsystemen
rum in den meisten Fällen fehl am Platz. Die Fachfirmen (Ansaugrauchmelder, Aktivmelder) Anwendung. Der in
der Branche bieten heute für jede Bedarfssituation im früheren Jahren oftmals eingesetzte Ionisationsmelder
Rechenzentrum geeignete Brandschutzlösungen an. Bei (I-Melder) ist hingegen fast gänzlich vom europäischen
Neubau oder nachträglicher Absicherung von Rechenzen- Markt verschwunden.
tren ist eine genaue Planung und Auslegung der Anlagen
wichtig. Bei Bestandsrechenzentren mit CO2-Anlagen in Ob punktförmige Rauchmelder oder ein Rauchansaugsys-
bedienten Bereichen sollte umgehend auf alternative, tem besser geeignet sind, hängt vom Einsatzbereich ab. In
für das Personal sichere, Gaslöschtechnik umgerüstet Bereichen ohne spezielle Detektionsanforderungen, z. B.
werden. in Büroräumen, sind in der Regel punktförmige Rauchmel-
der ausreichend.
Ungeeignet für Rechenzentren sind Schaum-, oder Erfolgt die Ansteuerung der automatischen Löschanlage
Pulverlöschsysteme. Diese bekämpfen zwar erfolgreich im Rechenzentrum durch punktförmige Rauchmel-
einen Brand, zerstören oder schädigen aber gleichzeitig der müssen diese zur Vermeidung von Fehlalarmen in
z. B. empfindliche Server oder Netzteile. Unter Umstän- sogenannter Zweimelderabhängigkeit installiert werden.
den wäre dieser Schaden dann höher als der eigentliche Spricht ein punktförmiger Rauchmelder der Raumüber-
Brandschaden. In Rechenzentren sind deshalb automati- wachung an wird ein interner Alarm ausgelöst und erst
sche Löschanlagen oder Sauerstoffreduzierungsanlagen wenn zusätzlich ein zweiter punktförmiger Rauchmelder
44
Leitfaden Betriebssicheres Rechenzentrum
anspricht erfolgt die Ansteuerung der automatischen einzelner klimatisierter IT-Einrichtungen Vorteile. Hierbei
Löschanlagen. werden Luftproben z. B. direkt in den IT-Schränken aus
dem Luftstrom der Klimatisierung entnommen. Diese
Für den Schutz einzelner klimatisierter IT-Einrichtungen Systeme für den integrierten Schutz von IT-Einrichtungen
innerhalb des Rechenzentrums weist der Verband der sind heutzutage modular aufgebaut und bieten z. B.
Sachversicherer (VdS) darauf hin, dass eine Brandfrüher- Branderkennung und Löschung in einem kompakten 19«
kennung mit punktförmigen Rauchmeldern mindestens Einschub. Alternativ kann auch eine externe Löscheinheit
erschwert oder sogar unmöglich ist. angesteuert werden.
45
Argon (Ar) Konzentration beträgt bei chemischen Gasen nur 10
Argon gehört zur Gruppe der Edelgase, ist chemisch Sekunden.
sehr stabil und geht mit keinem anderen Element
eine chemische Verbindung ein. Argon wird kos- Sauerstoffreduzierungsanlagen
tengünstig aus der Umgebungsluft gewonnen und Eine Sauerstoffreduzierungsanlage (Brandvermei-
wird neben der Verwendung als Feuerlöschmittel in dungssystem) schafft in einem Rechenzentrum durch
vielen anderen technischen Prozessen eingesetzt (z. Einleiten von Stickstoff eine permanent sauerstoff-
B. Schutzgas beim Schweißen). Argon ist nicht giftig arme Atmosphäre. Dadurch kann die Entstehung
und schwerer als Luft. Bei einer für die Löschung eines offenen Feuers ausgeschlossen werden. Die
erforderlichen Argon-Konzentration können Personen dauerhafte Sauerstoffreduktion wird durch sehr
durch Sauerstoffmangel gefährdet werden. Deshalb, präzise Steuerungen eines Stickstoffvorrats oder eines
aber auch wegen der Gefährdung durch Brandgase, Stickstofferzeugers ununterbrochen aufrechterhalten.
werden Räume erst nach Ablauf einer Voralarmzeit Bei einem für die Brandvermeidung erforderlichen
mit Argon geflutet, so dass Personen ungefährdet den reduzierten Sauerstoffgehalt bleiben die geschützten
Bereich verlassen können. Rechenzentrumsbereiche für Personen mit entspre-
chender ärztlicher Untersuchung begehbar.
Stickstoff (N2)
Stickstoff ist in der Atmosphäre (mit 78%) enthalten. 7.1.2 Empfohlene Ausstattung bei
Es wird wie Argon aus der Umgebungsluft gewon- unterschiedlichen Ausfallzeiten
nen und vielfältig verwendet. Es ist ein Inertgas und
geht erst bei sehr hohen Temperaturen mit anderen Rechenzentren
Elementen eine chemische Verbindung ein. Stickstoff Liegen die tolerierbaren Ausfallzeiten bei maximal 24
ist farb-, geruch- und geschmacklos, nicht giftig und Stunden ist eine sensible Branderkennung im Rechenzen-
leichter als Luft. Bei einer für die Löschung erforder- trum ausreichend. Bei höheren Verfügbarkeitsanforderun-
lichen Stickstoff-Konzentration können Personen gen an das Rechenzentrum ist zusätzliche eine automa-
durch Sauerstoffmangel gefährdet werden. Deshalb, tische Löschanlage mit einem gasförmigen Löschmittel
aber auch wegen der Gefährdung durch Brandgase, oder ein Sauerstoffreduzierungssystem sinnvoll.
werden Räume erst nach Ablauf einer Voralarmzeit
mit Stickstoff geflutet, so dass Personen ungefährdet Die wesentlichen Merkmale für die Auswahl einer auto-
den Bereich verlassen können. matischen Löschanlage mit gasförmigen Löschmitteln,
einer Sauerstoffreduzierungsanlage oder einer Kombina-
Chemische Löschgase: HFC227ea, Handelsname z. B. tion aus beiden Systemen sind z. B.
FM-200 und FK-5-1-12, Handelsname Novec 1230
Die Löschwirkung der chemischen Löschgase beruht Anforderungen an die Verfügbarkeit des Rechen-
auf einer Wärmeabsorption in der Flamme. Vorteil der zentrums. Je höher der Verfügbarkeitsanspruch
chemischen Löschgase ist eine hohe Löscheffektivität umso sinnvoller sind Sauerstoffreduzierungs-
bei geringer Konzentration. Damit verbunden ist der anlage oder eine innovative Kombination aus
im Vergleich mit den Inertgasen deutlich geringerer Lösch- Sauerstoffreduzierungsanlage
Platzbedarf für die Aufstellung von Löschmittelfla-
schen. Unter Umständen können die Flaschen, z. B. bei Anforderungen an die Zugänglichkeit für unterneh-
einer Nachrüstung, auch unmittelbar in dem zu schüt- mensinterne und externe Personen. Bei sehr hohen
zenden Rechenzentrumsbereich aufgestellt werden. Anforderungen an die Zugänglichkeit, besonders
Die Flutungszeit bis zum Erreichen der löschfähigen bei wechselnden Personen, sind automatische
46
Leitfaden Betriebssicheres Rechenzentrum
Löschanlagen gut geeignet, da eine einfache Unwei- Rauchgase. «Weiches Herunterfahren« bedeutet aber
sung für das Betreten geschützter Bereiche ausrei- keinesfalls die sofortige Abschaltung der Stromzu-
chend ist. fuhr. Hierbei wird nach der frühen Branddetektion ein
Abschaltmanagement aktiviert, welches die Daten auf
Bauliche Voraussetzungen zur Druckentlastung oder nicht geschädigte IT-Einheiten umleitet. Das endgültige
Gasdichtigkeit der Raumumfassung Abschalten der Stromzufuhr erfolgt erst nach Abschluss
des Datentransfers.
Serverschränke
Eine kompakte, integrierte Einheit mit Branderkennung
detektiert eine Brandentstehung bereits in der frühen 7.2 Baulicher Brandschutz
Phase. Dies schafft einen Zeitvorteil für organisatori-
sche Maßnahmen (z. B. automatische Alarm SMS, Pager Ziel des baulichen Brandschutzes ist das Retten von
etc.) und das Einleiten automatischer Maßnahmen, z. B. Menschenleben. Das erfordert höchste Qualität für Mate-
«weiches Herunterfahren« der IT-Systeme, Datenausla- rial und Verarbeitung sowie eine strikte Einhaltung der
gerung, selektive Abschaltung oder gezielte Löschung der Vorschriften und Richtlinien.
Netzwerk- und Serverschränke.
Die Grundlagen des baulichen Brandschutzes sind in
Abgeschaltete und stromlose IT-Einheiten gewährleis- den Bauordnungen der Länder, den Vorschriften über
ten im Brandfall die zuverlässigste Alternative gegen brandschutztechnische Einrichtungen, Brandschutzkon-
ein weiteres Ausbreiten eines Brandes bzw. aggressiver zepte, Brandwände und Rettungswege festgehalten. Das
Technischer Brandschutz
RZ Kategorie
zulässige RZ
Ausfallzeit
Rechenzentrum /
Serverschrank Serverschrank
Serverraum
Brandmeldeanlage, Überwachungseinheit
Überwachungseinheit mit
mit Brandfrühesterkennung und
Brandfrüherkennung
A eigenständiger Löschtechnik (mit passiver 12 h
und Löschtechnik (mit passiver
Löschmittelreserve) oder Sauerstoffreduzie-
Löschmittelreserve)
rungssystem (Brandvermeidungssystem)
Brandmeldeanlage, Überwachungseinheit
Überwachungseinheit mit Brandfrüher- mit Brandfrühesterkennung und eigenstän-
B kennung und Löschtechnik (mit passiver diger Löschtechnik (mit passiver Löschmit- 1h
Löschmittelreserve) telreserve) oder Sauerstoffreduzierungssys-
tem (Brandvermeidungssystem)
47
Brandverhalten von Baustoffen und Bauteilen regelt die Wände, Böden und Decken müssen mindestens nach Feu-
DIN 4102, allerdings ohne jede Berücksichtigung der not- erwiderstandsklasse F90 ausgebildet werden. Türen sind
wendigen Schutzziele, gerade für IT-Rechenzentren mindestens in T90 -Ausführung zu planen, das heißt, dass
Türen 90 Minuten Feuer widerstehen. Auch ein Schutz
Zu beachten sind die Feuerwiderstandsdauern tragender gegen Rauchgas und Spritzwasser ist unabdingbar.
Bauteile, der Brandschutz in den Elektroinstallationen
sowie bei versorgungstechnischen Anlagen. Zu klären Kabel- und Installationskanäle vom und zum Rechenzent-
sind bei der Planung eines Rechenzentrums auch die rum sind wirksam zu schützen. Dabei können Kabelkanäle
feuerwehrtechnischen Möglichkeiten bezogen auf mit Funktionserhalt nach E30 oder gar E90 gesichert
Feuerwiderstandsdauer und Rettungswege. Dabei sind werden. Installationskanäle sind nach I30 oder I90 und
Feuerwehraufzüge und Sicherheitstreppenhäuser zu selbstständige Lüftungskanäle nach L90 auszubilden.
berücksichtigen. Für ein Rechenzentrum gelten außerdem Werden elektrische Leitungen durch feuerbeständige
betriebsspezifische Brandschutzverordnungen. Decken und Wände geführt, müssen die Durchführungen
ebenfalls feuerbeständig und rauchgasfest verschlossen,
Brandbekämpfung, Löschmittel und Entrauchung sind das heißt abgeschottet werden. Diese Abschottungen
ebenfalls Teil der Planungen. Sie betreffen tragbare können unter Umständen auch mittels Brandschutzkis-
Feuerlöscher, eine eventuell erforderliche Löschmittel- sen vorgenommen werden.
Rückhaltung u.a.
Kabeltrassen stellen im Brandfalle ein sehr hohes Risiko
7.2.1 Schutzziele dar und sollten wasser- und feuchtigkeitsbeständig
beschichtet oder ausgeführt sein. Sie verhindern damit als
Bei der Planung eines Rechenzentrums sind vor allem die Dämmschichtbildner recht sicher die Brandausbreitung
Schutzziele zu definieren. In der Planungsphase ist zu klä- entlang der Kabel. Die Kabel selbst sollten aus brandhem-
ren, ob die Vorschriften, Richtlinien und Schutzziele selbst mendem Material bestehen, das zudem keine aggressiven
umgesetzt werden können. Der Einsatz erfahrener Planer Rauchgase (z. B. PCV-freie Isolierungen) bildet.
ist zu empfehlen, da baulicher und technischer Brand-
schutz mit den Erfordernissen eines unterbrechungsfreien Feuer breitet sich auch schnell und unkontrollierbar über
Rechenzentrumsbetriebes in Einklang gebracht werden entflammbare (oder gar brennbare) Rohre aus, die an
müssen. Nachträgliche Ein- und Umbauten verschlingen Decken und Wänden geführt sind. Schutz bieten Rohrab-
immense Summen oder führen zu einer eklatanten Erhö- schottungen oder feuerfeste Funktionserhaltlösungen als
hung der Versicherungsprämien im Bereich Feuer- und feuerbeständige und rauchgasdichte Barrieren.
Elektronik-Versicherung.
Nur eine reine Bauteileprüfung ist allerdings für kom-
7.2.2 Funktionsweise und plexe und betriebssichere Rechenzentren keinesfalls
Raumanforderungen ausreichend. Die zu errichtenden Räume oder modularen
Sicherheitszellen müssen im Falle einer Hochverfügbar-
Bauteile werden nach ihrem Brandverhalten in Feuerwi- keitslösung unbedingt einer europäisch genormten Sys-
derstandsklassen eingeteilt. Die Feuerwiderstandsdau- temprüfung nach EN 1047-2 unterzogen werden, ebenso
erangaben belaufen sich meist auf 30, 60, 90 und 120 wie die Gewerke der Decken-Wand- und Boden-Wand-
Minuten. F 30 heißt z. B., dass beim Brandversuch bis zum Verbindung, der Kabeleinführung, der Überdruckablei-
Feuerdurchschlag mindestens 30 Minuten vergangen tung oder des Türbereiches. Diese aktuelle Europa-Norm
sind, bevor die Wand nicht mehr standhält. Die bauauf- für die bauliche Rechenzentrums-Infrastruktur legt
sichtliche Bezeichnung für die Klasse F 60 ist »feuerhem- sowohl die Stärke als auch die Zeitdauer von genau defi-
mend«, für F 90 »feuerbeständig«. nierten Belastungen fest. Der Anwender hat damit über
48
Leitfaden Betriebssicheres Rechenzentrum
Baulicher Brandschutz
RZ Kategorie
zulässige RZ
Ausfallzeit
Rechenzentrum /
Serverschrank Serverschrank
Serverraum
Systemprüfung des baulichen Brandschutzes Wände, Böden, Decke, Türen: nach Europa-
D norm EN 1047-2, Kabelschotts in gleicher Schutzwertigkeit, Schutz gegen Rauchgas und < 1 min
Spritzwasser für 60 min
das vom VDMA erteilte ECB-S Zertifikat die Sicherheit, Anfertigen der Lastenhefte für die Einzelgewerke der
dass sein gesamtes System und nicht nur eine einzelne Ausschreibung
Wand oder die Tür feuerbeständig ist.
Sammeln der einlaufenden Angebote, Vergleichen,
7.2.3 Empfohlene Ausstattung bei Auswerten
unterschiedlichen Ausfallzeiten
Erstellen eines Vergabe-Vorschlages für die
Besonderheiten Entscheider
Folgende Projektierungsmerkmale sollten beachtet
werden:
49
7.3 Vorbeugende und organisatorische Nachfolgendes sollte bei der Planung und dem Betrieb
Brandschutzmaßnahmen von Rechenzentren berücksichtigt werden:
50
Leitfaden Betriebssicheres Rechenzentrum
Sicherheit der Informationstechnik ist ein weit gefasster Rechenzentrum als separater, eigenständiger
Begriff, der sowohl die logische Sicherheit der Daten, die Funktionsbereich
physische Sicherheit der Systeme und die organisatorische
Sicherheit der Prozesse beinhaltet. Ziel eines umfassenden Schutz vor Sabotage durch »geschützte« Lage
Sicherheitskonzeptes ist es, alle Bereiche zu betrachten,
Risiken frühzeitig zu erkennen, zu bewerten und Maßnah- Einschätzung des Gefahrenpotentials aufgrund der
men zu ergreifen, so dass die Wettbewerbsfähigkeit eines gesellschaftlichen Stellung des Unternehmens
Unternehmens am Markt nicht gefährdet ist.
Werden alle Risikofaktoren und die unternehmensspe-
Betrachtet man die IT-Infrastruktur und die unterschied- zifischen Rahmenbedingungen berücksichtigt, können
lichen Funktionsbereiche der IT, können mit einer durch- bei der Konzeption der IT-Infrastruktur bereits im Vorfeld
dachten Konzeption wesentliche Sicherheitsrisiken der Gefahren ausgeschlossen sowie Aufwände und Kosten
physischen Sicherheit reduziert oder sogar ausgeschlos- vermieden werden.
sen werden. Entscheidende Rollen spielen einerseits die
Standorte der IT-Bereiche und andererseits die räumliche Aufbau eines Rechenzentrums
Zuordnung der unterschiedlichen Funktionen zueinander. Bei der Konzeption und Planung eines Rechenzentrums
werden die unterschiedlichen Funktionsbereiche ent-
Standort der IT-Bereiche sprechend ihres Anspruches an die Sicherheit und ihrer
Die Konzeption einer IT-Infrastruktur und somit auch die Wertigkeit für den Funktionserhalt der Informationstech-
Standortauswahl eines Rechenzentrums basieren auf nik angeordnet.
dem jeweiligen Datensicherungskonzept eines Unterneh-
mens, das die Verfügbarkeitsanforderungen und unter- Die unterschiedlichen Funktionsbereiche lassen sich wie
nehmenspolitische Ausrichtung widerspiegelt. in Tabelle 13 auf S. 52 einteilen.
Bei Betrachtung der physischen Sicherheit eines Standor- Anordnung der Sicherheitszonen
tes sollten folgende Kriterien berücksichtigt werden: Stellt man die unterschiedlichen Sicherheitszonen sche-
matisch dar, ergibt sich beispielhaft das in Abbildung 12
geringes Gefährdungspotential durch benachbarte gezeigte Bild: Der IT-Bereich (rot) befindet sich im Inneren
Nutzungen, angrenzende Gebäudebereiche oder und wird durch die angrenzenden Zonen 3 und 4 (gelb/
Funktionen blau) geschützt. Die Sicherheitszonen 1 und 2 (weiß/grün)
bilden die Außenschicht. Die einzelnen Sicherheitszonen
Vermeiden von Risiken durch Medien-, Versorgungs- werden durch Sicherheitslinien getrennt.
leitungen, Erschütterungen, Chemikalien, die eine
Beeinträchtigung der physischen Sicherheit der IT- Die Sicherheitslinien stellen den überwachten und gesi-
Systeme darstellen cherten Übergang zwischen den Zonen dar und werden
entsprechend den Sicherheitsanforderungen des Unter-
Vermeiden möglicher Gefahren durch Elementar- nehmens ausgebildet.
risiken (Wasser, Sturm, Blitzeinschlag, Erdbeben) -
Abschätzung regionaler Besonderheiten
51
Sicherheits- Funktion Kennzeichnung Um mögliche Sabotage zu vermeiden, bietet sich die
Zonen (Beispiel)
Trennung der Funktionsbereiche durch eingeschränkte
1 Grundstück weiß Zutrittsmöglichkeiten zu sensiblen Bereichen an. So erhält
zum Beispiel ein Wartungstechniker für die Klimaanlagen
2 Halböffentlicher grün oder USV nur den Zutritt zu den Technischen Bereichen
Bereich, angren-
zende Büroflächen (blau) und nicht zum IT-Bereich (rot) des Unternehmens.
52
Leitfaden Betriebssicheres Rechenzentrum
9 Verkabelung
Aus Sicht der IT ist die entscheidende Anforderung die 9.2 Normative Grundlagen
Verfügbarkeit, also die möglichst unterbrechungsfreie
Betriebsfähigkeit der in der Regel unternehmenskriti- Eine dem aktuellen Stand der Technik entsprechende
schen IT-Anwendungen. Typischerweise gehören dazu Verkabelung nach DIN EN 50173-5 (VDE 0800-173-5) ist
ERP-Systeme, Produktionsanwendungen in Industrieun- durch die Forderung nach bzw. die Festschreibung einer
ternehmen, Datenbanken, Büroanwendungen und deren strukturierten, anwendungsneutralen IT-Verkabelung
Betriebssysteme, aber auch der Zugang zu Provider-Netz- charakterisiert. Diese Norm spricht zudem eindeutige
werken (MAN, WAN) und zum Internet. Empfehlungen aus, die IT-Verkabelung redundant auszu-
legen, um die Betriebssicherheit eines Rechenzentrums
Für die IT gilt das ISO-OSI 7 Schichten-Referenzmodell, auf hohem Niveau sicherzustellen.
welches die Anwendung als oberste Schicht definiert
und als unterste, den sog. ersten Layer (Schicht), die zum Die Planung, Installation und Abnahme der IT-Verkabe-
Datentransport notwendige physikalische Infrastruktur, lung von Rechenzentren wird in der Normenreihe DIN EN
die IT-Verkabelung und die Datentransportgeräte wie z. B. 50174 (VDE 0800-174) beschrieben. Wesentliche Inhalte
Layer 1 Switches. sind z. B. der Qualitätsplan, Sicherheitsabstände, die
Abstände von Kupfer-IT-Verkabelungen zu anderen elekt-
Für die Verfügbarkeit, also die Betriebssicherheit von rischen Quellen zur Vermeidung von elektromagnetischen
IT-Anwendungen in einem Rechenzentrum ist daher Störungen sowie die Dokumentation und Abnahme des
dessen IT-Verkabelung elementar: Ohne funktionierende gesamten Rechenzentrums. Für den Potentialausgleich in
IT-Verkabelung können IT-Geräte wie Server, Switches und Gebäuden mit informationstechnischen Anlagen ist DIN
Speicher nicht miteinander kommunizieren und Daten EN 50310 (VDE 0800-2-310) einzuhalten.
austauschen, diese Daten nicht verarbeiten, vorhalten
oder sichern.
9.3 Qualität/Komponenten-/
Häufig sind IT-Verkabelungen jedoch historisch gewach- Systemauswahl
sen und können den heutigen Anforderungen wie
Aufgrund der maximal hohen Verfügbarkeitsansprüche
hohe Kanaldichten und der permanent steigenden Übertragungsdatenraten
hohe Übertragungsgeschwindigkeiten sind die Qualitätsanforderungen an die IT-Verkabelungs-
unterbrechungsfreie Hardwareänderungen komponenten für Rechenzentren vielfach höher als an
Serviceunterstützung die in LANs eingesetzten Produkte. Bereits im sehr frühen
Lüftungsaspekten Planungsstadium sollte der Qualitätsgedanke bei der Aus-
wahl der Systeme berücksichtigt werden, um Leistungs-
nur schwer genügen. anforderungen bei
53
Kabeldesign bei Kupfer und LWL Auf die Auswahl der Lieferanten der IT-Verkabelung sollte
ebenfalls mit ausreichender Priorität geachtet werden.
Bandbreiten bei Kupfersystemen und LWL-Kabeln Die Hauptanforderung an einen verlässlichen Lieferanten
ist neben der Qualität der Verkabelungskomponenten
Einfüge- und Rückflußdämpfungsbudgets bei LWL auch das Rechenzentrums-Fachwissen, die Erfahrung in
der Rechenzentrums-IT-Verkabelung und die nachhaltige
EMV-Festigkeit bei Kupfersystemen Lieferleistung. Idealerweise sollte der Lieferant auch ganz-
heitliche Planungs-, Installations- und Service-Dienstleis-
Updatefähigkeit auf nächst höhere tungen anbieten.
Geschwindigkeitsklassen
Lokaler
Verteilerpunkt
Data Center...
54
Leitfaden Betriebssicheres Rechenzentrum
In DIN EN 50173-5 (VDE 0800-173-5) [bzw. ISO/IEC 24764] Besonderes Augenmerk ist dabei auf Bereiche mit hoher
wird diese festinstallierte Geräteverkabelung in die Packungsdichte zu legen.
Segmente Bereichs-Hauptverteilungs- und Bereichs-
verteilungsverkabelung, an deren Ende die GA (Gerä- Auf diese Art werden die mit einem Gerätetausch ver-
teanschluss) genannte Schnittstelle liegt, aufgeteilt. Die bundenen Umverkabelungen sowohl vom finanziellen als
aktiven Geräte werden durch möglichst kurze, gerätespe- auch vom zeitlichen Umfang auf ein Minimum reduziert
zifische Anschlusskabel über die GA-Schnittstelle an die - und das unter vollständigem Erhalt der definierten
dadurch »geräteneutrale« Bereichsverteilungsverkabe- Struktur.
lung angebunden. Damit muss beim Gerätetausch, der
oftmals mit dem Wechsel des Steckgesichts am Gerät Die Bereichsverteilungsverkabelung sollte, wo erfor-
verbunden ist, nur das anschlussspezifische Kabel ausge- derlich, in Kupfer und LWL ausgeführt werden, damit
tauscht werden – ohne in die Bereichsverteilungsverkabe- verschiedene Geräte angeschlossen werden können. Die
lung eingreifen oder diese rückbauen zu müssen. Hauptverteilungsverkabelung sollte in LWL und Kupfer
redundant ausgeführt werden.
55
der Betriebssicherheit. Außerdem sollte darauf geachtet und in Betrieb genommen werden können - gleiches gilt
werden, dass alle Produkte im Rahmen eines Qualitäts- auch für Änderungen der Hardware.
managements geprüft und dokumentiert werden.
Für die Verbindung von Rechenzentren untereinander, 9.7 Dokumentation und Beschriftung
z. B. redundante Rechenzentren, Backup-Rechenzentren,
oder auch nur die einfache Auslagerung und Sicherung Ein wesentliches Mittel zur einfachen Administration der
von Daten an einen anderen Standort, ist die Anbindung IT-Verkabelung sowie zur sicheren Planung von Umbau-
an und die Sicherheit von MAN und WAN Provider-Netz- ten bzw. Erweiterungen ist eine akribisch aktuell gehal-
werken (Datentransportdienste oder sog. »dark fiber«), tene Dokumentation. Hier gibt es von »individuellen«
oder eigene LWL-Kabelstrecken von immenser Wichtigkeit Excel-Listen bis hin zu ausgereiften softwarebasierten
für die Betriebssicherheit und Verfügbarkeit und ist wie Dokumentationstools eine große Vielfalt an Möglichkei-
die rechenzentrumsinterne IT-Verkabelung redundant ten. Wesentliche Anforderungen an die sogen. Systemver-
auszulegen. waltung und Dokumentation nennt DIN EN 50174-1 (VDE
0800-174-1). Wichtig ist, dass die Dokumentation immer
auf dem aktuellsten Stand ist und der real installierten
9.6 Installation IT-Verkabelung entspricht. Die Auswahl des Tools ist dem
Anwender überlassen.
Für einen sicheren und zuverlässigen Betrieb von LWL-
IT-Verkabelung im Rechenzentrum, ganz besonders bei Eng verbunden mit der Dokumentation ist die eindeutige
deren Installation und bei Patcharbeiten, müssen die und – auch unter eingeschränkten Lichtverhältnissen -
durchführenden Techniker auf die Spezifikation der Sys- leicht lesbare Beschriftung der Kabel. Auch hier gibt es
teme geschult sein. Bei der Auswahl des 19« Server bzw. zahlreiche Systeme von Identifikationsmöglichkeiten, z. B.
-IT-Verkabelungsschrankes und unter Bezug auf Kapitel von Kabelfähnchen mit austauschbaren Etiketten bis hin
»4.1.2 Sicherer Serverschrank« ist aus Verkabelungssicht zu Barcode-basierten Etikettenlabels. Welche Ausfüh-
zu empfehlen, mind. 800 mm breite Schranksysteme rungsform gewählt wird, hängt von individuellen Anfor-
einzusetzen. Sie ermöglichen die Installation eines derungen an. Entscheidend ist, dass die Nomenklatur
gesamtheitlichen Kabelmanagements in vertikaler und unternehmenseinheitlich gestaltet ist. Es empfiehlt sich
horizontaler Ausrichtung. Die Schranktiefe ergibt sich zur Sicherstellung einer eindeutigen Kabelbeschriftung,
in der Regel durch die zu installierenden passiven und die Daten zentral zu verwalten.
aktiven Komponenten. Für passive Verteiler haben sich
ebenfalls mind. 800 mm tiefe Schranksysteme bewährt.
Für den Einbau aktiver Komponenten empfehlen sich
1000 bis 1200 mm tiefe Schranksysteme. DIN EN 50174-2
(VDE 0800-174-2) enthält hierzu detaillierte Anforderun-
gen und Empfehlungen.
56
Leitfaden Betriebssicheres Rechenzentrum
10.1 Einführung Markt haben. Ein weiterer Faktor der Akzeptanz ist der
Zertifizierungspartner. Er sollte auf dem Prüfgebiet den
Das betriebssichere Rechenzentrum vereint auf der Inf- Sachverstand aufbieten können, die Zertifizierungspro-
rastrukturebene unterschiedliche Ingenieursdisziplinen, zesse definiert und zugänglich gemacht haben und eine
wie z. B. Elektrotechnik, Mechanik, Bauingenieurwesen, Akkreditierung als Zertifizierungsstelle aufweisen.
Brandschutz, Sicherheitstechnik, etc. Auf der Ebene der IT-
Technik kommen nahezu alle Facetten der Informatik zum Aufgrund der Komplexität des »Systems Rechenzent-
Einsatz und auf der organisatorischen Ebene finden sich rum« gibt es unterschiedliche Ansätze für eine Zertifizie-
diverse Managementmethoden zur Überwachung und rung, die Teilbereiche oder ausgewählte Eigenschaften
Steuerung der Prozesse. eines Rechenzentrums prüfen und bestätigen. Zu den
unterschiedlichen Normen wird auf den Punkt 3 dieser
Bei der Fragestellung der Sicherheit eines Rechenzen- Broschüre verwiesen.
trums im Sinne der Verfügbarkeit, Vertraulichkeit und
Integrität der Daten, haben sich Zertifizierungsverfahren
auf Basis von Normen und Prüfkatalogen auf folgenden 10.2 Zertifizierungsmöglichkeiten für
drei Bereichen etabliert: Rechenzentren
physische Infrastruktur Auf der Ebene der physischen Infrastruktur eines Rechen-
Informationstechnik zentrums werden die baulichen Aspekte, die technischen
organisatorische Abläufe Versorgungssysteme (Elektro/Kälte) und die Sicherheits-
systeme (Brandmelde- und Brandlöschanlage, Einbruch-
Die Zertifizierung ist ein Vorgang, bei dem ein unpartei- meldeanlage, Zutrittskontrollanlage) auf ihre Eignung
ischer Dritter aufzeigt, dass angemessenes Vertrauen und ihren ordnungsgemäßen Einsatz hin überprüft. Als
besteht, dass ein Produkt, ein System, eine Dienstleis- Industriestandard für die Zertifizierung der Rechenzen-
tung oder ein Prozess in Übereinstimmung mit einer trumsinfrastruktur hat sich der speziell darauf abge-
bestimmten nationalen und/oder internationalen Norm stimmte TSI-Prüfkatalog vom TÜV etabliert. Die Reihe
oder einem normativen Dokument steht. Der Begriff der Europäischen Normen EN 50600 (teilweise noch
»Norm« wird in der DIN EN 45020 wie folgt beschrieben: in Entwicklung) legt Anforderungen für die technische
Ein Dokument, das mit Konsens erstellt und von einer Infrastruktur von Rechenzentren und der darin betriebe-
anerkannten Institution angenommen wurde und das für nen Anlagen fest. Es wird erwartet, dass der TSI-Katalog in
die allgemeine und wiederkehrende Anwendung, Regeln, Zukunft diese Anforderungen abdecken wird.
Leitlinien oder Merkmale für Tätigkeiten oder deren
Ergebnisse festlegt. Auf der Ebene der Informationstechnik findet eine
Zertifizierung in der Regel im Produktumfeld statt und
Wenn keine Norm existiert, hängt die Akzeptanz des somit bei den Herstellern von IT-Systemen (Hardware
Zertifikats besonders von dem normativen Dokument und Software). Hier hat sich seit Ende der 1990er Jahre
ab, inwieweit es aus der Feder von Sachverständigen die ISO15408 – auch bekannt als Common Criteria –
stammt, es einen Konsens anderer Fachgruppen zu den etabliert. Diese internationale Norm definiert umfang-
Vorgaben gibt und welche Verbreitung die Vorgaben im reiche Anforderungen an die Sicherheitsfunktionen
57
und –mechanismen und macht Vorgaben an die organisatorischen Ablauf (wie Terminplan und Umfang)
Untersuchungsmethodik. und zu den Kosten.
Auf der Ebene der organisatorischen Abläufe gibt es eine Der Zertifizierungsauftrag
Reihe von Zertifizierungsmöglichkeiten. Es handelt sich Mit der Beauftragung verpflichtet sich das auftragge-
hierbei um die Zertifizierung des Sicherheitsmanage- bende Unternehmen der Zertifizierungsstelle die erfor-
mentsystems (ISO27001 - ISMS) oder der Bewertung typi- derliche Dokumentation zur Verfügung zu stellen. Alter-
scher Rechenzentrumsbetriebsprozesse (ISO20000 – ITIL) nativ kann unter Umständen die Dokumentation auch vor
oder eine Überprüfung der Maßnahmen zur Aufrechter- Ort geprüft werden. Sofern das Unternehmen es wünscht,
haltung des Geschäftsbetriebs (BS25999 – Business Con- kann zusätzlich ein Voraudit durchgeführt werden.
tinuity). Auch Wirtschaftsprüferorganisationen bieten auf
Basis eigener Anforderungskataloge wie z. B. SAS70 oder Durchführung des Voraudits
IDW951 Prüfleistungen an. Das Arbeitsergebnis und die Ziel des Voraudits ist es, zu prüfen, ob die grundsätzlichen
Vorgehensweise haben einen etwas anderen Stellenwert, Voraussetzungen für die Zertifizierung vorliegen. Es wird
da kein Zertifikat vergeben wird und in der Regel das Vier- ermittelt, ob das Zertifizierungsaudit zum geplanten Ter-
Augen-Prinzip (Prüfinstitution und Zertifizierungsstelle) min mit Aussicht auf Erfolg durchgeführt werden kann.
nicht zur Anwendung kommt.
Die Untersuchung im Rahmen des Voraudits beinhaltet
eine Sichtung und erste Bewertung der Unterlagen.
10.3 Der Zertifizierungsprozess Grundsätzlich beinhaltet das Voraudit eine stichpro-
benartige Prüfung und erhebt keinen Anspruch auf
Ist das Rechenzentrum in Betrieb und sind die techni- Vollständigkeit.
schen Konzepte und/oder die organisatorischen Abläufe
und Regelungen dokumentiert und im Unternehmen Das Zertifizierungsverfahren
wirksam eingeführt, kann es durch ein unabhängiges, Die Auditoren überprüfen beim Zertifizierungsaudit,
neutrales und zur Zertifizierung berechtigtes (akkredi- ob die dokumentierten technischen Konzepte bzw. die
tiertes) Unternehmen zertifiziert werden. Die Institution Verfahren und Abläufe den Anforderungen des zugrun-
prüft zunächst die Dokumentation und danach das deliegenden Regelwerkes erfüllen und ob die technischen
System vor Ort. Der Prüfer (Auditor) verfügt über die Installationen und die im Unternehmen definierten
erforderlichen Qualifikationen und Berufserfahrung. Ein Prozesse und Vereinbarungen mit der Dokumentation
positives Ergebnis führt zu einem Zertifikat, welches in übereinstimmen. Das Verfahren ist in der Regel dreistufig,
der Regel 2-3 Jahre gültig ist. beginnend mit dem Durcharbeiten der bereitgestellten
Unterlagen und erster Begutachtung in Bezug auf das
Der Ablauf einer Zertifizierung vollzieht sich nach einem Regelwerk, gefolgt von der Überprüfung vor Ort in Form
festen Muster, wobei es leichte Variationen in Abhängig- eines Audits und Sichtung der technischen Realisierungen
keit von dem Prüfprogramm gibt. und abschließend mit dem eigentlichen Zertifizierungs-
prozess, bei dem das in einem Bewertungsbericht festge-
Der Wahl der Zertifizierungsstelle sollte ein Informations- haltene Ergebnis der Zertifizierungsstelle vorgelegt wird.
gespräch vorausgehen.
Auf dieser Grundlage entscheidet das Zertifizierungsgre-
Das Informationsgespräch mium der Zertifizierungsstelle, ob ein Zertifikat erteilt
Inhalt des Informationsgespräches sind grundsätzli- wird.
che Fragen zur Zertifizierung und Auditierung, zum
58
Leitfaden Betriebssicheres Rechenzentrum
organisatorische Änderungen im Unternehmen Reduktion des Aufwands für den Nachweis der
vorliegen, Qualitätsfähigkeit
das Zertifikat und das Zertifizierungslogo korrekt Möglichkeiten der Einordnung der Verfügbarkeitsei-
verwendet werden, genschaften eines Rechenzentrums
aktuelle Änderungen relevanter Normen, Gesetze und Nachweis, ein Rechenzentrum nach Stand der Technik
Vorschriften berücksichtigt wurden, zu betreiben
Wurden die Überwachungsaudits erfolgreich abgeschlos- 10.5 Die Wahl des richtigen
sen, findet bei den Zertifizierungen nach zwei oder drei Zertifizierungspartners
Jahren in einem neuen Verfahren die erneute vollständige
Überprüfung statt, bzw. bei den TSI-Zertifizierungen im Die Wahl des richtigen Zertifizierungspartners ist ent-
Wesentlichen die Überprüfung von Änderungen seit der scheidend für den Erfolg des Verfahrens. Wie bei jeder
letzten Zertifizierung. Dienstleistung gibt es eine preisliche Bandbreite. Daher
ist es ratsam, mehrere Angebote einzuholen.
Die Rezertifizierung
Bei den Managementsystemen wird nach drei Jahren eine Unter Umständen kann auch die internationale Ausrich-
Rezertifizierung vorgenommen. Bei den TSI-Zertifizie- tung der Zertifizierungsstelle ein entscheidender Kosten-
rungen erfolgt kein Überwachungsaudit, dafür wird eine faktor sein, wenn z. B. Standorte des Unternehmens im
Rezertifizierung bereits nach zwei Jahren durchgeführt. Ausland in das Verfahren aufgenommen werden sollen.
59
Informationstechnik, organisatorische Abläufe) unter-
schiedliche Zertifizierungsverfahren mit unterschiedlicher
Prüftiefe zur Anwendung kommen und sich hier auch
Unterschiede bei der Auditorenzusammenstellung zeigen.
60
Leitfaden Betriebssicheres Rechenzentrum
11 Anhang
Bundesimmissionsschutzgesetz:
61
DIN EN 50310 Anwendung von Maßnahmen für Erdung und Potentialausgleich in Gebäuden
(VDE 0800-2-310) mit Einrichtungen der Informationstechnik
DIN VDE 0100-551 Errichten von Niederspannungsanlagen – Teil 5-55: Auswahl und Errichtung elektrischer
(VDE 0551) Betriebsmittel – Andere Betriebsmittel – Abschnitt 551: Niederspannungsstromer-
zeugungseinrichtungen
DIN VDE 0100-560 Errichten von Niederspannungsanlagen – Teil 5-56: Auswahl und Errichtung elektrischer
(VDE 0560) Betriebsmittel – Einrichtungen für Sicherheitszwecke
DIN VDE 0100-710 Errichten von Niederspannungsanlagen – Anforderungen für Betriebsstätten, Räume und
Anlagen
(VDE 0710) besonderer Art – Teil 710: Medizinisch genutzte Räume
DIN VDE 0100-718 Errichten von Niederspannungsanlagen – Anforderungen für Betriebsstätten, Räume und
Anlagen
(VDE 0718) besonderer Art – Teil 718: Bauliche Anlagen für Menschenansammlungen
62
Leitfaden Betriebssicheres Rechenzentrum
12 Glossar
19“-Schrank NEA
Rack mit cirka 40 HE, Gesamthöhe cirka 2 Meter Einbau- Netzersatzanlage (meist als Notstromdiesel)
breite 483 mm, Einbauhöhe wird in Höheneinheiten (HE)
gemessen, 1 HE = 44,45 mm Parallelbetrieb
zwei oder mehr Einrichtungen, die gemeinsam die
CW Versorgung von angeschlossenen Verbrauchern
Chilled Water; Klimaanlagen mit Kaltwasser durchführen
Datencenter Präzisionsklimaanlage
Serverraum und/oder Rechenzentrum Klimaanlage, die sowohl die Temperatur als auch die
Luftfeuchtigkeit konstant halten kann. Die Parameter
DX der Luft an den Einlassöffnungen der IT-Geräte sollten
Direct eXpansion; Klimaanlagen mit Kältemittel zwischen 22 und 27°C und zwischen 40 und 60% rF
liegen.
Elektroverteilung
auch NSHV (Niederspannungshauptverteilung) oder Redundant
PDU (Power Distribution Unit) mehrfach ausgelegt zur Erhöhung der Verfügbarkeit
(Fehlertoleranz)
Emission
von einem Gerät ausgehende, auf die Umwelt einwir- Skalierbar
kende Einflüsse schrittweise an den Bedarf anpassbar
EMV USV
Elektromagnetische Verträglichkeit unterbrechungsfreie Stromversorgung
EVU
Energieversorgungsunternehmen
Immission
von der Umwelt ausgehende, auf einen bestimmten Ort
einwirkende Einflüsse
IT
Information Technology (früher EDV = elektronische
Datenverarbeitung)
Modular
Aufbau eines Systems aus mehreren Modulen
(Baugruppen)
63
13 Danksagung
Wilhelm Lorz
Atos IT-Solutions and Services GmbH
Helmut Muhm
Dipl.-Ing. W. Bender GmbH & Co.KG
Torsten Ped
Notstromtechnik Clasen GmbH
64
Leitfaden Betriebssicheres Rechenzentrum
Peter Koch
Emerson Network Power Systems EMEA
Knut Krabbes
QMK IT-Security+Quality
Stephan Lang
Weiss Klimatechnik GmbH
Ingo Lojewski
Emerson Network Power GmbH
Hans-Jürgen Niethammer
Tyco Electronics AMP GmbH
Thorsten Punke
Tyco Electronics AMP GmbH
Zeynep Sakalli
euromicron solutions GmbH
Jürgen Strate
IBM Deutschland GmbH
65
Der Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e.V. vertritt mehr als 2.000
Unternehmen, davon über 1.200 Direktmitglieder mit etwa 140 Milliarden Euro Umsatz und 700.000 Beschäftig
ten. Hierzu gehören fast alle Global Player sowie 800 leistungsstarke Mittelständler und zahlreiche gründer
geführte, kreative Unternehmen. Mitglieder sind Anbieter von Software und IT-Services, Telekommunikations- und
Internetdiensten, Hersteller von Hardware und Consumer Electronics sowie Unternehmen der digitalen Medien
und der Netzwirtschaft. Der BITKOM setzt sich insbesondere für eine Modernisierung des Bildungssystems, eine
innovative Wirtschaftspolitik und eine zukunftsorientierte Netzpolitik ein.
Bundesverband Informationswirtschaft,
Telekommunikation und neue Medien e. V.
Albrechtstraße 10 A
10117 Berlin-Mitte
Tel.: 030.27576-0
Fax: 030.27576-400
bitkom@bitkom.org
www.bitkom.org