Diseño - Configuracion Data Center

Diseo
y dimensionamiento de data centers
Diseo y dimensionamiento de data centers

Ral Ramos Polln
Universidad Nacional de Colombia
Universidad Nacional, Enero 2013
(1)
Outline
1 Caracterizacin de un datacenter
2 Consideraciones de diseo
3 Best pracCces
4 Caso real y consideraciones de estrategia
5 PrcCca de dimensionamiento
(2)
pizza servers
storage servers
1 Caracterizacin
communicaCons
rack sets
blades chasis
(3)
1 Caracterizacin
(4)
1 Caracterizacin
Enfriadoras
Grupo Electrgeno
CRACs
PDUs
Bateras
UPS
Mangueras
elctricas
Cuadros
elctricos
(5)
1 Caracterizacin
Tipologas de datacenters
hVp://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf
Tipos de mquinas:
volume servers as those cosCng less than $25,000 per unit,
mid-range servers as those cosCng between $25,000 and $500,000 per unit
high-end servers as those cosCng more than $500,000 per unit.
Tipos de datacenters:
Server closet.
1-2 servidores

Server room.
<15 servidores

Localized data center. <100 servidores
Mid-Cer data center. 100s servidores
Enterprise class data center. 100-1000 servidores

15m2
<50m2
<100m2
<500m2
>500m2
(6)
1 Caracterizacin
Distribucin datacenters en US
(7)
1 Caracterizacin
Top500, distribucin histrica (www.top500.org)
(8)
1 Caracterizacin
Top500, distribucin histrica (www.top500.org)
(9)
2 Diseo
Consideraciones de diseo
Distribucin gsica
Capacidad elctrica
Refrigeracin
Resiliencia (backup components, reproong, etc.)
Seguridad gsica, seguridad informCca, control de acceso, etc.
Patrones de uso (CPU intensive, storage intensive, etc.)
Capacidad de crecimiento
OperaCva y costes (TCO)
Equipos de apoyo
(10)
2 Diseo
Key issue: electrical consumpJon + heat load
(11)
2 Diseo. Potencia elctrica
Potencia elctrica: Elementos
(12)
Otro esquema elctrico
(13)
Mtricas de eciencia
(14)
Distribucin del consumo
(15)
Densidad de potencia elctrica
(16)
Densidad de potencia elctrica

Avances tecnolgicos Ms densidad de potencia elctrics (kw/m2)

Data centers ms compactos

Pero:
Se necesitan ms equipos de soporte (refrigeracin, UPS, etc.)
Ahorro de espacio indoors Necesidad de espacio outdoors

Equilibrar inversin
Necesidad de aumentar la capacidad de un datacenter
Obra civil indoors vs. obra civil outdoors
Ms capacidad por m2 ms exigencia en la instalacin
Demasiado suelo equipos de soporte costes operacionales y de inversion

(17)
UPS conguraJons
Parallel redundant (N+1)

Needs synch UPSs to output 300 kW
load together
Both units must be the same
System bus, point of failure
ConguraJon N
UPS breakdown and
maintainance on bypass
MulCple points of failure

Isolated redundant (N+1)

Catcher as backup
Needs proper operaCon of switches
Needs 2nd from 0% to full load fast
Less points of failure

(18)

Distributed redundant
Redundant uClity sources
Delivered load is 300 kW
UPS sCll need some phase sync mechanism

(19)
(20)
2 Diseo. Refrigeracin
Refrigeracin

Elementos de refrigeracin

- Chiller (Enfriadora) indoor-outdoor
- CRAC / Aire Acondicionado
- Elementos de conduccin/circulacin de aire
Mtricas
- Velocidad de descarga (n3/min)
- Presin bajo suelo
(21)
Disposicin general de un datacenter
(22)
Consideraciones

- Separacin de ujos de aire fro y caliente
si completa, mejor

- Distribucin adecuada presin bajo suelo
- Velocidad de descarga
demasiada velocidad de carga
menos presin cerca del CRAC
menos aire fro a travs de las losetas perforadas cerca del CRAC
menos capacidad de refrigeracin

demasiado poca velocidad de descarga
menos alcance

- GesConar prdidas de ujo de aire

(23)
(24)
(25)
(26)
(27)
OpJmizaciones
(28)
OpJmizaciones
(29)
OpJmizaciones
(30)
2 Diseo. ConCngencias
Resiliencia
Need redundant CRACs or

(31)
Resiliencia
redistribuir la carga computacional (si posible)
(32)
Otras conJngencias
Sistemas de exCncin de incendios
Redundancia de sistemas (generador, UPS, equipos de
comunicaciones)
Redundancia de suministros (acomeCda elctrica, red)
Seguridad gsica
Seguridad contra intrusiones informCcas
Sistemas de backup (datos, conguraciones, etc.)
Protocolos de mantenimiento y operacin

(33)
2 Diseo. Crecimiento
Crecimiento
(34)
(35)
(36)
2 Diseo. Virtualizacin
Virtualizacin
FLEXIBILIDAD
ADAPTABILIDAD
AGILIDAD DE DESPLIEGUE
AJUSTE DE LA CARGA A LA NECESIDAD DE SERVICIO
Migracin dinmica de cargas de alta densidad

La capacidad se ajusta a la demanda a niveles de row, rack, server
Predictabilidad de la distribucin de carga y requerimientos de enfriamiento
REQUIERE:
NIVELES:
Red interna de alta capacidad

Infraestructura de virtualizacin muy opCmizada
Procedimientos y herramientas de gesCn avanzadas
1 Servicios bsicos
2 Servicios pblicos
3 AutomaCc deployment (based on metrics, topology)
4 Strategic deployment (based on policies, )
(37)
4 Caso real
Caso real diseo y opJmizacin data center
CETA-CIEMAT www.ceta-ciemat.es
Centro de Clculo Pblico Tecnologas GRID + GPU
1700 cores, 90 Tops GPU cluster, 1PB almacenamiento
(38)
4 Caso real
(39)
4 Caso real
(40)
4 Caso real
(41)
4 Caso real
(42)
4 Caso real
(43)
4 Caso real

OPTIMIZACIONES, AO 1
Procedimiento de apagado general del CPD
Procedimiento de apagado de emergencia del CPD
Procedimiento de encendido peridico del grupo electrgeno
Procedimiento para la actualizacin sistema de monitoreo en Cempo real

OPTIMIZACIONES, AO 2
Redistribucin de cargas bajo el grupo electrgeno (priorizacin de servicios)
Redistribucin tendido cuadros elctricos
Reorganizacin de las losetas perforadas
Reacondicionamiento sala de bateras UPS
(44)
4 Caso real
(45)
4 Caso real

OPTIMIZACIONES

OpCmizacin conguracin CRACS

(46)
Best pracJces
5 Best pracCces
WATCH
hVp://www.google.com/about/datacenters/best-pracCces.html
PrcJcas bsicas:
1. Medir, Medir, Medir, Medir, Medir, Medir el PUE tan frecuentemente como posible
2. GesConar el ujo de aire (sheet metals, lminas plsCcas)
3. Ajustar termostatos (aire frio, menos fro, segn especicaciones)
4. OpCmizar distribucin de potencia

PrcJcas avanzadas:
1. GesCn inteligente de capacidad variable (distribucin carga computacional

horas noche -, vs. encendido/apagado CRACs, )
2. Virtualizacin
3. Medidas detalladas (per rack, server, )
Impacto ahorro energa:

Suposicin: 1 kWh = $200 1 rack de 10 kW encendido 24/7

Consumo anual (PUE = 1.8):

(47)
5 Best pracCces
Best pracJces
PrcJcas bsicas:
1. Medir, Medir, Medir, Medir, Medir, Medir el PUE tan frecuentemente como posible
2. GesConar el ujo de aire (sheet metals, lminas plsCcas)
3. Ajustar termostatos (aire frio, menos fro, segn especicaciones)
4. OpCmizar distribucin de potencia

PrcJcas avanzadas:
1. GesCn inteligente de capacidad variable (distribucin carga computacional

horas noche -, vs. encendido/apagado CRACs, )
2. Virtualizacin
3. Medidas detalladas (per rack, server, )
Impacto ahorro energa:

Suposicin: 1 kWh = $200 1 rack de 10 kW encendido 24/7

10 kW x 24 hrs/da x 365 das/ao = 87000 kWh/ao x 1.8 PUE = 157.680 kWh/ao x $200/kWh
= $31.536.000 /ao

10 kW x 24 hrs/da x 365 das/ao = 87000 kWh/ao x 1.6 PUE = 140.160 kWh/ao x $200/kWh
= $28.032.000/ao AHORRO = 3.5M (11%)
(48)
5 PrcCca
PrcJca modelado datacenters 1

DELL DATACENTER CAPACITY PLANNER
hVp://www.dell.com/html/us/products/rack_advisor_new/index.html
RACK 1 CompuJng on PowerEdge M600 blades

hVp://www.dell.com/us/dz/p/poweredge-m600/pd
64 blades x 2 Xeon E5440 x 4 cores = 512 cores

Max memory per blade: 64GB (16GB / core)
Power/Heat: 14.9 kW

RACK 2 Storage on PowerEdge 6950 + AX150
hVp://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf
hVp://www.dell.com/downloads/emea/products/pedge/en/
PE6950_Spec_Sheet_Quad.pdf
2 redundant PowerEdge 6950 as storage servers with

10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB
Power/Heat: 4.5 kW

(49)
5 PrcCca



Power/Heat: 14.9 kW


Power/Heat: 4.5 kW

(50)
5 PrcCca



Power/Heat: 14.89 kW

AT $200/kWh, 24x7

Power/Heat: 4.47 kW

PUE
kw rack 1 kw rack 2
IT equipment
kwh/ao
total
support
equipment
kwh/ao total kwh/ao
$/ao
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0
(51)
5 PrcCca


Power/Heat: 14.89 kW


Power/Heat: 4.47 kW
AT $200/kWh, 24x7
PUE
kw rack 1 kw rack 2
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0
14,89
14,89
14,89
14,89
14,89
14,89
14,89
14,89
14,89
14,89
4,47
4,47
4,47
4,47
4,47
4,47
4,47
4,47
4,47
4,47
IT equipment
kwh/ao
total
19,36
19,36
19,36
19,36
19,36
19,36
19,36
19,36
19,36
19,36
169.629
169.629
169.629
169.629
169.629
169.629
169.629
169.629
169.629
169.629
support
equipment
kwh/ao total kwh/ao
16.963
33.926
50.889
67.851
84.814
101.777
118.740
135.703
152.666
169.629
$/ao
186.592 $ 37.318.301
203.554 $ 40.710.874
220.517 $ 44.103.446
237.480 $ 47.496.019
254.443 $ 50.888.592
271.406 $ 54.281.165
288.369 $ 57.673.738
305.332 $ 61.066.310
322.294 $ 64.458.883
339.257 $ 67.851.456
(52)
5 PrcCca

APC DATA CENTER MODELLING WEB TOOLS
hVp://tools.apc.com

TT6: Calculadora de rendimiento del centro de datos
set datacenter capacity to 194kw and 100% IT load cost should be aprox 10 Cmes our two racks at 1.7 PUE
set IT load back to 70% and add/remove features to datacenter and see eect on PUE and cost

TT8: Data Center Design Planning Calculator
look at growth plan tab, see $$ savings in scale-up vs. up-front
why PUE starts so high when up-front? (hint: in TT6 lower/raise IT load and see eect on PUE)
change deployment rate explain change in PUE charts

TT1: Calculadora de energa de un datacenter
try to get our setup with only RACK 1
(server quanCty=60, 2 sockets = 100%, 0 mainframes, external no storage, safety margin 0%)
change parameters and explain

TT9: Calculadora de costes de energa de virtualizacin
set percentage of servers virtualized to 100% and consolidaCon rate 1:1. explain
turn row based coolin on/o. explain

(53)
Consideraciones nales
Consideraciones nales

1 ENTIENDE TU INSTALACIN

2 MIDE MIDE MIDE MIDE MIDE MIDE MIDE

3 LO MS NO SIEMPRE ES LO MS ADECUADO A UN CASO CONCRETO

4 ENTIENDE LOS PATRONES DE CARGAS COMPUTACIONALES

5 DECIDE ACORDE A TU TAMAO / FINANCIACIN / EQUIPO

6 PLANEA A MEDIO TIEMPO CON UN ESPRITU PRCTICO

7 DATACENTERS CIENTFICOS: APOYA A TUS USUARIOS
LA MEJOR GUA: EL SENTIDO COMN

(54)
Enlaces
hVp://www1.eere.energy.gov/femp/pdfs/eedatacenterbestpracCces.pdf

hVp://www.intel.com/technology/eep/datacenter.pdf

hVp://h20000.www2.hp.com/bc/docs/support/SupportManual/c00064724/c00064724.pdf

hVp://www.energystar.gov/ia/partners/prod_development/downloads/
EPA_Datacenter_Report_Congress_Final1.pdf

hVp://www.google.com/about/datacenters/best-pracCces.html

hVp://www.cisco.com/web/partners/downloads/765/other/
Energy_Logic_Reducing_Data_Center_Energy_ConsumpCon.pdf

hVp://staCc.googleusercontent.com/external_content/untrusted_dlcp/www.google.com/es//corporate/
datacenter/dc-best-pracCces-google.pdf

hVp://www.thegreengrid.org/~/media/WhitePapers/
White_Paper_27_Impact_of_VirtualizaCon_Data_On_Center_Physical_Infrastructure_020210.pdf?lang=en

(55)

Diseño - Configuracion Data Center

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Diseño - Configuracion Data Center

Hochgeladen von

Copyright:

Verfügbare Formate

Diseo

y dimensionamiento de data centers

Diseo y dimensionamiento de data centers

Universidad Nacional de Colombia

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Diseo y dimensionamiento de data centers

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Diseo y dimensionamiento de data centers

Diseo y dimensionamiento de data centers

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Top500, distribucin histrica (www.top500.org)

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Top500, distribucin histrica (www.top500.org)

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Key issue: electrical consumpJon + heat load

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

2 Diseo. Potencia elctrica

Potencia elctrica: Elementos

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

2 Diseo. Potencia elctrica

Otro esquema elctrico

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

2 Diseo. Potencia elctrica

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

2 Diseo. Potencia elctrica

Distribucin del consumo

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

2 Diseo. Potencia elctrica

Densidad de potencia elctrica

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

2 Diseo. Potencia elctrica

Densidad de potencia elctrica

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

2 Diseo. Potencia elctrica

Parallel redundant (N+1)

Universidad Nacional, Enero 2013

Isolated redundant (N+1)

Diseo y dimensionamiento de data centers

2 Diseo. Potencia elctrica

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Universidad Nacional, Enero 2013

2 Diseo. Potencia elctrica

Diseo y dimensionamiento de data centers

Universidad Nacional, Enero 2013

Diseo y dimensionamiento de data centers

Disposicin general de un datacenter

Universidad Nacional, Enero 2013