Clusters de Alto Rendimiento

Contenido: M. en A. Iliana Gmez Ziga Diseo: Lic. Genaro Ramirez iliana.gomez@redudg.udg.mx genaro.ramirez@redudg.udg.mx Expositor: L.S.I. Virgilio Cervantes Prez virgilio@cencar.udg.mx

Porque Linux
1991 Nace Linux 1993 Samba 1993 Nace Tux 1997 Surgi el Proyecto KDE y el Proyecto Gnome Linux en otras plataformas como la Power PC de Macintosh, la Amiga, los IBM S/390, IBM RS-6000, los MIPS de Silicon Graphis, los Motorola 6800. Soportar cada vez ms dispositivos, sobre todo aquellos que suele tener la PC hogarea, como tarjetas de sonido, tarjetas de captura de video, Se le agregaron capacidades para redes que le permitan ponerse a la par de routers, switches, y servicios que habitualmente se asociaban a mquinas Unix muy costosas. Embebido en un microprocesador, como el de un Palm Pilot. IBM ya lo puso en un reloj. 2001 Escritorios completamente viables.

Como han evolucionado las plataformas

2100 2100 2100 2100

?
2100
2100 2100 2100 2100

R E N D I M I E N T O
Desktop SuperCom -putadoras Cluster Local Cluster/Grid

Clusters interplanetarios ??

Cluster/Grid Globales

Qu es un cluster?
Los Cluster en computacin son un coleccin de computadoras interconectadas de alguna manera, que trabajan en conjunto, distribuyndose las tareas entre ellas, logrando que el usuario lo vea como una sola.

Otras deniciones de cluster

Un cluster consiste en un conjunto de mquinas y un servidor de cluster dedicado, para realizar los relativamente infrecuentes accesos a los recursos de otros procesos, se accede al servidor de cluster de cada grupo

del libro Operating System Concepts de Silberschatz Galvin.

Cmo funciona un cluster?

Requerimientos Bsicos
Un cluster consta de por lo menos 2 o ms nodos Los nodos de un cluster estn conectados entre s por al menos un canal de comunicacin Los clusters necesitan software de control especializado

Homogeneidad de un cluster
Homogneos: formados por equipos de la misma arquitectura. Todos los nodos tienen una arquitectura y recursos similares, de manera que no existen muchas diferencias entre cada nodo. Heterogneos: formados por nodos con distinciones que pueden estar en los siguientes puntos. Tiempos de acceso distintos
Arquitectura distinta Sistema operativo distinto Rendimiento de los procesadores o recursos sobre una misma arquitectura distintos

Por qu construir un cluster?

Cuando necesitamos que una aplicacin o servicio disponga de : Alta Disponibilidad (High Availability ) Alta Conabilidad (High Reliability ) Alto Rendimiento (High Performance)

Alta Disponibilidad (High Availability )

Sistemas de informacin redundante Sistemas tolerantes a fallos Balanceo de carga entre varios servidores Balanceo de conexiones entre varios servidores

Alta Conabilidad (High Reliability )

Generalmente este tipo de clusters suele ser utilizado para entornos de tipo empresarial y esta funcionalidad solamente puede ser efectuada por hardware especializado.

Alto Rendimiento (High Performance)

Clculos matemticos Renderizaciones de grcos Compilacin de programas Compresin de datos Descifrado de cdigos

Con que construyo mi cluster?

Opcin I: son construidos en su totalidad usando hardware y software comn y utilizando tecnologa estndar como SCSI, tarjetas de red Ethernet etc.(ms econmicos). Opcin II: construidos con hardware especial para lograr un mejor desempeo. (ms caros).

Requiere Software como..

MPI PVM PBS

Top500
En la pgina de www.top500.org se publica dos veces por ao la lista de las supercomputadoras ms rpidas del mundo.

Top500
Rank 1

Site

Country/Year

Computer / Processors Manufacturer BlueGene/L eServer Blue Gene Solution / 65536 IBM

Rmax 136800

Rpeak

DOE/NNSA/LLNL United States/2005

Barcelona Supercomputer Center Spain/2005

183500

MareNostrum JS20 Cluster, PPC 970, 2.2 GHz, Myrinet / 4800 IBM John Von Neumann LNX Cluster, Xeon 3.4 GHz, Myrinet / 2048 Linux Networx RIKEN Super Combined Cluster / 2048 Fujitsu Mpp2

27910

42144

28

US Army Research Laboratory (ARL) United States/2004

8770

29

Institute of Physical and Chemical Res. (RIKEN) Japan/2004

13926

8728

12534

30

Pacific Northwest National Laboratory United States/2003

Cluster Platform 6000 rx2600 Itanium2 1.5 GHz, Quadrics / 1936 Hewlett-Packard

8633

11616

34

Lawrence Livermore National Laboratory United States/2002

MCR Linux Cluster Xeon 2.4 GHz Quadrics / 2304 Linux Networx/Quadrics

7634

11060

42

Lawrence Livermore National Laboratory United States/2003

xSeries Cluster Xeon 2.4 GHz Quadrics / 1920 IBM/Quadrics

6586

9216

46

Grid Technology Research Center, AIST Japan/2004

AIST Super Cluster P-32 AIST Super Cluster P-32, Opteron 2.0 GHz, Myrinet / 2200 IBM

6155

8800

75

DOE/Bettis Atomic Power Laboratory United States/2005

Atipa Cluster, Opteron, Myrinet / 1090 Atipa Technology

4035

5232

Estadisticas del 2002

Un total de 55 clusters de PCs basados en Intel y ocho en AMD estaban presentes en el TOP500. El nmero de clusters en el TOP500 creci a un total de 93 sistemas. Catorce de estos clusters se etiquetan como 'Auto construidos' al haber sido diseados y ensamblados por los propios usuarios nales.

Aplicaciones corriendo en clusters

Simulaciones de biotecnologa, Petroleras, Modelacin de mercados nancieros, Grandes clculos matemticos, Prediccin del clima, Servidores de Internet.

Ejemplos
Un negocio en Internet que recibe millones de peticiones por da, y tiene que asegurarse de que los servidores respondan rpidamente a las peticiones de los clientes (Rendimiento) Asegurarnos de que nuestros servidores estn disponibles todo el tiempo aun cuando exista algn problema en alguno de ellos. (Disponibilidad)

Porque cluster con linux?

Costo benecio Escalabilidad Estabilidad

Ejemplos de cluster con linux

** La pelcula Titanic hizo todas sus animaciones y efectos especiales con cluster basados en Linux. ** El proyecto Genoma Humano fue realizado con cluster basados en Linux, y con software de cdigo abierto. ** En Japn donde hay un gran inters por predecir las tormentas acaban de construir uno de los supercomputadores ms grandes del mundo utilizando clusters de Linux para clculo numrico.

Grid Vs. Cluster

Distribucin de Software:
OpenMosix Scyld Oscar Rocks Atipa N1

Instalacin de la distribucin Rocks:

VENTAJAS DE ROCKS Facil de Instalar Facil para construir Facil de administrar Facil de usar

Caractersticas de ROCKS
RedHat Linux Soporta las siguientes Procesadores:
AMD Itanium

Requerimientos minimos de Hardware

Nodo Maestro: Disk Capacity: 16 GB Memory Capacity: 512 MB Ethernet: 2 physical ports (e.g., "eth0" and "eth1") Nodo Esclavo: Disk Capacity: 16 GB Memory Capacity: 512 MB Ethernet: 1 physical port (e.g., "eth0")

Referencias
http://www.straddle3.net/context/ 02/02112 .es.html http://www.top500.org http://www.rockclusters.org http://www.linuxvirtualserver.org