Trabajo Prctico de Laboratorio Cluster de Alta Performance Sistemas Operativos II UNNOBA 2010

Grupo (Junn):

Franco Padovani Emmanuel Llanos

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

ndice:

01. Investigacin: 1a. Qu es un cluster de alta performance?. 1b. Qu motiva su desarrollo?. 1c. Qu problemas resuelve?. 1d. Qu inconvenientes presenta?. 02. OpenMosix ClusterKnoppix, Instalacin y Configuracin. 03. Configuracin del nodo Maestro. 04. Configuracin de los nodos Esclavos. 05. Pruebas de Stress, Tests de OpenMosix. Migracin de Procesos y Herramientas de Monitoreo. 5a. OpenMosixView. 5b. Migmon. 5c. Analyzer. 5d. Tests de Stress. 06. Conclusiones.

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

1. Investigacin
1a. Qu es un cluster de alta performance?
Es un tipo de tecnologa que permite que un conjunto de computadoras comunicadas por medio de una red trabajen en paralelo, dividiendo el trabajo en varias tareas ms pequeas las cuales se pueden desarrollar de forma paralela y obteniendo la solucin al problema de forma rpida.

1b. Qu motiva su desarrollo?

Permiten reutilizar equipamiento disponible. El ancho de banda para comunicaciones entre las estaciones de trabajo ha crecido al desarrollarse nuevas tecnologas y protocolos e implementarse en Redes de rea Local (LANs) y Redes de rea Amplia (WANs). Los clusters de workstations son ms sencillos de integrar en los entornos de desarrollo y produccin que las supercomputadoras. La brecha entre el poder de cmputo de clusters y supercomputadoras se redujo considerablemente. La performance de workstations y PCs mejora rpidamente. Como la performance mejora, la utilizacin porcentual de CPU decrecer an ms. Las herramientas de desarrollo para PCS y workstations estn exhaustivamente analizadas y probadas (inclusive algunas de ellas estandarizadas). Esta situacin contrasta con las soluciones propietarias de las supercomputadoras, muchas de ellas no estandarizadas. Los clusters de workstations son escalables. Por relativamente poco costo adicional es posible agregar nuevos recursos de cmputo.

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

1c. Qu problemas resuelve?

Los clusters de alta performance han sido creados para compartir el recurso ms valioso de un ordenador, es decir, el tiempo de proceso. Cualquier operacin que necesite altos tiempos de CPU puede ser utilizada en un cluster de alta performance, siempre que se encuentre un algoritmo que sea paralelizable. Un clster de alta performance resuelve problemas de: Rendimiento. Esta solucin le permite obtener un alto rendimiento gracias al procesamiento paralelo de sus trabajos. Es independiente del hardware a utilizar, pudiendo adaptarse a cualquier tipo de servidores, dispositivos de red, configuraciones, etc.

Escalabilidad. Podr incrementar el numero de nodos de clculo cuando se quiera de manera fcil y sencilla, sin tener que pagar licencias de software adicionales. Flexibilidad. La solucin esta basada en software libre, lo que le permite la modificacin o adiccin de nuevas funcionalidades segn lo necesite. Problemas de cmputo. Generalmente, los clusters de alta performance son utilizados para problemas de cmputos complejos como: Clculos matemticos. Renderizaciones de grficos. Compilacin de programas. Compresin de datos. Descifrado de cdigos. Rendimiento del sistema operativo, (incluyendo en l, el rendimiento de los recursos de cada nodo).

1d. Qu inconvenientes presenta?

Las principales desventajas de este sistema son la dificil paralelizacin de aplicaciones transaccionales (bases de datos, por ejemplo), la administracin de muchas maquinas interconectadas, que implica una mayor atencin y conocimiento que la administracin de una gran maquina con muchos procesadores y la especial atencin que hay que prestar a la latencia de la red entre los nodos, debido a que se puede ganar tiempo en procesamiento, pero perderlo a la hora de comunicar y migrar procesos por la red.

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

2. OpenMosix ClusterKnoppix, Instalacin y Configuracin

Para la implementacin del cluster de alta performance, utilizamos la siguiente topologia de red:

Donde la PC0 ser el nodo maestro y las otras computadoras sern esclavos. Para utilizar ClusterKnoppix decidimos crear mquinas virtuales con el virtualBox y bootear el live cd desde all, para trabajar con ms comodidad y poder tomar screenshots de manera ms sencilla. La configuracin inicial de las 3 mquinas virtuales era la siguiente: Mquina PC0 PC1 Laptop0 Memoria RAM 600 Mb 300 Mb 550 Mb Cant. Discos 1 1 1 Red Bridge Bridge Bridge

Como sistema operativo de las mquinas virtuales, al no estar OpenMosix, seleccionamos Linux-Other Linux. Cuando estabamos listos para bootear los live cd's, encontramos un manual para instalar ClusterKnoppix en la mquina, de modo que quedaria permanente, sin necesidad de utilizar el live cd. Para probar esto, decidimos instalarlo en la laptop0, y en las otras dos pc's, utilizarlo como live cd. Manual utilizado para instalar ClusterKnoppix: http://www.slideshare.net/andrespipe1690/manual-de-instalaciondel-cluster-knoppix Ahora si, ya estabamos listos para comenzar a implementar el HPC.

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

3. Configuracin del nodo maestro

Para la configuracin del nodo maestro seguimos los siguientes pasos: Para seguir un orden, el primer nodo que booteamos fue PC0, ya que va a ser el nodo maestro. Queda iniciado ClusterKnoppix:

Reiniciamos los servicios ssh, openmosix y openmosixcollector con los comandos: /etc/init.d/ssh restar /etc/init.d/openmosix restart /etc/init.d/openmosixxollector restart

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

Vamos a Knoppix, Network/Internet, Network Card Configuration donde, para configurar al nodo maestro, iremos poniendo:

seleccionamos NO

IP del nodo

Mascara de la red

Broadcast de la red

Gateway de la red

Nameserver

Finalmente, vemos como la configuracin nueva se establece. Volvemos a reiniciar los 3 servicios. Vamos a Knoppix, Services, Start Knoppix Terminal Server. Ponemos a todas las ventanas OK, salvo la siguiente, donde se configura el rango de direcciones ip para asignar a los nodos esclavos:

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

Colocamos el rango de direcciones que queremos y hacemos click en OK para finalizar este paso. De esta manera ya queda configurado el nodo maestro, para chequearlo, hacemos un ls del directorio /proc/hpc/nodes:

Vemos en el OpenMosixView que solo se encuentra el nodo maestro:

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

4. Configuracin de los nodos esclavos

Para configurar los nodos esclavos, simplemente hay que: reiniciar los servicios anteriormente nombrados. Ir a Knoppix, Network/internet, Network Card Configuration, y ante la pregunta de si queremos un broadcast dhcp para pedir una ip, hacemos click en OK. De esta manera el nodo esclavo pide una ip al maestro, y este la dar una dentro del rango de direcciones anteriormente configurado. Volvemos a reiniciar los servicios. Ya tenemos los nodos esclavos configurados, para chequearlo, volvemos a hacer un ls del directorio /proc/hpc/nodes:

Y ahora en el openMosixView aparecen todos los nodos:

Ahora bien, el nodo 11 es PC0 (maestro), el nodo 12 es PC1 (esclavo) y el nodo 8 es Laptop0 (esclavo).

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

5. Pruebas de Stress, Tests de OpenMosix. Migracin de Procesos y Herramientas de Monitoreo.

Descargamos los tests de stress de la web citada en el trabajo prctico: http://www.wikilearning.com/tutorial/el_manual_para_el_clustering_ con_openmosix-ajustes_en_el_cluster/9756-27 Descomprimimos el archivo en /usr/local con los comandos:

gunzip ontest.tar.gz tar -xvf omtest.gz

Despus cd /usr/local/omtest y compilamos los tests:

./compile_tests.sh
Ya estabamos listos para ejecutar los tests, pero antes, veremos las caractersticas generales de algunas de las herramientas de monitoreo de ClusterKnoppix.

5a. OpenMosixView
El openMosixView es la principal herramienta de monitorizacin y administracin de clusters que trae clusterKnoppix. Posee una interfaz sencilla donde se pueden observar todos los nodos del cluster con sus caracteristicas principales (memoria, nmero de cpu's), y datos importantes como el balanceo de carga, el procesamiento de cada nodo, etc. Otra herramienta interesante es el scroll de balanceo al lado de cada nodo, que podemos manipular para aumentar o disminuir el balanceo del nodo. Adems, desde el openMosixView podemos acceder a otras herramientas que veremos ms adlante. La vista del openMosixView es la siguiente:

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

10

La suite OpenMosixView contiene seis aplicaciones altamente tiles y eficaces tanto para la administracin como para la monitorizacin del cluster.

OpenMosixprocs: aplicacin para la administracin de procesos. OpenMosixcollector: captura la informacin del cluster proporcionada por los demonios. OpenMosixanalyzer: analizador de la informacin capturada por OpenMosixcollector. OpenMosixhistory: historial de monitorizacin de procesos del cluster. OpenMosixmigmon: visor que representa la migracin de procesos. 3dmosmon: visor para monitorizacin de datos en 3D.

5b. Migmon
Migmon es una herramienta que permite visualizar por medio de una interfaz los distintos nodos que componen el cluster, tanto el maestro como los esclavos. Lo interesante de esta aplicacin, es que alrededor de cada nodo aparecen cuadrados, que representan cada proceso que se est ejecutando en el nodo. Lo que podemos hacer, es seleccionar uno o varios procesos con el mousse y moverlos hacia otro nodo, de esta forma, estamos llevando a cabo una migracin de procesos de una manera sencilla. La pantalla del migmon es la siguiente:

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

11

5c. Analyzer
Con el openMosixAnalyzer tendremos un historial completo de nuestro cluster. Los historiales generados por el openMosixCollector se muestran de forma grfica, adems de contnua, lo que nos permite ver la evolucin del rendimiento y dems parmetros (balanceo y memoria) de nuestro cluster a travs del tiempo. Esta herramienta puede analizar los historiales en tiempo real y se pueden guardar para abrirlos en otro momento. La vista del Analyzer es la siguiente:

5d. Tests de Stress

Luego de descomprimir y compilar los tests descargados y de analizar las herramientas de monitoreo ms importantes que ofrece ClusterKnoppix, ya estamos listos para ejecutar los test y comprobas el funcionamiento del cluster. Desde la terminal, posicionados en /usr/local/omtest, ejecutamos el comando:

./start_OpenMosix_test.sh
Empiezan a trabajar los nodos y notamos el primer inconveniente. El nodo maestro (11) migra los procesos al nodo esclavo 12, pero no lo hace con el nodo 8, intentamos arrastrar procesos hacia el nodo, pero no se podia.
TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos 12

A continuacin, mostramos las capturas de pantalla del momento de ejecucin de los tests, donde se ve claramente que el nodo 8 no est recibiendo procesos para trabajar.

Ahora bien, si configuramos los dos nodos esclavos exactamente de la misma manera, si el nodo 8 obtuvo una ip y se sum al cluster... porqu no le migran los procesos?. La nica diferencia que encontramos entre el resto de los nodos y el nodo 8 era que, si recordamos lo dicho en secciones anteriores, el nodo 8 es
TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos 13

Laptop0, que tenia la versin del ClusterKnoppix INSTALADA en la mquina virtual, no corriendo con un live cd al igual que las otras mquinas. Rpidamente armamos otra mquina virtual en Laptop0, pero esta vez utilizamos el clusterKnoppix como un live cd, para que sea igual en los 3 nodos. Ahora los nodos del cluster son: Mquina PC0 (11) PC1 (12) Laptop0 (8)-sin uso Laptop0 (13) Memoria RAM Cant. Discos 600 Mb 300 Mb 550 Mb 1024 Mb 1 1 1 1 Red Bridge Bridge Bridge Bridge

Realizamos todos los pasos de configuracin del nuevo nodo, y verificamos que se haya sumado correctamente al cluster:

Ahora si. Volvemos a ejecutar los tests de Stress y todo funciona correctamente.

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

14

Vemos como se distribuyen los procesos en cada nodo, de manera utilizan de forma equitativa la memoria de cada uno, al igual el balanceo de carga y el uso de CPU. Lo que quedaba por probar era la migracin de procesos, asi seleccionamos varios procesos del nodo 12 y los arrastramos nodo 13.

que que que al

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

15

Vemos como TODOS los procesos migraron correctamente y ahora se est haciendo cargo de ellos el nodo 13. Por ltimo vemos el historial de carga que tuvo el cluster:

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

16

6. Conclusiones
Bueno, qued implementado el cluster de alta performance, con 3 nodos (uno maestro y dos esclavos), trabajando y repartiendo los procesos de forma equitativa para procesar operaciones ms rapidamente. A simple vista se puede notar que es una solucin muy til, debido al poder de cmputo que se logra, muy sencilla, en base a la facilidad y rapidez con que fue implementada (salvo por la cantidad de enchufes, alargues y adaptadores que usamos jaja), y sobretodo barata, ya que se puede hacer utilizando mquinas de cualquier arquitectura y caractersticas, logrando reducir considerablemente el tiempo de cmputo, sin necesidad de comprar grandes servidores o supercomputadoras. Todo esto convierte al cluster de alta performance en una solucin a tener muy en cuenta en cualquier mbito de trabajo. Por ltimo, dejamos algunos links de donde sacamos informacin, sobretodo para la primer del trabajo.
http://www.fing.edu.uy/inco/cursos/hpc/material/clases/Clusters.pdf http://www.linalco.com/hpcc-cluster-de-calculo-alto-rendimientolinux.html http://www.wikilearning.com/tutorial/el_manual_para_el_clustering_con_ope nmosix-clusters_nociones_generales/9756-13 http://es.tldp.org/Manuales-LuCAS/doc-manual-openMosix-1.0/doc-manualopenMosix-1.0.pdf

TP Laboratorio -Cluster de Alta Performance- Padovani/Llanos

17