Beruflich Dokumente
Kultur Dokumente
NDICE
INTRODUCCIN ................................................................................................................. 2 OBJETIVO DEL PROYECTO ............................................................................................ 3 JUSTIFICACIN .................................................................................................................. 3 VENTAJAS DE UN CLUSTER ...................................................................................... 4 Ensamblaje. .................................................................................................................. 4 Mantenimiento y disponibilidad ................................................................................. 4 Modernizacin y expansin........................................................................................ 4 Servidores Web. ........................................................................................................... 4 Servidores de archivos. .............................................................................................. 5 Aplicaciones inherentemente paralelas. .................................................................. 5 JUSTIFICACIN (ELECCION DEL SO) .......................................................................... 6 Historia de Debian ............................................................................................................... 8 CARACTERSTICAS DEL S.O. ......................................................................................... 9 REQUERIMIENTOS FSICOS Y LGICOS DE INSTALACIN. .............................. 10 HARDWARE COMPATIBLE......................................................................................... 10 COMPATIBILIDAD DE CPU......................................................................................... 10 COMPATIBILIDAD DE TARJETA GRFICA. ............................................................ 10 BUS DE E/S .................................................................................................................... 10 HARDWARE DE CONECTIVIDAD DE RED ............................................................. 10 PERIFRICOS Y OTRO HARDWARE ...................................................................... 10 DISCO DURO................................................................................................................. 10 RED .................................................................................................................................. 11 SISTEMAS DE ALMACENAMIENTO ACEPTADOS ................................................ 11 REQUISITOS DE MEMORIA Y ESPACIO EN DISCO ............................................ 11 MEDIOS DE INSTALACIN ........................................................................................ 13 FORMA DE PREPARACIN DE LA MEMORIA USB COMO MEDIO DE ARRANQUE. .............................................................................................................. 13 PROCEDIMIENTO DE INSTALACIN PARA EL DESARROLLO DEL PROYECTO. ....................................................................................................................... 15 CONSIDERACIONES ................................................................................................... 15 ESPECIFICACIONES DE HARDWARE OCUPADOS EN LA CONTRUCCION DEL CLUSTER TIPO BEOWULF ............................................................................... 15 CONFIGURAR LA RED ................................................................................................ 15 CMO CONFIGURAR LOS NODOS? .................................................................... 16 COMPARTIR DIRECTORIO ........................................................................................ 17 INSTALACION DE GANGLIA ...................................................................................... 22 CONCLUSIONES. ............................................................................................................. 24 FUENTE DE CONSULTA ................................................................................................. 24 ANEXOS ............................................................................................................................. 25 1
INTRODUCCIN
Los Clster de PCs se hicieron populares con el proyecto Beowulf. La idea consiste en armar un mquina, con gran poder de computo, interconectando PCs y usando Software gratuito como Linux, MPI o PVM, a un costo considerablemente menor que el de supercomputadores comparables. En este trabajo se presenta los distintos aspectos que se deben tomar en cuenta a la hora de implementar un clster Linux. Se denomina clster (agrupacin) de ordenadores a un grupo de ordenadores que trabajan con un fin comn. Estos ordenadores agrupan hardware, redes de comunicacin y software para trabajar conjuntamente como si fueran un nico sistema. Existen muchas razones atrayentes para realizar estas agrupaciones, pero la principal es poder efectuar el procesamiento de la informacin de forma ms eficiente y rpida como si fuera un nico sistema. Generalmente, un clster trabaja sobre una red de rea local (LAN) y permite una comunicacin eficiente, si bien las mquinas se encuentran dentro de un espacio fsico prximo. Los clster son usualmente empleados para mejorar el rendimiento y/o la disponibilidad por encima de la que es provista por un solo computador, tpicamente siendo ms econmico que computadoras individuales de rapidez y disponibilidad comparables. Si bien cada vez ms la tecnologa y los costos permiten estas aproximaciones, los esfuerzos y la complejidad de utilizacin de decenas o centenares (en algunos casos, miles) es muy grande. Sin embargo, las ventajas en tiempo de cmputo hacen que, aun as, este tipo de soluciones para el cmputo de altas prestaciones (HPC, high performance computing) sean consideradas muy atractivas y en constante evolucin. Este proyecto busca plasmar la funcionalidad de un cluster para incrementar la velocidad en las tareas informticas mediante la implantacin de un sistema operativo de GNUlinux con la distribucin de Debian 6.0, con la finalidad de aumentar la produccin de una empresa con un un bajo costo, ya se trabaja con un software libre. Lo que se realizara durante el proyecto es la construccin de un cluster, es decir, una serie de ordenadores funcionando en paralelo. Un cluster nos sirve perfectamente en el caso de un problema de Hardware, nuestros clientes tendran igualmente servicio ya que uno de los nodos tomara el control como nodo maestro.
Nuestro objetivo es dar a conocer el trmino cluster desde un nivel bajo (hardware) hasta un nivel alto (software). Con ello pretendemos, que al finalizar este proyecto, un usuario con conocimientos medios a nivel hardware y software, sea capaz de crear, incluso, un cluster de computadores para uso personal. Al mismo tiempo, se pretende dar una solucin para empresas pequeas e incluso medianas empresas que precisan de una actualizacin de sus equipos informticos con un bajo coste econmico y unos rendimientos, que en muchos de los casos.
JUSTIFICACIN
Durante muchos aos las dependencias gubernamentales y no gubernamentales, vienen buscando alternativas que constituyan una solucin a los desafos de los diferentes mbitos laborales del trabajo y al mismo tiempo aprendizaje. Utilizando software libre, las reformas curriculares, metodologas de avanzada, un sin fin de opciones que lamentablemente an no logran cumplir con las expectativas que tenemos con relacin al desarrollo del potencial humano. Sin embargo, Linux nos da las alternativas adecuadas, que buscamos para nuestra mejora de las actividades diarias en el trabajo en conjunto, para hacer del trabajo algo significativo en la vida de nuestras labores profesionales y proporcionarles reales oportunidades de desarrollo. Este software de alguna manera, puede definir el nuevo rumbo para trabajar de una manera ms fcil dividiendo los procesos y as tener una mejora de nuestras actividades, el dicho proyecto impacta tanto en los social, econmico y tcnica. En lo social porque no hay necesidad de que estn trabajando varias personas, en la economa tiene el mayor impacto ya que el sistema operativo a utilizar el libre, que trae como consecuencia el ahorro de nuestros recursos financieros, y en cuestiones tcnicas La implementacin del clster nos permitir realizar la ejecucin de los procesos de una forma ms fcil y al mismo tiempo ms rpido. Los controles relacionados a la gestin de las tareas se realizaran desde un servidor, y as poder administrar todas las tareas. La funcionalidad del Sistema slo est dirigida a apoyar y optimizar los procesos. El funcionamiento ptimo de la aplicacin depender en gran parte de la plataforma en la que ser implantada, es decir de las caractersticas del servidor en el quesea instalado y de la capacidad del canal de comunicaciones de dicha plataforma. Adems el sistema estar sujeto a las polticas y directrices de administracin de lo recursos del departamento qu lo administre. El desarrollo del proyecto le permite aplicar una serie de conceptos adquiridos en reas como bases de datos, ingeniera de software, programacin de sistemas orientados a objetos, anlisis y diseo de sistemas orientados a objetos, seguridad informtica, redes, auditora de sistemas, entre otros. Adems permite obtener experiencia en la produccin de software, lo que en cierto modo simula los contextos reales del mercado laboral en los campos de accin en los que operan los ingenieros de sistemas.
La seleccin de esta distribucin para trabajar en este proyecto fue por los siguientes aspectos: Soporte a los usuarios. Instalacin sencilla Increble cantidad de software Gran compatibilidad en los paquetes de software. Es muy estable.
Nosotros hemos elegido el sistema operativo GNU/Linux Debian 6 squeeze, ya que se adapta cmodamente a nuestras necesidades, dicho sistema es muy estable, por lo tanto no presenta interrupciones en el sistema, cuenta con un repositorio muy amplio de paquetes lo cual lo hace mas fcil la instalacin de los mismos, por otro lado, la instalacin de este, es muy amigable, resulta fcil su instalacin para usuarios expertos como novatos en Linux. Este sistema se encuentra disponible para una gran variedad de arquitecturas de procesadores, entre las cuales va incluida con la que cuentan los procesadores de los equipos de computo a utilizar en esto proyecto, esta es una mas de las razones por la cual hemos elegido Debian 6. Tambin hemos elegido este sistema operativo debido a que no ocupa mucha memoria ram, por lo que puede funcionar con apenas si 64Mb, claro esta con algunas limitaciones, por ejemplo el no traer escritorio grafico. Con este sistema no necesitamos tener un equipo robusto y sofisticado, basta con tener un equipo en promedio normal, mas adelante en el etapa de desarrollo del proyecto, explicaremos a detalle las capacidades de hardware de nuestras computadoras a utilizar. Debian viene con ms de 29000 elementos de software diferentes. Cada bit de stos es libre. Si tiene software propietario que corre bajo GNU/Linux, puede usarlo (de hecho, puede que incluso exista un instalador en Debian que automticamente instale y configure todo por usted). Paquetes bien integrados Debian sobrepasa a todas las otras distribuciones en lo bien integrados que estn sus
Historia de Debian
Debian fue anunciado el 16 de agosto de 1993 por Ian Murdock, por entonces un estudiante de la Universidad de Purdue. Murdock al principio llam a este sistema "Debian Linux Release". Su idea era crear una distribucin abierta, respetando los valores de Linux y GNU. El nombre "Debian" proviene de la combinacin del primer nombre de su novia (ahora su esposa) Debra, con su propio primer nombre, Ian. El proyecto Debian creci poco al principio, y fueron lanzadas su primeras versiones, las 0.9x, en 1994 y 1995. La primera versin de Debian 1.x fue lanzada en 1996. En ese ao, Ian Murdock fue reemplazado por Bruce Perens como lder del proyecto. Ese mismo ao tambin, Ean Schuessler sugiri que Debian establezca un contrato social entre el proyecto y sus usuarios. Perens destil los resultados de las discusiones de las listas de e-mails sobre Debian, formando el Debian Social Contract (Contrato Social de Debian) y el Debian Free Software Guidelines (Normas del Software Libre Debian). De esta manera, defini los compromisos fundamentales para el desarrollo de esta distribucin. Tambin l fue el iniciador de la creacin de la organizacin Software in the Public Interest. Bruce Perens dej el proyecto en 1998, antes del lanzamiento del primer Debian basado en glibc, la versin 2.0. Se eligieron nuevos lderes y se hicieron dos lanzamientos ms de la 2.x, cada uno introdujo ms puertos y ms paquetes. Ahora el nuevo lder sera Ian Jackson, que se mantuvo desde enero de 1998 a diciembre de 1998, y fue sucedido por Wichert Akkerman (enero de 1999, marzo de 2001). APT (Advanced Packaging Tool) fue desplegado durante este tiempo. Tambin fue iniciado el primer puerto a un kernel no-Linux, el Debian GNU/Hurd. Ahora Ben Collins sera el lder del proyecto Debian desde abril de 2001 a abril de 2002, sucedido por Bdale Garbee quien estuvo al mando un ao tambin. Luego Martin Michlmayr de marzo de 2003 a marzo de 2005. Branden Robinson de abril de 2005 a abril de 2006, seguido de Anthony Towns lder desde abril de 2006 a abril de 2007. Actualmente el lder es Sam Hocevar.
Una amplia coleccin de software disponible. La versin 6.0 viene con ms de 30.000.2 paquetes aproximadamente. Un grupo de herramientas para facilitar el proceso de instalacin y actualizacin del software (APT, Aptitude, Dpkg, Synaptic, Dselect, etc.) Todas ellas obtienen informacin de donde descargar software desde /etc/apt/sources.list, que contiene los repositorios. Las caractersticas principales Debian 6.0 incluye los entornos de escritorio KDE, GNOME, Xfce y LXDE, as como todo tipo de aplicaciones de servidor. Se ejecuta sobre PCs de 32 bits / Intel IA-32 (i386), PCs de 64 bits / Intel EM64T / x86-64 (amd64), PowerPC de Motorola/IBM (powerpc), SPARC de Sun/Oracle (sparc), MIPS (mips (big-endian) y mipsel (little-endian)), Itanium de Intel (ia64), S/390 de IBM (s390), y ARM EABI (armel). Ncleo de Linux completamente libre. Sin embargo, todo el firmware privativo fue incluido en paquetes (non-free) en los repositorios, los cuales no estarn activados de manera predeterminada. Ejecucin en paralelo de los programas de arranque y el seguimiento correcto de sus interdependencias. Gracias a ello, Debian arranca mucho ms rpido. El proceso de instalacin de Debian GNU/Linux 6.0 ha sido mejorado de varias formas, incluyendo una seleccin ms fcil en la configuracin del idioma y teclado, as como en el particionado de volmenes lgicos, RAID y sistemas cifrados. Se ha agregado soporte para los sistemas de archivos ext4 y Btrfs, y (en la arquitectura kFreeBSD) para el sistema de archivos Zettabyte (ZFS). El instalador de Debian GNU/Linux ha sido traducido a 70 idiomas.
COMPATIBILIDAD DE CPU.
Prcticamente todos los procesadores basados en x86 (IA-32) utilizados en ordenadores personales son compatibles, incluyendo todas las variedades de la serie Pentium de Intel. Esto tambin incluye los procesadores AMD y VIA (anteriormente Cyrix). Tambin se pueden usar procesadores nuevos como Athlon XP e Intel P4 Xeon.
BUS DE E/S
El bus del sistema es la parte de la placa base que permite comunicar la CPU con los perifricos (tales como los dispositivos de almacenamiento). Su ordenador debe usar ISA, EISA, PCI, PCIe, PCI-X, o VESA Local Bus (VLB, a veces llamado el bus VL).
DISCO DURO
El arranque del sistema de instalacin desde el disco duro es otra opcin para muchas arquitecturas.
10
11
Los requisitos de memoria mnimos necesarios son en realidad inferiores a los indicados en esta tabla. En funcin de la arquitectura, es posible instalar Debian en sistemas con tan slo 20 MB (en el caso de s390) a 60 MB (para amd64). Lo mismo se puede decir del espacio necesario en disco, especialmente si escoge las aplicaciones que va a instalar manualmente, consulte Seccin D.2, Espacio en disco requerido para las tareas para obtener ms informacin de los requisitos de disco. Es posible ejecutar un entorno de escritorio grfico en sistemas antiguos o de gama baja. En este caso es recomendable instalar un gestor de ventanas que es consuma menos recursos que los utilizados en los entornos de escritorio de GNOME o KDE. Algunas alternativas para estos casos son xfce4, icewm y wmaker, aunque hay ms entre los que puede elegir. Es prcticamente imposible dar requisitos generales de memoria y espacio en disco para instalaciones de servidores ya que stos dependern en gran medida de aquello para lo que se utilice el servidor. Recuerde que estos tamaos no incluyen todos los otros materiales que se encuentran habitualmente, como puedan ser los ficheros de usuarios, el correo y otros datos. Siempre es mejor ser generoso cuando uno est pensando qu espacio destinar a sus propios ficheros y datos. Se ha tenido en cuenta el espacio de disco necesario para la operacin normal del sistema Debian GNU/Linux en s en estos requisitos de sistema recomendados. En particular, la particin /var de Debian contiene mucha informacin de estado especfica a Debian, adems de su contenido habitual, como puedan ser los ficheros de registro. Los ficheros de dpkg (que incluyen informacin sobre los paquetes instalados) pueden fcilmente consumir unos 40 MB. Adems, hay que tener en cuenta que apt-get ubica los paquetes descargados aqu antes de instalarlos. Por regla general deber asignar por lo menos 200 MB para /var, y mucho ms si va a instalar un entorno grfico de escritorio.
12
Desde la plataforma Windows, lanzamos el programa Lili USB Creator, la interfaz de este programa es muy sencilla. Primero debemos elegir la unidad que queremos preparar para bootear.
El segundo paso es elegir la fuente del sistema, Una imagen iso, Un CD o que se descargue de internet directamente.
En el tercer paso aqu tenemos 3 opciones Ocultar archivos creados(Este oculta los archivos del sistema para que no sean modificados) Formatear dispositivo en FAT32 Activar iniciar LinuxLive(Este nos instala el virtual box portable para iniciar sin reiniciar la pc)
13
El ltimo paso solamente daremos clic en el rayo, y tendremos nuestro S.O. en la USB.
14
CONFIGURAR LA RED
En este proyecto utilizamos la topologa estrella para la configuracin del Clster, todas las maquinas estn conectadas a un switch central.
Para configurar la red de nuestro proyecto, editamos el archivo interfaces que se encuentra en el directorio /etc/network/interfaces.
15
16
COMPARTIR DIRECTORIO
Para compartir el sistema de archivos lo haremos va NFS. El directorio a compartir ser ~/ del lado del maestro y los esclavos lo montaran en ~/. Es necesario que cada una de las maquinas que participaran en el cluster tengan una cuenta de usuario en comn. Esto se hace ya que para ejecutar mpirun, requiere que todos los nodos tengan un filesystem compartido.
17
Despus repetimos esto mismo con el otro nodo esclavo. Con esto ya tendremos configurado nuestros archivos compartidos mediante el servidor NFS.
18
debianclus-
En el nodo esclavo. La aadiremos al final del fichero ~/.ssh/authorized_keys en cada esclavo: [debiancluster@servercluster1~] cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys Ya estamos en condiciones de probar si el nodo maestro es capaz de ejecutar comandos sin necesidad de proveer la clave de cada nodo. Para hacer esta prueba, desde el maestro y como usuario debiancluster ejecutamos el siguiente comando: [debiancluster@debian~]$ ssh debiancluster@pc1 hostname Servercluster1
19
Probar LAM
Para comprobar si el clster LAM/MPI puede activarse: [debiancluster@debian~]$ recon v Para activar el clster (lamboot lanza el demonio lamd en cada mquina listada en /etc/lam/bhost.conf): [debiancluster@debian~]$ lamboot v Una vez activado el cluster, para comprobar el estado de los nodos: [debiancluster@debian~]$tping N Listo ya tenemos nuestro clster listo para correr programas en paralelo, MPI Ejemplo de ejecucin de un programa paralelo, que suma los nmeros primos. Teniendo el cdigo de nuestro programa, lo guardamos con el nombre primos.c++ y lo compilamos con el comando: [debiancluster@debian~]$mpic++ primos.c++ -o primos
20
21
22
Y listo reiniciamos los servicios del gmetad y gmond, y ya podremos hacer uso de ganglia, para monitorizar, administrar los recursos de nuestro clster.
23
FUENTE DE CONSULTA
http://www.debian.org/releases/stable/i386/ http://www.debian.org/releases/stable/installmanual
24
F. 2 Maquina 1
25
F. 3 Maquina 2
26
27
28
29
3.- En este paso seleccionaremos la Instalacin grfica, existe tambin modo experto para todos aquellos expertos en Linux especialmente, si est destinada a servidor lo recomendable instalar sin grficos, escogemos el idioma para la instalacin de nuestro sistema operativo en este casi escogeremos el lenguaje Espaol.
30
5.-Despues seleccionaremos la configuracin de nuestro teclado en nuestro caso seleccionaremos el espaol Latinoamericano.
31
7.-Asignaremos el nombre de nuestro dominio de red el cual asignaremos el nombre ithuejutla.com este nombre ser el mismo para todos los ordenadores de nuestra red. Hay que tomar en cuenta que el nombre ser proseguido por un .com, .net, .edu o .org.
32
9.- Asignaremos un nombre de usuario para la cuenta de superusuario para identificar un usuario normal a un superusuario.
33
34
13.-El particionamiento del disco, para proposito general todo el disco, en caso contenga otro sistema operativo en disco, escoger la particin libre, generalmente est dentro de la extendida.
35
15.- Seleccionamos la casilla Si ya que nos pregunta si deseamos escribir los cambios en el disco.
36
17.- Luego de aceptar algunas opciones vemos que automticamente nos propone instalar algunos servicios e interfaz grfica, aceptamos y continuamos.
37
18.- Comienza la instalacin de programas interfaz grfica y ms cosas que contenga el primer cd, luego nos preguntar si deseamos incluir a grub, aceptamos
38