Tutorial MPI en debian linux

La instalación de un cluster para procesamiento paralelo supone la utilización

de recursos de cpu y memoria distribuido en hardware conectado en red. Para que
sean visibles los beneficios de usar esta arquitectura es necesario utilizar un cluster
con varios nodos, al menos 3. Si no es posible usar al menos tres PCs físicos se
pueden crear máquinas virtuales sobre un PC con procesador de varios núcleos.

Pueden utilizar virtualbox o QEmu para crear las máquinas virtuales,

asignando una cantidad de memoria y un núcleo exclusivo a cada máquina virtual si
no cuenta con al menos 3 PCs.

Para este tipo de cluster es recomendable utilizar hardware homogéneo, sin

interfaz gráfica. Es necesario mantener la misma versión de mpi en todos los nodos.

Software requerido

● openmpi
● openssh
● nfs
● herramientas de desarrollo.
● un editor de texto sin formato

Debian/Ubuntu mantienen 2 versiones de MPI en su repositorio:

1. openmpi-bin
2. mpich

Configuración de la red

Antes de instalar el software MPI, empezaremos por configurar varios aspectos

de la red.

Configuración de las direcciones IP

Configure las direcciones ip en cada nodo, configure direcciones fijas o reserve

las direcciones por medio de un servidor dhcp.

El archivo de configuración de las interfaces es ​/etc/network/interfaces

El archivo se ve como sigue para configuración dinámica:

# The loopback network interface

auto lo
iface lo inet loopback
# Configuración dinámica de eth0
allow-hotplug eth0
iface eth0 inet manual

El archivo se ve como sigue para configuración fija:

# dirección fija de eth1

auto eth1
iface eth1 inet static
address 192.168.0.100
netmask 255.255.255.0
gateway 192.168.0.1

Para más información consulte el manual con el comando:

man interfaces

El servicio dhcp puede ser implementado en el nodo master. No es requerido si

se configuran los nodos con direcciones fijas.

Configuración /etc/hosts

El archivo ​/etc/hosts es una tabla que mantiene una relación de direcciones ip

a nombre, la primera columna contiene las direcciones ip, la segunda el nombre
(hostname); otras columnas corresponde a los aliases y son opcionales. El
separador de campos es cualquier carácter o secuencia que represente espacios en
blanco. La utilidad de este archivo es permitirnos utilizar nombres en lugar de
direcciones ip al momento de direccionar la comunicación entre nodos. Más
información en la línea de comando con la orden:

man hosts

En el nodo master, liste todos los nodos esclavos con sus direcciones y
nombres. En los nodos esclavos introduzca al menos el nodo master.

Para mejor consistencia en los nombres cree un archivo hosts y copielo a

todos los nodos.
 A continuación se muestra como se ve el archivo ​/etc/hosts

# ip address hostname aliases

# ------------------------------------
127.0.0.1 localhost this
#
192.168.1.100 maestro master
192.168.1.100 esclavo_1 cliente_1 slave1
192.168.1.101 esclavo_2
192.168.1.108 esclavo_3
192.168.1.105 esclavo_4

Crear un usuario para el cluster

Aunque puede operar su clúster con su cuenta de usuario existente, lo

recomendable es crear una nueva para mantener nuestras configuraciones simples.

Cree un nuevo usuario ​mpiuser en todas las máquinas para mantener las
cosas simples.

Desde el usuario root ejecute la siguiente línea de comando para crear el

usuario:

adduser mpiuser

Introduzca la contraseña cuando sea solicitada y responda las demás

solicitudes.

Instalación y configuración SSH

Los nodos van a estar hablando en la red a través de SSH y compartir archivos
a través de NFS.

Se requiere la configuración del ​servidor ssh en los nodos esclavos y el ​cliente

ssh en el nodo master. Es posible instalar el servidor y el cliente de manera
independiente o instalar ambos y configurar cada cual según requerimiento.

Para instalar el servidor:

apt-get install openssh-server

Para instalar el cliente:

apt-get install openssh-client

Para instalar ambos:

apt-get install ssh

En el nodo master ingrese con el usuario mpiuser creado anteriormente.

su mpiuser

Ingrese la contraseña del usuario mpiuser cuando sea solicitada.

En la sesión de mpiuser genere una llave con la siguiente línea de comando:

ssh-keygen -t dsa

Esto generará un par de claves: pública y privada en los archivos

/home/mpiuser/.ssh/id_dsa.pub​ y ​/home/mpiuser/.ssh/id_dsa​ respectivamente.

Con la intención es evitar la solicitud de password cada vez que se quiera

comunicar con los otros nodos a través de ssh se copia la llave pública en los
esclavos del cluster (ssh server).

utilice el método que prefiera de los siguientes:

ssh-copy-id esclavo_1

scp /home/mpiuser/.ssh/id_dsa.pub mpiuser@esclavo_1:.ssh/authorized_keys

Para verificar la conexión, utilice la siguiente línea de comando:

ssh esclavo_1

Repetir para cada esclavo.

En caso de falla verificar:

/home/mpiuser/.ssh tenga permisos 700 (rwx------)

/home/mpiuser/.ssh/authorized_keys tenga permisos 600 (rw-------)

Utilice el comando chmod para modificar de ser necesario.

Instalación y configuración de NFS

En el nodo maestro se comparte un directorio con NFS para que los clientes
accedan a los datos.

Para instalar NFS ejecutamos desde el root:

apt-get install nfs-kernel-server

Ahora en la sesión de mpiuser, creamos un directorio para compartir:

mkdir data

Para compartirlo, editamos el archivo ​/etc/exports y agregamos la siguiente

línea:
/home/mpiuser/data *(rw,sync,no_root_squash,no_subtree_check)

a continuación ejecutar:

exportfs -a

Para mayor información verifique el manual en línea de comando.

man exports

En los nodos esclavos (cliente nfs) se instala el software necesario:

apt-get install nfs-common

Se crea el directorio de datos con el mismo nombre que el creado en el master

mkdir data

Se monta el directorio compartido en el directorio de datos para tener la misma

ruta a los archivos de aplicación.

sudo mount -t nfs maestro:/home/mpiuser/data ~/data

maestro debe estar listado en el archivo /etc/hosts del esclavo y ~ corresponde

al ​homedir ​del usuario actual (ver variable de entorno $HOME)

Para hacerlo permanente se monta el directorio modificando el archivo

/etc/fstab, agregando la línea:

maestro:/home/mpiuser/data /home/mpiuser/data nfs

fstab es una tabla donde se configura los sistemas de archivos a montar en el

inicio del sistema. mayor información en la línea de comandos:

man fstab

Instalación Open MPI

Seleccione una implementación e instale en cada nodo siguiendo el

procedimiento a continuación:

Instalación openmpi

Como usuario root instalar con el siguiente comando:

apt-get install openmpi-bin libopenmpi-dev

Acepte las sugerencias de apt.

 Instalación mpich

Como usuario root instalar con el siguiente comando:

apt-get install mpich

Acepte las sugerencias de apt.

En adelante asumiremos openmpi como nuestro cluster.

Configuración de openmpi

Para que Open MPI sepa qué máquinas deben ejecutar sus programas, puede
crear un archivo para almacenarlo en el nodo maestro. Utilizaremos el archivo
/home/mpiuser/.mpi_hosts​ y podría contener lo siguiente:

# The hostfile for Open MPI

# filename:~/.mpi_hosts
# The master node, 'slots=2' is used because it is a dual-processor machine.

localhost slots=2

# The following slave nodes are single processor machines:

esclavo_1
esclavo_2
esclavo_3

En la configuración el número de slots corresponde al número de núcleos o

procesadores, los nombres ​esclavo_#​ corresponde a los nombres en /etc/hosts

Compilación de programas con openmpi

OpenMPI se puede utilizar con una variedad de lenguajes, dos de los más
populares son FORTRAN y 'C'. Si sus programas están escritos en 'C', entonces
puede usar mpicc en lugar de su compilador 'C' normal o puede pasar los
argumentos adicionales directamente a su compilador 'C'. Con mpicc los
argumentos que pasa son pasados a su compilador 'C' normal.

Si desea utilizar mpicc para compilar un archivo fuente 'C' llamado testmpi.c:

mpicc -o testmpi testmpi.c

Si desea ver qué se pasará a su compilador 'C' al compilar y vincular:

mpicc -showme -o testmpi testmpi.c

 Ejecutar los programas MPI

Puede iniciar un programa en una sola máquina y ejecutarlo en varios

procesadores/núcleos. Esto es útil si tiene una máquina potente o está
depurando/probando un programa. Como alternativa, puede ejecutar el programa a
través del clúster y solicitar tantos procesos como desee ejecutar sobre él.

Para ejecutar ​miprograma​ en dos procesos en la máquina local:

$ mpirun -np 2 ./miprograma

Para ejecutar miprograma sobre cinco procesos en el clúster utilizando el

.mpi_hostfile creado anteriormente (Tenga en cuenta que miprograma debe estar en
la misma ruta en cada máquina):

mpirun -np 2 --hostfile .mpi_hosts ./miprograma

Código ejemplo
#include
#include
#include

int main(int argc, char *argv[])

{
const int MASTER = 0;
const int TAG_GENERAL = 1;

int numTasks;
int rank;
int source;
int dest;
int rc;
int count;
int dataWaitingFlag;

char inMsg;
char outMsg;

MPI_Status Stat;

// Initialize the MPI stack and pass 'argc' and 'argv' to each slave node
MPI_Init(&argc,&argv);

// Gets number of tasks/processes that this program is running on

MPI_Comm_size(MPI_COMM_WORLD, &numTasks);

// Gets the rank (process/task number) that this program is running on

MPI_Comm_rank(MPI_COMM_WORLD, &rank);

// If the master node

if (rank == MASTER) {

// Send out messages to all the sub-processes

for (dest = 1; dest < numTasks; dest++) {
 outMsg = rand() % 256; // Generate random message to send to slave
nodes

// Send a message to the destination

rc = MPI_Send(&outMsg, 1, MPI_CHAR, dest, TAG_GENERAL, MPI_COMM_WORLD);
printf("Task %d: Sent message %d to task %d with tag %d\n",
rank, outMsg, dest, TAG_GENERAL);
}

// Else a slave node

else {
// Wait until a message is there to be received
do {
MPI_Iprobe(MASTER, 1, MPI_COMM_WORLD, &dataWaitingFlag,
MPI_STATUS_IGNORE);
printf("Waiting\n");
} while (!dataWaitingFlag);

// Get the message and put it in 'inMsg'

rc = MPI_Recv(&inMsg, 1, MPI_CHAR, MASTER, TAG_GENERAL, MPI_COMM_WORLD,
&Stat);

// Get how big the message is and put it in 'count'

rc = MPI_Get_count(&Stat, MPI_CHAR, &count);
printf("Task %d: Received %d char(s) (%d) from task %d with tag %d \n",
rank, count, inMsg, Stat.MPI_SOURCE, Stat.MPI_TAG);
}

MPI_Finalize();
}

Programación de aplicaciones MPI

... en construcción

Referencias

http://mpitutorial.com

https://www.open-mpi.org

Programación distribuida y paralela