Grid Computing Middlware

1
Middleware et services de la grille
Master physique informatique Nabil Talhaoui

2

La vision EGEE (Enabling Grids for E-sciencE)
Création d’une infrastructure Grid à travers l’Europe, qui implique
les réseaux de recherches scientifiques actuelle et futur
Offrir à la communauté des chercheurs européens un accès 24/24 et
7/7 aux ressources de calcul quelque soit la localisation
géographique
Mettre l’importance en utilisation de la technologie de Grid plus que
le développement de Grid
Supporter les différents champ des applications par une
infrastructure à grande échelle qui peut intégrer et consolider toutes
les ressources déployées davantage
Prévoir le support pour l’éducation et les utilisateur finaux
3

Projet EGEE

4

Projet EGEE

5

Infrastructure EGEE 2005
New map: http://goc02.grid-support.ac.uk/googlemaps/lcg.html

6

Collaboration LCG/EGEE

7

Architecture LCG & EGEE
LCG ( LHC Computing Grid), est un projet du CERN,
qui consiste à un middlware de grille.
EGEE est un projet de Grid pour le E-Science, financé par
l’union européen
LCG/EGEE est une collection des ressources distribués et
géographiquement dispersées
Les utilisateurs LCG/EGEE:
9 Sont organisés selon des concepts ou sujets spécifiques dans des
organisations virtuelles (Virtual Organization), VOs
9 Ils tournent des applications, avec l’ignorance:
−D’où le processus est lancé
−D’où les données d’entrée viennent
−D’où les données de sortie partent

8

Évolution du Middleware LCG & EGEE
2001 Condor Globus MyProxy ...
EDG ...
VDT
OSG, DataTAG
…
CrossGrid LCG ...
SRM
2004 GridCC NextGrid EGEE DEISA …
USA EU
Future grids Used in

9

2008/2009 2010/2011
LCG-1 LCG-2 gLite-1 gLite-2 gLite-3.0 gLite-3.1 gLite-3.2
Globus 2 based Web Services based
EDG
VDT LCG EGEE
... ...

10

gLite
LCG • Security
• Security – GSI and VOMS
– GSI • Job Management
• Job Management – Condor + Globus + blahp
– Condor + Globus – CE, WN
– CE, WN – Logging & Bookkeeping
– Logging & Bookkeeping
– Job Provenance
• Data Management – Package management
– LCG services
• Data Management
• Information & Monitoring – LFC
– BDII (evolution of MDS)
– gLite-I/O + FiReMan
• Grid Access
– CLI + API • Information & Monitoring
– BDII
• Operating system
– R-GMA + Service Discovery
– Red Hat 7.3 (Scientific Linux 3.x.x)
• Grid Access
– CLI + API + Web Services
• Easier installation / configuration
• Currently Scientific LINUX, will be
Master physique informatique Nabil Talhaoui available on others, incl. Windows
11

Middleware LCG & EGEE consiste en services suivants:
9 Workload Management System (WMS)
9 Data Management System (DMS)
9 Information System (IS) Æ BDII
9 Authorisation and Authentication System (Proxy &
VOMS)
9 Accounting System (RGMA)
9 Various monitoring services (MON …)
9 Various installation services (UI,WN,CE,SE, LB…)

12

Les principaux services de Middleware gLite pour la grille:
(UI) Le point d’entrée de l’utilisateur à la grille

User Interface (UI):
(WMS) Traite les pré-requis de l’utilisateur

Workload Management System (WMS):
sur les ressources disponibles dans la grille
System Caractéristiques et le statut des CE et SE

Information System:
(CE) Gère les queues de jobs qui s’exécutent sur les

Computing Element (CE):
ordinateurs du site (WN)
(SE) Offre à grand échelle de capacités de stockage

Storage Element (SE):
VO Membership System(VOMS) Manages les VOs – service basic pour

l’autorisation
13

Les composants d’un Site de la grille :
Computing Element (CE)
9 Passerelle vers les ressources de calcul locales (cluster de Worker
Nodes - WN)
Worker Nodes (WN)
9 Les machines qui exécutent les tâches ( jobs)
Storage Element (SE)
9 Passerelle vers les ressources de stockage locales (disques, système de
fichiers)
9 Gridftp server, Interface SRM, IO server
User Interfaces (UI)

9 Point d’accès des utilisateurs à la grille
9 Programmes clients utilisant quelques ou tous les services de la grille.
14

Les composants de gestion de la grille :
Sécurité
9 Virtual Organization Server (VOMS)
9 MyProxy server (Proxy)
Information System (IS/BDII)
Manipulateurs des tâches (jobs)
9 Workload Management System (WMS)
9 Logging & Bookkeping (LB)
Data management
9 File catalog (FiReMan)
9 File Transfer Service (FTS)
9 File Placement Service (FPS)

15

Ouputs copied to
CE Storage Resources
Connections to UI em SE
s t
sy
tch
UI ba Distribution to CPUs
UI e
th WN
t to WN
n
Se WN
WN
Resources Searching
WN
WN
RB/BDII
LFC
Catalogs getting track of the inputs
16

Services de la grille : CE – 1/2
Computing Element (Elément de calcul)
9 Est le service central du site.
Ces fonctionnalités de base sont :
9 Gère les tâches – jobs (soumission et control de jobs)
9 Apport au WMS les mises à jour des statuts de jobs
9 Publie les informations relatives au site (location du site , les queues,
statuts des CPUs, etc..) à travers ldap (service BDII du site )
Il peut exécuter différents Batch
9 Torque + MAUI
9 LSF
9 Condor

17

Services de la grille : CE – 2/2
Le Torque server est composé de :
9 Service pbs_server qui offre le service batch de base comme
receiving/creating a batch job.
Le Torque client est composé de :

9 Service pbs_mom qui met le job en exécution. Il est aussi responsable
de retourner les résultats de sortie pour l’utilisateur.
Le système MAUI est composé de :
9 Service job_scheduler qui contient la stratégie du site qui permet de
décider quel job doit être exécuté.

18

Services de la grille : IS (Information System) – 1/4
Collecte les informations des ressources de la grille
9 Découverte de nouvelles ressources ajoutées,
9 Monitoring (ou supervision) des statuts des ressources.
Publie les informations :

9 Périodiquement mis à jour,
9 Adapte un modèle de données bien connu pour tous les composants qui
veulent accéder aux informations supervisées.
Utilisé par :
9 Les utilisateurs qui cherchent les bonnes ressources,
9 WMS qui alloue et gère les jobs,
9 Autres services de monitoring.

19

Services de la grille : IS (Information System) – 2/4
2 architectures possibles avec gLite 3
9 LCG Information System (BDII - Berkley DB Information Index)
- Adapté par gLite comme fournisseur du système d’information
- BDII over Globus MDS (Monitoring and Discovery System).
- Interface OpenLDAP, basé sur LDAP
- Préserve la compatibilité LCG-2
9 Relational Grid Monitoring Architecture (R-GMA)
- Basé sur le standard GMA (Grid Monitoring Architecture) du Grid
Global Forum
- Les informations stockées dans des bases de données SQL
- Utilise les services web
- L’alternative futur de LCG IS, encore utilisé pour quelques
applications !!

20

Services de la grille : IS – les niveaux – 3/4
Resource level: Grid Resource Information Server (GRIS)
9 Un GRIS par service top CE, SE, RB, MyProxy (et non les WNs)
9 Les Sensors et les scripts offrent l’état statique des ressources concrètes (Ex.
GlueCEUniqueID) ou l’état dynamique (Ex. GlueCEStateWaitingJobs)
Site level: Grid Index Information Server (GIIS/sBDII)
9 Compile toutes les informations des différents GRIS du Site
9 LCG-2 recommande l’utilisation de BDII à la place de Globus GIIS
- Preuve la robustesse et la stabilité.
- Nommé site BDII (sBDII ou SB). )
Top level: Berkeley DB Information Index (BDII)
9 Garde toutes les informations de la grille à propos des VOs (c’est la vue des
ressources disponibles; qui peuvent être régionales, par simple VO, ou par grille).
9 Stokes les informations venant de sBDIIs locaux ou GIISs dans son BD.
9 Il demande uniquement les sites qui sont inclut dans le fichier de configuration.
21

Services de la grille : IS / BDII – 4/4
BDII-A BDII-B BDII-C
I
Site BDII Site BDII Site BDII
SE SE CE
Local Local Local
GRIS GRIS GRIS
SE
CE Local RB
GRIS SE
Local Local
Local
GRIS
Site 1 Site 2 GRIS
Site 3
GRIS

22

Services de la grille : WMS – 1/4
WMS (Workload Management System) :
9 Comprend un ensemble de composants et de services responsables sur
la distribution et la gestion des jobs à travers les ressources de la grille.
9 Il permet aux utilisateurs de :
- Lancer leurs jobs en exécution,
- Exécuter les jobs en meilleurs conditions (WMS optimise
l’utilisation des ressources),
- Avoir les infos à propos des statuts des jobs,
- Retrouver les résultats.

23

Resource Broker Node
(Workload Manager, WM) Replica
Catalog
UI
WMS Inform.
Job status System
Services
Logging &
Bookkeeping
Computing Element
Grid Interface
LRMS Storage
Element
24

Catalog
Network
UI Server
Workload
Manager
WMS Inform.
Job status System
Services
Match
Maker
Job
Adapter
Logging & Job Contr.

Bookkeeping -
CondorG
LCG Computing Element

Grid Interface
LRMS Storage
Element
25

Catalog
Network
UI Server
Network
Server
Workload
Manager
Task
WMS
Queue
Inform.
Job status System
Services
Match
Match
Maker
Maker
Job
Information
Adapter
Supermarket
Logging & JobJob

Contr.
Bookkeeping -
Submission
CondorG
LCG
gLite Computing Element
Grid Interface
LRMS Storage
Element
26

WMS Architecture
WM Job Adapter Dagman DATA
MANAGEMENT
WM
PROXY TASK MATCH
QUEUE MAKER Job Controller Condor LOGGING
&
BOOKEPING
User
Interface
JOB MONITORING
& SUBMISSION
NETWORK ACCESS
SERVICES POLICY
MANAGEMENT
INFORMATION INFORMATION
SUPERMARKET UPDATER INFORMATION
SYSTEM
Computing Element
27
Middleware et
Gestion des demandesservices
de Job
(soumission, annulation)
de la grille
exprimées a travers le Langage de
WMS Architecture
Description de Job (JDL)

MANAGEMENT
WM
PROXY TASK MATCH
&
BOOKEPING
User
Interface
JOB MONITORING
& SUBMISSION
NETWORK ACCESS
SERVICES POLICY
MANAGEMENT
SYSTEM
Computing Element
28

Trouve un CE approprié pour chaque
WMS Architecture requête de soumission de Job en prenant

en considération les préférences, le statu
de la grille, les stratégies d’utilisation des
WM Job Adapterressources, etc..
Dagman DATA
MANAGEMENT
WM
PROXY TASK MATCH
&
BOOKEPING
User
Interface
JOB MONITORING
& SUBMISSION
NETWORK ACCESS
SERVICES POLICY
MANAGEMENT
SYSTEM
Computing Element
29

WMS Architecture
MANAGEMENT
WM
PROXY TASK MATCH
&
BOOKEPING
User
Interface
JOB MONITORING
& SUBMISSION
NETWORK ACCESS
SERVICES POLICY
MANAGEMENT
Garde les requêtes
de soumission.INFORMATION INFORMATION
SUPERMARKET
Les requêtes sont UPDATER INFORMATION
SYSTEM
gardées jusque les
ressources
deviendront
disponibles
Computing Element
30

WMS Architecture
MANAGEMENT
WM
PROXY TASK MATCH
&
BOOKEPING
User
Interface
JOB MONITORING
& SUBMISSION
NETWORK ACCESS
SERVICES POLICY
MANAGEMENT
SYSTEM
Les informations sur les

ressources sont disponibles
pour le Matchmaker Computing Element
Mise à jour via notifications
et/ou activation desinformatique
Master physique élections Nabil Talhaoui
des ressources
31

WMS Architecture
MANAGEMENT
WM
PROXY TASK MATCH
&
BOOKEPING
User
Interface
JOB MONITORING
& SUBMISSION
NETWORK ACCESS
SERVICES POLICY
MANAGEMENT
ExéSUPERMARKET
cute le job lancer UPDATER INFORMATION
et assurer son SYSTEM
monitoring
Computing Element
32

Les composants de WMS
Network Server - NS (Service ancien)
9 Daemon générique qui accepte les requêtes de l’interface utilisateur (UI)
Workload Manager Proxy – WMProxy (Service nouveau)
9 Service qui offre l’accès aux fonctionnalités WMS à travers les services
web basés sur l’interface
- Chaque job soumis au service WMProxy a les pouvoirs délégué de
l’utilisateur qui le soumis.
- Ces pouvoirs peuvent etre utilisés pour améliorer les opérations qui
exigent une interaction entre d’autres services.
Workload Manager WM
9 C’est le coeur de WMS
9 Donne la requette valide au WM qui prends l’action nécéssaeire pour la
satisafaire,
9 Il a besoin de support d’autre composants.
33

Les composants de WMS
Resource Broker(MatchMaker) RB
9 Il offre le service
9 Il trouve les ressources qui répondent bien aux requêtes.
Information SuperMarket ISM
9 C’est un répertoire des informations sur les ressources,
9 Accessible en lecture seulement par le MatchMaker,
9 ISM updater est prudent lors de l’écriture dans l’ISM les vrais
ressources et il vérifie périodiquement l’état des enregistrements.

34
WMS Architecture
DATA
2 MANAGEMENT
WM 8 Job Adapter Dagman
1 WM 9 11
TASK 5
PROXY MATCH
1 2 10 10
QUEUE MAKER Job Controller Condor 11
1 2 LOGGING
User
Interface
JOB MONITORING &
4/5/7/8/9 BOOKEPING
& SUBMISSION
NETWORK 3 3
SERVICES
6 11
ACCESS
INFORMATION INFORMATION POLICY
SUPERMARKET UPDATER 6 MANAGEMENT
12/13
4 - WAIT I HAVE NO 12 - JOB IS RUNNING

7 - OK NOW I
RESOURCE for this Job HAVE
RESOURCES INFORMATION
SYSTEM
Computing Element 12
13 - DONE
•WN
35

Services de la grille : DMS
DMS (Data Management System) :
9 Dans EGEE, les données sont dupliquées :
- De façon temporaire
- Vers différents sites
- Où les données sont demandées.
9 L’utilisateur ou les applications n’ont pas besoin de savoir où les
données sont stockées, ils utilisent des fichiers logiques Ex : lfn:test.txt
9 Les services DM sont responsables de la location et l’accessibilité des
données.

36

DMS : service de duplication
Chaque fichier a un identifiant Les utilisateurs doivent
unique de grid : GUID.
attribuer des alias aux GUIDs.
Les locations qui correspondent
au GUID sont gardés dans le
Ils sont gardés dans le Replica
Replica Location Service (RLS). Metadata Catalog (RMC).
Replica Metadata
Les fichiers dupliqués sont Catalog
stockés dans n’importe quel
LFC
Replica Location
SE (Storage Element). Replica Manager Service
Le Replica Manager offre

automatiquement pour les fichiers
Storage Storage d’opérations, assure la consistance
Element Element
de SE et de contenu de catalogue.
37

Services de la grille : Architecture de SE (Storage Element)

Grid Computing Middlware

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Grid Computing Middlware

Hochgeladen von

Copyright:

Verfügbare Formate

1

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

New map: http://goc02.grid-support.ac.uk/googlemaps/lcg.html

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Future grids Used in

Middleware et services de la grille

LCG-1 LCG-2 gLite-1 gLite-2 gLite-3.0 gLite-3.1 gLite-3.2

Globus 2 based Web Services based

VDT LCG EGEE

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

(UI) Le point d’entrée de l’utilisateur à la grille

(WMS) Traite les pré-requis de l’utilisateur

System Caractéristiques et le statut des CE et SE

(CE) Gère les queues de jobs qui s’exécutent sur les

(SE) Offre à grand échelle de capacités de stockage

VO Membership System(VOMS) Manages les VOs – service basic pour

Middleware et services de la grille

 User Interfaces (UI)

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

 Le Torque client est composé de :

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

 Publie les informations :

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Middleware et services de la grille

BDII-A BDII-B BDII-C

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Master physique informatique Nabil Talhaoui

Middleware et services de la grille

Middleware et services de la grille

Logging & Job Contr.

LCG Computing Element

Middleware et services de la grille

Logging & JobJob

Middleware et services de la grille

WM Job Adapter Dagman DATA

Middleware et services de la grille

WMS Architecture requête de soumission de Job en prenant

Middleware et services de la grille

Middleware et services de la grille

User Interfaces (UI)

Le Torque client est composé de :

Publie les informations :