Sie sind auf Seite 1von 286

18/03/2016

Formation
Proxmox VE 4.x

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

1
18/03/2016

Plan
• Présentation du formateur

• Le plan de la formation

• A propos de la formation

• Objectifs de la formation

• Liens utiles

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

2
18/03/2016

Présentation du formateur
• Ludovic QUENEC’HDU
• lquenec@alphorm.com

• Consultant et expert en Open source, logiciel libre et virtualisation

• Mission de conseil, d’architecture, d’administration, de migration et de


formation
• Mes références :
Mon profil LinkedIn : https://fr.linkedin.com/pub/ludovic-quenec-hdu/47/6bb/550
Mon profil Alphorm : http://www.alphorm.com/formateur/ludovic-quenechdu

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

3
18/03/2016

Mes formations sur Alphorm

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

4
18/03/2016

Cette formation est la mise à jour de la formation 3.x

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

5
18/03/2016

Le plan de formation
• Vue d'ensemble de Proxmox VE • Le modèle réseau
• Présentation de ProxmoxVE 4.1 • Introduction au réseau Proxmox
• Installation de ProxmoxVE • Comprendre les pont réseau – Bridge
• Découverte de l'interface d'administration • Comprendre l'agrégation de lien
• Le modèle de stockage
• Les technos de virtualisation • introduction au stockage avec Proxmox
• les machines virtuelles • Le LVM Logical Volume Manager
• Les containers • Le ZFS
• Kernelbased Virtual machine – KVM • Le NAS – NFS
• LXC - Linux containers • Le SAN – ISCSI
• Les FS distribues - Glusterfs
• Les machines virtuelles sous Proxmox • Les FS distribues – ceph
• Ma premiere machine virtuelle
• Les templates lxc • Cluster Proxmox
• Déploiement du container LXC • Un peu de théorie
• Installation d'un cluster et ajout et suppression de
• Gérer les machines virtuelles nœuds
• Booster la VM • Migration des machines virtuelles
• Démarrer, arrêter, suspendre les Vms
• Les snapshots • Haute disponibilité
• Clonage et modèles • Mise en place de la HA

• Gestion des utilisateurs


• Privilèges, rôles et permissions

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

6
18/03/2016

A propos de la formation
• Public concerné :
Techniciens Systèmes & Réseaux
Administrateurs Systèmes
Ingénieurs Systèmes
Architectes Systèmes ou Infrastructure
Directeurs Systèmes d’Information

• Prérequis pour bien comprendre :


Disposer de connaissances linux est un plus
Connaissances de base des OS
Connaissances de base des réseaux, Stockage...

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

7
18/03/2016

Objectifs de la formation
• Déployer et configurer un serveur Proxmox

• Créer, administrer et déplacer les machines virtuelles

• Comprendre, configurer et gérer les aspects réseau et stockage partagés

• Créer un cluster Proxmox

• Optimiser la disponibilité de l’infrastructure avec la HA

• Gérer les accès utilisateurs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

8
18/03/2016

Les liens utiles


• Documentations :
Wiki complet : http://pve.proxmox.com/wiki/

• Forums :
Forum officiel Proxmox : http://forum.proxmox.com/

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

9
18/03/2016

Are you ready ? ☺

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

10
18/03/2016

Vue d'ensemble de Proxmox VE

Présentation
de Proxmox VE 4.1

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

11
18/03/2016

Plan
• C’est quoi ProxmoxVirtualEnvironment 4.x ?

• Les technologies utilisées par ProxmoxVE

• Les services proxmoxVE 4.x

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

12
18/03/2016

C’est quoi ProxmoxVirtualEnvironment 4.x ?


• ProxmoxVE 4 :
N’est pas une solution de Cloud, n‘est pas un hyperviseur
C’est une plateforme d’orchestration de machines et conteneurs
virtuels
Basé sur une Debian 8 GNU/linux
Gestion des clusters
Gestion des machines virtuellles et conteneurs Lxc

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

13
18/03/2016

C’est quoi ProxmoxVirtualEnvironment 4.x ?


ProxmoxVE

LXC KVM

GUI
Cluster
HA

LVM/ZFS/ISCSI/GLusterfs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

14
18/03/2016

Les technologies utilisées par ProxmoxVE


• KVM :
L’hyperviseur du noyau Linux. C’est une solution de Full virtualisation assistée par le
matériel

• LXC :
C’est une interface en espace utilisateur qui permet de manipuler des containers Linux
et gérer des environnements aussi isolés que possible à partir des noyaux linux
standard

• SPICE :
Simple Protocol for Independent Computing Environments
C’est un protocole d’affichage et d’interaction à distance dédié aux machines virtuelles;
principalement pour la virtualisation des bureaux à distance. On peut le comparer à
RDP ou ICA.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

15
18/03/2016

Les technologies utilisées par ProxmoxVE


• KSM :
Kernel Samepage Merging ou Kernel Shared Memory
Il permet à plusieurs VMs de même type de partager les pages mémoires. Ce qui
permet une réduction de la consommation mémoire.

• Balloning :
Il pilote virtio qui permet aux OS invités (kvm ) de modifier dynamiquement sa
mémoire inutilisée pour l’attribuer à une autre machine virtuelle
• Pilote Virtio :

Il permet d’améliorer la virtualisation avec des pilotes de paravirtualisation des


périphériques blocs, réseaux, graphiques, scsi, mémoire…

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

16
18/03/2016

Les technologies utilisées par ProxmoxVE


• Le LVM :
C’est le gestionnaire de Volume logique du noyau Linux. Il permet de redimensionner,
des groupes de volumes, des volumes logiques et créer des snapshots. Toutes ces
fonctions sont réalisées à « chaud ».

• DRBD :
Distributed Replicated Block Device ou périphérique en mode bloc répliqué et distribué
C’est une architecture de stockage distribuée pour GNU/Linux, permettant la
réplication de périphériques bloc (disques, partitions, volumes logiques etc…) entre des
serveurs

• CEPH :
C’est une plateforme libre de stockage distribué. Les objectifs principaux de Ceph sont
d'être complètement distribué sans point unique de défaillance, extensible jusqu'à
l'exabyte et librement disponible. Les données sont répliquées permettant au système
d'être tolérant aux pannes.
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

17
18/03/2016

Les technologies utilisées par ProxmoxVE


• GLusterFS :
C’est un système de fichiers libre distribué en parallèle, qui permet de stocker jusqu'à
plusieurs pétaoctets (1015 octets). C'est un système de fichiers en cluster. Livré en deux
parties - un serveur et un client.

• iSCSI :
C’est un protocole SAN qui permet d’accéder aux volumes de stockage en mode bloc

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

18
18/03/2016

Les technologies utilisées par ProxmoxVE


• Bonding :
Agrégation de cartes réseaux, également appelé NIC teamings
Il permet d'obtenir soit de la haute performance ou de la redondance ou même les deux en même
temps.
En mettant en place l'agrégation de liens. Les cartes réseaux apparaissent alors comme une seule
interface. Il s'agit d'une fonctionnalité native du noyau Linux qui est supportée par la plupart des
commutateurs.
Le Channel Bonding améliore grandement les délais de migration et améliore la vitesse de
réplication de données entre les nœuds du cluster

• Openvswitch :
C’est un commutateur virtuel distribué qui permet de connecter les VMs et conteneurs, d’offrir des
services de qualité de service, de redondance, d’isolation de trafic, des métriques de performance…

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

19
18/03/2016

Les services proxmoxVE 4.x


• Un nœud d’un cluster Proxmox VE exécute un certain nombre de services.

• Nous allons voir une petite description de ces services (deamons en langue
Linux) :
pve-cluster : Ce service est le cœur de toute installation Proxmox VE . Il fournit un système de
fichiers Proxmox_Cluster_file_system_ (pmxcfs), pour stocker les fichiers de configuration, répliqué
en temps réel sur tous les nœuds en utilisant corosync. Les fichiers de configuration sont stockés
dans le répertoire /etc/pve

Pvedaemon : pvedaemon est le serveur de l'API REST


http://fr.wikipedia.org/wiki/Representational_State_Transfer.
Tous les appels d'API qui nécessitent les privilèges
root sont effectuées en utilisant ce serveur. Le serveur s'exécute en tant que root, mais seulement à
l'écoute sur un port adresse locale 127.0.0.1:85 pour des raisons de sécurité. Il sert généralement
les demandes de pveproxy, qui écoute lui sur les ports publics, et exécuté en tant qu'utilisateur non
root.

Pveproxy : Comme son nom l’indique; ce service est un proxy qui transfère les appels des
nœuds dans le cluster. Cela permet d’effectuer des requêtes sécurisées avec un utilisateur non root.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

20
18/03/2016

Les services proxmoxVE 4.x


corosync : est un gestionnaire de cluster qui gère un groupe de services. Un
gestionnaire de connexions qui s'occupe de la gestion de l'appartenance des
nœuds à un Cluster : des messages entre les nœuds du cluster, de la
notification d'événements, du quorum et les changement d'état dans le
cluster.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

21
18/03/2016

Ce qu’on a couvert
• C’est quoi ProxmoxVirtualEnvironment 4.x ?

• Les technologies utilisées par ProxmoxVE

• Les services proxmoxVE 4.x

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

22
18/03/2016

Vue d'ensemble de Proxmox VE

Installation
de ProxmoxVE

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

23
18/03/2016

Plan
• Installation de ProxmoxVE 4.1

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

24
18/03/2016

Installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

25
18/03/2016

Installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

26
18/03/2016

Installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

27
18/03/2016

Installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

28
18/03/2016

Installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

29
18/03/2016

Ce qu’on a couvert
• Installation de ProxmoxVE 4.1

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

30
18/03/2016

Vue d'ensemble de Proxmox VE


Découverte de l'interface
d'administration

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

31
18/03/2016

Plan
• Faisons un petit tour

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

32
18/03/2016

Faisons un petit tour

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

33
18/03/2016

Ce qu’on a couvert
• Faisons un petit tour

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

34
18/03/2016

Les technos de virtualisation


Les machines virtuelles

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

35
18/03/2016

Plan
• C’est quoi une machine virtuelle ?

• Les technologies de virtualisation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

36
18/03/2016

C’est quoi une machine virtuelle ?


• La représentation “logicielle” d’une machine physique

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

37
18/03/2016

C’est quoi une machine virtuelle ?

• Une machine virtuelle c’est :

Une représentation logicielle


d’une machine physique
Émulation du CPU, mémoire, nic,
contrôleur de disque, disque,
etc..
Un OS installé dans la VM –
Guest OS ou OS invité

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

38
18/03/2016

La full virtualisation – Émulation complète

• Translation Binaire :
Ne requiert aucune modification
au niveau du système
d'exploitation
N'a pas "conscience" de la
virtualisation
Demande une charge importante
au CPU

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

39
18/03/2016

La Paravirtulisation

• Pilotes spécifiques :
Le système d'exploitation requiert
une modification au niveau du noyau
Communication entre l’hyperviseur
et le guest au travers de « backend »
PCI passthrough – DirectPass I/O
Très bonnes performances

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

40
18/03/2016

La virtualisation matérielle – HVM

• Accès direct au CPU de l’hôte


Modification matérielle sur les CPU
Technologies :
• Intel-VT-x (VT-d, VT-c)
• AMD SVM
Le noyau de l’hôte est modifié pour
ajouter les fonctions de virtualisation
matérielles

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

41
18/03/2016

Ce qu’on a couvert
• C’est quoi une machine virtuelle ?

• Les technologies de virtualisation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

42
18/03/2016

Les technos de virtualisation

Les containers

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

43
18/03/2016

Plan
• Le modèle : isolation, containers

• Les produits : “Isolateur”, containers

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

44
18/03/2016

Le modèle : isolation, containers


• Un conteneur c’est :
Le partage d’un noyau
Les conteneurs utilisent le noyau
de l’hôte
Isolés avec les espaces de noms
• Réseau
• File system
• Les processus
Les ressources sont limitées

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

45
18/03/2016

Les produits : “Isolateur”, containers


• En isolation :
Chroot
BSD Jails
Les zones de Solaris

• En containers :
LXC
OpenVZ
Linux-Vserver
Dockers

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

46
18/03/2016

Plan
• Le modèle : isolation, containers

• Les produits : “Isolateur”, containers

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

47
18/03/2016

Les technos de virtualisation


KVM
Kernelbased Virtual machine

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

48
18/03/2016

Plan
• Historique

• Fonctionnalitées

• Architecture

• Outils

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

49
18/03/2016

Historique
• KVM est une solution de Full virtualisation assistée par le matériel

• Avi Kivity a commencé le développement de KVM en 2006 comme module


noyau au travers d’une startup nommée Qumranet
• KVM est intégré au noyau Linux 2.6 à partir de Février 2007.

• Red Hat rachète Qumranet en 2008

• KVM a été choisi par OpenVirtualization Alliance comme hyperviseur.

• OpenVirtualization Alliance fait partie du projet Linux Foundation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

50
18/03/2016

Historique
KVM est la base de beaucoup de solution de virtualisation

oVirt/Redhat Virtualization

Openstack

OpenNebula

Proxmox Ve

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

51
18/03/2016

Fonctionnalitées
• Virtualisation matérielle

• Paravirtualisation :

Réseau
Bloc
PCI Passthrough
Balloning memory
• OS invité Linux, FreeBSD, MS Windows, Mac OSX, nested hypervisor

• Live Migration

• Kernel Samepage Merging, Huges Pages, CPU pinning

• S’interface avec Libvirt

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

52
18/03/2016

Architecture
KVM module noyau !!

Crée un périphérique /dev/kvm

QEMU-KVM s’occupe de l’émulation


des périphériques (usb, réseau,
disques, cpu ... )

Les outils permettant de créer et


utiliser des machines virtuelles KVM
interagissent avec ce périphérique

Une architecture virtualisée kvm,


repose sur le /dev/kvm et sur qemu
pour l’émulation et des outils

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

53
18/03/2016

Outils
• L’utilisateur ne va pas directement discuter avec les ioctl et le
périphérique KVM /dev/kvm :
qemu-system-{x86_64,i386, arm, ...}, qemu-img
Libvirt : virsh, virt-install, virt-clone, virt-manager (GUI)
Ovirt, proxmox, Openstack

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

54
18/03/2016

Pour aller plus loin


• Formation : KVM sur Alphorm
http://www.alphorm.com/tutoriel/formation-en-ligne-kvm

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

55
18/03/2016

Ce qu’on a couvert
• Historique

• Fonctionnalitées

• Architecture

• Outils

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

56
18/03/2016

Les technos de virtualisation


LXC - Linux containers

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

57
18/03/2016

Plan
• Qu’est-ce que LXC?

• Architecture des Linux Containers

• Les espaces de noms ou Namespaces

• Introduction aux groupes de contrôle

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

58
18/03/2016

Qu’est-ce que LXC?


• LXC est une interface en espace utilisateur (userspace)

• C’est une API et des outils en licence GNU LGPLv2.1

• Manipuler des conteneurs

• LXC peut être vu comme une solution entre le chroot et une machine
virtuelle.
• L’idée est de créer et gérer des environnements aussi isolés que
possible à partir des noyaux linux standard et ce sans modification

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

59
18/03/2016

Architecture des Linux Containers


• LXC pour gérer et créer des conteneurs, utilise des fonctionnalités du
noyau Linux :
Espace de noms - namespaces (ipc, uts, mount, pid, network and
user)
La sécurité MAC Apparmor et SELinux
Les capabilities
Les groupes de contrôle - CGroups (control groups)

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

60
18/03/2016

Architecture des Linux Containers

• Outils LXC en User space

• Partage le noyau de l’hôte

• Utilise les fonctionnalités du noyau


pour l’isolation et la gestion des
processus conteneurs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

61
18/03/2016

Les espace de noms ou Namespace


• Les namespaces sont une fonctionnalité du noyau Linux :
Process Namespace
• Isole les processus, le conteneur dispose de sa liste de processus
Network Namespace
• Isole les interfaces réseau, le conteneur dispose de ses propres interfaces
Mount Namespace
• Isole les systèmes de fichiers
UTS Namespace
• Permet au conteneur de disposer de ses noms d’hôtes et de domaines
IPC Namespace
• Ses propres processus Inter Communications
User Namespace
• Permet aux conteneurs de disposer de ses utilisateurs, root dans le conteneur possede l’id et le gid 0
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

62
18/03/2016

Introduction aux groupes de contrôle


Étudiant prof Système

HTTP
Mémoire Disque Réseau

NFS
20% 50% 30% 20% 50% 30% 20% 50%

20% 50%
CPU Shares

640 1024 512

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

63
18/03/2016

Introduction aux groupes de contrôle


• Les cgroups sont organisés en sous-systèmes ou modules

• Un sous-système est un contrôleur de ressources


• Blkio : Surveille et contrôle l'accès des tâches aux entrées/sorties sur des
périphériques bloc
• Cpu : Planifie l'accès de la CPU
- Cpuacct : Rapports sur les CPU utilisées

- cpu.shares : Part relative du temps CPU disponible pour les tâches

• Cpuset : Affecte des CPU à des tâches


• Devices : Autorise ou refuse l'accès aux périphériques
• Freezer : Suspend ou réactive les tâches
• memory : Utilisation mémoire
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

64
18/03/2016

Pour aller plus loin


• Formation : LXC sur Alphorm
http://www.alphorm.com/tutoriel/formation-en-ligne-lxc

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

65
18/03/2016

Ce qu’on a couvert
• Qu’est-ce que LXC?

• Architecture des Linux Containers

• Les espaces de noms ou Namespaces

• Introduction aux groupes de contrôle

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

66
18/03/2016

Les machines virtuelles


Ma première
machine virtuelle

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

67
18/03/2016

Plan
• Création d'une machine virtuelle

• Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

68
18/03/2016

Créer une machine virtuelle avec Proxmox


• C’est très simple,

• Il faut au préalable disposer d’un fichier ISO de l’os invité

• Étapes :
Cliquez sur « Créer VM » en haut à droite suivre les étapes. Cela ressemble à la création
d'une VM VMware avec l’ESXi
Donner un nom, un ID, sélectionner le type d‘OS
Sélectionner l'iso pour l'installation ou le lecteur DVD
Le type de contrôleur de disque, le format de fichier, la CPU, la mémoire et le mode de
réseau (bridge).

• Démonstration vidéo

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

69
18/03/2016

Création d'une machine virtuelle

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

70
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

71
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

72
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

73
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

74
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

75
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

76
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

77
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

78
18/03/2016

Ce qu’on a couvert
• Création d'une machine virtuelle

• Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

79
18/03/2016

Les machines virtuelles


Les templates LXC

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

80
18/03/2016

Plan
• Les modèles LXC

• Uploader des templates

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

81
18/03/2016

Les modèles LXC


• Proxmox fournit des modèles de système à installer

• Les modèles sont des scripts appelés lors de la création du système


virtuel pour générer le fichier de configuration et peupler l'arborescence
racine
• Une fois un modèle téléchargé. Les scripts sont placés
dans /var/lib/vz/templates/cache
• Ces scripts vont permettre de déployer très rapidement des containers

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

82
18/03/2016

Uploader des templates

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

83
18/03/2016

Uploader des templates

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

84
18/03/2016

Uploader des templates

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

85
18/03/2016

Ce qu’on a couvert
• Les modèles LXC

• Uploader des templates

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

86
18/03/2016

Les machines virtuelles


Déploiement
du container LXC

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

87
18/03/2016

Plan
• Déploiement de conteneurs LXC

• Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

88
18/03/2016

Déploiement de conteneurs LXC


• C’est très simple,

• Il faut au préalable disposer d’un modèle de conteneur

• Étapes :
Cliquez sur « Créer CT » en haut à droite suivre les étapes. Cela ressemble à la création
d'une VM VMware avec l’ESXi
Donner un nom, un ID, un mot de passe, sélectionner le template…
Le cpu, la mémoire et le mode de réseau (bridge).

• Démonstration vidéo

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

89
18/03/2016

Déploiement de conteneurs LXC

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

90
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

91
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

92
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

93
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

94
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

95
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

96
18/03/2016

Gérer les machines virtuelles

Booster la VM

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

97
18/03/2016

Plan
• Les pilotes virtio kesako ?

• Charger les pilotes virtio à l’installation

• Installer les pilotes virtio balloon, net, …

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

98
18/03/2016

Les pilotes virtio kesako ?


• A l’instar des XenTools, et des VMware Tools,

• Les pilotes Virtio virtual Input-output propose une API pour les machines virtuelles afin de
gérer des pilotes para virtualisés
• Virtio est une couche d’abstraction qui a pour but de donner au système invité l’accès à un
panel défini de périphériques para-virtualisés disponibles sur l’hyperviseur au travers d’une
interface commune.
• Avec cet API, des appareils réseau, bloc et ballon peuvent être pris en charge par KVM

• Développé par Rusty Russel pour l’hyperviseur lguest très proche de kvm. Red hat a repris le
projet
• Virtio est aujourd’hui LA solution de para-virtualisation par défaut pour
les systèmes virtualisés par KVM
• Il existe un portage pour les systèmes Microsoft

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

99
18/03/2016

Les pilotes virtio kesako ?


• Un point intéressant avec KVM et d’autres implémentations de Virtio

• Les drivers se trouvant dans le système invité communiquent avec un backend


qui se trouve en espace utilisateur.
• Les entrés/sorties sont réalisées à partir de cet espace (utilisateur) ce qui rend de
grands services en termes de sécurité et d’isolation.
• Virtio comporte donc deux parties principales.
Le driver "front-end" installé dans le système invité
Le "back-end" installé dans l’hyperviseur.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

100
18/03/2016

Virtio kesako ?

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

101
18/03/2016

Charger les pilotes Virtio a l’installation


• Récupérer les pilotes sous format iso

• Monter un lecteur cdrom sur le guest

• Lancer l’installation de MS Windows, sélectionner les pilotes de disque

• Démonstration

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

102
18/03/2016

Charger les pilotes Virtio a l’installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

103
18/03/2016

Charger les pilotes Virtio a l’installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

104
18/03/2016

Charger les pilotes Virtio a l’installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

105
18/03/2016

Charger les pilotes Virtio a l’installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

106
18/03/2016

Charger les pilotes Virtio a l’installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

107
18/03/2016

Charger les pilotes Virtio a l’installation

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

108
18/03/2016

Installer les pilotes virtio balloon, net, …


• Démonstration

• Via le gestionnaire de périphériques

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

109
18/03/2016

Ce qu’on a couvert
• Les pilotes virtio kesako ?

• Charger les pilotes virtio à l’installation

• Installer les pilotes virtio balloon, net, …

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

110
18/03/2016

Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

111
18/03/2016

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

112
18/03/2016

Ce qu’on a couvert
• Déploiement de conteneurs LXC

• Les différentes options proposés.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

113
18/03/2016

Gérer les machines virtuelles


Démarrer, arrêter,
suspendre les VMs

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

114
18/03/2016

Plan
• Actions sur les VMs

• Actions sur les conteneurs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

115
18/03/2016

Actions sur les VMs


Sur les machines virtuelles :

• Démarrer
• Arrêter (faire un shutdown
dans le guest)
• Stopper (arrêter sans
shutdown)
• Suspendre et reprendre
(pause, unpause)

• Cloner et convertir en modèle


Formation Proxmox Virtual Environment 4.1 alphorm.com™©

116
18/03/2016

Action sur les conteneurs


Sur les conteneurs

• Démarrer
• Arrêter (faire un shutdown
dans le guest)
• Stopper (arrêter sans
shutdown)
• Suspendre et reprendre
(pause, unpause)

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

117
18/03/2016

Ce qu’on a couvert
• Actions sur les VMs

• Actions sur les conteneurs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

118
18/03/2016

Gérer les machines virtuelles


Les snapshots

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

119
18/03/2016

Plan
• Introduction aux snapshots

• Snapshoter des Vms

• Restaurer des snapshots

• Supprimer des snapshots

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

120
18/03/2016

Qu’est qu’ un cliché ou snapshot


• Un snapshot (point de contrôle) ou cliché, est une copie de l'état de la
machine virtuelle à un instant T
• Ce snapshot pouvant être restauré à tout moment.

• A chaque snapshot réalisé, votre fichier principal du disque est figé et


un nouveau fichier est créé à chaque création de snapshot.
• Toutes les nouvelles modifications sont donc stockées sur ce fichier
secondaire.
• Il est important de comprendre que les points de contrôle ne sont pas
des sauvegardes, mais des points de restauration.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

121
18/03/2016

Qu’est qu’ un cliché ou snapshot

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

122
18/03/2016

Qu’est qu’ un cliché ou snapshot

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

123
18/03/2016

Qu’est qu’ un cliché ou snapshot

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

124
18/03/2016

Restaurer des snapshots

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

125
18/03/2016

Supprimer des snapshots

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

126
18/03/2016

Ce qu’on a couvert
• Introduction aux snapshots

• Snapshoter des Vms

• Restaurer des snapshots

• Supprimer des snapshots

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

127
18/03/2016

Gérer les machines virtuelles


Clonage et modèles

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

128
18/03/2016

Plan
• Introduction aux clones et modèles

• Clonage des VMs

• Convertir en modèle

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

129
18/03/2016

Introduction aux Clones et modèles


• Un clone est une copie d’une machine virtuelle

• Il existe deux types de clones : complets et liés


Les clones complets peuvent être migrés sur d’autres nœuds et sur
un autre volume de stockage
Un clone lié est dépendant de son parent, ce dernier ne peut être
migrer

• Un modèle permet de créer des clones complets et liés

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

130
18/03/2016

Clonage des VMs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

131
18/03/2016

Clonage des VMs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

132
18/03/2016

Convertir en modèle

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

133
18/03/2016

Clonage des VMs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

134
18/03/2016

Clone lié à partir de modèle

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

135
18/03/2016

Clone lié à partir de modèle

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

136
18/03/2016

Ce qu’on a couvert
• Introduction aux clones et modèles

• Clonage des VMs

• Convertir en modèle

• Clone lié à partir de modèle

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

137
18/03/2016

Le modèle réseau
Introduction au réseau
Proxmox

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

138
18/03/2016

Plan
• Introduction aux réseaux “virtualisés”

• Les commutateurs virtuels

• Les modes de connexions avec Proxmox

• Le TAP

• Le NAT

• VETH - VirtualEthernet

• OpenvSwitch

• Le VLAN

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

139
18/03/2016

Introduction aux réseaux “virtualisé”


• Dans une architecture réseau physique, on trouve :
Des commutateurs (switch)
Des routeurs
Des cartes réseaux (nic)

• Dans une architecture réseau virtualisé, on trouve :


Des commutateurs virtuels (vSwitch)
Des routeurs virtuels
Des cartes réseaux virtuelles (vNIC)

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

140
18/03/2016

Les commutateurs virtuels


• Plusieurs technologies de commutation virtualisée sous linux :

Le mode bridge Linux


• Bridge utils
OpenvSwitch – commutateur virtuel avec de nombreuses fonctions
Et bien d’autre encore indigo, mininet…

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

141
18/03/2016

Les modes de connexions avec Proxmox


• Proxmox offre plusieurs mode de connexion suivant le type de machine
virtuelle :
KVM :
• Le mode TUN/TAP
• Le mode NAT
LXC :
• Le mode Virtual ethernet - VETH

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

142
18/03/2016

Le TUN/TAP
• TUN/TAP est une fonction de réception et de transmission de paquets
entre le noyau et les programmes de l'espace utilisateur.
• Les communications se font dans l’espace utilisateur.

• Il faut voir cette interface comme une interface ethernet ou point à


point
• L'interface réseau TUN/TAP devient un canal de communication entre le
système hôte et un système virtualisé
• Ce canal est ponté sur un Bridge ou un commutateur OpenvSwitch

• Permet d’offrir des services de type broadcast DHCP, Samba…

• Le “stack” IP se configure dans la VM et non sur l'hôte


Formation Proxmox Virtual Environment 4.1 alphorm.com™©

143
18/03/2016

Le mode NAT
• Le mode NAT Traduction d’adresse réseau:
Ce mode de connexion n'offre pas la possibilité d'offrir de services réseaux
aux VMs.
La machine virtuelle accède au réseau et à internet via de la traduction
d'adresse réseau (Network Address Translation).
La machine virtuelle n'est pas accessible par les autres machines du réseau.
Elle ne se trouve par sur le «commutateur », pas sur le LAN
On peut toutefois rediriger des services sur les machines
Très utile pour les bureaux virtuelles, pour les machines qui n’offre pas de
service réseaux (samba, …)

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

144
18/03/2016

Les cartes VETH


• Le mode Veth – virtual Ethernet
Permet au conteneur d'offrir des services réseaux avec de type Broadcast (dhcp,
samba,..)

• Cette carte virtuelle est pontée sur un Bridge ou un commutateur

• Le mode veth a des implications en matière de sécurité, cette carte est


“directement” connectée sur le commutateur
• Se configure sur l'hôte et non dans le conteneur
Caractéristiques veth
MAC address OUI
Broadcasts dans CT OUI
Traffic sniffing OUI
Sécurité réseau Faible
Performance RAPIDE

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

145
18/03/2016

OpenvSwitch
• OpenvSwitch est un commutateur virtuel, qui fournit des fonctionnalités
avancées de commutation, mais également de QoS, d’agrégation de
liens, de Vlans, de collecte de données avec le NetFlow .

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

146
18/03/2016

OpenvSitch
• OpenvSwitch est un commutateur virtuel compatible avec les chipsets
des switchs modernes
• Commutateur administrable avec le protocole OpenFlow

• Supporte le VLAN 802.1Q, isolation et filtre de traffics

• Agrégation de lien, lacp, channel boding

• Gestion des flux, QoS Bande passante

• Collecte de données avec NetFlow, sFlow, RSPAN, SPAN (mirror)

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

147
18/03/2016

Le VLAN
• Un Virtual Local Network ou VLAN est un ou des réseaux logiques au
sein d’un réseau local commuté

• Réduit la taille des réseaux de broadcast

• Isole des domaines réseaux

• Améliore la sécurité des réseaux

• Améliore l’utilisation de la bande passante


Formation Proxmox Virtual Environment 4.1 alphorm.com™©

148
18/03/2016

Type de VLAN
• Il existe 3 types différents de VLAN :
VLAN de niveau 1 (ou VLAN par port) : on définit les ports du commutateur
qui appartiendront à tel ou tel VLAN. .
VLAN de niveau 2 (ou VLAN par adresse MAC) : on indique directement les
adresses MAC des cartes réseaux contenues
VLAN de niveau 3 (ou VLAN par adresse IP) : on indique les adresses IP (ou
une plage d'IP) qui appartiendront à tel ou tel VLAN.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

149
18/03/2016

Ce qu’on a couvert
• Introduction au réseau “virtualisé”

• Les commutateurs virtuels

• Les modes de connexion des vms

• Le TAP

• Le NAT

• VETH - VirtualEthernet

• OpenvSwitch

• Le VLAN

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

150
18/03/2016

Le modèle réseau
Comprendre les pont
réseau - Bridge

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

151
18/03/2016

Plan
• Introduction aux ponts réseau - Bridge

• Installation d’un Bridge avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

152
18/03/2016

Introduction aux Bridge


• Un bridge ethernet est l'équivalent d'un switch virtuel au niveau
système
• Permet donc d’avoir des fonctions : Noyau

de commutation, TCPI/IP
spanning tree,
multiple port ethernet, br0

port de type channel bonding, team Bridge


VLAN, ...
eth0 eth1
• Pour connecter les machines virtuelles
promiscuous promiscuous
mode mode
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

153
18/03/2016

Introduction aux Bridge


• Le mode bridge (pont) :
Lors de l'installation de Proxmox une ou plusieurs interfaces réseau sont crées. Elles
sont nommées eth0, eth1 et sont associées à un pont réseau nommé vmbr0, vmbr1,..
L'intérêt d'utiliser un pont réseau est de permettre aux VMs d'offrir des services
réseaux avec broadcast, dhcp, samba, partage réseau MS Windows et également de
limiter la bande passante de la VM en descente et en monté.

vm vm vm vm lxc lxc lxc lxc

eth0 eth0 eth0 eth0 eth0 eth0 eth0 eth0

Vmbr0 10.0.0.10 Vmbr1 192.168.10.10

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

154
18/03/2016

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

155
18/03/2016

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

156
18/03/2016

Ce qu’on a couvert
• Introduction aux ponts réseau - Bridge

• Installation d’un Bridge avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

157
18/03/2016

Le modèle réseau
Comprendre
l'agrégation des liens

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

158
18/03/2016

Plan
• Introduction à l’agrégation des liens réseaux

• Le channel bonding

• Gérer le channel Bonding avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

159
18/03/2016

Introduction a l’agrégation de lien réseaux


• L’agrégation des liens consiste à lier plusieurs interfaces réseaux :
Fournir plus de bande passante
Fournir de la redondance sur les interfaces

• L’agrégation de liens est connue sous les termes :


Channel Bonding
eth0 eth1 eth2
Link agregation
Port trunking
NIC teaming team0

Etc.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

160
18/03/2016

Le channel bonding
• Le Channel Bonding était la technologie utilisée par Red Hat pour
l’agrégation de liens
• Le Channel Bonding ou agrégation de cartes réseau permet d’appliquer
des stratégies sur les cartes réseaux
• Avec plusieurs cartes, un groupe d’interfaces est créé. Une seule
interface, représente un groupe de cartes
eth0 eth1 eth2
• Parmi les stratégies disponibles :
L’équilibrage de charge
La tolérance aux pannes Bond0
L’amélioration des performances

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

161
18/03/2016

Le channel bonding
• L’équilibrage de charge - Balance rr

Ce mode fait transiter séquentiellement les paquets sur chaque interface


• La sauvegarde active – Active backup

Seule une interface est en fonctionnement, si elle tombe en panne, l’autre interface s‘active
et reçoit donc les paquets
• La balance tdb

Le trafic sortant est distribué selon la vitesse de chaque carte réseau, permet également le
Fail-Over
• La balance XOR

Ce mode est basé sur une politique de hachage de transmission. Une interface affectée à
l’envoie vers une adresse MAC (adresse de la source XOR adresse MAC de destination
modulo du nombre d’interface)
• La balance alb, le broadcast, le 802.3ad LACP

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

162
18/03/2016

Gérer le channel Bonding avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

163
18/03/2016

Gérer le channel Bonding avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

164
18/03/2016

Ce qu’on a couvert
• Introduction à l’agrégation des liens réseaux

• Le channel bonding

• Gérer le channel Bonding avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

165
18/03/2016

Le modèle de stockage
Introduction au
stockage avec Proxmox

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

166
18/03/2016

Plan
• Le stockage local

• Le stockage distant – Stockage réseau

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

167
18/03/2016

Le stockage local
• Les types de DAS :
LVM, ZFS

• Avantages ☺
Simple à mettre en œuvre
Offre de très bonnes performances
Extensible

• Inconvénients
Nœud défaillant
Pas de possibilité de migrer, pas de haute disponibilité

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

168
18/03/2016

Le stockage distant –Stockage réseau


• Les types :
NAS, SAN, FS distribués

• Avantages ☺
Sécurise l’environnement virtuel
Facilite les sauvegardes
Offre de bonnes performances suivant le types
Redondant, haute disponibilité, fonctionnalités HA et migration

• Inconvénients
Le coût important
Administration dédiée au stockage

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

169
18/03/2016

Le stockage distant –Stockage réseau


• Network Attached Storage

• Propose des services de mise en réseau de fichiers sur TCP/IP

• Les clients accèdent aux données via des systèmes de fichiers réseau

• Les NAS utilisent les protocoles :


Server Message Block - SMB fourni par Microsoft
Network File System - NFS pour le monde Unix/Linux

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

170
18/03/2016

Le stockage distant –Stockage réseau


• Avantages ☺
Administration simple de la baie de stockage
Un prix faible pour de grandes capacités
Un accès par plusieurs nœuds aux mêmes données
Utilisation des protocoles standardisés depuis longtemps

• Inconvénients
Pas les meilleures performances

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

171
18/03/2016

Le stockage distant –Stockage réseau


• L’accès au stockage de type NAS est de type fichier.

• Les données sont des volumes partagés sur le réseau

• Le SAN – Storage Aera Network – réseau de stockage

• L’accès aux données est de type “block”

• Les volumes de stockage apparaissent comme des disques durs

• Plusieurs technologies de stockage réseau :


Fibre Channel
Fibre Channel over ethernet
iSCSI
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

172
18/03/2016

Le stockage distant –Stockage réseau


• Avantages ☺
La Qualité de service : en fonction du média (la fibre optique assure la transmission des
données)
La disponibilité : Le SAN assure la redondance du stockage, la haute disponibilité des
données
L'hétérogénéité : Le SAN n’est pas lié à un environnement particulier : les serveurs Unix,
Windows, Linux, Apple peuvent tous rejoindrent un SAN.
Performances : La performance de l'accès aux disques n’est pas à comparer avec un NAS.

• Inconvénients
Le coût : en fonction du type de SAN (Fibre Channel, FCoE, iSCSI), le coût devient un
élément de rejet d’une architecture SAN (réseau dédié aux stockages).
L’administration : est bien plus complexe qu’un NAS. Il faut souvent un administrateur
dédié au stockage.
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

173
18/03/2016

Le stockage distant –Stockage réseau


• Il existe plusieurs types de SAN :

iSCSI Protocole de stockage en


réseau basé sur le protocole IP.

Transporte les commandes


SCSI sur les réseaux IP.

Se composent de cible (LUN


des disques) et d’initiateur
(logiciels clients ISCSI)

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

174
18/03/2016

Le stockage distant –Stockage réseau

• Glusterfs est un système de


fichiers en cluster ou cloud

• Il permet d’agréger des volumes


provenant de plusieurs types
d’architecture NAS, SAN

• Propose au client un seul


volume

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

175
18/03/2016

Le stockage distant –Stockage réseau


• Ceph est une plate-forme de
stockage conçue pour n’avoir
aucun point de défaillance unique

• Cluster de FS distribué

• Idéal pour les applications qui


nécessitent un stockage
hautement disponible

• auto-réparant

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

176
18/03/2016

Ce qu’on a couvert
• Le stockage local

• Le stockage distant – Stockage réseau

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

177
18/03/2016

Le modèle de stockage
Le LVM Logical Volume
Manager

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

178
18/03/2016

Plan
• Introduction aux Volumes logiques

• Pourquoi utiliser le LVM?

• Structure du LVM

• Les commandes LVM

• Création du LVM

• Visualiser le LVM

• Connexion des Volumes avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

179
18/03/2016

Introduction aux Volumes logiques


• La gestion par volumes logiques : une méthode de gestion du stockage

• La gestion par volumes logiques : des outils de gestion destinés au


stockage sur des disques durs.

• Le LVM ou Logical Volume Manager offre bien plus de flexibilité que le


traditionel partitionnement
• Le LVM représente l'une des nombreuses formes de virtualisation du
stockage, mais pas la seule.
• On parle de Volume de stockage disponible et non plus de partition

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

180
18/03/2016

Pourquoi utiliser le LVM?


Plus de flexibilité
• Agrandissement et réduction
Il est possible d'agrandir ou réduire des volumes, mais les filesystems installés dessus
doivent prendre en charge cette opération.

• Clichés (snapshots)
La création d'un snapshot consiste à prendre une « photo », un instantané du volume
logique cible (ce qui est quasi-immédiat) et on commence alors à enregistrer les
modifications apportées au volume logique cible.
Avantage des snapshots, ils peuvent être utilisés comme une méthode de sauvegarde.
Ils permettent de stocker une image statique d'un volume logique à un instant précis. Il
faut comprendre une sauvegarde incrémentale

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

181
18/03/2016

Pourquoi utiliser le LVM?


Plus de flexibilité
• Volumes agrégés par bandes (striping)
Les volumes logiques peuvent être « stripés » sur un ensemble de volumes physiques,
à l'instar du RAID 0.
Cette technique est utilisée pour améliorer les performances, mais rends plus
vulnérable le volume à une panne de disque.

• Miroir (mirroring)
Les volumes logiques peuvent être également mirrorés, à l'instar du RAID 1.
Cette technique permet de se protéger contre une panne sur un disque dur.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

182
18/03/2016

Structure LVM
Partitions

sda1 sdb1 sdc1 sdd1

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

183
18/03/2016

Structure LVM
Partitions

sda1 sdb1 sdc1 sdd1

Groupe de Volumes

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

184
18/03/2016

Structure LVM
Partitions

sda1 sdb1 sdc1 sdd1

Groupe de Volumes

Volume logique Volume logique Volume logique

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

185
18/03/2016

Structure LVM
Volumes logiques

LV0 LV1 LV2

/home /var /usr

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

186
18/03/2016

Les commandes LVM


Partitions

sda1 sdb1 sdc1 sdd1 pvcreate

Groupe de Volumes vgcreate

Volume logique Volume logique Volume logique lvcreate


Formation Proxmox Virtual Environment 4.1 alphorm.com™©

187
18/03/2016

Création du LVM
• Installation du LVM

#yum install lvm2

• Création des partitions de type LVM

#fdisk /dev/sdc

• Création des volume physiques

#pvcreate /dev/sdb{1,2,3}

• Création du groupe de volumes

#vgcreate mon_vgroupe /dev/sdb{1,2,3}

• Création des volume logiques

#lvcreate –L 5G –n mon_lvolume mon_vgroupe

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

188
18/03/2016

Visualiser le LVM
• Vérifier et visualiser les volumes physiques

#pvscan
#pvdisplay

• Vérifier et visualiser les groupes de volumes

#vgscan
#vgdisplay
#vgdisplay mon_vgroupe

• Vérifier et visualiser les volumes logiques

#lvdisplay
#lvscan

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

189
18/03/2016

Connexion des Volumes avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

190
18/03/2016

Ce qu’on a couvert
• Introduction aux Volumes logiques

• Pourquoi utiliser le LVM?

• Structure du LVM

• Les commandes LVM

• Création du LVM

• Visualiser le LVM

• Connexion des Volumes avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

191
18/03/2016

Le modèle de stockage
Le ZFS

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

192
18/03/2016

Plan
• Le stockage ZFS

• Installation de ZFS

• Mise en oeuvre

• Mise en oeuvre dans Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

193
18/03/2016

Le stockage ZFS
• GRANDES capacités de stockage

• Support natif du RAID :


RAID-0, RAID-1, RAID-Z (RAID-5 améliore, parités doubles ou triples)

• Intégrité des données :


Les données et métadonnées ont de sommes de contrôle vérifiées à chaque lecture de bloc et mise
à jour à chaque écriture
« Autoréparation » via les sommes de contrôle (si miroir)
Réplication explicite, peut conserver jusque 3 copies des blocs

• Répartition dynamique :
Distribue automatiquement les écritures à travers tous les périphériques
L’ajout d’un nouveau périphérique n’oblige pas la migration des données
Peut allouer les blocs de données sur les disques de façon proportionnelle à leurs performances

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

194
18/03/2016

Le stockage ZFS
• Compression/décompression à la volée

• Gestion des quotas

• Gestion de réservations d’espaces

• Instantanés et clones

• Envoi/Réception :
Permet d’échanger des instantanés pour les sauvegardes sur des systèmes distants

• Déduplication :
Permet de détecter des données redondantes et ainsi économiser l’espace disque

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

195
18/03/2016

Le stockage ZFS

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

196
18/03/2016

Installation de ZFS
• Installation du paquets ZFS

# apt-cache show zfsutils


Package: zfsutils
Status: install ok installed
Priority: optional
Section: admin
Installed-Size: 3206
Maintainer: Debian ZFS on Linux maintainers <pkg-zfsonlinux-
devel@lists.alioth.debian.org>

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

197
18/03/2016

Mise en oeuvre
• Création du pool ZFS avec et sans raid

#zpool create lxc /dev/sdb /dev/sdc


#zpool create lxc raidz /dev/sdb /dev/sdc
#zpool list
#zpool status

• Création du dataset lxc/containes en déduplication

#zfs create -o dedup=on lxc/conteneurs


#zfs list

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

198
18/03/2016

Mise en oeuvre dans Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

199
18/03/2016

Ce qu’on a couvert
• Le stockage ZFS

• Installation de ZFS

• Mise en oeuvre

• Mise en oeuvre dans Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

200
18/03/2016

Le modèle de stockage
Le NAS - NFS

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

201
18/03/2016

Plan
• Introduction au NFS

• Mise en oeuvre simple d’un serveur NFS

• Accéder à un serveur NFS avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

202
18/03/2016

Introduction a NFS
• NFS – Network File System est un système de fichiers réseau

• Développé par SUN Microsystem dans les années 1980

• NFS offre l’export de répertoires pour des machines distantes

• NFS V1,2 et 3 s’appuie sur les RPC - appels de procédure distante

• Plusieurs versions :
NFS version 1 et 2 utilise le protocole UDP, n’est pas sécurisé
NFS V3 supporte le transport sur TCP, mais n’est pas toujours sécurisé
NFS V4.x est une réecriture totale du protocole NFS
• Support de Kerberos, chiffrement des communications, reprise sur incident,
parallélisation des transferts (stripping).
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

203
18/03/2016

Mise en oeuvre simple d’un serveur NFS


• Installation des paquets nfs pour le server et le client
#yum install nfs-utils
#rpm -ql nfs-utils

• Configuration du server
#vi /etc/exports
/nfs *(rw,no_root_squash,anonuid=2000,anongid=2000)
#exportfs -avr
exporting *:/nfs

• Montage de l’export nfs du client


#mount.nfs4 nfs-server:/nfs /mnt/

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

204
18/03/2016

Les options nfs


• Droits sur les exports
rw : Read = Lecture, Write = Écriture
ro : Read Only = Lecture seulement (option par défaut)

• Gestion des performances :


Async : ne synchronise pas les écritures immédiatement
• Améliore grandement les performances, incohérences des données lors
de “crash” serveur
Sync : le contraire de async, synchronise les requêtes
Rsize, wsize : taille des blocs de données en lecture et écriture

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

205
18/03/2016

Les options nfs


• Mapping utilisateurs :
root_squash : mappe l’utilisateur vers un utilisateur anonyme (option par
défaut)
No_root_squash : n'effectue pas de mapping pour l'utilisateur root
anonuid : indique au serveur NFS l'UID de l'utilisateur anonyme
anongid : indique au serveur NFS le GID de l'utilisateur anonyme

• Autres options :
subtree_check: vérifie l’existence des sous répertoires de l’export
no_subtree_check: Ne vérifie pas l’existence des sous répertoires de l’export

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

206
18/03/2016

Accéder à un serveur NFS avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

207
18/03/2016

Ce qu’on a couvert
• Introduction au NFS

• Mise en oeuvre simple d’un serveur NFS

• Accéder à un serveur NFS avec Proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

208
18/03/2016

Le modèle de stockage
Le SAN - iSCSI

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

209
18/03/2016

Plan
• Le protocole ISCSI – Internet Small Computer Interface

• Les Logicals Units Numbers - LUN

• Notion de cibles – Targets

• Notion d’initiateur – Initiator

• Introduction au service targetcli

• Installation du service

• Les “Backstore” fileio, blockio

• iSCSI Qualified Name

• Sauvegarde de la configuration

• Firewalld

• Connexion des cibles iscsi avec proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

210
18/03/2016

Le protocole ISCSI – Internet Small Computer Interface


• Dans les années 1990 IBM lance des recherches pour transporter des
commandes SCSI par le réseau, sur Ethernet, IP et TCP/IP.
• Au début des années 2000, IBM et Cisco s’allient pour proposer une
première version d’ISCSI sur TCP. Transport de commandes SCSI sur
TCP/IP.
• IETF publie des RFC pour ISCSI
RFC 3720 - Internet Small Computer Systems Interface (iSCSI), avril 2004.
RFC 3721 - Internet Small Computer Systems Interface (iSCSI) Naming and
Discovery, avril 2004.
RFC 3722 - String Profile for Internet Small Computer Systems Interface
(iSCSI) Names, avril 2004.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

211
18/03/2016

Les Logicals Units Numbers - LUN


Une unité logique ou LUN est un domaine de stockage

Raid LUN 0

Les LUNs identifient des


/dev/sda LUN 1
unités de stockage SAN

LVM LUN 2

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

212
18/03/2016

Notion de cibles – Targets


On mappe les LUN sur des “targets” iscsi

Raid LUN 0 Iqn.2015-04-02.com.alphorm.home


• ACL
• Identification

/dev/sda LUN 1 Iqn.2015-04-02.com.alphorm.rhel7


• ACL
• Identification

LVM LUN 2 Iqn.2015-04-02.com.alphorm.var


• ACL
• Identification

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

213
18/03/2016

Notion de d’initiateur – initiator


Portal : 192.168.1.10
Iqn.2015-04-02.com.alphorm.home initiateur ISCSI
Raid LUN 0

Iqn.2015-04-02.com.alphorm.rhel7

/dev/sda LUN 1

Découverte du portail
Iqn.2015-04-02.com.alphorm.var
Connexion aux cibles
LVM LUN 2

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

214
18/03/2016

Introduction
• targetCLI est un outil d’administration pour
manipuler le serveur iSCSI en userspace
• targetCLI s’appuie sur LIO Linux-IO
kernelspace
Dans le noyau depuis la version 2.6.38
Gère les entrées/sorties scsi

• Supporte l’iscsi, le FCoE, le fibre channel

• TargetCLI en Shell interactive ou en cli

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

215
18/03/2016

Installation du service
• Installation de targetcli

#yum install targetcli

• Activation du service target

#systemctl enable target.service


#systemctl start target.service

• Supprimer la configuration

#targetcli clearconfig confirm=true

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

216
18/03/2016

Les “Backstore” fileio, blockio


• Deux types de backstore :
Fileio utilise la RAM pour le cache, beaucoup de RAM pour de bonnes performances.
Blockio, utlise le cache “matériel”, contrôleur et disques. Bonnes performances sur les
gros fichiers, très peu de latence.

• Lancer targetcli en mode shell

#targetcli

• Création des backstore

#/> backstores/fileio/ create home /home_dir/home_user.img 1T


#/> backstores/block/ create VM /dev/vgvm/lv_redhat7
#/> backstores/block/ create DB /dev/vgvm/lv_mariadb

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

217
18/03/2016

iSCSI Qualified Name


• Création de l’iqn et du portal

#/> iscsi/ create iqn.2015-09.com.alphorm:home


#/> cd iscsi/iqn.2015-09.com.alphorm:home/tpg1
#/> portal/ create

• Création des lun

#/> luns/ create backstores/fileio/home


#/> lun/ create backstores/block/VM

• Mise en place des liste de contrôle d’acces ACLs et de l’authentification CHAP

#/>acl/ create iqn.2015-09.com.alphorm:client


#/> cd acl/iqn.2015-09.com.alphorm:client
#/> set auth userid=ludo
#/> set auth password=Mon_password

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

218
18/03/2016

Sauvegarde de la configuration
• On sauvegarde et on quitte

#/> savingconfig
#/> exit
#cat /etc/target/saveconfig.json

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

219
18/03/2016

Firewalld
• On ouvre l’acces au port tcp iscsi : 3260

#firewall-cmd --permanent --add-port=3260/tcp


#firewall-cmd --reload

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

220
18/03/2016

Connexion des cibles iscsi avec proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

221
18/03/2016

Ce qu’on a couvert
• Le protocole ISCSI – Internet Small Computer Interface

• Les Logicals Units Numbers - LUN

• Notion de cibles – Targets

• Notion d’initiateur – Initiator

• Introduction

• Installation du service

• Les “Backstore” fileio, blockio

• iSCSI Qualified Name

• Sauvegarde de la configuration

• Firewalld

• Connexion des cibles iscsi avec proxmox

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

222
18/03/2016

Le modèle de stockage
Glusterfs
(Les FS distribués)

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

223
18/03/2016

Plan
• Glusterfs en quelque mots ou presque

• Fonctionnalités de glusterfs

• Installation et configuration des serveurs glusterfs

• Glusterfs en distribué

• Glustersf en réplication

• Gluterfs en « stripping »

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

224
18/03/2016

Glusterfs en quelque mots ou presque

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

225
18/03/2016

Glusterfs en quelque mots ou presque


• Glusterfs est un système de fichiers en cluster ou cloud

• Il permet d’agréger des volumes provenant de plusieurs types


d’architecture NAS, SAN, …et propose au client un seul volume
• Il ne s’appuie pas sur des métadonnées, tous les nœuds du cluster sont
de même nature, pas de maitre/esclave ou primaire/secondaire
• glusterfs utilise l’interface FUSE ce qui lui permet de travailler avec des
systèmes de fichiers de type différents, un serveur en ext4, un xfs, un
zfs,…
• C’est un système de fichiers qui résiste aux pannes

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

226
18/03/2016

Glusterfs en quelque mots ou presque

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

227
18/03/2016

Fonctionnalités de glusterfs
• volume distribué : un volume est distribué sur plusieurs partitions qui sont
distribuées sur plusieurs machines… Les fichiers du volume sont physiquement
enregistrés sur l’une des partitions.
• volume répliqué : un volume distribué est automatiquement répliqué ‘n’ fois sur
le cluster, ‘n’ pouvant être 2 (raid 1), mais aussi 3 ou plus ! Ce type de volume
est intéressant pour se protéger des pannes
• volume morcelé (stripe) : chaque fichier d’un volume distribué est découpé en
morceaux qui sont répartis sur les nœuds de la grappe. Ce genre de volume est
intéressant lorsqu’on cherche de la performance sur des gros fichiers.
• quatre opérations de base sont possibles à chaud sur tous les volumes : étendre,
réduire, migrer et équilibrer

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

228
18/03/2016

Installation et configuration des serveurs glusterfs


• Installation par paquet
# apt-get install glusterfs-server
#apt-get install glusterfs-client

#yum install –y glusterfs.x86_64


• Créer un répertoire pour les volumes glusterfs
# mkdir /glusterfs/

• Connecter les différents nœuds du cluster


# gluster peer probe node1 && gluster peer node2 && gluster peer node3

• Créer du volume glusterfs


gluster volume create vol_distributed transport node1:/glusterfs/distributed \
node2:/glusterfs/distributed node3:/glusterfs/distributed
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

229
18/03/2016

Glusterfs en distribués

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

230
18/03/2016

Glusterfs en distribués
• Création des volumes distribuées gluster
#mkdir /glusterfs/distributed (sur les 2 ou 3, 4 serveurs)
node02#gluster peer probe node01
node01 #Gluster peer probe node02 …..
#gluster peer status
#gluster volume create vol_distributed distributed transport tcp \
node01:/glusterfs/distributed \
node02:/glusterfs/distributed

#gluster volume start vol_distributed


#gluster volume info

#Mount -t glusterfs node1:/vol_distributed /point_de_montage

systemctl restart glusterfs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

231
18/03/2016

Glustersf en réplication

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

232
18/03/2016

Glusterfs en réplication
• Création des volumes repliqués gluster
#mkdir /glusterfs/replica (sur les 2 ou 3, 4 serveurs)
#gluster peer probe node1
#Gluster peer probe node2 …..
#gluster peer status
#gluster volume create vol_replica replica 2 transport tcp node1:/glusterfs/replica \
node2:/glusterfs/replica

#gluster volume start vol_replica


#gluster volume info

#Mount -t glusterfs node1:/ vol_replica /point_de_montage

systemctl restart glusterfs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

233
18/03/2016

Glustersf en « stripping »

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

234
18/03/2016

Glusterfs en « stripping »
• Création des volumes repliqués gluster
#mkdir /glusterfs/striped (sur les 2 ou 3, 4 serveurs)
#gluster peer probe node1
#Gluster peer probe node2 …..
#gluster peer status
#gluster volume create vol_striped stripe 2 transport tcp #node1:/glusterfs/striped \
#node2:/glusterfs/striped

#gluster volume start vol_distributed


#gluster volume info

#Mount -t glusterfs node1:/vol_striped /point_de_montage

systemctl restart glusterfs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

235
18/03/2016

Ce qu’on a couvert
• Glusterfs en quelque mots ou presque

• Fonctionnalités de glusterfs

• Installation et configuration des serveurs glusterfs

• Glusterfs en distribués

• Glustersf en réplication

• Gluterfs en « stripping »

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

236
18/03/2016

Le modèle de stockage
Ceph, les Filesystem
distribués

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

237
18/03/2016

Plan
• C’est quoi ceph ?

• Installation de Ceph

• Configuration et mise en œuvre de ceph

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

238
18/03/2016

C’est quoi Ceph


• Ceph est une plate-forme de stockage open source qui est conçu pour
répondre aux besoins de stockage modernes.
• Ceph est évolutive au niveau de l’exabyte et conçu pour n’avoir aucun
point de défaillance unique, ce qui le rend idéal pour les applications
qui nécessitent un stockage hautement disponible
• Ceph est une plate-forme de stockage conçue pour présenter un objet,
bloc, et du stockage de fichiers à partir d'un cluster distribué.
• Ceph fonctionne sur du matériel non spécialisé. Le système est conçu
pour être auto-réparant et maximiser l'automatisation des tâches
administratives afin de réduire les coûts d'exploitation.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

239
18/03/2016

C’est quoi Ceph


• Le système de stockage d'objets de Ceph permet aux utilisateurs de
monter Ceph comme un périphérique bloc en provisionnement
dynamique. Ceph inclus le RADOS Block Device (RDB) : Lorsqu'une
application écrit des données sur Ceph, les données sont ‘stripées’ et
répliquées dans le cluster.
• RADOS Block Device (RBD) s'intègre également avec des machines
virtuelles noyau (KVM).

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

240
18/03/2016

Installation de Ceph
• Deux types d’installations :
1. Serveurs Ceph indépendant de proxmox
2. Gestion de ceph directement dans proxmox

• Installation dans proxmox


Mettre à jour le système avec le repository pvetest
• /etc/apt/source.list
Avec l’outil PVECEPH

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

241
18/03/2016

Installation de Ceph
• Installation les package Ceph
Node{01..03}# pveceph install --version hammer

• Création du fichier de configuration de Ceph /etc/pve/ceph.conf


configuration initiale de CEPH
Node01# pveceph init --network 192.168.10.0/24

• Création du moniteur Ceph

Node{01..03}# pveceph createmon

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

242
18/03/2016

Installation de Ceph

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

243
18/03/2016

Creation des disques Ceph


• Le reste de la configuration s’effectue en GUI ☺
Création des journaux OSD Ceph sur les disques
Création du pool de stockage Ceph

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

244
18/03/2016

Creation des disques Ceph

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

245
18/03/2016

Creation des disques Ceph

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

246
18/03/2016

Creation des disques Ceph

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

247
18/03/2016

Creation des disques Ceph

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

248
18/03/2016

Ce qu’on a couvert
• C’est quoi Ceph ?

• Installation de Ceph

• Configuration et mise en œuvre de Ceph

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

249
18/03/2016

Cluster Proxmox
Un peu de théorie

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

250
18/03/2016

Plan
• C’est quoi un cluster ?

• Vocabulaire pour bien comprendre

• Corosync et pvecluster

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

251
18/03/2016

C’est quoi un cluster ?


• wikipédia : un cluster est un ensemble de serveurs regroupés
artificiellement ensemble pour permettre la gestion globale de ceux-ci,
et éventuellement la mise en place d'un système de haute disponibilité.
augmenter la disponibilité
faciliter la montée en charge
permettre une répartition de la charge
faciliter la gestion des ressources (processeur, mémoire vive, disques dur,
bande passante réseau).

• Node : un nœud est le nom donné à un serveur à l'intérieur d'un cluster.


Un cluster est constitué de nœuds ou nodes

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

252
18/03/2016

Vocabulaire pour bien comprendre


• Dans un cluster. On trouve des nœuds, un quorum, du fencing,…

Un nœud est un serveur faisant partie d’un cluster


Le quorum est le nombre minimal de personnes nécessaires pour
prendre une décision dans un groupe. C'est un terme utilisé en droit
habituellement, et un quorum représente en général la majorité, si tout le
monde vote pour une voix. En informatique, le quorum est le nombre
minimal de votes à atteindre pour prendre une décision
automatiquement.
Le rôle du fencing est d'autoriser le groupe du cluster ayant le quorum
(ayant la majorité) à isoler artificiellement des nœuds défaillants. Pour ne
pas se retrouver avec des services identiques qui tournent dans le cluster.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

253
18/03/2016

Corosync
• Proxmox utilise les services Corosync et pve-cluster, pour mettre en
place le cluster :
Corosync : permet de mettre en cluster les nœuds, création du cluster,
acceptation de nouveaux membres
pve-cluster : Ce service est le cœur de toute installation Proxmox VE .
Il fournit un système de fichier Proxmox_Cluster_file_system_ (pmxcfs), pour
stocker les fichiers de configuration, répliqué en temps réel sur tous les
nœuds en utilisant corosync. Les fichiers de configuration sont stockés dans
le répertoire /etc/pve.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

254
18/03/2016

Ce qu’on a couvert
• C’est quoi un cluster ?

• Vocabulaire pour bien comprendre

• Corosync et pvecluster

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

255
18/03/2016

Cluster Proxmox
Installation d'un cluster et ajout
et suppression de nœuds

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

256
18/03/2016

Plan
• Installation, mise en place d’un cluster

• Ajout de nœuds dans le cluster

• Suppression de nœuds dans le cluster

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

257
18/03/2016

Installation, mise en place d’un cluster


• Avec Proxmox, on réalise la plupart des opérations avec l’interface de
gestion WEB, mais pas la création d’un cluster.
• Ouverture d’un shell avec la console ou en SSH
Se loguer en root et exécuter la commande suivante :
• Création du cluster apartirr nœud node00

#pvecm creates Cluster_alphorm

#pvecm status

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

258
18/03/2016

Ajout de nœuds dans le cluster


• Après avoir installé votre serveur tout neuf ☺
Ouvrir une console sur le premier serveur installé, se connecter en ssh sur le
second, afin de valider les clés ssh
• Ajouter du nœud node01 au cluster

#pvecm add node01


#pvecm status

• Démonstration

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

259
18/03/2016

Suppression de nœuds dans le cluster


• Afin de supprimer un ou des nœuds d’un cluster
Se connecter sur le nœud à supprimer
Et lancer la commande :

• Suppression du nœud node01 au cluster

#pvecm delnode node01


#pvecm status

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

260
18/03/2016

Ce qu’on a couvert
• Installation, mise en place d’un cluster

• Ajout de nœuds dans le cluster

• Suppression de nœuds dans le cluster

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

261
18/03/2016

Cluster Proxmox
Migration des machines
virtuelles

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

262
18/03/2016

Plan
• Les différentes options pour déplacer des VMs sur les
nœuds
• Migration de containers et de machines virtuelles kvm

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

263
18/03/2016

Les différentes options de migration


• On peut :
Migrer à froid
Migrer à chaud sans interruption
Migrer sur différents disques à chaud !

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

264
18/03/2016

Migration de containers et VMs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

265
18/03/2016

Migration de containers et VMs

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

266
18/03/2016

Ce qu’on a couvert
• Les différentes options pour déplacer des VMs sur les
nœuds
• Migration de containers et de machines virtuelles kvm

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

267
18/03/2016

Haute disponibilité
Mise en place de la HA

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

268
18/03/2016

Plan
• Configuration requise

• Configuration de la haute disponibilité

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

269
18/03/2016

Configuration requise
• Afin de mettre en oeuvre la HA

• Aucun point de défaillance ne doit être présent :


Des disques redondants
L’alimentation redondante
L’UPS
Les liaisons réseaux dédiés et redondantes

• Posséder des périphériques ou logiciels de “Fencing” afin d’isoler un


noeud défaillant , ProxomoxVE 4, supporte la solution logicielle
Watchdog qui permet de jouer le rôle du fencing
• Un cluster de 3 noeuds minimum
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

270
18/03/2016

Configuration requise
• Afin de mettre en oeuvre la HA

• Un cluster de 3 noeuds minimum – Max 32 nodes

• Du stockage partagé (SAN, NAS, ceph, DRBD9…)

• Du réseau redondants Channel bonding

• Des réseaux dédiés :


au stockage,
à la communication du cluster,
Au traffic des VMs.

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

271
18/03/2016

Configuration de la haute disponibilité

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

272
18/03/2016

Configuration de la haute disponibilité

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

273
18/03/2016

Configuration de la haute disponibilité

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

274
18/03/2016

Ce qu’on a couvert
• Configuration requise

• Configuration de la haute disponibilité

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

275
18/03/2016

Gestion des utilisateurs


Privilèges, rôles
et permissions

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

276
18/03/2016

Plan
• Utilisateurs

• Rôles

• Privilèges et permissions

• Modification des permissions

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

277
18/03/2016

Utilisateurs, groupes
• L’utilisateur doit être créé dans la base de compte Linux
Pam ou PVE
• Un utilisateur doit faire partie d’un groupe

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

278
18/03/2016

rôles
• Il existe plusieurs types de rôles
Les Administrateurs
• Ils possèdent tous les privilèges
NoAccess
• Tout simplement aucun accès !
Les PVEAdmin
• Peuvent effectuer la plupart des opérations, mais ne peuvent pas
modifier le système, ni l’éteindre. Peuvent créer des vms, des stockages…
Les PVEAuditor
• Lecture seulement !
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

279
18/03/2016

Privilèges et permissions
• Il existe des privilèges de type :
Sur les machines virtuelles
• Créer/supprimer des VMS, Sauvegarder des VMs, Modifier les configs..
Sur les stockages
• Créer/supprimer du stockage, uploader templates et iso, lire le contenu..
Sur les nœuds
• Arrêter/redémarrer un nœud, accéder au shell via la console…

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

280
18/03/2016

Modifier les droits


• Les pools de ressources ?
Attribuer des permissions sur les objets

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

281
18/03/2016

Ce qu’on a couvert
• Utilisateurs

• Rôles

• Privilèges et permissions

• Modification des permissions

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

282
18/03/2016

Conclusion

Site : http://www.alphorm.com
Ludovic Quenec'hdu
Formateur et Consultant indépendant
Blog : http://blog.alphorm.com OpenSource et virtualisation
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

283
18/03/2016

Le plan de formation
• Vue d'ensemble de Proxmox VE • Le modèle de stockage
• Présentation de ProxmoxVE 4.1 • introduction au stockage avec Proxmox
• Installation de ProxmoxVE • Le LVM Logical Volume Manager
• Découverte de l'interface d'administration • Le ZFS
• Le NAS – NFS
• Les technos de virtualisation • Le SAN – ISCSI
• les machines virtuelles • Les FS distribues - Glusterfs
• Les containers • Les FS distribues – ceph
• Kernelbased Virtual machine – KVM
• LXC - Linux containers • Cluster Proxmox
• Un peu de théorie
• Les machines virtuelles sous Proxmox • Installation d'un cluster et ajout et suppression de
• Ma première machine virtuelle nœuds
• Les templates lxc • Migration des machines virtuelles
• Déploiement du container LXC
• Haute disponibilité
• Gérer les machines virtuelles • Mise en place de la HA
• Booster la VM
• Démarrer, arrêter, suspendre les Vms • Gestion des utilisateurs
• Les snapshots • Privilèges, rôles et permissions
• Clonage et modèles

• Le modèle réseau
• Introduction au réseau Proxmox
• Comprendre les pont réseau – Bridge
• Comprendre l'agrégation de lien
Formation Proxmox Virtual Environment 4.1 alphorm.com™©

284
18/03/2016

Avez-vous des Questions /Remarques /Commentaires ?

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

285
18/03/2016

A bientôt ☺

Pour une nouvelle formation sur Linux Red Hat.

Red Hat Administration


Virtualization, HA, Openstack

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

286

Das könnte Ihnen auch gefallen