A.

HAQIQ Master RSI

Université Hassan I
F.S.T de Settat A.U. 2020 / 2021
Département de Mathématiques & Informatique Module M13

Exercices: Chaı̂nes de Markov à temps discret

Exercice 1: Soit (Xn )n∈IN une chaı̂ne de Markov d’espace d’états E = {0, 1....., k} (k ∈ IN∗ ), et de
matrice de transition Q. On pose Yn = X2n , pour tout n ≥ 0.
(Yn )n∈IN est-elle une chaı̂ne de Markov ? Si oui déterminer sa matrice de transition.

Exercice 2: Classer les états des chaı̂nes de Markov sur E = {1, 2, 3, 4} et de matrices de transi-
tion:    
1 2 1 1
3 3
0 0 0 2 2
0
 1 1 0 0  1
0 0 23 
   

 2 2 3
P = 1 Q =
  
1 1 
  
 4 0 4 2  1 0 0 0 
 
 
0 0 0 1 0 0 1 0

Exercice 3: Soit (Xn )n∈IN une chaı̂ne de Markov homogène sur E = {1, 2, 3, 4} et de matrice de
transition P :  1 1 
 0 2 2
0 
 1 1
 
0 0

P =
 
 2 2 

 0 0 1 0 
 
0 0 0 1
1) Donner le diagramme de transition associé à cette chaı̂ne de Markov.
2) Déterminer les éléments de E absorbants ou transients ou récurrents pour cette chaı̂ne et la période
de chacun de ces états.
3) On suppose que la répartition entre les quatre états est uniforme à l’instant initiale n = 0. Calculer
la répartition à l’instant n = 1 puis à l’instant n = 2.
4) Montrer que toute probabilité initiale de la forme π0 = (0, 0, r0 , s0 ) avec r0 + s0 = 1 est une
probabilité stationnaire.

Exercice 4: Une machine est supposée avoir trois états: “En marche”, “ Au repos” et “Hors d’usage”.
D’un jour à l’autre, l’état est supposé évoluer selon les règles suivantes:
- si elle était en marche, elle le reste avec probabilité 0,9 et passe au repos avec probabilité 0,1.
- si elle était au repos, elle passe en marche avec probabilité 0,75 et devient hors d’usage avec proba-
bilité 0,25.
- si elle était hors d’usage, elle le reste.
On modélise cette évolution grâce à une chaı̂ne de Markov en temps discret.

1
1) Représenter le diagramme de transition de cette chaı̂ne et écrire la matrice de probabilités de tran-
sition.
2) Sachant que la machine est en marche au premier jour, quelle est la probabilité qu’elle soit hors
d’usage le troisième jour ?
3) Expliquer comment va se dérouler l’évolution de l’état de la machine, en particulier quand le nombre
de jours devient grand.

Exercice 5: Modèle d’une imprimante

On modélise le fonctionnement d’une imprimante par une chaı̂ne de Markov à 3 états.
état 1 attente d’un caractère à imprimer,
état 2 impression d’un caractère,
état 3 interruption après avoir reçu un caractère de contrôle.
Lorsque l’imprimante est en attente, elle reçoit un caractère à imprimer avec la probabilité 0,80, sinon
elle reste en attente.
Lorsqu’elle est en impression, elle reçoit:
- un caractère “normal” avec la probabilité 0,95 (caractère courant du fichier à imprimer),
- un caractère de fin de fichier avec la probabilité 0,04, l’imprimante retourne dans l’état d’attente,
- un caractère d’interruption avec la probabilité 0,01, l’imprimante passe alors dans l’état 3.
Lorsque l’imprimante est dans l’état 3, elle retourne dans l’état d’attente avec la probabilité 0,3, sinon
elle reste dans l’état 3.
1) Dessiner le diagramme de transitions associé à cette chaı̂ne et déterminer sa matrice de transition.
2) Quel est le temps moyen d’une interruption ? Quelle est la taille moyenne d’un fichier ?
3) i- Montrer que cette chaı̂ne est ergodique.
ii- Ecrire les équations d’équilibre de cette chaı̂ne et calculer la probabilité stationnnaire associée.
iii- En régime stationnaire, quel est le taux d’utilisation de l’imprimante ?