Exercices sur les chaı̂nes de Markov

October 11, 2011

1 Rappels de mathématiques
1.1 Calcul de moments
Soit U une variable uniforme sur [0,1]. Calculer son espérance et sa variance.
Soit X la variable résultant du tir d’un dé équilibré à six faces. Calculer son
espérance et sa variance.

1.2 Probabilité conditionnelle

Dans un établissement, il y a 60% de filles. 10% des filles fument et 20% des
garçons. Quelle est la probabilité qu’un fumeur pris au hasard soit un garçon ?

1.3 Inversion de matrice

Calculez le déterminant puis l’inverse de la matrice
 
1 2
M=
2 0
Verifiez votre calcul en multipliant l’inverse de M par M .

2 Exercices sur les chaines de Markov

2.1 Irreductibilité
Soit les matrices
   
0.5 0.5 0 0 0 1 0 0
 0 0 1 0  , M2 =  0 0 0.5 0.5 

M1 = 
 0.2 0.3 0.5

0   0.2 0.3 0.5 0 
0.5 0 0 0.5 0.5 0 0.5 0
   
0 1 0 0 0 0 1 0
 0 0.5 0.5 0  , M4 =  0 0.4 0 0.6 
 
M3 = 
 0.2 0.3 0.5 0   0.2 0 0.8 0 
0.5 0 0.5 0 0 1 0 0

1
On considère les chaines de Markov engendrées par ces matrices.
• Quelles matrices génèrent des chaines irréductibles?
• Dans les cas non irréductibles donner les éléments transients, absorbants,
les ensembles d’états disjoints.

2.2 Utilisation des puissances pour vérifier l’irréductibilité

On considère la chaı̂ne de Markov homogène Xi engendrée par une matrice M
de dimension d.
• Comment repère -t-on qu’il est impossible de passer d’un état i à un état
j dans la chaı̂ne à partir de la matrice M ?
• On considère la suite des observations paires X0 , X2 ..... En utilisant la
formule de transformation des lois par la matrice de transition (Ln =
Ln−1 .P ), montrer que cette suite est une chaine de Markov. Quelle est sa
matrice de transition ?
• Comment repère -t-on qu’il est impossible de passer d’un état i à un état
j en deux étapes dans la chaı̂ne à partir de la matrice M ?

• Généraliser le résultat précédent aux suites ne retenant qu’une observation

sur 3, puis une observation sur m en donnant l’expression de la matrice
de transition correspondante.
• En déduire que s’il existe une puissance m telle que Id + M + M 2 + M 3 +
· · · + M m ne contient aucun 0 alors la chaı̂ne est irréductible.

Le théorème de Caylay-Hamilton établit qu’il existe toujours un polynôme de

degré d qui s’annule pour la matrice M :

M d + ad−1 + M d−1 + · · · + a1 M + a0 Id = 0.

• En déduire que si Id + M + M 2 + M 3 + · · · + M d−1 contient un 0, la chaine

n’est pas irréductible.
Soit la matrice  
0.5 0.5 0 0
 0 0 1 0 
M =
 0
.
0.5 0.5 0 
1 0 0 0
Calculer les puissances de M pour appliquer la méthode précédente.