B.A.

Ferrif

2-Chanes de Markov

24/07/01

52

B.A. Ferrif

53

I-Introduction
La structure de chane de Markov modlise un type particulier de processus
stochastiques : les processus "sans mmoire" et pour lesquels les changements
d'tat se produisent des instants dtermins. Dans certaines situations o la
mmoire du pass intervient, le concept de processus de Markov sera tendu et
prcisera le niveau de mmoire ncessaire.
La dcouverte en est due Markov, qui la dgage dune tude statistique sur la
dpendance entre certaines lettres dun texte littraire [tude de lalternance des
voyelles et des consonnes dans "Eugne Oneguine" de Pouchkine], considr
pour loccasion comme suite de symboles. Il est intressant de penser quun
sicle plus tard, le modle et la problmatique sous-jacente sont utiliss avec
succs aussi bien dans des projets de haute technologie que dans la gestion des
organisations.
Cette structure se retrouve frquemment comme modle de phnomnes
naturels et les modles markoviens se rvlent trs efficaces dans de multiples
secteurs; en particulier :

dans les systmes assimilables des rseaux de files dattente, par exemple
dans le domaine des tlcommunications avec les rseaux commutation de
paquets ;

dans les organisations de gestion : affectation de personnel, systmes de

maintenance ;

en dmographie, pour tudier lvolution de la taille dune population ;

en vie artificielle, pour tudier lvolution dune population sous linfluence des
facteurs de mutation et de slection ;

24/07/01

B.A. Ferrif

en physique, pour tudier les mouvements de particules sur les rseaux ;

dans les systmes de reconnaissance des formes ;

54

Le concept de chane de Markov cache que nous introduirons en conclusion est,

quand lui, la base de nombreux algorithmes dans un grand nombre de
domaines (par exemple dans la reconnaissance du langage naturel ou encore
dans le squenage du gnome).

II-Prrequis et Objectifs
Ce que vous devez au minimum matriser pour aborder de ce chapitre :

Probabilits : Concepts despace probabilis, de variable alatoire, de

dpendance et dindpendance (en thorie des probabilits); la formule de
Bayes.

Algbre : Algbre matricielle.

Ce que vous devez matriser pour tirer pleinement profit de ce chapitre :

Probabilits : Concepts despace probabilis, de variable alatoire, de

dpendance et dindpendance (en thorie des probabilits); la formule de
Bayes.

Algbre : lalgbre matricielle, les notions de base de la thorie des graphes.

Informatique: des lments de programmation et des lments de

programmation sous Mathematica

24/07/01

B.A. Ferrif
Ce que vous devez savoir faire la fin de cette leon :

Savoir reconnatre un modle markovien,

Savoir en dterminer les principales caractristiques,

Savoir le modliser et le simuler.

Ce qui vous est propos dans ce chapitre :

Apprendre les concepts fondamentaux,

Apprendre modliser et simuler des processus markoviens,

Sexercer sur des applications immdiates,

Rflchir sur des problmes concrets et de synthse,

Svaluer par tests de connaissance et de savoir-faire.

24/07/01

55

56

B.A. Ferrif

1-Processus et Chanes de Markov

1-1-Dfinition des Processus de Markov
Un processus alatoire ( X t n ) t n I est un processus de Markov (on dit parfois
processus de Markov d'ordre 1 ou de mmoire 1) s'il vrifie l'axiome suivant
frquemment appel proprit de Markov :
"( t0 , t1,..., tn -1, tn ) I n +1 , t0 < t1 < ... < tn -1 < tn , "( x 0 , x1,..., x n -1, x n ) E n +1,
P ( X t n-1 = x t n-1 ,..., X t1 = x t1 , X t 0 = x t 0 ) > 0 ,

) (

P X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ,..., X t 0 = x t 0 = P X t n = x t n X t n-1 = x t n-1 .

Autrement dit :
La proprit de Markov exprime que l'tat futur X t n ne dpend pas des tats
passs X t i , i {0,1, 2,.., n - 2} , mais seulement de l'tat prsent X t n -1 . Ainsi cette
proprit prcise l'absence de mmoire du processus.

Chane et processus de Markov

1-Un processus de Markov tel que I=N et E dnombrable s'appelle une chane de
Markov temps discret.
2-Un processus de Markov tel que I=N et E diffus s'appelle un processus de
Markov temps discret.
3-Un processus de Markov tel que I=R et E dnombrable s'appelle une chane de
Markov temps continu.
4-Un processus de Markov tel que I=R et E diffus s'appelle un processus de
Markov temps continu.

24/07/01

57

B.A. Ferrif
1-2-Analogie dterministe

L'analogue dterministe d'un processus de Markov ( X t n ) t n I est un processus

d'volution ( x t , t N ) qui est dcrit par une quation de rcurrence du premier
ordre de la forme

x t +1 = f ( x t , t) plutt que par une relation du type

x t +1 = F ( x t , x t -1,..., x 0 , t) . Lorsque le phnomne est alatoire les fonctions

x t +1 = f ( x t , t) et x t +1 = F ( x t , x t -1,..., x 0 , t) sont remplaces par les lois de probabilit
conditionnelle de la condition de Markov.

1- 3 Exemple de chane de Markov : Marche alatoire entre deux bornes

On considre un signal dont lamplitude est comprise entre 0 et 5A et qui ne peut
prendre que des valeurs qui sont des multiples de A.
tout instant n, si le signal vaut A, 2A, 3A ou 4A, il peut soit rester constant, soit
augmenter de A, soit diminuer de A avec quiprobabilit.
tout instant n, si le signal vaut 0, il peut soit rester constant, soit augmenter de
A, avec quiprobabilit.
tout instant n, si le signal vaut 5A, il peut soit rester constant, soit diminuer de
A avec quiprobabilit.

1 4 Simulation
Ecrire un programme permettant de simuler une marche alatoire entre 2 bornes.

1 5 Exemple de chane de Markov : Marche alatoire avec absorption

On considre un signal dont lamplitude est comprise entre 0 et 5A et qui ne peut
prendre que des valeurs qui sont des multiples de A.

24/07/01

B.A. Ferrif

58

tout instant n, si le signal vaut A, 2A, 3A ou 4A, il peut soit rester constant, soit
augmenter de A, soit diminuer de A avec quiprobabilit.
tout instant n, si le signal vaut 0, il conserve la valeur 0.
tout instant n, si le signal vaut 5A, il conserve la valeur 5A.

1 6 Simulation
Ecrire un programme permettant de simuler une marche alatoire avec
absorption.

1- 7 - Homognit d'un processus de Markov

Un processus de Markov est dit homogne s'il vrifie la proprit suivante :
Proprit d'homognit
"( s, t) I 2 , "( x, y ) E 2 , P ( X s = y X t = x ) = P ( X s- t = y X 0 = x )
Autrement dit :
La proprit d'homognit ou de stationnarit temporelle des transitions prcise
que la probabilit de transition d'un tat un autre ne dpend que du temps
coul entre ces 2 tats, ici (s - t), et non des instants de transition.
Tous les processus de Markov qui seront considrs dans ce cours seront
dsormais homognes sauf mention explicite du contraire.

1- 8 - Probabilit de transition de l'tat x l'tat y pour un processus

homogne
La probabilit de transition de l'tat x l'tat y, entre les instants n et n+1 est
indpendante de n. Plus prcisment :

24/07/01

59

B.A. Ferrif
" ( m, n ) N 2 , " ( x, y ) E 2 , P ( X n +1 = y X n = x ) = P ( X m +1 = y X m = x ) .

Cette probabilit sera note pxy ; c'est donc la probabilit de passer de l'tat x
l'tat y en une seule transition, c'est--dire en une seule tape.

Critre : pour dmontrer la proprit d'homognit d'une chane il est suffisant

de dmontrer que :
" ( x, y ) E 2 , pxy = P ( X n +1 = y X n = x )

est indpendante de n.

1- 9 - Matrice de transition d'une chane de Markov homogne

Lorsque x et y dcrivent E les pxy dcrivent une matrice que l'on appelle la
matrice de transitions ou matrice de la chane de Markov, elle sera note

( )

P = pxy

x , y E

On a :
- " ( x, y ) E 2 , pxy = P ( X n +1 = y X n = x ) 0
- "x E , pxy = 1 .
y E

1- 10 - Exemples de matrice de transition :

Les matrices suivantes sont les matrices de transition d'un processus de Markov

dont l'espace d'tat E = {1, 2, 3} possde 3 lments :

12

24/07/01

1
2
0
1
2

1
2
1

2
0

60

B.A. Ferrif

dont l'espace dtat E = {1, 2, 3, 4} possde 4 lments :

1
2

0
1

2
1

1
2
1
2

1
2

1
2

0
1
2

dont l'espace dtat E = {1, 2, 3, 4, 5, 6, 7, 8, 9,10} possde 10 lments

0
0
1

2
0
0

1
0
0

0
0
0

0
0
1

0
3
0
5

1
4
0
0
0
1
6
0
3
4
0

1
3

1
3

0
0
0
0
0
0
0
1
1
5
0

3
4
0
0
0
1
3
0
1
4
0
0
1
3

0 0 0

1 0 0
0 0 0

0 0 0

0 0 0
0 0 0

0 0 0
1
0
0
5

0 0 0

1 - 11 - Exercice :
Ecrire les matrices de transition des exemples (1-3) et (1-5)

1 - 12 - Prparation des simulations

La matrice de la chane de Markov permet de simuler, par exemple sous
Mathematica qui sera le logiciel pris en exemple dans cet enseignement, un

24/07/01

B.A. Ferrif

61

grand nombre de problmes. Pour entrer la matrice vous pouvez utiliser la palette
"basic input" du sous-menu "palette" du menu "File" ;

pour ajouter une colonne taper simultanment [ctrl]+[,] ;

pour ajouter une ligne taper simultanment [ctrl]+[Return].

1- 13- Graphe d'une chane de Markov homogne

Lorsque l'espace d'tats est fini, on peut associer la chane de Markov, donc
la matrice de transition, un graphe orient dont les sommets reprsentent les
tats et les flches les probabilits non nulles de transition entre tats;
gnralement l'arte oriente de l'tat x vers l'tat y portera l'indication de la
probabilit pxy . (cf. Appendice Graphes)
Les graphes de transition des chanes de Markov correspondant aux deux
premires chanes de Markov des exemples (1 10) sont donns par les figures
suivantes :

24/07/01

62

B.A. Ferrif

1/2

1/2

1
1/2

2
1/2

3
1/2

4
1/2

1/2

1/2
Graphe du processus

1- 14 - Exercice
Dessiner le graphe de la troisime chane.

1- 15 - Simulation

Simulation

Ecrire un programme permettant de visualiser le graphe correspondant des

matrices de dimensions raisonnables.
Ecrire un programme qui associe la matrice de la chane de Markov, la matrice
d'adjacence du graphe de cette chane. Appliquer la matrice de lexemple 1).

1- 16 - Exercice
Ecrire les matrices de transition des exemples (1-3) et (1-5).

24/07/01

63

B.A. Ferrif

2- Transition d'ordre suprieur

2-1 Notations et dfinitions
(n )
la probabilit de transition de l'tat x l'tat y en n
Nous dsignerons par pxy

tapes.
( 0)
On pose par dfinition pxy
= d xy (=1 si x=y , 0 sinon).
(n )
est la probabilit conditionnelle d'atteindre y aprs n tapes
Autrement dit: pxy

partant de l'tat x.
Autrement dit : Cette probabilit est la probabilit de l'ensemble de tous les
chemins possibles d'origine x d'extrmit y et de longueur n dans l'espace des
tats.

2-2-Equations de Chapman-Kolmogorov
Proposition : Soit une chane de Markov homogne temps et tats discrets.

(n )
1- On a : "m, n N , "x, y E , pxy
= P Xm +n = y Xm = x

En d'autres termes la puissance n-ime Pn de la matrice de transition P, est la

(n )
est situ la ligne x et la
matrice de transition en n tapes. Llment pxy

colonne y.
2- Si on pose :

( )

( )

(n )
(m )
P n = pxy
, P m = pxy

, on a les quations de Chapman-

Kolmogorov

(p

(m +n )
xz

) = p

(m )
xy

y E

. pyz( n )

en dautres termes P m + n = P m .P n .

En effet la rgle de Bayes squentielle donne

24/07/01

64

B.A. Ferrif
"m, n N , "x, y E ,

(n )
pxy
= P Xm +n = y Xm = x =

x1 , x 2 ,.., x n-1

pxx1 .. px n-1 y

On a
"m, n N , "x, z E ,

(m ) (n )
pxz( m + n ) = pxy
pyz
y E

(m ) (n )
o pxy
pyz est la probabilit que, partant de ltat x, la processus atteigne ltat z en

m+n transitions par un chemin qui passe par ltat y la mme transition.
On en dduit la relation matricielle : P m + n = P m P n

(m ) (n )
P m + n = ( pxz( m + n ) ) = pxy
pxz et en particulier on a
y E

( )

( )

(n )
(m )
P n = pxy
, P m = pxy

et

( n ) (1)
pxz( n +1) = pxy
pyz
y E

2-3- Exercice
Pour chacun des processus de Markov dfinis ci-dessous, donner "i, j E , Pij( 3 )

Processus dont l'espace d'tat E = {1, 2, 3} possde 3 lments et de matrice

de transition :

12

1
2
0
1
2

1
2
1

2
0

Processus dont l'espace dtat E = {1, 2, 3, 4} possde 4 lments et de matrice

de transition :

4/07/02

65

B.A. Ferrif

1
2

0
1

2
1

1
2
1
2

1
2

1
2

0
1
2

2-4- Simulation
Ecrire un programme permettant d'obtenir les puissances successives, sous forme
boolenne, de la matrice d'adjacence de la matrice P d'une chane de Markov . La
puissance n-ime de la matrice d'adjacence est-elle gale la matrice d'adjacence
de la puissance n-ime de P ?

2-5- Loi initiale de la chane de Markov.

La loi de la variable alatoire Xo s'appelle la loi initiale. (Cette loi, connue dans les
applications, est dfinie, rappelons-le, par "x E , P ( X 0 = x ) = px .
C'est une loi de probabilit sur l'espace des tats.

2-6 - Loi de probabilit de X n .

Le thorme suivant va nous permettre de trouver la loi PX n de X n pour tout entier
positif n . Il est connu sous le nom de thorme de Markov.

Thorme : A tout instant n la loi de probabilit PX n de X n est donne par :

PX n+1 = PX n .P , PX n = PX 0 .P n

4/07/02

66

B.A. Ferrif

Posons px( n ) = P ( X n = x ) = PX n ( x ) ; on a :

py( n ) = P ( X n = y ) = PX n ( y ) =

p .p
x

(n )
xy

x N

avec "x E , px = P ( X 0 = x ) .
La formule prcdente s'obtient par simple application de la rgle de Bayes

( )

squentielle; il est alors clair que la matrice de transition P = pxy

initiale ( P ( X 0 = x ) = px( 0 ) ) x E

x , y E

et la loi

dterminent PX n pour tout n .

La loi PX n de Xn , note parfois PX n = Pn , est donc une loi marginale au sens

habituel du terme.

2-7- Une caractrisation d'une chane de Markov homogne

Tout processus alatoire temps et tats discrets vrifiant :

"n N , " x t 0 , x t1 , ..., x t n E n +1 , P ( X t n = x t n , X t n-1 = x t n-1 ,..., X t 0 = x t 0 ) = P ( X t 0 = x t 0 ). px t x t . px t x t ... px t x t .

0 1
1 2
n-1 n

( )

est une chane de Markov de loi initiale PX 0 et de matrice P = pxy

x , y E

..

3- Relations de communication entre tats dans l'espace

des tats d'une chane de Markov homogne.

3-1 - Relation de communication sur l'espace d'tats E.

3-1-1 - On dit que l'tat x conduit l'tat y (ou que y est atteignable partir de x)
(n )
si et seulement si: $n N , pxy
>0 .

24/07/01

67

B.A. Ferrif

3-1-2 - On dit que x et y communiquent si et seulement si l'tat x conduit y et

l'tat y conduit x.
(m )
Autrement dit si et seulement s'il existe des entiers m et n tels que pxy
> 0 et
(n )
> 0.
pyx

3-2 - La relation de communication est une relation d'quivalence.

Il s'ensuit que la donne d'une chane de Markov dfinit sur son espace d'tats E
une partition en classes d'quivalence qui sont (donc) des classes de
communication disjointes.
Une chane une seule classe sera dite irrductible.

3-3- Test
Les chanes suivantes sont-elle irrductibles ?
i)

12

1
2
0
1
2

1
2
1

2
0

ii)
1
2

0
1

2
1

2
iii)

24/07/01

1
2
1
2

1
2

1
2

0
1
2

68

B.A. Ferrif

0
0
1

2
0
0

0 0

1 0
0 0
0 0

0
0
1

0 0

0 1

0 0

0 0
3
0
5

1
4
0
0
0
1
6
0
3
4
0

1
3

1
3

0 0

0
0
0
0
0
0
0
1
1
5
0

3
4
0
0
0
1
3
0
1
4
0

0 0 0

0 0 0

1 0 0
0 0 0

0 0 0

0 0 0
0 0 0

0 0 0
1
0
0 0
5

1
0 0 0

3-4- Simulation
Pour raliser automatiquement une partition de l'espace des tats en classes de
communication, on peut utiliser la fermeture transitive du graphe correspondant
la matrice d'adjacence. Ecrire un programme permettant de raliser cette
opration.

3-5- Remarque
La classification des tats laide des proprits des graphes nest strictement
quivalente la classification probabiliste que dans le cas des chanes de Markov
espace dtats fini.

3-6- Parties fermes et parties absorbantes.

3-6-1-Dfinitions:
1- Une partie C de l'espace des tats sera dite ferme si et seulement si

P X n +1 C X n C = 1.

24/07/01

69

B.A. Ferrif

2- Une partie C de l'espace des tats sera dite absorbante si et seulement si

pour tout x Px (t C < +) = P t C < + X 0 = x = 1 o t C = inf {n N , X n C}

3- Pour une partie arbitraire C de l'espace des tats, la plus petite partie
ferme contenant C est appele la fermeture de C.
4- Un tat k d'une chane de Markov est dit absorbant si le processus ne peut
plus quitter cet tat une fois qu'il y est entr; en d'autre termes si pkk = 1

3-6-2-Chanes de Markov homognes absorbantes.

Dfinition: Une chane de Markov est dite absorbante si elle possde au moins un
tat absorbant et si l'on peut passer de n'importe quel tat un tat absorbant.

3-6-3-Dlais d'absorption et probabilits d'absorption

Lorsqu'une chane de Markov est absorbante, on se pose naturellement les
questions suivantes:

Combien de temps faudra-t-il pour que le processus soit absorb, tant donn
son tat initial?

S'il existe plusieurs tats absorbants, quelle est la probabilit pour un

processus d'tre absorb par un tat donn?

Pour rpondre ces questions nous allons introduire les quantits suivantes:

Ni = nombre de transitions jusqu' l'absorption en partant de l'tat i (Ni est

une variable alatoire discrte),

ni = E (Ni) = temps moyen jusqu' l'absorption en partant de i,

4/07/02

70

B.A. Ferrif

bij = probabilit que le processus soit absorb dans j si son tat initial est i.

Pour les deux dernires quantits, on a immdiatement :

ni = 0 si i est absorbant,

bii = 1 si i est absorbant,

bij = 0 si i est absorbant et j i.

Considrons maintenant des chanes de Markov comprenant plusieurs tats

absorbants. Le thorme suivant permet alors de calculer la probabilit que le
processus soit absorb par un tat donn.

3-6-4 - Thorme - Les nombres ni sont les solutions du systme d'quations

n i = 1 + pik .n k
k S

o i est un tat non absorbant et S' l'ensemble de tous les tats non absorbants.

Supposons que la chane a un tat absorbant j, dsignons par i l'tat initial (i
diffrend de j) et par Ak l'vnement : le processus passe de i k lors de la
premire

transition.

On

E ( N i ) = E N i Ak P ( Ak ) = E ( N k ) + 1 . pik = 1 + E ( N k ). pik
k S

k S

k S

3-6-5 - Thorme - Soit j un tat absorbant et S' l'ensemble de tous les tats non
absorbants. Alors les probabilits bij (i S
) sont les solutions du systme
d'quations :

bij = pij + pik .bkj

k S

24/07/01

71

B.A. Ferrif

Cela rsulte directement du thorme des probabilits totales. En effet si A

dsigne l'ensemble des tats absorbants, on a :
bij = pik .bkj =
k S

ik

k S

.bkj + pik .bkj =

k A

ik

.bkj + pij .1

k S

Plus gnralement :

3-7- Temps d'atteinte et probabilits d'atteinte

3-7-1-Thorme du temps d'atteinte : Soit

( )

homogne de matrice de transition P = pij

( X n )nN

i, j E

une chane de

Markov

. Dsignons par C un sous-

ensemble de lespace des tats E, par B le complmentaire de C dans E, et par

t C = inf {n N , X n C}

( t C = + si le processus natteint jamais C). Posons,

pour tout i dans E, n i = E t C X n = i .

On a :

pour tout i dans B , n i = 1 + pik .n k ;

k B

pour tout i dans C , n i = 0 .

3-7-2-Thorme de la probabilit d'atteinte : Soit

( )

Markov homogne de matrice de transition P = pij

deux

i, j E

Posons u(i) = Pi (t A < t B ) = Pi t A < t B X 0 = i , alors on a

u(i) =

p .u( j ) ;
ij

j E

u(i) = 1 si i A et u(i) = 0 si i B .

24/07/01

une chane de

. Dsignons par A et B

sous-ensembles ferms et disjoints de l'espace des tats E, et

supposons A U B absorbant .

( X n )nN

72

B.A. Ferrif
3-7-3- Test
Un jeu!

Trois enfants sont placs chacun un sommet dun triangle quilatral. Toutes
les dix secondes (prises comme unit de temps), chacun, indpendamment des
deux autres, choisit de se rendre en lun des deux autres sommets (avec
quiprobabilit). Au bout de combien dunits de temps en moyenne les trois
enfants se retrouveront-ils au mme sommet ?

4- Priodicit des tats d'une chane de Markov temps

et tats discrets.
Nous allons classer les tats d'une chane de Markov homogne en tats
persistants et tats transitoires ainsi qu'en tats priodiques et apriodiques afin
de pouvoir prciser les rponses aux questions suivantes :

La chane peut-elle repasser par un tat i ?

Si oui, ce nouveau passage s'effectue-t-il dans un temps moyen fini ou infini ?

4-1- Notations et dfinitions

Notons T j[ i ] le temps mis par la chane de Markov pour retourner une jme fois
son tat initial i.
On montre que pour tout j, les T j[+i ]1 - T j[ i ] sont de mme loi, dpendant de i.
Dsignons par T [ i ] la variable alatoire de loi commune aux T j[+i ]1 - T j[ i ] .

Posons Tij = Min n , X n = j X 0 = i , Tij est le temps de premier passage en j en

n N

partant de i.

24/07/01

73

B.A. Ferrif

Notons f ij( n ) = P ( X n = j, X n -1 j,.., X1 j X 0 = i) la probabilit d'tre pour la premire

fois en l'tat j au temps n, tant parti de l'tat i au temps 0.

Il est clair que f ij( n ) = P Tij = n

Posons :

f ij( 0 ) = 0 ,

Fij( n ) = f ij( k )

k =1

+
+

f ij = f ij( n ) = Fij( + ) = Fij = P U [ X n = j ] X 0 = i

n =1

n =1
+

m j = n . f jj( n ) .
n =1

Il est clair que f kj est la probabilit que, partant de ltat k, le systme atteigne ltat j.
Il s'ensuit que fkj 1.
Quand fkj = 1, la suite

{f }
(n )
kj

est une suite de probabilits dite distribution de premier

passage pour ek.

En particulier

{ f } reprsente la distribution des temps de premier passage pour

(n )
jj

ltat j, autrement dit la distribution de probabilits du temps de premier retour en j.

La probabilit pour que, partant de l'tat i, on retourne toujours dans l'tat i est
donne par fii.

4-2 Dfinition de la Priodicit d'un tat

On dira d'un tat x qu'il a la priodicit p( x )si et seulement s'il existe un entier

(n )
>0 .
p( x ) > 1 o p( x ) = PGCD n pxx

4/07/02

74

B.A. Ferrif
Dans le cas contraire l'tat sera dit apriodique.

(n )
= 0 pour
Un tat x dans lequel aucun retour n'est possible (i.e pour lequel pxx

tout n>0) sera considr comme apriodique.

Un tat x tel que pxx >0 est de priode 1. Il est apriodique, le systme pouvant
rester en x indfiniment

4-3- Remarque
La priodicit est un phnomne assez rare dans la pratique, et gnralement
lorsque cest le cas il apparat de manire vidente.

4-4 Priodicit et atteignabilit

Proposition

Si l'tat ei a la priode p(i), alors il existe un entier e dpendant de i tel que,

pour tout entier n e, pii( n . p ( i )) > 0. Autrement dit, un retour dans l'tat i peut se
produire pour tout multiple suffisamment grand de la priode.

Si p(jim ) > 0, alors p(jim + n . p ( i )) > 0 pour tout n N suffisamment grand.

4-5- Priodicit et irrductibilit

Proposition : Tous les tats d'une chane irrductible ont la mme priode.
Si x,y,z,u sont des tats de E et m,p,q des entiers naturels strictement positifs,on
a
(m + p +q )
( p ) (q )
pxy
puy .
pxz( m ) pzu

En effet le chemin

X 0 = x , X m = z , X m + p = u , X m + p + q = y reprsente une

manire daller de x y. Si les tats x et y communiquent, il existe des entiers

24/07/01

75

B.A. Ferrif
naturels

et

tels

que

(n )
(m )
pxy
> 0 , pyx
>0

Ainsi

on

a :

(m + p +q )
pxz( m ) . pzz( p ) . pzx( q ) = a . pzz( m ) , (a > 0)
pxx

Prenant p=0, il apparat que m+q est ncessairement multiple de la priode p(x)
de x , ce qui entrane la nullit du terme de gauche pour tout p non multiple de
p(x); cela entrane que la priode p(y) de y est telle que p( y ) p( x ) . Par symtrie
on conclut l'galit de p(y) et p(x).

4-6- Exercice
Etudier la priodicit des tats de la chane dfinie dans l'exemple 1 :

4-7- Exercice
Etudier la priodicit des tats de la chane dfinie par la matrice de transition :

0 1 0
0 0 1

1 0 0

24/07/01

76

B.A. Ferrif

4-8- Partition de lespace des tats en classes cycliques

Proposition : Si ( X n ) n N est une chane de Markov irrductible de priode d il
existe une partition de l'espace des tats en d classes (les classes cycliques C0 ,
( n)
= 0 sauf si n = k + a .d (0 k < d ) .
C1 ,, Cd-1 ) telles que "x Ck , pxy

4-9- Exercice
Expliciter les classes priodiques de la chane (4-7).

5- Etat persistant et tat transitoire.

5-1 - Dfinitions :

L'tat i est persistant ( ou rcurrent) si et seulement si fii = 1.

L'tat i est transitoire si et seulement si fii < 1.

Un tat i persistant est dit nul si et seulement si m i = +.

Un tat i persistant est dit positif si et seulement si m i < + .

5-2- Equivalences des dfinitions

Thorme :
1-Les conditions suivantes sont quivalentes :
i)

L tat i est persistant,

+

ii)

(n )
ii

= + ,

n =1

iii)

P X n = i i.o X 0 = i = 1

i.o signifie infiniment souvent.

2-Les conditions suivantes sont quivalentes :

24/07/01

77

B.A. Ferrif
i)

L tat i est transitoire ,

+

ii)

(n )
ii

< + ,

n =1

iii)

P X n = i i.o X 0 = i = 0

i.o signifie infiniment souvent.

5-3- Remarques
a. Les tats transitoires sont donc rechercher parmi les tats i qui
possdent la proprit : Lim pii( n ) = 0 .
n +

b. Si l'tat i est transitoire alors "j E , p(jin ) < + .

n =1

c. L'tat i est persistant nul si et seulement si

"i E , pii( n ) = + et
n =1

Lim pii( n ) = 0 . Alors "j E , Lim p(jin ) = 0 .

n

n +

5-4- Exercices :
1-Montrer que les dfinitions (5-1) sont quivalentes :

i)

Un tat i est persistant si P T [ i ] < + = 1 ;

ii)

un tat persistant sera dit persistant nul si E (T [ i ] ) = + et persistant positif

si E (T [ i ] ) < + ;

iii)

un tat non persistant est dit transitoire ; il sagit donc dun tat i qui

satisfait P T [ i ] = + > 0
2- Justifier les remarques (5-3).

24/07/01

78

B.A. Ferrif
5-5- Remarque

L'importance des thormes prcdents rside principalement dans leurs aspects

smantiques. Ils sont en effet assez malaiss utiliser comme critres de
classification dans les applications. Nous donnerons ultrieurement quelques
critres d'utilisation plus aiss; malheureusement il n'en existe pas de simples et
universels.

5-6- Martingale
Une chane de Markov de matrice de transition

(p )

ij i, j N

est appele une

{ }

martingale si et seulement si pour tout i l'esprance de la loi pij

Autrement dit si et seulement si

j .p

ij

j N

est gale i.

=i .

j N

5-7- Exercice
Supposons donne une chane de Markov finie dont l'ensemble des tats est

{0,1, 2,...,n} ; afin d'viter des trivialits, nous supposerons que cette chane ne
possde pas plus de deux sous-ensembles persistants. Supposons que cette
chane est une martingale.
Etudier les tats 0 et n .
Calculer Lim pi(0k) et Lim pin( k) et interprter ces limites.
k +

24/07/01

k +

79

B.A. Ferrif

5-8- Une caractristique des tats d'une mme classe

Proposition : Soit ( X n ) n N une chane de Markov homogne. Les tats d'une
mme classe sont tous
o ou persistants positifs,
o ou persistants nuls,
o ou transitoires.

5-9- Exercice :
Nature des tats de la chane :
ir
0
0
0
k0

p
r
0
0
0

0
p
r
0
0

e
e
e
1
0

0y
0
p
0
1{

5-10 Dures et probabilits de sjour dans lensemble des tats

transitoires
Notons :
+

N i = 1{ X n = i} le nombre de fois o la chane se trouve dans l'tat i durant son

n =1

volution ;

N ij le nombre de passages en j, partant de ltat i, avant absorption ;

Fij la probabilit de passage en j, partant de ltat i, avant labsorption ;

24/07/01

80

B.A. Ferrif

Ti la dure du sjour dans lensemble des tats transitoires en partant de ltat

i.

On a, bien videmment : Ti = N ij o t dsigne lensemble des tats transitoires.

j t

Un raisonnement lmentaire nous montre que si i est persistant la chane visite

l'tat i une infinit de fois presque srement .

Posons
A={Le systme passe au moins n fois par l'tat j},
B={Le systme atteint l'tat j} , on a :

gij( n ) = P A X 0 = i

gij(1) = P B X 0 = i = Fij

On a :

gij( 2) = Fij g(jj1)

Pour que le systme passe au moins deux fois par ltat j, il doit dans un premier
temps atteindre

ltat j, puis ensuite repasser par ce dernier. Il sensuit par

rcurrence :

gij( n ) = Fij g(jjn -1) = Fij F jjn -1

gii( n ) = Fiin

On a :
P ( N ii = n ) = gii( n -1) - gii( n )
P ( N ii = n ) = (1 - Fii ) Fiin -1

4/07/02

81

B.A. Ferrif

Il sensuit que N ii suit une loi de Pascal de paramtre (1- Fii ) .

5-10-1- Loi des N ij et nombre moyen de passages.

On a :

(
P (N
P (N

)
= m) = F ( F - F )
= m) = F (1 - F ) F

P N ij = m = gij( m ) - gij( m +1)

ij

ij

ij

m -1
jj

ij

m
jj

jj

m -1
jj

Il sensuit que :
1
.
1 - Fii

Le nombre moyen de retours en i en partant de i est E ( N ii ) =

Le nombre moyen de passages en j en partant de i est E N ij =

( )

Fij
.
1 - F jj

En rsum on a :

Proposition : On a

(
P (N

)
( )
= i) = 1 - f = 1 - F si

P N j = r X 0 = i = f ij . f jjr -1 1 - f jj = Fij .F jjr -1 1 - F jj si r > 0 , et

= r X0

ij

ij

r=0

Thorme : L'esprance du nombre de passages par l'tat j, conditionne par Xo

= i, est gale :

E N j X 0 = i = n =1 pij( n )

5-10-2- Calcul des Fij pour i, j t

Notons :

24/07/01

82

B.A. Ferrif

t lensemble des tats transitoires,

c lensemble des tats rcurrents,

T les probabilits de passage entre tats transitoires de t ,

C les probabilits de passage entre tats rcurrents de c ,

R les probabilits de passage entre un tat transitoire de t et un

tat rcurrent de c .

On peut dcomposer la matrice P de la manire suivante :

T
P=
0

t c
t T R
c 0 C

On a :

Fij = pik P passage en j X 0 = k , o

k E

0 si k c

P passage en j X1 = k = 1 si k = j
F si k j
kj

Soit :
"i, j t , Fij = pij +

pik Fkj ; si parmi les n tats de lespace des tats, m sont

k j , k t

rcurrents, on a
F jj =

(n - m) 2 quations (n - m) 2 inconnues. On en dduit :

1
(I - T ) -jj1

(I - T ) -ij1
Fij =
(I - T ) -jj1

5-10-3- Dure moyenne du sjour dans les tats transitoires.

Nous avons :

24/07/01

83

B.A. Ferrif
Ti = N ij ; il sensuit :
j t

( )

E (Ti ) = E N ij = ( I - T ) ij = ( I - T ) i .U o :
j t

-1

-1

j t

U est la matrice colonne n-m composantes gales 1 et

(I - T ) -1i est la i-me ligne de la matrice (I - T ) -1

Si E (T ) est le vecteur colonne {E (Ti )}it

-1

alors E (T ) = ( I - T ) .U .

5-11- Matrice fondamentale :

Compte tenu du rle tenu par la matrice ( I - T ) elle porte souvent le nom de
matrice fondamentale de la chane de Markov.

5-12 - Problme :
Soit

( X n )nN

une chane de Markov homogne irrductible dont lespace des

( )

tats est fini ou dnombrable et de matrice de transition P = pij

i, j E

On pose

f ij( n ) = P ( X n = j, X n -1 j,.., X1 j X 0 = i) la probabilit d'tre pour la premire fois

en l'tat j au temps n, tant parti de l'tat i au temps 0,
+

f kj = f kj( n ) ,
n =1

gij( n ) = P Le systme passe au moins n fois par j X 0 = i .

1- Montrer que :

"i, j E , "n N * , f ij( n +1) = pik . f kj( n )

k j

"i, j E , "n N * , gij( n +1) = f ij .gij( n )

24/07/01

84

B.A. Ferrif
2- Montrer que la chane ( X n ) n N est rcurrente si et seulement si Lim gii( n ) = 1.
n

Que peut-on en dduire si lespace des tats est fini ?

3- Supposons i j , posons a ij = P $n N * , X n = j , X k i ,1 k n X 0 = i ; montrer

que f ii 1 - a ij 1 - f ji . En dduire la valeur de f ji lorsque la chane est

rcurrente.

4- Posons m ij = n . f ij( n ) , m ij reprsente le temps moyen de premier passage en j

n =1

sachant qu linstant 0 le systme tait en i ; montrer que si la chane ( X n ) n N est

rcurrente, alors "i, j E , m ij = pik .m kj + 1.
k j

Que peut-on dire de m ij si f ij < 1 ?

6-Ergodicit
Nous avons prcis, au paragraphe 2, la notion de transition dordre suprieur
pour une chane de Markov

( X n )nN

et mis en vidence que la probabilit

datteindre ltat x partir de ltat y en n tapes tait donn par la matrice

( )

(n )
P n = pxy

puissance nme de la matrice de transition P.

6-1- Dfinition :
Nous dirons quune chane de Markov est ergodique si et seulement si la
(n )
limite "x, y E , Lim pxy
existe et est indpendante de ltat initial x . Comme cette
n

(n )
limite ne dpend que de ltat final y , nous la noterons Lim pxy
= py.
n

24/07/01

85

B.A. Ferrif

Ainsi une chane de Markov ergodique atteint aprs un grand nombre dtapes
une situation dquilibre statistique au sens suivant :
nous avons vu que la loi marginale PX n est dfinie pour tout y E par
(n )
py( n ) = P ( X n = y ) = PX n ( y ) = px . pxy
;
x E

il sensuit alors que

(n )
(n )
(n )
= Lim pxy
. px = Lim pxy
= py
Lim py( n ) = Lim P ( X n = y ) = Lim PX n ( y ) = Lim px . pxy
n

x E

x E

car px =1.
x E

Un problme important de la thorie des chanes de Markov est donc de

dterminer sous quelles conditions une chane de Markov est ergodique.
Nous reviendrons plus gnralement sur la question des limites et sur les critres
dergodicit au paragraphe 8.

6-2- Remarques

(n )
Lorsque "y E , Lim pxy
= p y > 0 on prcise parfois que la chane de Markov
n

est fortement ergodique.

(n )
Lorsque "y E , Lim pxy
= p y = 0 on prcise parfois que la chane de Markov
n

est faiblement ergodique.

6-3- Thorme et dfinition

Un tat y apriodique, persistant, est ergodique si et seulement si m y < + . Alors
(n )
"y E , Lim pxy
= f xy m y-1 .
n

24/07/01

86

B.A. Ferrif

6-4- Remarque
Il rsulte de ce qui prcde que si l'tat y est apriodique alors

soit

(n )
(n )
Lim pxy
= f xy m y-1 soit Lim pxy
= 0.
n

7- Chane irrductible, dcomposition des chanes.

7-1 Partie irrductible ferme
Thorme : Si i est un tat persistant, il existe une unique partie irrductible
ferme C contenant i et telle que pour tout couple (j,k) d'tats dans C, on ait
f ik = 1 , f kj = 1 .
Autrement dit partant d'un tat arbitraire i dans C, le systme est certain de
passer par tous les autres tats de C; par dfinition de la fermeture, aucune sortie
de C n'est ralisable.

7-2 Dcomposition d'une chane de Markov

Thorme : L'espace des tats d'une chane de Markov se dcompose en une
partition d'ensembles T, C1 , C2 , tels que :

T est l'ensemble de tous les tats transitoires.

Si j est dans Cn alors fjk = 1 pour tout k dans Cn et f jk = 0 pour tout k extrieur
Cn.

24/07/01

87

B.A. Ferrif

7-3- Probabilit d'absorption par une classe rcurrente

Considrons une chane de Markov ( X i ) dont l'espace des tats E a pour cardinal
n. Supposons que cette chane possde un ensemble d'tats transitoires T de
cardinal n-m, o m dsigne le cardinal de l'ensemble C des tats rcurrents.
Supposons enfin que cette chane possde r classes rcurrentes C 1 , C2 , ... , Cr
(dont la runion est C).
Nous allons dterminer l'ensemble

{b }
ip

des probabilits d'absorption du

processus par la classe rcurrente C p pour p {1,..., r} et i T .

On a :

b ip = pij .P Absorption par C p X1 = j avec

j E

P Absorption par C p X1 = j = 0 si j C - C p

P Absorption par C p X1 = j = 1 si j C p

b jp si j T

Il s'ensuit :

b ip =

p + p .b
ij

j C p

ij

jp

j T

d'o l'on dduit l'quation vectorielle

24/07/01

B.A. Ferrif

88

p1 j
b1 p

j C p

b
p2 j = ( I - T ). 2 p (en numrotant les lments de T de 1 (n-m) )

j C p
...
...

b
(n -m ) p

p( n - m ) j

j C p

et la solution

b1 p
b p
2
...

b
(n -m ) p

p1 j

j C p

-1
p2 j
= ( I - T ) . j

C p
...

p( n - m ) j

j C p

Remarque : Une dmonstration rigoureuse se dduit du thorme de

Gerschgrin.

7-4 Caractrisation de la nature des tats (1)

Thorme : Dans une chane finie il n'existe pas d'tat nul et il n'est pas possible
que tous les tats soient transitoires.
Autrement dit :

7-5 - Caractrisation de la nature des tats (2)

Thorme : Avec une probabilit gale 1, un tat transitoire ne peut tre visit
qu'un nombre fini de fois. Il s'ensuit que dans une chane de Markov nombre fini
d'tats, tous les tats ne peuvent pas tre transitoires; au moins l'un d'eux est
persistant.

24/07/01

89

B.A. Ferrif

7-6 - Caractrisation de la nature des tats (3)

Thorme : Si une chane de Markov est absorbante, tout tat non absorbant est
un tat transitoire.

7-7- Caractrisation de la nature des tats (4)

Thorme : Une chane de Markov homogne irrductible ( X n ) n N est transitoire
si et seulement si pour un tat quelconque k le systme linaire :
x i = pij .x j

, i k et j k

0 xi 1 , i k
admet une solution non identiquement nulle.
Rsultat quivalent :

7-8- Caractrisation de la nature des tats (5)

Thorme : Une chane de Markov homogne irrductible ( X n ) n N est persistante
si et seulement si pour un tat quelconque k le systme linaire :
x i = pij .x j

, i k et j k

0 xi 1 , i k ,
n'admet aucune solution autre que xi = 0 pour tout i.

7-9- Exercice
Caractriser les tats de la chane de Markov dfinie par la matrice de transition :

24/07/01

90

B.A. Ferrif

1
M=
12

1
2
0
1
2

1
2
1

2
0

7-10-Test
Caractriser les tats de la chane de Markov dfinie par la matrice de transition :

0.7
0
0
0
0
0
0
0.3
0 y
i 0
0.8
0
0.2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0.4
0
0.05
.0
0.25 0.05 0.25
0
0
0
0
0
0.2
0.8
0
0
0
P=
0
0
0
0
0.1 0.2
0.7
0
0
0
0
0
0
0
0.7 0.3
0
0
0
0
0
0
0
0.35
0
0.15 0.1
0
0
0.4
1
0
0
0
0
0
0
0
0
0
0
0
0.5
0
0
0.05 0.05
0
0.4 {
k 0
Rcrire cette matrice sous la forme :
T

R
.
C

8- Distributions stationnaires et lois limites.

8-1- Distribution stationnaire.
Une chane de Markov homogne d'espace d'tats fini ou non est dite possder une
distribution stationnaire

p = (p 0 ,p1,..,p n ,...) (o

"i N , p i 0 et

p
n

seulement si p satisfait l'quation p = p .P .

Autrement dit : la loi de Xn est invariante dans le temps.

4/07/02

= 1) si et

91

B.A. Ferrif
8-2- Lois limites

Une chane de Markov homogne est dite possder une loi limite

p = (p 0 ,p1,..,p n ,...)

si et seulement si Limn +p (jn ) = Limn + P ( X n = j ) = p j pour j=

0, 1, 2, ... .

8-3- Lois limites et lois stationnaires des chanes de Markov homognes

irrductibles et apriodiques.
Thorme :

( X n )nN

une chane de Markov homogne irrductible apriodique,

La loi limite

( Limn +p (jn ) = Limn + P ( X n = j ) = p j ) j N existe toujours et est

1. Soit

indpendante de la loi initiale.

2. Si tous les tats ne sont pas persistants positifs (donc sont soit transitoires,
soit persistants nuls) alors p j = 0 pour tout j et aucune distribution stationnaire
n'existe.
3. Si tous les tats de ( X n ) n N sont persistants positifs alors p j > 0

p = (p 0 ,p1,..,p n ,...) forme une distribution stationnaire avec

Auquel cas la limite est l'unique solution de l'quation :

=1

iN

p j = p i . pij

j = 0, 1, 2, ..

iN

8-4- Loi stationnaire pour une chane arbitraire

Le critre suivant s'applique une chane arbitraire :

24/07/01

pj =

pour tout j et
1
mj

92

B.A. Ferrif

Thorme : Si une chane de Markov possde une loi stationnaire

p = (p 0 ,p1,..,p n ,...) alors p n = 0 pour tout n correspondant un tat transitoire ou

un tat persistant nul.
Autrement dit p n > 0entrane que l'tat n correspondant est persistant et a un
temps de rcurrence fini (en revanche l'tat n peut tre priodique).

Dire que p = (p 0 ,p1,..,p n ,...) est une loi stationnaire entrane que p n = p i . pin( k) .
iN

Si l'tat n est transitoire ou persistant nul, on a pour tout i

Lim pin( k) = 0 ce qui

k

entrane p n = 0 .

8-5- Remarques :

Dans le cas (3) d'une chane de Markov fortement ergodique, la loi

stationnaire et la loi limite concident. De telles distributions sont dites
distributions d'quilibres.

Ces distributions sont fondamentales pour traiter des files d'attente. Cela
indique aussi pourquoi il est important de possder des critres permettant de
savoir si une chane de Markov est ou non ergodique.

Il importe de noter qu'une distribution limite est aussi une distribution

stationnaire mais que l'inverse n'est pas exact.

Le thorme suivant montre que le comportement d'une chane de Markov dont le

nombre d'tats est fini est plus simple que celle dont le nombre d'tats est infini:

24/07/01

93

B.A. Ferrif
8-6- Ergodicit des chanes espace dtats fini

Thorme : Une chane de Markov ( X n ) n N dont le nombre d'tats est fini et qui
est irrductible et apriodique est (fortement) ergodique.

En effet, daprs (7-3) la chane est persistente et daprs (8-3-3) elle est
fortement ergodique.

8-7- Exercice :

Loi stationnaire et loi limite de la chane de Markov :

12

1
2
0
1
2

1
2
1

2
0

8-8- Test
Le sige d'une entreprise est assimilable un polygone ayant N s sommets.
chaque sommet est situ un accs au btiment. Une partie de la scurit du
btiment est assure par un vigile. Il est dcid qu'il se dplacera dun accs
l'autre de telle sorte que, s'il quitte un sommet, il y a une probabilit p quil dcide
daller au sommet adjacent dans le sens des aiguilles dune montre et une
probabilit (1-p) qu'il aille lautre sommet adjacent.

1 Analyser la situation lorsque N s = 5 et N s = 6.

24/07/01

94

B.A. Ferrif

1
1

2 On se place dans le cas du pentagone, N s = 5. Imaginons pour fixer les ides

que le vigile commence sa surveillance l'accs n1, que p=1/3, que le vigile
met 130 pour passer dun accs un autre et demeure 30 chaque accs. On
souhaite connatre l'accs le plus vulnrable au sens suivant : celui pour lequel le
temps moyen de premier passage est le plus lev.

9- Extension:
9-1- Matrices de transition d'une chane de Markov non-homogne.
Lorsque la chane de Markov n'est pas homogne, la probabilit de transition de
l'tat x l'tat y dpend de l'indice n. On a donc une famille de matrices de
transition satisfaisant :

"n N , "x, y E , pxy ( n ) = P X n +1 = y X n = x > 0,

"n N , "x E , pxy ( n ) = 1 .

y E

9-2-Processus de Markov d'ordre suprieur.

La dfinition des processus de Markov dordre 1 s'avre parfois insuffisante. Il est
en effet des situations dans lesquelles l'tat futur ne dpend pas seulement de

24/07/01

95

B.A. Ferrif

l'tat prsent mais galement de l'tat antrieur l'tat prsent; la dfinition

prcdente est alors modifie en:

9-2-1-Dfinition:
Un processus alatoire est un processus de Markov d'ordre 2 s'il vrifie l'axiome
suivant, que nous appellerons proprit de Markov l'ordre 2 :
"( t0 , t1,..., tn -1, tn ) I n +1 , t0 < t1 < ... < tn -1 < tn , "( x 0 , x1,..., x n -1, x n ) E n +1,
P ( X t n-1 = x t n-1 ,..., X t1 = x t1 , X t 0 = x t 0 ) > 0 ,
P ( X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ,..., X t 0 = x t 0 ) = P ( X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ) .
Autrement dit :
La proprit de Markov exprime que l'tat futur X t n dpend seulement de ltat
pass immdiatement antrieur ltat prsent X t n-2 et de ltat prsent X t n-1 .
Plus gnralement :

9-2-2-Processus de Markov dordre a i

Un processus alatoire ( X t ) t I est un processus de Markov dordre a i s'il vrifie

l'axiome suivant, frquemment appell proprit de Markov :
"( t0 , t1,..., tn -1, tn ) I n +1 , t0 < t1 < ... < tn -1 < tn , "( x 0 , x1,..., x n -1, x n ) E n +1, "a i {1,.., n} ,
P ( X t n-1 = x t n-1 ,..., X t1 = x t1 , X t 0 = x t 0 ) > 0 ,
P ( X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ,..., X t 0 = x t 0 ) =
P ( X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ,.., X t n-a = x t n-a ) .
i

Autrement dit :

24/07/01

96

B.A. Ferrif

La proprit de Markov exprime que l'tat futur X t n ne dpend pas de lensemble

des

tats

passs

X t i , i {0,1, 2,.., n - 2} , mais seulement des l'tats

X t n-1 , X t n-2 ,.., X t n-a i .

Cette proprit prcise le niveau de mmoire du processus.

9-3-Modles de Markov cachs.

La notion de chane de Markov dordre a i nous a permis de prciser plus avant le
niveau de mmoire. Cette gnralisation ouvre la possibilit de prsenter un
concept mergent dans un grand nombre dapplications (informatique, traitement
du signal, reconnaissance des formes, ingnierie de la connaissance) : les
Modles de Markov Cachs (HMM pour : Hidden Markov Models). Lingnierie
linguistique, qui vise une mise en uvre de lensemble des techniques
permettant une comprhension plus ou moins large du langage naturel par une
machine, en fait un usage particulier ainsi que nous le constaterons. Ce domaine
(lingnierie linguistique) fait partie, soulignons-le, des domaines rpertoris dans
les technologies clefs du dveloppement industriel avec une progression
prvisible du march importante et une intensit de la concurrence faible.

Insuffisance du modle markovien.

Imaginons un espace rel qui nous est cach (par exemple le temps quil fait
dehors alors que nous sommes enferms dans une pice aveugle ; rduisons
pour fixer les ides le temps 3 tats : pluvieux, nuageux, ensoleill) ; supposons
en revanche que nous disposons dun baromtre : une grenouille qui occupe sur

24/07/01

97

B.A. Ferrif

son chelle la position basse si le temps et ensoleill (avec une certaine

probabilit), la position haute sil est pluvieux (avec une certaine probabilit) et
intermdiaire sil est incertain (avec une certaine probabilit). Nous souhaitons
pouvoir prdire le temps sans le voir directement, ventuellement enregistrer une
squence de prvision et en induire si lon est en t ou en hiver.
Nous sommes donc en prsence de deux ensembles dtats : lensemble des
tats observables (celui des positions de la grenouille) et lensemble des tats
cachs (les tats du temps). Par ailleurs nous savons que lvolution du temps
obit un modle markovien. La prvision du temps quil fait serait grandement
amliore si nous pouvions combiner lobservation du temps quil faisait
rellement hier avec la position de la grenouille.
La description dun modle markovien cach se fait donc laide dun modle
markovien sur lespace des tats cachs, dun ensemble dtats observables et
dune distribution de probabilit conditionnelle qui lie la ralit du temps la
nature de lobservation.
Plus formellement (nous nous limiterons aux modles despaces dtats finis), se
donner un modle de Markov cach sest se donner :

lensemble E des tats cachs ;

lensemble M des tats observables de cardinal m (ventuellement

diffrent du cardinal n de E) ;

( )

la matrice de transition P = pij

1 i, j n

sur E, avec

" (i, j ) E 2 , pij = P ( X n +1 = j X n = i) ;

( )

la matrice B = bkj

1 k m ,1 j n

telle que " j E , " k M , bkj = P (On = ok X n = i) o

ok dsigne le symbole qui reprsente le rsultat de lobservation ;

24/07/01

98

B.A. Ferrif

la loi initiale PX 0 de X 0 sur E.

Se donner un modle de Markov cach cest donc plus brivement se donner un

( )

triplet P = pij

24/07/01

1 i, j n

( )

, B = bkj

1 k m ,1 j n

, PX 0 .

99

B.A. Ferrif

APPENDICE A :
Formule de Bayes
A-1-Formule de Bayes : rappel et complments.

 Si ( E , F , P ) est un espace probabilis et A un vnement tel que P(A) > 0,

alors l'application de F valeurs dans R dfinie par
" B F , P (- A ) : B P ( B A ) =

P ( A B)
P ( A)

dfinit sur F une loi de probabilit qui s'appelle la probabilit de B sachant A .

 Si

( E , F , P ) est un espace probabilis, si A1 , A 2, ... , A n est une famille

d'vnements de E telle que : Ai A j = si

i j

n
et P U Ai = 1, alors
i =1

pour tout vnement B F on a : P ( B) = P ( B Ai ) .

i =1

Cette dernire relation porte souvent le nom de "principe des probabilits totales".

 Si ( E , F , P ) est un espace probabilis et si A1, A2 , ... , A n est une famille

d'vnements de E telle que :

24/07/01

Ai A j = si

n
i j et P U Ai = 1, alors
i =1

100

B.A. Ferrif

pour tout vnement B F on a : P ( Ai B) =

P ( B Ai ) P ( Ai )
n

P (B A ) P ( A )
j

pour i = 1 , 2 , ...

j =1

,n .

 Si ( E , F , P ) est un espace probabilis et si A1, A2 , ... , A n est une famille

d'vnements de E, on a :
P ( A1 A2 .. An ) = P ( A1 ) P ( A2 A1 ) P ( A3 A1 A2 ) .. P ( An A1 .... An -1 )
condition que le second membre ait un sens (une condition suffisante est que le
premier membre soit strictement positif).

 Comme les vnements A et B sont parfaitement dfinis par leurs fonctions

indicatrices, on a :
P ( B A ) = P ({1B = 1} {1A = 1}) =

P ({1A = 1} {1B = 1})

P ({1A = 1})
=

P ({(1A , 1B ) = (11
, )} )
P ({1A = 1})

 Si X est une variable alatoire dfinie sur l'espace probabilis

( E, F, P)

valeurs dans l'espace probabilisable ( E1, F1 ) et de loi PX , alors

pour toute variable alatoire Y : E R n , on appelle loi conditionnelle de Y en X la
famille des lois de probabilit sur Rn indexes par les valeurs x de X (de
probabilit > 0) et dfinies par :
PYX = x ( B) := P (Y B X = x ) =

P ({Y B, X = x )}
P ({Y B} {X = x})
=
.
P ({X = x})
P ({X = x})

 Si ( X i ) i =1,..,n est une famille de variables alatoires discrtes dfinie sur l'espace
probabilis ( E , F , P ) on a, bien entendu :

24/07/01

101

B.A. Ferrif
P ( X1 , X 2 , .. , X n ) = P ( X1 ) P ( X 2 X1 ) P ( X 3 X1 , X 2 ) .. P ( X n X1 , ...., X n -1 ) .

 Par substitution, on dduit le rsultat utile suivant : si ( X i ) i =1,..,n est une famille
de variables alatoires discrtes et si U est une variable alatoire discrte
dfinies sur l'espace probabilis ( E , F , P ) on a:

P ( X1 , X 2 , .. , X n U ) = P ( X1 U ) P ( X 2 X1,U ) P ( X 3 X1 , X 2 ,U ) .. P ( X n X1 , ...., X n -1,U )

A-2 Formule de Bayes gnralise.

Nous avons vu prcdemment que si lon prend des variables alatoires discrtes
on a : P (Y X ) =

P (Y , X )
.
P( X )

De manire analogue on a pour quatre variables alatoires discrtes :

P (W ,Y )

24/07/01

( X , Z )) =

P ((W ,Y )) P ( X , Z )(W ,Y )
P ((W ,Y ), ( X , Z ))
=
.
P (( X , Z ))
P (( X , Z ))

102

B.A. Ferrif

Appendice B :
Graphes
Cet appendice regroupe quelques rsultats de thorie des graphes auxquels il est
fait rfrence dans le cours de systmes stochastiques.

B-1-Dfinitions
Dfinition des graphes : Un graphe G est un couple (E,V) o E est lensemble
des sommets et V lensemble des arcs , lensemble des arcs tant un sousensemble de lensemble ExE.

figure 1

Si (x,y) est un arc de V , x est le prdcesseur de y et y le successeur de x.

24/07/01

103

B.A. Ferrif

Soit G=(E,R) un graphe o E est lespace des sommets (dans ce cours lespace
des tats) et R lensemble des arcs (dans ce cours les transitions).

Un arc du sommet x vers le sommet y est souvent not (x,y).

(m,l) , (m,k) , (m,m) , (k,l) , (k,j) , (i,j) , (i,m) , (j,k) sont les arcs de la
figure 1 .

Un arc (x,x) sappelle une boucle.

(m,m) est une boucle dans lexemple de la figure 1

Deux sommets relis par un arc sont dits adjacents.

Les sommets adjacents de lexemple 1 sont dcrits ci-dessus.

Deux arcs sont dits adjacents sils ont une extrmit commune.
Sur la figure 1 les arcs (j,k) et (k,l) sont adjacents, il en est de mme
des arcs (m,m) et (m,l) etc.

Un arc qui a son extrmit terminale (resp. initiale) en un sommet est dit
incident vers lintrieur (resp. vers lextrieur) ce sommet.
Larc (k,j) est incident vers lintrieur j, larc (k,j) est incident vers
lextrieur k.

On appelle demi-degr intrieur et lon note d -(x) le nombre darcs incidents

vers lintrieur x. On appelle demi-degr extrieur et lon note d+ (x) le
nombre darcs incidents vers lextrieur x.
Exemple : d+(I)=2, d-(I)=0, d+(m)=3, d-(m)=2, d+(j)=1, d-(j)=2,..

24/07/01

104

B.A. Ferrif

Dfinition dune arborescence : Une arborescence de racine r est un graphe

G(E,V) tel que r est un lment de E et que, pour tout sommet x de E, il existe un
chemin unique de r vers x.

figure 2
Une arborescence est donc sans cycle et le demi-degr intrieur de chaque
nud est gal 1 sauf pour la racine. Les sommets de demi-degr extrieur nul
sont appels les feuilles de larborescence.
Dans lexemple de la figure 2 les feuilles sont f1 ,f2 ,f3 .

En informatique les arborescences se prtent bien une dfinition rcursive.

Un graphe est dit simple si et seulement si :

1- Il na pas de boucle ;
2- Il y a au plus un arc entre deux sommets.

24/07/01

105

B.A. Ferrif

figure 3

Un graphe est toujours orient. On est parfois amen ignorer cette orientation si
le problme pos est de nature non oriente. Un arc sappelle alors une arte,
note [x,y], et lon a [x,y]=[y,x].

On dsigne parfois sous le nom de multigraphe un graphe G sans son orientation.

Inversement, partir dun multigraphe G, on construit un graphe orient en
orientant chaque arte dans les 2 sens.
Exemple de multigraphe : (multigraphe associ au graphe simple de la figure 3)

figure 4

24/07/01

106

B.A. Ferrif
Un graphe est dit complet si et seulement si lon a :

( x, y ) E ( y, x ) E
U n chemin c = (v1, v 2 ,...v n ) est une suite darcs telle que pour chaque arc
v i = ( x i , x i +1 )

( i < n ) de la suite lextrmit terminale x i +1 de v i concide avec

lextrmit initiale de v i+1 .

Autrement dit, un chemin de x y est une suite de sommets ( x1, x 2 ,...x n ) telle que
x 0 = x , x n = y et "i N p -1 ( x1 , x i +1 ) V . On dit alors parfois que y est descendant
dordre n de x.

Si lon fait abstraction de lorientation, le chemin sappelle une chane. Une chane
est donc une squence dartes pouvant tre parcourues de manire que
lextrmit terminale de larte que lon quitte soit lextrmit initiale de larte que
lon va parcourir.

Un chemin est dit lmentaire sil ne rencontre pas deux fois le mme sommet.

Lemme : Etant donns deux sommets x et y de G, sil existe un chemin de x y

dans G alors il existe un chemin lmentaire de x y (ce chemin sera de
longueur infrieure ou gale au cardinal de lensemble des sommets).

Un chemin est dit simple sil nutilise pas deux fois le mme arc.

Un circuit (resp. un cycle) est un chemin (resp. une chane) qui se referme sur luimme (resp. sur elle-mme)

24/07/01

B.A. Ferrif

107

La longueur dun chemin (resp. dune chane) est gale au nombre darcs (resp.
dartes) qui le constituent.

La suite de sommets (1,2,4,1,5,3,6,2,4) est un chemin de longueur 8 reliant 1 4

.
La suite de sommets (1,2,4) est un chemin lmentaire de longueur 2 reliant 1
4.
La suite de sommets (1,2,4,1) est un chemin circuit de longueur 3.

Un chemin qui passe une seule fois par tous les sommets dun graphe est appel
chemin hamiltonien.

B-2-Connexit
B-2-1-Graphe connexe.
Un graphe connexe est un graphe tel que pour toute paire x, y de sommets
distincts, il existe un chemin qui les relie.

24/07/01

B.A. Ferrif

108

B-2-2-Composante connexe dun graphe

Soient x et y deux sommets dun graphe. La relation x = y ou x y et il existe
un chemin reliant x et y est une relation dquivalence. Les classes
dquivalence forment une partition de E et sont appeles composantes connexes
de G.

B-2-3-Graphe fortement connexe

Soit G=(E,V) un graphe connexe et soit R la relation sur E dfinie par :
R(x,y) si et seulement si il existe un chemin de x vers y et un chemin de y vers x ;
un chemin de longueur 0 est un chemin rduit x.
Cette relation d quivalence induit une partition de lensemble E dont les
lments sont les composantes fortement connexes de G.
Un graphe est fortement connexe si et seulement sil nadmet quune composante
connexe.
Autrement dit si et seulement si pour tout couple de sommets x et y il existe un
chemin de x vers y et un chemin de y vers x.

B-3-Matrice dadjacence associe un graphe

Etant donn un graphe G = (E,V) , on associe G une matrice, appele matrice
dadjacence, de type (Card(E),Card(E)), telle que tout lment situ
lintersection de la ligne a E et de la colonne b E est gal 1 si (a , b ) V et
0 sinon.

24/07/01

109

B.A. Ferrif

La matrice dadjacence M associe au graphe prcdent est donc

0
0

0
M=
0

1
0
1
0
0
0

0
1
0
0
1
0

0
0
1
0
1
0

1
0
0
0
1
0

0
0

0
0

i
i 0
j 0
avec k 0
l 0
m 0
n 0

j
1
0
1
0
0
0

k
0
1
0
0
1
0

l m n
0 1 0
0 0 0
1 0 0
0 0 0
1 1 0
0 0 0

Le carr, le cube , la puissance dordre n de la matrice dadjacence calculs

avec les rgles habituelles donnent le nombre de chemins quelconques de
longueur 2, 3,,n existant entre les lments de tout couple de sommets du
graphe.
Ce qui est clair sur la dfinition du produit matriciel. En effet le terme situ
n

lintersection de la i-me ligne et de la j-me colonne scrit

ik

.akj ; il sensuit

k =1

que si lun des produits aih .ahj est gal 0, on a aih = 0 ou ahj = 0 , autrement dit il
nexiste pas darc (i, h ) ou darc ( h, j ) ; si le produit aih .ahj est diffrent de 0, on a
aih = 1 et ahj = 1 , autrement dit il existe un darc (i, h ) et un arc ( h, j ) . La somme
n

ik

.akj donne donc le nombre de chemins de longueur 2 entre i et j.

k =1

24/07/01

110

B.A. Ferrif

B-4-Fermeture transitive dun sommet du graphe.

Dsignons par F(x) lensemble des sommets du graphe G lis x par un arc
dorigine x :

F(i)={j,m} , F(j)={k} , F(k)={j,i}, F(m)={m,i,k} , F(l)={ }= = , F(n)={ } = .

On appelle fermeture transitive du sommet x dun graphe G lensemble :
F ( x ) = {x} F ( x ) ... F n ( x ) ....
o F n ( x ) = F ( F n -1 ( x ))
Autrement dit la fermeture transitive de x reprsente lensemble des sommets
relis x par un chemin (on dit parfois que ce sont les sommets descendants de
x).

Calcul de la fermeture transitive

A la fermeture transitive dun graphe correspond la matrice :
M (G) = I + M 1 + M 2 + ... + M n + ... (Addition boolenne)
Rappel du thorme du binme :
boolennes).

24/07/01

(I + M ) k = I + M 1 + M 2 + ... + M k (Oprations

111

B.A. Ferrif

Il est clair quil nest pas utile de considrer les puissances de M suprieures n1 (n tant le nombre de sommets du graphe). En pratique on peut sarrter ds
que M p +1 = M p .
Si r est le nombre des sommets du graphe, cest--dire le nombre dvnements
de lespace des tats, et si r est fini, le chemin lmentaire de longueur maximale
dans le graphe comprend au plus r-1 arcs. On obtient la fermeture transitive en
calculant ( I + M )

( r -1)

o M est la matrice dadjacence du graphe et I la matrice

identit. [La matrice M est une matrice boolenne]. Les oprations sur les
constituants de M et de I+M sobtiennent en utilisant comme lois de composition
le produit et la somme logique.
. 0 1
Table du produit logique : 0 0 0
1 0 1
Ainsi il suffit de calculer ( I + M )

(2 p )

+ 0 1
Table de la somme logique : 0 0 1
1 1 1
jusqu ce que ( I + M )

(2 p )

= (I + M )

( 2 p +1 )

pour

obtenir la fermeture transitive du graphe .

La prsence dun 1 la i-me ligne et la j-me colonne de M p signifie quil

existe au moins un chemin de longueur p entre les sommets i et j.

B-5-Valeurs propres des matrices stochastiques

B-5-1-Valeurs propres et classes rcurrentes

Lordre de multiplicit de la valeur propre 1 de la matrice M est gal au nombre de
classes rcurrentes pour une matrice stochastique finie.

24/07/01

B.A. Ferrif

112

B-5-2-Valeurs propres et classes priodiques

Si M est la matrice de transition dune chane de Markov finie irrductible et
priodique de priode d, alors les racines d-imes de lunit sont des valeurs
propres de M, chacune de multiplicit 1 et il nexiste pas dautre valeur propre de
module 1.
Si M est la matrice de transition dune chane de Markov finie, toute valeur propre
de M de module 1 est racine de lunit. Les racines d-imes de lunit sont des
valeurs propres de M si et seulement si M contient une classe rcurrente de
priode d. La multiplicit de chaque d-me racine de lunit est exactement le
nombre de classes rcurrentes de priode d.
Remarque : La classification des tats laide des proprits des graphes nest
strictement quivalente la classification probabiliste que dans le cas des
chanes de Markov espace dtats fini.

24/07/01

113

B.A. Ferrif

Problmes de synthse
Thme d'tude 1 : Etude du cursus dun lve dans une
grande cole
Ce thme d'tude servira de fil rouge tout au long de ce chapitre. Nous
rsoudrons les questions qui se pose
Dans certaines grandes coles les tudes durent trois ans ; lissue de chaque
anne, chaque lve a une certaine probabilit

de passer dans lanne

suprieure (ou dobtenir le diplme sil est en troisime anne); une certaine
probabilit de redoubler, et une certaine probabilit dtre renvoy. Pour certains
tablissements, disons les tablissements de type A, le nombre de
redoublements n'est pas limit; pour d'autres, appelons-les de type B, il n'est pas
possible d'une part de faire les deux premires annes en plus de 3 ans (un lve
en chec qui a dj accompli deux annes est exclu) et d'autre part de faire la
troisime anne 3 fois (un lve en chec qui a dj accompli deux troisimes
annes est exclu).
Nous traiterons dans un premier temps le cas des tablissements de type A, les
tablissements de type B pourrons faire l'objet d'une tude de synthse la fin du
chapitre 3.
1.Quel est le modle du cursus dun lve dans un tablissement de type A .
2. Quelle est la probabilit pour quun lve obtienne son diplme de fin dtudes
selon son tat prsent dans le cursus dans un tablissement de type A.
3.Quel est le temps moyen pour quun lve obtienne son diplme, selon son
tat prsent dans le cursus, dans un tablissement de type A

24/07/01

B.A. Ferrif

114

4. Quelle est la dure moyenne des tudes dans un tablissement de type A.

5. Quel est le temps moyen avant renvoi dans un tablissement de type A.
6. Que doit penser un lve qui entre dans le systme en premire anne ?
Comment peut-il augmenter ses chances de succs ?
Remarque: L'ensemble de ces questions sera repris pour un tablissement de
type B la fin du chapitre 2.

24/07/01