ProcessusStochastiquesLessard2014 PDF

Sabin Lessard
Universit de Montral
Cours de processus stochastiques
c 2013 Sabin Lessard
Avant-propos
Ces notes sont utilises pour un premier cours sur les processus stochastiques (MAT2717) oert aux tudiants du premier cycle en mathmatiques et
statistique de l'Universit de Montral, ce qui comprend les tudiants en actuariat. Ce cours est galement suivi l'occasion par des tudiants de cycles
suprieurs, notamment en nance mathmatique et computationnelle ou en
recherche oprationnelle. Il s'agit en fait d'un deuxime cours en thorie des
probabilits qui a comme pralable la connaissance des notions de probabilit
et de variable alatoire et des principaux rsultats sur les suites de variables
alatoires indpendantes, soit la loi des grands nombres et le thorme limite central. Il demande galement de la part des tudiants un large ventail
de connaissances mathmatiques, que ce soit en algbre linaire, quations
direntielles, calcul avanc ou analyse. En somme, bien qu'il ne fasse pas
appel la thorie de la mesure qui est la base d'une approche rigoureuse
aux processus stochastiques, le cours requiert de la maturit mathmatique.
Le contenu du cours porte principalement sur les chanes de Markov, autant temps discret (chapitre 1) qu' temps continu (chapitre 2). Le point
culminant en est le thorme ergodique qui permet de dcrire le comportement asymptotique de la chane l'aide de probabilits d'absorption et de
distributions stationnaires. Suivent les principaux rsultats sur les processus semi-markoviens, dont le processus de renouvellement (chapitre 3), pour
prendre en compte des temps de sjour aux dirents tats de loi quelconque.
Le tout se termine par une initiation aux martingales, principalement par
les jeux de hasard (chapitre 4), et une introduction au mouvement brownien
avec des applications la nance (chapitre 5). Le cours aide prparer en
partie les examens 3L et MLC des socits d'actuaires nord-amricaines.
Le contenu des notes a t grandement inuenc par les intrts de recherche de l'auteur en gntique des populations, domaine qui a eu et qui
continue d'avoir une grande inuence sur les probabilits. Ainsi, il ne faut
pas se surprendre de trouver en vidence non seulement le processus de branchement de Galton-Watson, le modle de population de Wright-Fisher et le
processus de naissance et de mort linaire avec immigration, ce qui inclut
le processus de Yule, mais aussi le processus de coalescence qui est tant
utilis dans la recherche actuelle. D'autres exemples phares de processus stochastiques ne sont pas en reste, qu'il s'agisse de la ruine du joueur pour
ii
Avant-propos
les marches alatoires sur les entiers, du processus de Poisson pour l'arrive d'vnements au hasard, du systme de bonus-malus pour la xation de
primes d'assurance, de modles de diusion pour la distribution ou le mouvement de particules, de systmes d'attente ou de modles de abilit pour
l'optimisation en recherche oprationnelle.
L'emphase est mise sur la modlisation et l'interprtation des rsultats.
Les preuves de la plupart des armations, dont une dmonstration complte
du thorme ergodique, sont cependant incluses pour satisfaire les plus exigeants, tout en vitant le formalisme de la thorie de la mesure. Les preuves
les plus techniques et les sections d'importance secondaire, qui apparaissent
souvent en n de chapitre et qui sont marques d'un astrisque (*), peuvent
tre survoles ou laisses de ct lors d'une premire lecture. Cela permet de
couvrir l'ensemble de la matire l'intrieur d'un cours de 45 heures.
Les notes ont t fortement inspires l'origine du livre An Introduction
to Stochastic Modeling, par H.M. Taylor et S. Karlin, que Samuel Karlin
appelait aectueusement son "baby book". Pour les dmonstrations, le livre
plus complet des mmes auteurs, A First Course in Stochastic Processes,
ainsi que le livre Probability and Random Processes, par G.R. Grimmett
et D.R. Stirzaker, ont t des sources d'information importantes. Pour la
thorie et les applications des martingales et du mouvement brownien, des
ouvrages plus rcents, principalement Essentials of Stochastic Processes, par
R. Durrett, et Processus stochastiques, par D. Foata et A. Fuchs, ont t
particulirement utiles. Les notes ont subi l'inuence de beaucoup d'autres
ouvrages du mme niveau ou de niveau lgrement infrieur, notamment
Introduction to Probability Models, par S. Ross, et Processus stochastiques,
par A. Ruegg, mais aussi d'ouvrages de niveau suprieur, comme A First
Look at Rigorous Probability Theory, par J.S. Rosenthal, Probability with
Martingales, par D. Williams, et Markov Chains, par D. Freedman.
Le contenu de ces notes a beaucoup volu au cours des annes. Des aspects de nature essentiellement mathmatique ont laiss la place des sujets
qui ont un intrt en biologie, recherche oprationnelle, nance ou actuariat. Des gnrations d'tudiants, de stagiaires postdoctoraux et de chargs
de travaux pratiques sur une priode de presque trente ans ont grandement
contribu bonier ce contenu par leurs questions, commentaires et suggestions. J'aimerais mentionner M. Augustyniak, M. Banville, V. Carrier, A.M.
Castilloux, J. Courteau, D. Kroumi, V. Ladret, P. Lahaie, F. Larribe, S.
Langevin, D. Lasalle-Ialongo, M. Lemire, S. Mahdi, G. Martin, E. Monga,
D. Pouliot, G. Rocheleau, L. Saidi, C. Sguin, C. Soares, Y. Tao, P. Turbis, L. Villandr, sans oublier G. Elgbeili qui a rdig la premire version
lectronique des notes. La plupart continuent d'exercer leur curiosit et leur
iii
passion dans le monde de l'enseignement ou de la recherche. C'est une source

de grande satisfaction.
Merci galement mes collgues anciens ou actuels du dpartement de
mathmatiques et de statistique de l'Universit de Montral pour des discussions stimulantes sur la matire du cours, particulirement M. Goldstein,
sans oublier R. Duncan, mon directeur de thse de doctorat, dont j'ai toujours admir l'enthousiasme pour l'enseignement.
Enn, un grand merci mon superviseur de stage postdoctoral et mentor
en gntique mathmatique, Samuel Karlin, dcd en 2007, qui je pense
encore trs souvent.
Montral, 7 mai 2013
Sabin Lessard
Table des matires
iv
Table des matires

1 Chanes de Markov temps discret
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 *Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Modle de diusion d'Ehrenfest en mcanique statistique
1.2.2 Modle de Wright-Fisher en gntique des populations
1.2.3 Systme de bonus-malus en assurance automobile . . .
1.2.4 Modle d'entretien en thorie de la abilit . . . . . .
1.3 Dnitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.1 Chane de Markov temps discret . . . . . . . . . . .
1.3.2 Matrice de transition en n pas . . . . . . . . . . . . .
1.3.3 Exemple : Le temps d'un jour au suivant . . . . . . . .
1.3.4 Exemple : Le temps sur deux jours conscutifs . . . .
1.3.5 Chane de Markov sur deux tats . . . . . . . . . . . .
1.4 Mthode de conditionnement sur la premire transition . . . .
1.4.1 Exemple : Promenade alatoire dans un labyrinthe . .
1.4.2 Exemple : Jeu de pile ou face . . . . . . . . . . . . . .
1.4.3 Ruine du joueur . . . . . . . . . . . . . . . . . . . . .
1.5 Processus de branchement . . . . . . . . . . . . . . . . . . . .
1.5.1 Probabilit d'extinction ventuelle . . . . . . . . . . .
1.5.2 Distribution asymptotique de la taille de la population
1.5.3 Ruine du joueur contre un adversaire inniment riche
1.6 Classication des tats . . . . . . . . . . . . . . . . . . . . . .
1.6.1 Dnitions . . . . . . . . . . . . . . . . . . . . . . . .
1.6.2 Exemples . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.3 Critres de classication . . . . . . . . . . . . . . . . .
1.6.4 Partition des tats . . . . . . . . . . . . . . . . . . . .
1.6.5 Exemple de partition des tats . . . . . . . . . . . . .
1.7 Thorme ergodique et distribution stationnaire . . . . . . . .
1.7.1 Thorme ergodique . . . . . . . . . . . . . . . . . . .
1.7.2 Distribution stationnaire . . . . . . . . . . . . . . . . .
1.7.3 Matrice de transition doublement stochastique . . . .
1.7.4 Thorme sur la distribution stationnaire . . . . . . .
1.7.5 Chane irrductible apriodique espace d'tats ni .
1.7.6 Exemple : Retour sur le temps d'un jour au suivant . .
1.7.7 Exemple : Modle de rparation . . . . . . . . . . . . .
1.7.8 Exemple : Bonus-malus pour l'assurance-automobile .
1.7.9 Exemple : Marche alatoire sur les entiers . . . . . . .
1
2
2
5
6
7
8
8
8
10
12
13
15
15
17
19
22
22
28
30
33
33
34
36
37
39
40
40
41
42
42
43
43
44
45
47
1.8
1.9
1.10
1.11
1.7.10 Exemple : Chane avec plusieurs classes d'tats . . .

1.7.11 Exemple : Dplacement alatoire sur un chiquier . .
*Dmonstrations . . . . . . . . . . . . . . . . . . . . . . . .
1.8.1 Critres de classication . . . . . . . . . . . . . . .
1.8.2 Proposition 1 sur la partition des tats . . . . . . . .
1.8.5 Thorme sur la distribution stationnaire . . . . . .
1.8.6 Thorme ergodique . . . . . . . . . . . . . . . . . .
1.8.7 Chane irrductible apriodique espace d'tats ni
*Appendice . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.9.1 Lemme 1 sur la limite d'une moyenne . . . . . . . .
1.9.2 Lemme 2 sur la limite d'une somme . . . . . . . . .
1.9.3 Lemme 3 sur la condition d'apriodicit . . . . . . .
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . .
*Exercices supplmentaires . . . . . . . . . . . . . . . . . .
2 Chanes de Markov temps continu
2.1 Description gnrale . . . . . . . . . . . . . . . . . . . . .

2.1.1 Retour sur les chanes temps discret . . . . . . .
2.1.2 Chanes temps continu . . . . . . . . . . . . . . .
2.1.3 Minimum de variables de loi exponentielle . . . . .
2.1.4 Conditionnement sur le premier changement d'tat
2.1.5 Exemple : Entretien de rampes mobiles . . . . . .
2.1.6 Hypothse sur les changements d'tat . . . . . . .
2.1.7 Probabilits de transition innitsimales . . . . . .
2.2 Chanes sur un nombre ni d'tats . . . . . . . . . . . . .
2.2.1 Gnrateur et probabilits de transition . . . . . .
2.2.2 Exemple : Retour sur les rampes mobiles . . . . . .
2.3 Processus de Poisson comme processus de naissance . . . .
2.3.1 Description gnrale . . . . . . . . . . . . . . . . .
2.3.2 Nombre d'arrives dans un intervalle de temps . .
2.3.3 Distribution des temps d'arrive . . . . . . . . . .
2.3.4 Arrive d'vnements d'un type donn . . . . . . .
2.3.5 Arrive d'vnements de deux types . . . . . . . .
2.3.6 Distribution conditionnelle des temps d'arrive . .
2.4 Processus de mort . . . . . . . . . . . . . . . . . . . . . .
2.4.1 Description gnrale . . . . . . . . . . . . . . . . .
2.4.2 Processus de mort linaire . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
48
51
53
53
55
56
58
58
61
66
68
68
68
69
71
78
85
85
85
87
89
91
91
93
94
95
95
98
101
101
101
104
104
105
106
107
107
107
Table des matires
vi
2.5
2.6
2.7
2.8
2.9
2.4.3 Processus de naissance de Yule . . . . . . . . . . . . .

2.4.4 *Processus de coalescence . . . . . . . . . . . . . . . .
Processus de naissance et de mort . . . . . . . . . . . . . . . .
2.5.1 Description gnrale . . . . . . . . . . . . . . . . . . .
2.5.2 Processus temps de vie inni . . . . . . . . . . . . .
2.5.3 Systmes d'attente . . . . . . . . . . . . . . . . . . . .
2.5.4 quation progressive de Kolmogorov . . . . . . . . . .
2.5.5 Processus linaire avec immigration . . . . . . . . . . .
2.5.6 *Processus linaire sans immigration . . . . . . . . . .
2.5.7 *quation rtrograde de Kolmogorov . . . . . . . . . .
Distribution stationnaire et thorme ergodique . . . . . . . .
2.6.1 Dnition de distribution stationnaire . . . . . . . . .
2.6.2 Exemple : Sauts alatoires sur des sites . . . . . . . . .
2.6.3 Exemple : Deux comptoirs de service en srie . . . . .
2.6.4 Processus de naissance et de mort stationnaire . . . .
2.6.5 Systme d'attente stationnaire M/M/1 . . . . . . . . .
2.6.6 Systme d'attente stationnaire M/M/ . . . . . . . .
*Dmonstrations . . . . . . . . . . . . . . . . . . . . . . . . .
2.7.1 Processus temps de vie inni . . . . . . . . . . . . .
2.7.3 Lemme sur la continuit des probabilits de transition
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
*Exercices supplmentaires . . . . . . . . . . . . . . . . . . .
3 Processus de renouvellement
3.1 Description gnrale . . . . . . . . . . . . . . . . . .

3.2 Thormes de renouvellement . . . . . . . . . . . . .
3.2.1 Introduction . . . . . . . . . . . . . . . . . . .
3.2.2 Thorme de renouvellement lmentaire . . .
3.2.3 Lemme de Wald . . . . . . . . . . . . . . . .
3.2.4 Exemple : Rclamations d'assurance . . . . .
3.2.5 Exemple : Remplacement d'un appareil . . .
3.2.6 Thorme de renouvellement temps discret
3.2.7 Thorme de renouvellement temps continu
3.3 Distributions asymptotiques . . . . . . . . . . . . .
3.3.1 ge et temps de vie rsiduel et total . . . . .
3.3.2 Distributions asymptotiques temps discret .
3.3.3 Distributions asymptotiques temps continu
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
108
110
114
114
115
115
117
118
120
122
123
123
124
125
127
129
131
132
132
132
133
136
138
143
149
.
.
.
.
.
.
.
.
.
.
.
.
.
149
150
150
150
150
152
152
155
155
156
156
156
159
3.4
3.5
3.6
3.7
3.8
vii
3.3.4 Processus de renouvellement stationnaire . . . . . . .

3.3.5 Exemple : Intervalles de loi uniforme . . . . . . . . .
3.3.6 Exemple : Intervalles de loi exponentielle . . . . . . .
Processus semi-markoviens . . . . . . . . . . . . . . . . . . .
3.4.1 Extension du thorme ergodique . . . . . . . . . .
3.4.2 Exemple : Principe de Peter . . . . . . . . . . . . . .
3.4.3 Processus de renouvellement avec alternance . . . . .
3.4.4 Exemple : Compteur de particules . . . . . . . . . .
3.4.5 Systme d'attente M/G/1 . . . . . . . . . . . . . . .
*Moyennes temporelles asymptotiques . . . . . . . . . . . .
3.5.1 Moyennes temporelles temps discret . . . . . . . .
3.5.2 Moyennes temporelles temps continu . . . . . . . .
*Dmonstrations . . . . . . . . . . . . . . . . . . . . . . . .
3.6.1 Thorme de renouvellement lmentaire . . . . . . .
3.6.2 Thorme de renouvellement temps discret . . . .
3.6.3 Thorme de renouvellement dans le cas stationnaire
3.6.4 Thorme ergodique pour processus semi-markoviens
Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . .
*Exercices supplmentaires . . . . . . . . . . . . . . . . . .
4 Introduction aux martingales
4.1 Dnitions et exemples . . . . . . . . . . . . . . . . . . . .

4.1.1 Dnition d'une martingale . . . . . . . . . . . . .
4.1.2 Exemple : Marche alatoire symtrique . . . . . . .
4.1.3 Exemple : Prix juste d'une option d'achat . . . . .
4.1.4 Exemple : Modle de Wright-Fisher . . . . . . . . .
4.1.5 Exemple : Processus de branchement . . . . . . . .
4.1.6 Martingale par rapport une suite de variables . .
4.1.7 Exemple : Marche alatoire asymtrique . . . . . .
4.2 Martingale arrte . . . . . . . . . . . . . . . . . . . . . .
4.2.1 Temps d'arrt . . . . . . . . . . . . . . . . . . . . .
4.2.2 Thorme d'arrt . . . . . . . . . . . . . . . . . . .
4.2.3 Exemple : Marche alatoire symtrique arrte . .
4.2.4 Exemple : Marche alatoire asymtrique arrte . .
4.2.5 Exemple : Martingale classique de doubler la mise
4.2.6 *Preuve du thorme d'arrt . . . . . . . . . . . .
4.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4 *Exercices supplmentaires . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
161
162
162
163
163
164
165
166
166
170
170
172
174
174
176
178
. 179
. 180
. 183
187
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
187
187
188
188
189
189
190
191
192
192
192
192
194
196
198
200
200
Table des matires
viii
5 Introduction au mouvement brownien
5.1 Dnitions et exemples . . . . . . . . . . . . . . . . . .

5.1.1 Introduction . . . . . . . . . . . . . . . . . . . .
5.1.2 Dnition du mouvement brownien standard .
5.1.3 Construction du mouvement brownien standard
5.1.4 Mouvement brownien avec drive et cart-type
5.2 *Mouvement brownien gomtrique . . . . . . . . . . .
5.2.1 Description gnrale . . . . . . . . . . . . . . .
5.2.2 Exemple : Seuil d'exercice d'une option d'achat
5.2.3 Formule de Black-Scholes . . . . . . . . . . . .
5.2.4 Exemple : Prix juste d'une option d'Apple . . .
5.3 *Exercices . . . . . . . . . . . . . . . . . . . . . . . . .
Bibliographie
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
202
.
.
.
.
.
.
.
.
.
.
.
202
202
202
204
205
207
207
208
209
211
211
212
Chanes de Markov temps discret
1.1 Introduction
Un processus stochastique est une suite de variables alatoires indices
par le temps. Le cas le plus simple est celui d'une suite de variables alatoires
indpendantes. Ce sont des variables alatoires qui n'ont aucune inuence
les unes sur les autres. C'est le sujet qu'on tudie dans un premier cours
de probabilits aprs avoir introduit les notions fondamentales d'vnement,
de probabilit, d'indpendance, de variable alatoire et d'esprance. Le tout
culmine avec la loi des grands nombres, qui permet d'interprter l'esprance
comme la moyenne de valeurs observes long terme, indpendamment dans
les mmes conditions, et le thorme limite central, qui garantit que cette
moyenne est la valeur prise par une variable alatoire dont la distribution
de probabilit s'approche de plus en plus d'une loi normale. Ainsi, si on
lance une pice de monnaie bien balance un grand nombre de fois n indpendamment dans les mmes conditions, on s'attend ce que la proportion
de fois qu'on obtienne face soit prs de 1/2 et que cette proportion suive
approximativement une loi normale d'esprance 1/2 et de variance (2n)2 .
Le cas le plus simple d'une suite de variables alatoires dpendantes est
celui o les valeurs prises par les variables qui suivent n'importe quelle variable en particulier, tant donn la valeur prise par cette variable, sont
indpendantes des valeurs prises par les variables qui prcdent. Autrement
dit, le futur tant donn le prsent est indpendant du pass. Le processus est
alors dit markovien, du nom du mathmaticien russe Andre Markov (18561922). Lorsque l'espace d'tats est ni ou inni dnombrable, on a aaire
une chane de Markov, qui peut tre temps discret ou temps continu.
Le rsultat le plus important sur les chanes de Markov est le thorme
ergodique. Il dcrit en gnral ce qui se passe long terme, c'est--dire la
distribution de probabilit limite de la chane sur les dirents tats lorsque
celle-ci existe, et la proportion de temps moyenne limite que la chane passe
dans chaque tat, et ce selon l'tat initial. Il permet de comprendre le comportement de la chane sur une longue priode de temps. C'est l'objectif
principal de ce chapitre qui porte sur les chanes temps discret.
Ainsi, la marche alatoire dcrite en faisant un pas gauche ou droite
chaque fois qu'on obtient pile ou face, respectivement, en lanant une pice
1.2 *Exemples
de monnaie un grand nombre de fois indpendamment dans les mmes conditions, est une chane de Markov temps discret. Cette marche alatoire reste
une chane de Markov dans le cas o un pas est annul si on frappe un obstacle, un mur par exemple. Dans un tel contexte, il est intressant de savoir
quelle est la probabilit d'tre une position donne aprs un trs long
moment, ou encore quelle proportion de temps est passe cette position
sur une longue priode de temps. C'est le type de questions qu'on se pose
lorsqu'on est en prsence d'une chane de Markov.
De nombreuses situations relles sont modlises par des chanes de Markov, que ce soit en biologie, physique, conomie ou recherche oprationnelle.
Ce chapitre commence donc par des exemples pour illustrer les principaux
concepts et rsultats qui sont dvelopps par la suite.
1.2 *Exemples
1.2.1 Modle de diusion d'Ehrenfest en mcanique statistique
On considre un systme hermtiquement ferm constitu de deux compartiments, reprsents par A et B , contenant ensemble un nombre m de
particules d'un gaz. Les particules l'intrieur du systme ne peuvent pas
en sortir et aucune autre particule ne peut y entrer. La cloison sparant les
deux compartiments n'est cependant pas parfaitement tanche et les particules, qui sont en mouvement permanent, peuvent passer d'un compartiment
un autre. Cela peut tre reprsent par une ouverture dans la cloison de
dimension du mme ordre de grandeur que celle d'une particule. Ce systme
est illustr dans la Figure 1.
On fait les hypothses suivantes sur le passage des particules d'un compartiment l'autre :
Un seul passage la fois peut survenir.
Les particules ont des chances gales de changer de compartiment.
Le temps est calcul en nombre de passages. L'tat du systme aprs n
passages, pour n 0, est dcrit par le nombre de particules dans le compartiment A, reprsent pat Xn . Ce nombre peut prendre n'importe quelle
valeur i = 0, 1, . . . , m.
La probabilit de transition pour que Xn+1 = j tant donn que Xn = i
est dnote par Pij , c'est--dire
Pij = P r(Xn+1 = j|Xn = i).

A
3
B
Figure 1 Modle de diusion d'Ehrenfest.

Dans le cas prsent, cette probabilit de transition est donne par
Pij =
i
m
mi
si j = i 1 pour 1 i m,
si j = i + 1 pour 0 i m 1,
autrement.
La matrice P = (Pij ), avec l'entre Pij sur la ligne i et dans la colonne j ,

est la matrice de transition. Cette matrice et la distribution de X0 dcrivent
entirement le processus, c'est--dire les vnements qui peuvent survenir au
cours du temps et leurs probabilits. Le processus est en fait une chane de
Markov temps discret.
Voici le type de questions auxquelles on va essayer de rpondre dans ce
chapitre.
Question 1 : Il est intressant de savoir ce qui se passe long terme : la
probabilit de trouver j particules dans le compartiment A au temps n tant

donn qu'il y en a i initialement converge-t-elle lorsque n augmente, et si
oui, quelle est la limite. En supposant la convergence, la limite prdite est
donne par
lim P r (Xn = j|X0 = i) =
m
j
1
2
pour j = 0, 1, . . . , m. En eet, par symtrie, chaque particule devrait avoir
1.2 *Exemples
long terme une probabilit 1/2 d'tre dans A plutt que dans B , et ce
indpendamment de la position des autres particules. On est alors dans le
contexte de m preuves indpendantes de Bernoulli avec 1/2 comme probabilit de succs chaque preuve. Le nombre total de succs suit en consquence une loi binomiale. Il est noter que la limite prdite ne dpend pas
de i, l'tat initial du systme.
Question 2 : Attention cependant la priodicit : le nombre de particules

dans le compartiment A prend en alternance des valeurs paires et impaires.
Consquemment, une probabilit de transition ne peut converger que vers 0.
Dans le cas extrme o m = 1, par exemple, on obtient que
P r (Xn = 1|X0 = 1) =
0 si n est impair,
1 si n est pair.
Cette probabilit de transition du temps 0 au temps n ne converge pas,

puisque les valeurs 0 et 1 alternent. Toutefois, la moyenne temporelle jusqu'au
temps n converge, et sa limite est donne par
1
n n
n1
lim
k=0
1
P r (Xk = 1|X0 = 1) = .
2
Il est noter que cette limite est celle prdite par la loi binomiale.
Question 3 : En gnral on s'attend toujours ce que

1
n n
n1
P r (Xk = j|X0 = i) =
lim
k=0
m
j
1
2
Cette limite reprsente la proportion moyenne de temps long terme avec j

particules dans le compartiment A. En eet, on a que
P r (Xk = j|X0 = i) = E
1{Xk =j} |X0 = i
en utilisant la variable alatoire indicatrice
1{Xk =j} =
1 si Xk = j,
0 sinon.
Par la linarit de l'esprance, on obtient donc que

1
n
n1
P r (Xk = j|X0 = i) = E
k=0
Nj (n)
X0 = i ,
n

o
n1
Nj (n) =
1{Xk =j}
k=0
reprsente le temps pass avec j particules dans le compartiment A de l'instant 0 l'instant n 1.
1.2.2 Modle de Wright-Fisher en gntique des populations

Le modle de Wright-Fisher est le plus utilis en gntique des populations. On considre une population de N gnes gnrations spares sans
chevauchement. En l'absence de slection et de mutation, les N gnes de
la gnration n + 1 sont obtenus en faisant des copies de N gnes tirs au
hasard avec remise dans la gnration n. Le modle est neutre, car la reproduction ne dpend pas du type de gne. De plus, les copies sont identiques
aux originaux.
On s'intresse un type donn de gnes, disons A. On dnit Xn comme
le nombre de gnes de type A la gnration n 0. tant donn que Xn = i,
la probabilit de tirer au hasard un gne de type A dans la gnration n est
i/N . La loi conditionnelle du nombre de gnes de type A la gnration
n + 1 est binomiale de paramtres N et i/N , c'est--dire
N
k
P r (Xn+1 = k|Xn = i) =
i
N
i
1
N
N k
pour k = 0, 1, . . . , N .
Voici quelques questions qui se posent au sujet de cette chane de Markov
temps discret.
Question 1 : L'esprance du nombre de gnes de type A la gnration

n + 1 tant donn i gnes de type A la gnration n est i. En eet,
N
E (Xn+1 |Xn = i) =
k=0
N
k
i
N
i
N
N k
=N
i
N
= i.
Cette proprit, qui dcoule de la neutralit, garantit que Xn pour n 0

est une martingale. Quelles consquences peut-on en tirer ? C'est le sujet du
chapitre 4.
1.2 *Exemples
Question 2 : Les valeurs 0 et N pour Xn , qui correspondent l'extinction
de A et la xation de A, respectivement, sont des tats absorbants dans le

sens qu'on y reste certainement une fois qu'on les atteint. En eet,
P r (Xn+1 = 0|Xn = 0) = P r (Xn+1 = N |Xn = N ) = 1.
On peut se demander si ces tats sont ventuellement atteints avec certitude.

Cela est le cas si
lim P r (1 Xn N 1|X0 = i) = 0.
En supposant cette condition vrie, on peut se demander quelle est la

probabilit d'atteindre ventuellement l'tat N plutt que l'tat 0 partir
de l'tat initial i. Une faon d'obtenir la rponse est de distinguer les gnes
initiaux, disons G1 , . . . , GN , dont G1 , . . . , Gi sont de type A. Le nombre de
copies de Gj pour chaque j = 1, . . . , N est ventuellement 0 ou N avec
certitude. Tous les gnes sont donc ventuellement des copies du mme gne
initial, qui est un gne choisi au hasard parmi tous les gnes initiaux par
symtrie. La probabilit qu'il soit de type A est donc i/N . Par consquent,
on devrait avoir
lim P r (Xn = N |X0 = i) =
i
.
N
La conrmation de ce type de rsultats est l'un des objectifs du chapitre 1.
1.2.3 Systme de bonus-malus en assurance automobile

En assurance automobile, la prime d'un assur peut diminuer si aucune
rclamation n'est faite durant une priode donne ou augmenter si une ou
plusieurs rclamations sont soumises durant une certaine priode. Les rclamations font suite des accidents de la route qui se produisent au hasard
dans le temps.
L'arrive d'vnements au hasard est dcrite dans le chapitre 2 par un
processus de Poisson, qui est l'exemple le plus important de chane de Markov
temps continu. La caractristique du processus est que le nombre de fois
que l'vnement se ralise dans un intervalle de temps donn est de loi de
Poisson et qu'il est indpendant du nombre d'vnements dans n'importe
quel autre intervalle de temps disjoint du premier.
Supposons que la classe d'un assur est mise jour aprs chaque anne
de conduite automobile. Elle est alors augmente du nombre de rclamations
durant l'anne s'il y en a, mais diminue de 1 s'il n'y en a pas. La classe
initiale est 0 et elle ne peut pas descendre plus bas. Si Xn reprsente la

classe d'un assur aprs n annes de conduite automobile, alors
P r (Xn+1 = i + k|Xn = i) =
k
e ,
k!
pour k 1 et i 0, mais
P r (Xn+1 = i 1|Xn = i) = P r (Xn+1 = 0|Xn = 0) = e ,
pour i 1. Le paramtre reprsente un taux de rclamations. Sa valeur

dpend du groupe de l'assur.
Les questions qui se posent ici au sujet de cette chane de Markov temps
discret sont de savoir si
lim P r (Xn = j|X0 = 0) = j 0,
et d'identier la limite si elle existe. Cette limite j devrait correspondre la

proportion moyenne d'annes long terme qu'un assur passe dans la classe
j.
1.2.4 Modle d'entretien en thorie de la abilit

Un dispositif peut tre ou bien en tat de fonctionnement, ou bien en
tat de rparation. On fait l'hypothse que les temps de fonctionnement et
de rparation sont des variables alatoires indpendantes d'esprance et
, respectivement. De plus, les priodes de fonctionnement et de rparation
se succdent en alternance. Elles se terminent respectivement par une panne
ou une remise en service.
Le nombre de changements d'tat au cours du temps est un processus de
renouvellement tel que dni au chapitre 3. Quant, l'tat du systme Xt ,
pour tout instant t 0, il correspond un processus semi-markovien.
Dans le cas o les temps de fonctionnement et de rparation sont de loi
exponentielle, le nombre de changements d'tat et l'tat du systme sont des
chanes de Markov temps continu. La premire est en fait un processus de
naissance sur un nombre inni d'tats.
Le nombre de changements d'tat est videmment un processus croissant vers l'inni. Quant l'tat du systme, on s'attend ce qu'il soit en
fonctionnement une proportion moyenne de temps long terme donne par
/( + ). Cela reste conrmer.
1.3 Dnitions
1.3 Dnitions
1.3.1 Chane de Markov temps discret
Une chane de Markov temps discret est une suite de variables alatoires
{Xn }n0 valeurs dans un espace d'tats (ni ou inni) dnombrable (habituellement dnots par 0, 1, 2, . . . ) telle que
P r (Xn+1 = j|Xn = i, Xn1 = in1 , . . . , X0 = i0 ) = P r (Xn+1 = j|Xn = i)
pour tous les tats j, i, in1 , . . . , i0 et tout entier n 0. C'est la proprit

markovienne.
L'indice n reprsente habituellement le temps. Lorsque les probabilits
de transition ci-dessus sont stationnaires (c'est--dire les mmes pour tout
n 0), la chane est dite homogne. C'est l'hypothse faite partir de
maintenant moins d'indication contraire.
La matrice P dont l'entre sur la range i et dans la colonne j est donne
par
Pij = P r (Xn+1 = j|Xn = i) ,
pour tous les tats i et j , est appele la matrice de transition.

La matrice de transition et la distribution de X0 dterminent compltement la chane, c'est--dire toutes les distributions conjointes. En eet, en
utilisant la dnition de la probabilit conditionnelle et la proprit markovienne, on obtient que
P r (Xn = in , Xn1 = in1 , . . . , X0 = i0 )
= P r (Xn = in |Xn1 = in1 , . . . , X0 = i0 ) P r (Xn1 = in1 , . . . , X0 = i0 )
= Pin1 ,in P r (Xn1 = in1 , Xn2 = in2 , . . . , X0 = i0 )
= Pin1 ,in Pin2 ,in1 Pi0 ,i1 P r (X0 = i0 ) ,
la dernire galit tant obtenue par induction sur l'entier n 0, et ce pour

tous les tats in , . . . , i0 . Les transitions du temps 0 au temps n sont illustres
dans la Figure 2.
1.3.2 Matrice de transition en n pas

La matrice de transition en n pas pour tout n 1 est la matrice P (n) dont
l'entre sur la range i et dans la colonne j est donne par
(n)
Pij = P r (Xn = j|X0 = i) ,
9
in
i1
i2
i0
in1
i3
n1
Figure 2 Exemple de transitions du temps 0 au temps n.

pour tous les tats i et j . Par stationnarit, on a
(n)
Pij = P r (Xn+k = j|Xk = i) ,
pour tout k 0. De plus on a les proprits suivantes :
Proprit 1.
Proprit 2.
Proprit 3.
avec
0 Pij 1 pour tout i, j .

(n)
Pij = 1 pour tout i.

(n)
(n)
Pij =
(k)
(nk)
Pil Plj
(0)
Pij =
pour tout i, j et pour tout 0 k n,

1 si i = j,
0 sinon,
ou en notation matricielle P (n) = P (k) P (nk) pour tout 0 k n,

avec P (0) = I o I dsigne la matrice identit.
Proprit 4.
P (n) = P n pour tout n 0.
(n)
Les proprits 1 et 2 sont immdiates, car Pij est une probabilit et la
somme sur j pour tout i xe donne la probabilit de l'ensemble de toutes
les transitions possibles partir de i. Ces deux proprits signient que la
matrice de transition en n pas est une matrice stochastique.
La proprit 3, appele l'quation de Chapman-Kolmogorov, est obtenue
en conditionnant sur l'tat un instant intermdiaire k entre 0 et n et en
1.3 Dnitions
10
utilisant la stationnarit. Cela donne
P r (Xn = j|X0 = i) =
P r (Xn = j, Xk = l|X0 = i)
l
P r (Xn = j|Xk = l, X0 = i) P r (Xk = l|X0 = i)

l
P r (Xn = j|Xk = l) P r (Xk = l|X0 = i)

l
P r (Xnk = j|X0 = l) P r (Xk = l|X0 = i) ,

l
pour tout i, j et pour tout 0 k n. (Voir la Figure 3.)

Enn la proprit 4 dcoule de l'quation de Chapman-Kolmogorov et
du fait que la matrice de transition en un pas est la matrice de transition
elle-mme, c'est--dire P (1) = P . La proprit 4 est donc vraie pour n = 1
et, si elle est vraie pour n 1 1, alors
P (n) = P (n1) P (1) = P n1 P = P n .
Le cas n = 0 est trivial par dnition. La matrice de transition en n pas

est donc donne par la n-ime itration de la matrice de transition, d'o
l'importance de pouvoir calculer la puissance d'une matrice.
l
j
i
0
Figure 3 Reprsentation de l'quation de Chapman-Kolmogorov.

1.3.3 Exemple : Le temps d'un jour au suivant
Supposons que le temps qu'il fera demain, disons ou bien S pour ensoleill
ou bien N pour nuageux, tant donn le temps qu'il fait aujourd'hui ne
dpende pas du temps qu'il faisait les jours prcdents. Dsignons par Sn
l'vnement que le jour n 0 est ensoleill et par Nn celui qu'il est nuageux.
Les probabilits conditionnelles suivantes sont donnes :
11
P r (Sn+1 |Sn ) = 0, 2;
P r (Sn+1 |Nn ) = 0, 4.
On a alors
P r (Nn+1 |Sn ) = 1 P r (Sn+1 |Sn ) = 0, 8;
P r (Nn+1 |Nn ) = 1 P r (Sn+1 |Nn ) = 0, 6.
Soit Xn = 0 si Sn se ralise, et Xn = 1 si Nn se ralise. La suite {Xn }n0

est une chane de Markov temps discret sur les tats 0 et 1 dont la matrice
de transition P est donne par
P =
0, 2 0, 8
0, 4 0, 6
Supposons maintenant qu'on est lundi et que c'est ensoleill. On veut connatre
la probabilit que le vendredi suivant soit ensoleill. Puisque vendredi est
dans quatre jours, on doit calculer
(4)
P r (X4 = 0|X0 = 0) = P00 ,
soit l'entre (0, 0) de la matrice de transition en 4 pas. Nous obtenons pour

cette matrice
P (4) = P 4
4
0, 2 0, 8
0, 4 0, 6
0, 36 0, 64
0, 32 0, 68
0, 3344 0, 6656
0, 3328 0, 6672
(4)
Nous concluons que P00 = 0, 3344. Remarquons que cette probabilit est
(4)
trs prs de P10 = 0, 3328. En fait les deux lignes de la matrice de transition
en 4 pas sont pratiquement identiques, ce qui signie que l'tat de dpart ne
fait pratiquement plus de dirence aprs seulement 4 pas. Ceci n'est pas un
hasard comme nous le verrons plus loin.
1.3 Dnitions
12
1.3.4 Exemple : Le temps sur deux jours conscutifs

Reprenons l'exemple prcdent, mais supposons maintenant que c'est le
temps qu'il fera demain tant donn le temps qu'il fait aujourd'hui et le
temps qu'il faisait hier qui ne dpende pas du temps des jours prcdents
avec les probabilits conditionnelles suivantes :
P r (Sn+1 |Sn , Sn1 ) = 0, 1;
P r (Sn+1 |Sn , Nn1 ) = 0, 3;
P r (Sn+1 |Nn , Sn1 ) = 0, 3;
P r (Sn+1 |Nn , Nn1 ) = 0, 5.
La suite {Xn }n0 n'est plus une chane de Markov, car les deux premires
probabilits conditionnelles ci-dessus, par exemple, signient que
P r (Xn+1 = 0|Xn = 0, Xn1 = 0) = P r (Xn+1 = 0|Xn = 0, Xn1 = 1) .
On peut cependant retrouver une chane de Markov en considrant le temps

qu'il fait sur les deux derniers jours d'un jour au suivant. La suite {Yn }n1 ,
dnie par Yn = (Xn , Xn1 ) pour n 1, est une chane de Markov temps
discret sur les tats (0, 0), (0, 1), (1, 0), et (1, 1) dans cet ordre dont la matrice
de transition est donne par
0, 1 0 0, 9 0
0, 3 0 0, 7 0
P =
0 0, 3 0 0, 7 .
0 0, 5 0 0, 5
On a, par exemple,
P r (Yn+1 = (1, 0)|Yn = (0, 1)) = P r (Nn+1 , Sn |Sn , Nn1 )
= P r (Nn+1 |Sn , Nn1 )
= 1 P r (Sn+1 |Sn , Nn1 )
= 1 0, 3 = 0, 7.
On procde de mme pour les autres entres de la matrice de transition.

On pourrait considrer de faon analogue un nombre quelconque d'tats
pour le temps et un nombre quelconque de jours prcdents avant d'avoir
l'indpendance.
13
1.3.5 Chane de Markov sur deux tats

Dans le cas gnral d'une chane de Markov sur deux tats, 0 et 1, la
matrice de transition est de la forme
1a
a
b
1b
P =
o 0 a, b 1. Supposons en fait que 0 < a, b < 1 de telle sorte que toutes

les probabilits de transition sont positives.
Pour calculer la matrice de transition en n pas, et donc la n-ime puissance de P , nous allons diagonaliser cette matrice. Nous avons l'expression
P = QQ1 ,
o
=
1 0
0 2
est la matrice diagonale des valeurs propres, Q est une matrice dont les colonnes sont des vecteurs propres droite correspondants et Q1 une matrice
dont les ranges sont des vecteurs propres gauche correspondants. Cela
dcoule des quations P Q = Q et Q1 P = Q1 , respectivement. Nous
obtenons alors que
P n = Qn Q1 ,
pour tout n 1. En eet, cette quation est vraie pour n = 1 et, si elle est
vraie pour n 1, alors
P n = P P n1 = QQ1 Qn1 Q1 = Qn1 Q1 = Qn Q1 ,
du fait que Q1 Q = I .
Les valeurs propres sont obtenues en solutionnant l'quation
det(P I) = (1 a ) (1 b ) ab = 0,
qui est quivalente

2 (2 a b) + (1 a b) = 0.
On trouve les solutions

1 =
(2 a b) +
(2 a b)2 4(1 a b)
=1
2
1.3 Dnitions
14
et
2 =
(2 a b)2 4(1 a b)
= 1 a b.
2
(2 a b)
D'autre part les vecteurs propres droite doivent satisfaire l'quation

x1
x2
x1
x2
donc
(1 a) x1 + ax2 = x1 ,
ce qui peut s'crire sous la forme

x2 =
x1 ( + a 1)
.
a
En faisant x1 = 1 et = 1 , 2 , on obtient que

P
1 1
b
1 a
P =
1 1
b
1 a
1 1
b
1 a
1
0
0 1ab
d'o
b
a+b
a
a+b
1
0
0 1ab
a
a+b
a
a+b
La matrice de transition en n pas est alors donne par

P (n) = P n =
1 1
b
1 a
b
a+b
a
a+b
1
0
0 (1 a b)n
a
a+b
a
a+b
Puisque 1 < 1 a b < 1 lorsque 0 < a, b < 1, on obtient sous cette

condition que
lim P (n) =
b
a+b
b
a+b
a
a+b
a
a+b
La limite de la matrice de transition en n pas lorsque n a donc des

lignes identiques. Cela signie que la chane oublie son tat initial mesure
que le temps s'coule. De plus, quel que soit l'tat initial, on a convergence
vers une distribution de probabilit qui est donne par un vecteur propre
gauche de P associ la valeur propre 1 dont les composantes sont positives
15
et de somme gale 1. Cette convergence dcoule du fait que la matrice

stochastique P a une valeur propre 1 qui possde un vecteur propre droite
dont toutes les composantes sont 1 et que cette valeur propre est simple et
dominante. C'est un cas particulier du thorme ergodique, qui est le rsultat
venir le plus important sur les chanes de Markov.
Dans l'exemple du temps d'un jour au suivant, on a a = 0, 8 et b = 0, 4,
ce qui donne
b
0, 4
1
=
= .
a+b
1, 2
3
Les calculs eectus dans cet exemple montrent que cette limite est dj
pratiquement atteinte lorsque n = 4.
0
souris
fromage
choc
Figure 4 Souris dans un labyrinthe.

1.4 Mthode de conditionnement sur la premire transition
1.4.1 Exemple : Promenade alatoire dans un labyrinthe
Dans cet exemple, une souris est place dans un labyrinthe de 9 cases
disposes selon un damier 3 3. Les cases sont numrotes de 0 8, la case
16
7 l'une des quatre extrmits contenant un morceau de fromage, et la case

8 l'extrmit oppose dclenchant un lger choc lectrique (voir la Figure
4). Les cases adjacentes communiquent entre elles en excluant cependant les
cases en diagonale. La souris se promne dans ce labyrinthe en se dplaant
d'une case la fois et en choisissant chaque fois au hasard l'une des cases adjacentes accessibles. La promenade est dite alatoire. On suppose cependant
qu'elle s'arrte lorsqu'on atteint l'une des cases 7 ou 8.
Soit Xn la position de la souris suite n dplacements, pour n 0.
La suite {Xn }n0 est une chane de Markov temps discret sur les tats
0, 1, . . . , 8. La matrice de transition par rapport ces tats dans cet ordre
est
P =
0 1/2 1/2 0
0
0
0
0
0
1/3 0
0 1/3 0
0
0 1/3 0
1/3 0
0 1/3 0
0
0
0 1/3
0 1/4 1/4 0 1/4 1/4 0

0
0
0
0
0 1/3 0
0 1/3 1/3 0 .
0
0
0 1/3 0
0 1/3 0 1/3
0
0
0
0 1/2 1/2 0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
1
Les tats 7 et 8 sont absorbants, ce qui se traduit par P77 = P88 = 1.

Nous dsirons calculer la probabilit que la souris atteigne la case 7 contenant le fromage plutt que la case 8 o elle reoit un choc tant donn un
dpart de n'importe quelle case. Posons
ui = P r(atteindre 7 | dpart de i),
pour i = 0, 1, . . . , 8. En conditionnant sur la premire transition partir de

i et en utilisant la stationnarit des probabilits de transition, on obtient le
17
systme d'quations linaire suivant :

1
u0 = u1 +
2
1
u1 = u0 +
3
1
u2 = u0 +
3
1
u3 = u1 +
4
1
u4 = u3 +
3
1
u5 = u3 +
3
1
u6 = u4 +
2
1
u2 ,
2
1
u3 +
3
1
u3 +
3
1
u2 +
4
1
u6 +
3
1
u6 +
3
1
u5 ,
2
1
u7 ,
3
1
u8 ,
3
1
1
u4 + u5 ,
4
4
1
u7 ,
3
1
u8 ,
3
avec u7 = 1 et u8 = 0. Ce systme se simplie en utilisant la condition de

symtrie u0 = u3 = u6 = 1/2 sous l'hypothse que la promenade alatoire se
termine la case 7 ou la case 8 avec probabilit 1. On trouve alors que
1
3
1
u2 = u5 =
3
u1 = u4 =
1 1 1 1
+ + 1=
2 3 2 3
1 1 1 1
+ + 0=
2 3 2 3
2
,
3
1
.
3
Il est facile de vrier que c'est bien la solution du systme complet.
1.4.2 Exemple : Jeu de pile ou face

Dans l'exemple suivant, un joueur lance une pice de monnaie jusqu' ce
qu'il obtienne trois faces conscutives. Nous nous intressons l'esprance
du nombre de lancers eectus et du nombre de faces obtenues jusqu' la
n du jeu en supposant que la pice est quilibre et que les lancers sont
indpendants.
Pour eectuer les calculs, nous allons considrer la chane de Markov sur
le nombre de faces conscutives avant un lancer jusqu' un maximum de
trois. Le tableau 1 prsente les quatre tats possibles selon les rsultats des
trois derniers lancers avec F pour face, P pour pile, et X pour pile ou face.
Les probabilits initiales de ces rsultats sont galement donnes.
18

tat 3 derniers lancers Probabilit initiale
1/2 1/2 1/2 = 1/8
3
FFF
1/2 1/2 1/2 = 1/8
2
PFF
1
XP F
1 1/2 1/2 = 1/4
0
XXP
1 1 1/2 = 1/2
La matrice de transition par rapport aux tats 0, 1, 2, 3 est
1/2 1/2 0
0
1/2 0 1/2 0
.
P =
1/2 0
0 1/2
0
0
0
1
L'tat 3 qui correspond F F F marque la n du jeu. On dnit

i = E(nombre de lancers supplmentaires avant l'tat 3 | tat i),
pour i = 0, 1, 2, 3. videmment, 3 = 0. En conditionnant sur le rsultat du

premier lancer supplmentaire partir de i, on obtient le systme d'quations
suivant :
1
2 = 3 +
2
1
1 = 2 +
2
1
0 = 1 +
2
1
0 + 1,
2
1
0 + 1,
2
1
0 + 1.
2
En eet si le rsultat du premier lancer supplmentaire est F , ce qui a probabilit 1/2, le nombre de faces conscutives avant le prochain lancer augmente
de 1, sinon il tombe 0. Le premier lancer supplmentaire doit cependant
tre ajout la nouvelle esprance dans tous les cas.
La solution de ce systme est donne par 0 = 14, 1 = 12 et 2 = 8.
Finalement, en conditionnant sur les rsultats des trois premiers lancers, le
nombre espr de lancers avant la n du jeu est donne par
1
1
1
1
3 + 3 + 2 + 1 + 0 = 14.
8
8
4
2
Remarquons que cela correspond au nombre espr de lancers supplmentaires avant la n du jeu partir d'une pile, c'est--dire 0 .
On considre maintenant
i = E(nombre de faces supplmentaires avant l'tat 3 | tat i),
19
pour i = 0, 1, 2, 3. Ici encore, 3 = 0. Le systme d'quations pour les autres

esprances est cependant dirent :
1
(3 + 1) +
2
1
1 = (2 + 1) +
2
1
0 = (1 + 1) +
2
2 =
1
0 ,
2
1
0 ,
2
1
0 .
2
C'est que le premier lancer supplmentaire doit tre ajout la nouvelle

esprance seulement si le rsultat de ce lancer est F .
Ici on trouve la solution 0 = 7, 1 = 6 et 2 = 4, d'o le nombre espr
de faces avant la n du jeu est
1
1
1
(3 + 3) + (2 + 2) +
8
8
4
1 +
3
2
1
+ (0 + 1) = 7.
2
Ce nombre espr est donc gal 0 .

Il est intressant de remarquer que 0 = 0 /2. On peut penser que le
critre pour la n du jeu favorise les faces, ce qui n'est cependant pas le cas.
Ce rsultat n'est pas un hasard et il dcoule d'un thorme gnral en thorie
des martingales qui sera prsent dans un autre chapitre.
1.4.3 Ruine du joueur

Cet exemple est le plus important sur les chanes de Markov. Deux
joueurs, A et B , qui ont un avoir total gal N units, font une srie de
parties. Chaque joueur mise une unit sur chaque partie et le gagnant rcolte
le tout. On suppose que le joueur A a une probabilit p de gagner chaque
partie et le joueur B la probabilit complmentaire q = 1 p, et ce indpendamment de toutes les autres parties. On fait l'hypothse que 0 < p < 1. Le
jeu se termine lorsque l'un des deux joueurs est ruin. L'autre joueur a alors
un avoir gal N .
On dnit Xn comme tant l'avoir de A aprs n parties pour n 0. On
a une chane de Markov sur les tats 0, 1, . . . , N avec tats absorbants 0 et
N . Les probabilits de transition sont donnes par
Pi,i+1 = p,
Pi,i1 = 1 p,
pour i = 1, . . . , N 1, et P00 = PN N = 1. Cela signie que si l'avoir de A est

i aprs n parties, alors il est i + 1 avec probabilit p, ou i 1 avec probabilit
20
q = 1 p aprs n + 1 parties, en autant que 1 i N 1. Si l'avoir de A

est 0 ou N , alors il ne change plus par la suite avec probabilit 1. (Voir la
Figure 5.)
N : Ruine de B
i + 1 probabilit p (0 < p < 1)
Avoir de A
i
i 1 probabilit q = 1 p
Partie
0 : Ruine de A
n+1
Figure 5 La ruine du joueur.

On s'intresse la ruine ventuelle du joueur A. On dnit
ui = P r (ruine ventuelle de A | avoir initial i pour A) ,
pour i = 0, 1, . . . , N . On a u0 = 1 et uN = 0. De plus, en conditionnant sur

l'issue de la prochaine partie lorsque l'avoir de A est i = 1, . . . , N 1, on
obtient que
ui = pui+1 + qui1 ,
c'est--dire
(ui+1 ui ) =
q
(ui ui1 ) .
p
On en dduit par induction que

(ui+1 ui ) =
q
p
(u1 u0 ) .
On a donc que
k1
k1
(ui+1 ui ) + u0 =
uk =
i=0
i=0
q
p
(u1 u0 ) + u0 ,
21
pour k = 0, 1, . . . , N , avec
N 1
0 = uN =
i=0
q
p
(u1 u0 ) + u0 .
et u0 = 1. On conclut donc que

u1 u0 =
1
N 1
i=0
q
p
d'o
uk = 1
k1
i=0
q
p
N 1
i=0
q
p
i
i
si p = q = 1/2,
k
n
1
q
p
q
p
k
N
si p = q,
pour k = 0, 1, . . . , N . Ici on utilise le fait que

k1
ri =
i=0
k
1rk
1r
si r = 1,
si r = 1.
En remplaant k par N k et p par q , on peut vrier que la probabilit

de ruine ventuelle du joueur B est 1 uk , lorsque l'avoir initial de A est
k . Donc le jeu se termine avec probabilit 1 par la ruine de l'un des deux
joueurs.
En laissant tendre l'avoir total des deux joueurs vers l'inni, on obtient
que
lim uk =
q
p
si p q , c'est--dire p 1/2,
k
si p > q , c'est--dire p > 1/2.
Ceci suggre que, dans le cas o l'avoir du joueur B est inni, la ruine
ventuelle du joueur A est certaine si et seulement si sa probabilit de gagner
chaque partie est infrieure ou gale 1/2.
On considre maintenant l'esprance du nombre de parties jusqu' la
ruine de l'un des deux joueurs dans le cas de joueurs de force gale, c'est-dire p = q = 1/2, ayant un avoir total gal N . On dnit
i = E (dure du jeu | avoir initial i pour A) .
1.5 Processus de branchement
22
En conditionnant sur l'issue de la prochaine partie lorsque l'avoir de A est

i, on obtient que
1
1
i = i+1 + i1 + 1,
2
2
c'est--dire
(i+1 i ) = (i i1 ) 2.
On en dduit alors par induction que

(i+1 i ) = (1 0 ) 2i,
pour i = 1, . . . , N 1, avec 0 = N = 0. Par consquent, on a

k1
(i+1 i ) + 0
k =
i=0
k1
(1 2i)
=
i=0
= k1 k(k 1),
pour k = 0, 1, . . . , N , avec
0 = N = N 1 N (N 1),
c'est--dire, 1 = N 1. On dduit nalement que

k = k(N k),
pour k = 0, 1, . . . , N . On remarque que N k = k , ce qui est attendu par

symtrie, que la plus grande esprance est atteinte lorsque k = N/2 , la
partie entire de N/2, mais surtout que l'esprance est toujours nie. Cette
proprit sera utilise pour la classication des tats.

1.5.1 Probabilit d'extinction ventuelle
Le processus de Galton-Watson est un processus de branchement qui a
t introduit l'origine pour dcrire la transmission de noms de famille de
pre ls.
23
On considre une population gnrations discrtes et spares dans

laquelle les individus produisent des copies d'eux-mmes. On suppose que
chaque individu chaque gnration produit un nombre k de descendants
de premire gnration avec probabilit pk pour k 0, indpendamment de
tous les autres individus. L'esprance du nombre de descendants de premire
gnration de chaque individu est
m=
kpk .
k0
Le nombre total d'individus la gnration n 0 est reprsent par Zn . On

suppose un seul individu la gnration initiale, c'est--dire Z0 = 1, et on
s'intresse l'extinction ventuelle de la population. La Figure 6 illustre la
situation.
Gnration Nombre d'individus
0
Z1 = 3
Extinction ou non
Z0 = 1
Z2 = 3
Zn = 0 ou > 0
Figure 6 Processus de branchement de Galton-Watson.

La suite {Zn }n0 est une chane de Markov temps discret sur un nombre
inni dnombrable d'tats 0, 1, 2, . . . avec 0 comme tat absorbant. Cet tat
correspond l'extinction de la population.
On dnit
un = P r (Zn = 0|Z0 = 1) ,
24
pour n 0. C'est la probabilit que la population soit teinte la gnration

n tant donn qu'elle commence avec un seul individu la gnration 0.
Autrement dit, c'est la probabilit que la descendance d'un individu soit
teinte aprs n gnrations. Cependant l'extinction peut se produire une
gnration antrieure.
En conditionnant sur le nombre de descendants de premire gnration
produits par l'individu de la gnration 0, qui est la valeur prise par Z1 , on
obtient l'quation de rcurrence
pk (un1 )k .
un =
k0
En eet, le nombre d'individus la gnration 1 est k avec probabilit pk ,

et la descendance de chacun d'eux sera teinte la gnration n, soit n 1
gnrations plus tard, avec probabilit donne par un1 , indpendamment
de toutes les autres.
L'quation de rcurrence peut s'crire
un = (un1 ) ,
pk sk ,
(s) =
k0
pour 0 s 1, reprsente la fonction gnratrice pour le nombre de descendants de premire gnration d'un individu. En procdant l'itration de
l'quation de rcurrence n fois, on obtient l'expression
un = (n) (u0 ) ,
pour n 0, avec u0 = 0.
Dans ce qui suit, on fait les hypothses suivantes :
Hypothse 1 : 0 < p0 < 1.
Hypothse 2 : 0 < p0 + p1 < 1.
Ces hypothses garantissent que la fonction gnratrice (s) est strictement
croissante et strictement convexe pour 0 < s < 1. En eet, on a alors
(s) =
d
(s) =
ds
kpk sk1 > 0

k1
et
(s) =
d2
(s) =
ds2
k(k 1)pk sk2 > 0.

k2
25
De plus, (s) est continue pour 0 s 1 avec

(0) = p0 > 0 et (1) = 1.
La courbe de (s) tant strictement croissante et de pente strictement croissante sur l'intervalle [0, 1] avec une valeur positive s = 0 et une valeur 1
s = 1, elle ne peut satisfaire (s) = s qu'en un seul autre point s = 1 dans
cet intervalle. La trajectoire des points obtenus par itration de (s) partir
de s = 0 dpend de la position de ce point initial par rapport 1. Celle-ci
dpend de la pente s = 1, qui est donne par
kpk = m.
(1) =
k1
Deux cas sont considrer.
Cas m > 1.
La Figure 7 illustre cette situation. Il existe un point unique 0 < u < 1
tel que (u) = u. Puisque
0 = u0 < p0 = u1 < u,
on a aussi par croissance stricte

(u0 ) < (u1 ) < (u),
c'est--dire
u1 < u2 = (u1 ) < u.
En rptant l'argument, on obtient que

un < un+1 = (un ) < u,
pour tout n 0. La suite {un }n0 tant croissante et borne, elle converge.
Soit
u = lim un .
n
On a alors par continuit

(u ) = u .
Mais puisque 0 < u u, la seule possibilit est que u = u.
26
(s)
p0
0 = u0
u1
u2
u3 <
< u = (u)
Figure 7 Graphique de la fonction gnratrice (s) dans le cas o m > 1.

Cas m 1.
Comme l'illustre la Figure 8, la courbe de la fonction (s) pour 0 s 1
ne rencontre alors la diagonale principale qu'au point s = 1. Les arguments
prcdents s'appliquent avec u remplac par 1.
En conclusion, on a le rsultat suivant qui s'applique aux deux cas cidessus : tant donn que Z0 = 1, la probabilit d'extinction ventuelle de la
27
population dnie par

u = lim un
n
est la plus petite solution de (s) = s pour 0 s 1. De plus, u < 1 si et

seulement si m > 1.
(s)
p0
0 = u0
u1
u2
u3
<
< u=1 s
Figure 8 Graphique de la fonction gnratrice (s) dans le cas o m 1.

Remarque : Si Z0 = i, alors la probabilit d'extinction ventuelle est ui ,
car les i descendances des i individus de la gnration initiale doivent tre
28
teintes pour que la population soit teinte.
1.5.2 Distribution asymptotique de la taille de la population

La taille de la population la gnration n est donne par la variable
alatoire Zn . La fonction gnratrice de Zn tant donn que Z0 = 1 est
dnie par
n (s) = E(sZn |Z0 = 1),
pour 0 s 1. Cette fonction satisfait l'quation de rcurrence

n (s) = n1 ((s)),
pour tout n 1. On en dduit alors par induction que

n (s) = (n) (s),
ce qui est la n-ime itre de la fonction (s).

Ce rsultat dcoule du fait que la fonction gnratrice de
Z = X1 + + XY ,
o X1 , X2 , . . . sont des variables alatoires indpendantes identiquement distribues valeurs entires non ngatives et de fonction gnratrice (s),
indpendantes de la variable alatoire Y galement valeurs entires non
ngatives mais de fonction gnratrice (s), est donne par
E(sZ ) =
E(sZ |Y = k)P r(Y = k)

k0
k
sXi
P r(Y = k)
i=1
k0
k
E(sXi ) P r(Y = k)
=
k0
i=1
(s)k P r(Y = k)
=
k0
= ((s)),
pour 0 s 1. Dans le cas prsent les conditions sont satisfaites pour

Zn = X1 + + XZn1 ,
29
o X1 , X2 , . . . reprsentent les nombres de descendants de premire gnration des individus de la gnration n 1, tous de fonction gnratrice (s),
et Zn1 est le nombre total d'individus de la gnration n 1, de fonction
gnratrice (s) = n1 (s).
L'esprance d'une variable alatoire correspond la drive de sa fonction
gnratrice value au point 1. Pour Zn tant donn que Z0 = 1, cela donne
E (Zn |Z0 = 1) = n (1)
=
(n1) (1)
= (1)
(n2) (1)
(1) (1)
= mn .
Asymptotiquement, on a donc
0 si m < 1,
lim E (Zn |Z0 = 1) = 1 si m = 1,

n
si m > 1.
Ce rsultat suggre une explosion possible de la population long terme au

moins lorsque m > 1. En fait on peut montrer que
lim P r (Zn = k|Z0 = 1) = 0 pour tout k 1.
Donc dans tous les cas il y a extinction ou explosion de la population long

terme avec probabilit 1.
En eet, on a
(n) (s) = un +
sj P (Zn = j|Z0 = 1).

j1
Or
lim (n) (s) = u,
pour 0 s < 1, o u est la probabilit d'extinction ventuelle de la population. Pour 0 s < u, la suite crot vers u comme pour un = (n) (0). Pour
u < s < 1, on a de faon analogue une suite qui dcrot vers u (voir la Figure
9). Enn pour s = u, on a (n) (u) = u pour tout n 0. Finalement on
obtient que
0 lim sk P r (Zn = k|Z0 = 1) lim
n
sj P (Zn = j|Z0 = 1) = 0,
j1
pour 0 s < 1 et tout k 1, ce qui permet de conclure.
30
(s)
u = (u)
Figure 9 Graphique de la probabilit d'extinction ventuelle.

1.5.3 Ruine du joueur contre un adversaire inniment riche
On reprend le problme de la ruine du joueur mais en supposant que
l'avoir de l'adversaire B est inni. Donc l'avoir du joueur A aprs chaque
partie, en autant qu'il est positif, augmente d'une unit avec probabilit p
ou diminue d'une unit avec probabilit 1 p, indpendamment de l'issue
de toutes les autres parties. On suppose 0 < p < 1. Lorsque le joueur A n'a
plus aucun avoir, et donc qu'il est ruin, le jeu s'arrte. On s'intresse la
ruine ventuelle du joueur A tant donn un avoir initial gal i.
La situation peut tre dcrite par un processus de branchement en ima-
31
ginant que le joueur A mise tour de rle les i units de son avoir initial,
qu'il multiplie chacune par 2 avec probabilit p ou 0 avec probabilit 1 p,
puis qu'il recommence avec son nouvel avoir la n de la ronde. Une ronde
correspond une gnration de la population, une unit de mise un individu qui peut en produire 2 avec probabilit p ou aucun avec probabilit
q = 1 p, et l'avoir de A aprs la n-ime ronde au nombre d'individus la
gnration n, reprsent par Zn . Cela est illustr dans les Figures 10 et 11.
Avoir
de A
i + 1 probabilit p
Z0 = i
Z1
i 1 probabilit q
Partie
0 : Ruine de A
0
Figure
10 Premire ronde de parties d'un joueur contre un adversaire

inniment riche.
La ruine ventuelle du joueur A dont l'avoir initial est i correspond alors
l'extinction ventuelle de la population tant donn i individus la gnration initiale, c'est--dire, Z0 = i. On a donc
P r (ruine ventuelle de A | avoir initial i pour A) = ui ,
o
u = (u) = (1 p) + pu2 .
Les deux solutions possibles sont

u=
1 4p(1 p)
1 (1 2p)
=
.
2p
2p
On conclut que
u=
1p
p
si p > 1/2,
si p 1/2.
32
Avoir
Ronde
Z0 = i
2 probabilit p
2 probabilit p
0 probabilit q
0 probabilit q
Z1 au total
Zn = 0 ou > 0
Figure 11 Processus de branchement pour modliser l'avoir d'un joueur

contre un adversaire inniment riche.
La ruine ventuelle de A est donc certaine si et seulement si p 1/2.

Dans le cas o la ruine ventuelle de A est certaine, on dnit
wi = E(nombre de parties jusqu' la ruine de A | avoir initial i pour A).
On a alors
wi = E
Zn Z0 = i
n0
E (Zn |Z0 = i)
=
n0
iE (Zn |Z0 = 1)
=
n0
mn ,
=i
n0
o
m = 0 (1 p) + 2 p = 2p.
33
Par consquent, on obtient que

wi =
i
12p
si p < 1/2,
si p = 1/2.
L'esprance du nombre de parties avant la ruine de A est donc nie si et

seulement si p < 1/2, c'est--dire, si et seulement si m < 1.
1.6 Classication des tats

Il y a plusieurs types d'tat. La classication des tats d'une chane de
Markov joue un rle essentiel dans l'tude de son comportement asymptotique.
1.6.1 Dnitions
(a) Un tat i est rcurrent si
fii = P r(retour i | dpart de i) = 1.
Sinon (fii < 1), alors l'tat est transitoire.

(b) Un tat rcurrent i est rcurrent nul si
i = E(temps de premier retour i | dpart de i) = .
Sinon (i < ), alors l'tat est rcurent positif. Ici le temps est mesur
en nombre de transitions.
(c) La priode d(i) d'un tat i est dnie par
d(i) = p.g.c.d.{n 1 : Pii
(n)
> 0}.
Par convention, d(i) = 0 si l'ensemble ci-dessus est vide. Un tat i est
priodique si d(i) > 1 et apriodique sinon (d(i) = 0 ou 1). Il est montr
(n)
dans l'appendice (section 1.9.3) que d(i) = 1 si et seulement si Pii > 0
pour tout n N (i) pour un certain entier N (i) 1.
(d) Un tat rcurrent positif apriodique est dit ergodique.
34
1.6.2 Exemples
Dans les exemples ci-dessous les tats sont reprsents par des cercles
numrots et les transitions de probabilit positive par des ches.
1
0
1/2
1
1/2
1/2
1/2
2
1/2
3
1/2
Figure 12 Exemple (a).

(a) Dans l'exemple de la Figure 12, l'tat 2 est rcurrent, car
P r(ne jamais retourner 2 | dpart de 2) = 2
1
1 1
1 1 = 0.
2 2
2
En eet pour ne plus retourner 2 partir de 2, deux situations sont possibles : soit on va 1 (probabilit 1/2), puis on fait la boucle 1, 0, 1 (probabilit 1/2 1) une innit de fois ; soit on va 3, puis on fait la boucle 3,
4, 3 une innit de fois, avec les mmes probabilits. Dans les deux cas, la
probabilit rsultante est 0. De plus, d(2) = 2, car on retourne 2 partir
de 2 avec probabilit positive seulement en 2k pas, pour tout k 1.
1/2
1
1/2
1/2
2
1/2
1/2
1
4
1/2
Figure 13 Exemple (b).

(b) Dans l'exemple de la Figure 13, l'tat 2 est transitoire, car
P r(ne jamais retourner 2 | dpart de 2)
1
1 1
1 1 = > 0.
2 2
4
En eet on ne retourne pas 2 partir de 2 si on va 1 (probabilit 1/2),

puis 0 (probabilit 1/2), car on retourne par la suite 0 (probabilit 1) une
1/2
35
1/2
1/2
1
1/2
Figure 14 Exemple (c).

innit de fois. De plus, d(2) = 2 pour la mme raison que dans l'exemple (a).
(c) Dans l'exemple de la Figure 14, l'tat 0 est rcurrent, car
P r(ne jamais retourner 0 | dpart de 0) =
1 1 1
= 0.
2 2 2
Ici pour ne plus retourner 0 partir de 0, il faut en eet aller 1 (probabilit 1/2), puis retourner 1 (probabilit 1/2) une innit de fois, ce qui a
probabilit 0. De plus l'tat 0 est apriodique, car
1
> 0.
2
(1)
P00 =
Finalement l'tat 0 est rcurrent positif, car l'esprance du temps de premier

retour 0 partir de 0 est
0 =
1
2
k
k1
1
2
k1
1
2
k
k1
1 d
2 ds
sk
1 d
2 ds
1
2
= 2,
k0
s= 1
2
1
1s
1
1s
s= 1
2
2
1
s= 2
36
qui est ni. On conclut que l'tat 0 est ergodique.
1
0
q =1p
q =1p
q =1p
Figure 15 Exemple (d).

(d) L'exemple de la Figure 15 dcrit une situation identique au problme
de la ruine du joueur contre un adversaire inniment riche, sauf qu'un bon
samaritain donne l'quivalent d'une mise au joueur lorsque celui-ci est ruin.
On suppose que 0 < p < 1. L'tat 0 est priodique de priode 2 pour la
mme raison que dans l'exemple (a). De plus, il est transitoire si p > 1/2 et
rcurrent si p 1/2. En eet, puisqu'on va 1 partir de 0 avec probabilit
1, la probabilit de retourner 0 partir de 0, f00 , est gale la probabilit
d'atteindre 0 partir de 1. Or, cette probabilit correspond la probabilit
de ruine ventuelle du joueur partir d'un avoir initial de 1, c'est--dire
f00 =
1p
p
< 1 si p > 1 ,
2
si p 1 .
2
Quant l'esprance du temps de premier retour 0 partir de 0, 0 , lorsque

0 est rcurrent, elle est donne par 1 plus l'esprance du nombre de parties
jusqu' la ruine du joueur partir d'un avoir initial gal 1, c'est--dire
0 =
1+
1
12p
si p < 1 ,
2
1
si p = 2 .
L'esprance est alors nie, et donc 0 est rcurrent positif, si et seulement si

p < 1/2.
1.6.3 Critres de classication

Les critres de classication des tats suivants servent dmontrer de
nombreux rsultats thoriques. Ils illustrent galement le fait qu'un tat rcurrent nul partage une proprit avec un tat rcurrent positif et une proprit avec un tat transitoire. La dmonstration de ces critres est reporte
37
une section ultrieure.

(a) Un tat i est rcurrent si et seulement si
(n)
Pii
= .
n1
(n)
Sinon il est transitoire, et alors ncessairement limn Pii = 0.
(b) Un tat rcurrent i est rcurrent nul si et seulement si

(n)
lim Pii
= 0.
Sinon il est rcurrent positif.
1.6.4 Partition des tats

L'espace des tats d'une chane de Markov peut tre dcompos en classes
d'quivalence. De plus les tats appartenant une mme classe sont alors
de mme type et de mme priode, qui sont aussi le type et la priode
de la classe. Enn certains types d'tat sont exclus si le nombre d'tats
est ni. Cela s'avre utile pour dterminer le type d'une classe d'tats. Les
dmonstrations des propositions 1, 2 et 3 ci-dessous sont reportes une
section ultrieure.
Denition
Deux tats i et j communiquent, ce qui est not i j , si j est accessible
partir de i, c'est--dire
Pij > 0 pour un certain n 0,
(n)
et de mme si i est accessible partir de j , donc

(m)
Pji
> 0 pour un certain m 0.
Cette relation binaire est une relation d'quivalence. En eet elle est :
(0)
rexive : i i, puisque Pii = 1 > 0 ;
symtrique : j i si i j , par dnition ;
38
(n) (m)
transitive : i k si i j et j k, puisqu'alors Pij Pjk > 0 pour
certains m, n 0, et donc
(n+m)
Pik
(n)
(m)
Pil Plk
(n)
(m)
Pij Pjk > 0.
Par consquent, l'ensemble des tats peut tre dcompos en classes d'quivalence. Lorsqu'il y a une seule classe, la chane est dite irrductible.
Proposition 1
(n) (m)
Si i j , c'est--dire Pij Pji > 0 pour certains n, m 0, alors :
(a) i est rcurrent si et seulement si j est rcurrent ;

(b) i est rcurrent positif si et seulement si j est rcurrent positif ;
(c) i et j ont la mme priode.
Puisqu'un tat est ou bien rcurrent ou bien transitoire, et qu'un tat rcurrent est ou bien rcurrent positif ou bien rcurrent nul, les tats d'une mme
classe sont de mme type et de mme priode. Une classe (ou une chane
irrductible) est dite transitoire, rcurrente positive ou nulle, priodique, ergodique selon le type de ses tats.
Proposition 2
(a) Si un tat i est rcurrent, alors
fij = P r(visite future j | dpart de i) = 1
(n)
pour tout j i, et 0 autrement, c'est--dire Pij = 0 pour tout n 1 et
tout j i. Donc une classe rcurrente est ferme.
(b) Si i et j sont des tats dans la mme classe rcurrente, alors fki = fkj
pour tout tat k.
Proposition 3
Si le nombre d'tats est ni, alors :
39
(a) Tous les tats rcurrents sont rcurrents positifs.

(b) Dans tous les cas, il y a au moins un tat rcurrent.
Corollaire : Une chane irrductible (et toute classe ferme) sur un nombre
ni d'tats est rcurrente positive.
1.6.5 Exemple de partition des tats

Une chane de Markov temps discret sur les tats 0, 1, 2, 3, 4, 5 dans
cet ordre a des probabilits de transition en un pas donnes par la matrice
P =
0 1/3 1/3 0 1/3 0

0
0
0 1/2 0 1/2
0 1/2 0
0
0 1/2
.
0
0
0
0
0
1
1/2 0 1/2 0
0
0
0
1
0
0
0
0
Il y a trois classes d'tats tel qu'illustr dans la Figure 16 :
Figure 16 Exemple de partition des tats.

{2} transitoire, car non ferme, et apriodique, car d(2) = 0.
{0, 4} transitoire, car non ferme, et priodique de priode 2, car
d(0) = p.g.c.d.{2k : k 1} = 2.
1.7 Thorme ergodique et distribution stationnaire
40
{1, 3, 5} rcurrente positive, car ferme sur un nombre ni d'tats, et

apriodique, car
d(1) = p.g.c.d.{2, 3, . . .} = 1,
donc ergodique.

Cette section prsente les rsultats principaux sur les chanes de Markov.
Ils dcrivent la situation long terme, c'est--dire aprs un trs long moment
ou sur une trs longue priode de temps. Leur utilisation est illustre par plusieurs exemples. Les dmonstrations sont reportes une section ultrieure.
Les dmonstrations sont plus simples dans le cas o le nombre d'tats est
ni.
1.7.1 Thorme ergodique

(a) Dans tous les cas sauf peut-tre dans celui o j est rcurrent positif
priodique, on a :
(n)
lim Pij = fij
et
1
,
j
fij = P r(visite future j | dpart de i)
j = E(temps de premier retour j | dpart de j).
(b) Dans tous les cas, on a :

1
lim
n n
n1
(k)
Pij = fij
k=0
Remarque 1 : Les probabilits
1
.
j
fij se calculent par la mthode de conditionnement sur la premire transition. Des simplications sont possibles ont
utilisant la Proposition 2 de la section 1.5.4.
41
Remarque 2 : Pour tout tat j rcurrent nul ou transitoire, on a 1 = 0.

j
Remarque 3 : Pour tout tat
j rcurrent positif, la quantit 1 reprj

sente la fraction moyenne long terme de visites j partir de j (voir la
Figure 17). En eet on a alors

1 =
j
=
=
1
n n
n1
(k)
Pjj
lim
lim
1
n
k=0
n1
1{Xk =j} |X0 = j
E
k=0
lim E
Nj (n)
X0 = j ,
n
o
n1
Nj (n) =
1{Xk =j}
k=0
est le nombre de visites j du temps 0 au temps n 1.
temps moyen j
j
temps moyen j
Figure 17 Retours un tat rcurrent j .

1.7.2 Distribution stationnaire
Une suite nie ou innie dnombrable = (j ) est une distribution
stationnaire pour une chane irrductible, donc avec une seule classe d'tats,
si et seulement si les conditions suivantes sont satisfaites :
(a) j > 0 pour tout j ;
(b) j j = 1 ;
42
(c) j = i i Pij pour tout j , c'est--dire = P en notation matricielle.

Les conditions (a) et (b) garantissent que (j ) est une distribution de probabilit positive, alors que la condition (c) reprsente l'quation de stationnarit. En notation matricielle, celle-ci signie que est un vecteur propre
gauche de la matrice de transition P associe la valeur propre 1. noter
que le vecteur dont toutes les composantes sont gales 1 est un vecteur
propre droite correspondant.
1.7.3 Matrice de transition doublement stochastique

Une matrice de transition P pour une chane de Markov temps discret
est dite doublement stochastique si sa transpose est une matrice stochastique, c'est--dire
Pij = 1,
i
pour tout j .
Une chane de Markov irrductible sur un nombre ni N d'tats, numrots 0, 1, . . . , N 1, dont la matrice de transition est doublement stochastique
admet une distribution stationnaire uniforme donne par i = N 1 pour
i = 0, 1, . . . , N 1. En eet, les trois conditions pour une distribution stationnaire sont trivialement satisfaites.
1.7.4 Thorme sur la distribution stationnaire

Une chane irrductible a une distribution stationnaire (j ) si et seulement si elle est rcurrente positive. Dans ce cas la distribution stationnaire
est unique et donne par j = 1 pour tout j .
j
Remarque 1 : Les quations de stationnarit ont ainsi l'interprtation suivante : la fraction moyenne long terme de visites l'tat j est gale la
somme des fractions moyennes long terme des visites aux tats i suivies
immdiatement d'une transition l'tat j .
Remarque 2 : Pour tout tat j dans une classe rcurrente positive C(j),
qui est ncessairement ferme, on a 1 = j , o (j ) est une distribution

j
stationnaire pour la chane de Markov restreinte aux tats de la classe C(j).
43

Une chane irrductible apriodique sur un nombre ni d'tats, disons
0, 1, . . . , N 1, est rcurrente positive et la matrice de transition en n pas
satisfait
lim P
(n)
0 1
0 1
N 1
N 1
o (0 , 1 , , N 1 ) est la distribution stationnaire qui est donne par j =

1 pour j = 0, 1, . . . , N 1.
j
1.7.6 Exemple : Retour sur le temps d'un jour au suivant

On reprend nouveau l'exemple de la Section 1.2.3 sur le temps d'un jour
au suivant avec les tats S , ou 0, pour ensoleill et N , ou 1, pour nuageux
dont la matrice de transition est donne par
P =
0, 2 0, 8
0, 4 0, 6
La situation est illustr par le graphe de la Figure 18.

0, 2
0, 8
S
0, 6
N
0, 4
Figure
18 Reprsentation des transitions pour le temps qu'il fait d'un

jour au suivant.
Nous avons ici une seule classe d'tats, donc une chane irrductible, rcurrente positive, car le nombre d'tats est ni, et apriodique, car P00 = 0, 2 >
0, donc ergodique. On a alors
lim P (n) =
0 1
0 1
44
pour la limite de la matrice de transition en n pas, o (0 , 1 ) = est la

distribution stationnaire. L'quation de stationnarit = P donne ici
0 = 0, 20 + 0, 41 ,
1 = 0, 80 + 0, 61 ,
d'o 1 = 20 . La condition 0 + 1 = 1 permet alors d'obtenir 0 = 1/3 et

1 = 2/3.
1.7.7 Exemple : Modle de rparation

Dans l'exemple suivant, il est question d'une machine qui peut tre soit
en rparation (tat 0), soit dans un tat de fonctionnement qui est bon (tat
1), moyen (tat 2) ou mauvais (tat 3). Si la machine est dans l'un des tats
de fonctionnement 1 ou 2 un jour donn, le jour suivant elle peut soit rester
dans le mme tat, soit tomber dans un moins bon tat de fonctionnement,
c'est--dire 2 ou 3, respectivement. Lorsque la machine est en mauvais tat de
fonctionnement, elle est envoye en rparation ds le lendemain, puis remise
en bon tat de fonctionnement pour le surlendemain. Les dirents tats et
les transition possibles sont illustrs dans la Figure 19. Voici la matrice de
transition pour l'tat de la machine, 0, 1, 2 ou 3, d'un jour au suivant :
0 1
0
0
0 0, 9 0, 1 0
P =
0 0 0, 8 0, 2 .
1 0
0
0
1
0
0,9
1
0,1
3
0,8
0,2
Figure
machine.
19 Reprsentation graphique d'un modle de rparation d'une
45
Tous les tats communiquent entre eux, et donc la chane est irrductible. Puisque le nombre d'tats est ni, la chane est rcurrente positive. De
plus, P11 = 0, 9 > 0, ce qui implique que la chane est apriodique, et donc
ergodique.
Dans ce cas, on a
lim P (n)
0
0
=
0
0
1
1
1
1
2
2
2
2
3
3
,
3
3
o (0 , 1 , 2 , 3 ) = satisfait = P , c'est--dire
0 = 3
1 = 0 + 0, 91
2 = 0, 11 + 0, 82
3 = 0, 32 ,
avec 0 +1 +2 +3 = 1. Cette condition s'crit alors 0 +100 +50 +0 = 1,

d'o 0 = 1/17. C'est la proportion moyenne de jours long terme que la
1
machine passe en rparation. De plus, 0 = 0 = 17 est le nombre moyen
de jours qu'une machine nouvellement rpare fonctionne avant de retourner
en rparation.
1.7.8 Exemple : Bonus-malus pour l'assurance-automobile

Dans cet exemple, on considre un systme de bonus-malus pour l'assuranceautomobile tel qu'utilis au Brsil. Il y a 7 classes d'assurs. La classe dans
laquelle se trouve un assur dtermine le pourcentage de la prime annuelle
maximale qu'il doit payer. De la classe 7 la classe 1, on a les pourcentages
suivants : 100%, 90%, 85% , 80% , 75% , 70% , 65%. La classe d'un assur
change d'une anne la suivante selon le nombre de rclamations eectues
durant l'anne. La matrice de transition pour les classes de 7 1 dans cet
ordre est de la forme
P =
1 p0
1 p0
1 1 pi
i=0
1 2 pi
i=0
1 3 pi
i=0
1 4 pi
i=0
1 5 pi
i=0
p0
0
p1
p2
p3
p4
p5
0
p0
0
p1
p2
p3
p4
0 0 0 0
0 0 0 0
p0 0 0 0
0 p0 0 0
p1 0 p0 0
p2 p1 0 p0
p3 p2 p1 p0
46
o
pk =
k
e
k!
reprsente la probabilit de k rclamations durant l'anne, pour k 0. On

fait donc l'hypothse que les rclamations surviennent selon un processus de
Poisson d'intensit annuelle > 0.
La Figure 20 reprsente les dirents tats et les transitions de probabilit
positive.
7
Figure
20 Transitions pour des classes d'assurs selon un systme de

bonus-malus.
Il y a une seule classe, car tous les tats communiquent entre eux, et elle
est rcurrente positive, car il y a un nombre ni d'tats. De plus, elle est
apriodique, car P11 = p0 > 0. On a donc aaire une chane irrductible
ergodique.
Dans le cas o = 0, 10, on peut vrier que la distribution de probabilit = (7 , 6 , 5 , 4 , 3 , 2 , 1 ) qui satisfait = P , donc la distribution
stationnaire, est donne par
7 = 0, 00001, 6 = 0, 00005, 5 = 0, 00032, 4 = 0, 00215,
3 = 0, 01444, 2 = 0, 09355, 1 = 0, 88948.
Cela signie notamment que presque 89% des assurs en moyenne sont dans
la classe 1 long terme. De plus, le pourcentage moyen de la prime paye
par les assurs long terme est
7 100% + 6 90% + + 1 65% = 65, 65%,
ce qui est trs prs du pourcentage pour la classe 1.
47
1.7.9 Exemple : Marche alatoire sur les entiers

On considre une marche alatoire sur les entiers de telle sorte que les
probabilits de transition sont donnes par
1
Pi,i+1 = Pi,i1 = ,
2
pour tout entier i, positif, ngatif ou nul. Cette marche est illustre dans la
Figure 21.
1/2
i1
i
i+1
1/2
Figure 21 Marche alatoire sur les entiers.

La chane est clairement irrductible, car tous les tats communiquent
entre eux. Ensuite, elle est de priode 2, car
d(0) = p.g.c.d.{2k : k 1} = 2.
La chane est rcurrente positive si et seulement si elle possde une distribution stationnaire (i ). Si c'est le cas, alors
1
1
i = i1 + i+1 ,
2
2
pour tout entier i. Cette quation signie que le point (i, i ) est au milieu
du segment de la droite L qui relie les points (i 1, i1 ) et (i + 1, i+1 ).
Supposons que
i1 < i+1 ,
pour un certain i. La droite L qui passe par ces points est alors de pente
positive comme illustr dans la Figure 22. De plus, l'quation prcdente
garantit que le point (i 2, i2 ) est sur le prolongement de la droite L. Par
induction, c'est aussi le cas pour le point (i k, ik ), pour tout k 1. Or,
cette droite tant de pente positive, ce point est sous l'axe horizontal, et donc
ik < 0, pour k assez grand. Ceci est une contradiction. Un raisonnement
similaire s'applique si on suppose que i1 > i+1 pour un certain i.
On conclut que
i1 = i+1 = i ,
48
i+1
i
i1
i4
i3
i2
i1
i+1
Figure 22 Situation contradictoire pour une distribution stationnaire pour

la marche alatoire sur les entiers satisfaisanti1 < i+1 pour un certain i.
pour tout entier i, et donc que
i = c,
pour tout entier i, pour une certaine constante c 0. Mais alors

i =
i
ce qui entre en contradiction avec

tre rcurrente positive.
0 si c = 0,
si c > 0,
i i
= 1. La chane ne peut donc pas
1.7.10 Exemple : Chane avec plusieurs classes d'tats

On considre une chane de Markov temps discret sur les tats 0, 1, . . . , 6
telle qu'illustre dans la Figure 23 dont la matrice de transition est donne
par
P =
0
0
1
0
0
0
1/7
1
0
0
0
0
0
1/7
0
1
0
0
0
0
1/7
On relve trois classes d'tats :
0
0
0
1/4
3/4
0
1/7
0
0
0
3/4
1/4
0
1/7
0
0
0
0
0
0
1/7
0
0
0
0
0
1
1/7
49
Figure 23 Illustration d'une chane de Markov avec trois classes d'tats.

{0, 1, 2}, qui est rcurente positive, car ferme sur un nombre ni
d'tats, de distribution stationnaire (1/3, 1/3, 1/3), car Pij pour i, j =
0, 1, 2 forment une matrice de transition doublement stochastique pour
3 tats, de priode 3, car
d(0) = p.g.c.d.{3k : k 1} = 3.
{3, 4}, qui est rcurrente positive, car ferme sur un nombre ni d'tats,
apriodique, car P33 > 0, donc ergodique, de distribution stationnaire
(1/2, 1/2), car Pij pour i, j = 3, 4 forment une matrice de transition
doublement stochastique pour 2 tats.
{5, 6}, qui est transitoire, car non ferme, apriodique, car P66 > 0.
On remarque que
(n)
Pij =
1 si n = j i (modulo 3),
0 sinon,
pour i, j = 0, 1, 2, ne converge pas lorsque n , mais que

1
lim
n n
n1
k=0
1
(k)
Pij = ,
3
pour i, j = 0, 1, 2.
Plus gnralement, on a que
1
lim
n n
n1
P
k=0
(k)
1/3
1/3
1/3
1/3
1/3
1/3
1/3
1/3
1/3
0
0
1/5
1/5
0
0
1/5
1/5
0
0
1/5
1/5
0
0
0
1/2
1/2
1/5
1/5
0
0
0
1/2
1/2
1/5
1/5
0
0
0
0
0
0
0
0
0
0
0
0
0
0
50
Les 0 dans les colonnes correspondant aux tats 3, 4, 5, 6 et sur les lignes
correspondant aux tats 0, 1, 2 illustrent le fait que classe {0, 1, 2} est ferme,
et donc fij = 0 pour i = 0, 1, 2 et j = 3, 4, 5, 6. Les entres non nulles
sur chacune de ces lignes correspondent la distribution stationnaire pour
cette classe rcurrente positive, pour laquelle 1 = 1/3 et fij = 1 pour
j
i, j = 0, 1, 2. La situation est analogue pour les lignes correspondant aux
tats de la classe rcurrente positive {3, 4} avec 1 = 1/2 pour j = 3, 4.
j
D'autre part, les 0 apparaissant dans les deux dernires colonnes des
deux dernires lignes correspondant aux tats de la classe transitoire {5, 6}
s'expliquent par le fait que 1 = 0, pour j = 5, 6.
j
Pour les entres non nulles sur les deux dernires lignes, nous devons
calculer fij pour i = 5, 6 et j = 0, 1, 2, 3. En conditionnant sur la premire
transition, on trouve par exemple que
1
1
1
1
1
1
1
f63 = f63 + f53 + f43 + f33 + f23 + f13 + f03 ,
7
7
7
7
7
7
7
o f03 = f13 = f23 = 0, f33 = f43 = 1 et f53 = f63 . On obtient ainsi que
f63 =
2/7
2
= .
5/7
5
Ce rsultat est intuitivement clair. En eet lorsqu'on quitte la classe transitoire {5, 6}, il y a 2 chances sur 5 d'entrer dans la classe rcurrente {3, 4},
et d'y rester en visitant tous les tats avec probabilit 1. De faon analogue
il y a 3 chances sur 5 pour l'autre classe rcurrente {0, 1, 2}. Le thorme
ergodique garantit alors que
1
n n
n1
(k)
P63 = f63
lim
k=0
1
2 1
1
= = .
3
5 2
5
Les autres entres peuvent tre obtenues de la mme faon. Ainsi on a que
1
lim
n n
n1
(k)
P50 = f50
k=0
1
3 1
1
= = .
0
5 3
5
Il est mme possible de montrer ici que

1
(n)
lim P50 = ,
5
bien que l'tat d'arrive 0 est rcurrent positif priodique. Cela est d au fait
que lorsqu'on entre dans la classe rcurrente positive priodique {0, 1, 2}, il
51
y a 1 chance sur 3 d'entrer par chacun des tats, et la probabilit de chacun

reste 1/3 par la suite.
Ce rsultat est cependant exceptionnel. Lorsque l'tat d'arrive j est
rcurrent positif priodique, le thorme ergodique ne garantit pas en gnral
(n)
la convergence de Pij . En fait, on n'a jamais convergence dans ce cas lorsque
l'tat de dpart i = j .
1.7.11 Exemple : Dplacement alatoire sur un chiquier

On suppose qu'un roi se dplace au hasard sur un chiquier de 8 8 = 64
cases en choisissant chaque pas l'une des cases adjacentes avec la mme
probabilit. En numrotant les colonnes et les ranges de 1 8 tel qu'illustr
dans la Figure 24, l'espace des positions est {(i, j) : i, j = 1, . . . , 8}. Il y a
trois types de position : l'intrieur (I ), un bord (B ), un coin (C ).
i
B 2
B 3
B 4
B 5
B 6
B 7
C
j
Figure 24 Reprsentation d'un chiquier pour le dplacement d'un roi.

La probabilit de transition de la position u la position v s'exprime
sous la forme suivante :
P (u, v) =
A(u, v)
,
d(u)
52
o
A(u, v) =
1 si u et v sont voisins,
0 sinon,
et
d(u) =
v
8 si u est l'intrieur (type I ),
A(u, v) = 5 si u est un bord (type B ),
3 si u est un coin (type C ).
On remarque que la matrice A est symtrique, c'est--dire A(u, v) = A(v, u).

La succession des positions du roi sur l'chiquier est une chane de Markov
qui est rcurrente positive, car irrductible sur un nombre ni d'tats. De
plus elle est apriodique, car on peut retourner la case (1, 1) partir de
cette case en 2 ou 3 pas par exemple. La chane est donc ergodique.
On dnit
d(u)
,
u d(u )
(u) =
o
d(u ) = 6 6 8 + 6 4 5 + 4 3 = 420.
u
Par dnition, on a (u) > 0 pour tout u, et

(u)P (u, v) =
u (u)
= 1. De plus,
A(u, v)
A(v, u)
=
= (v)P (v, u),
u d(u )
u d(u )
pour tout u, v . Dans ce cas, on dit que la chane est rversible.

On vrie alors que
(u) = (u)
P (u, v)
v
(u)P (u, v)
v
(v)P (v, u),

v
pour tout u, ce qui est la condition de stationnarit. On conclut que ((u))

est la distribution stationnaire.
53
1.8 *Dmonstrations
1.8.1 Critres de classication
(a) Un tat i est rcurrent si et seulement si
(n)
= .
Pii
n1
(n)
Sinon il est transitoire, et alors ncessairement limn Pii = 0.
(b) Un tat rcurrent i est rcurrent nul si et seulement si

(n)
lim Pii
= 0.
Sinon il est rcurrent positif.
Dmonstration : (en utilisant le thorme ergodique pour (b))

(a) On a
(n)
Pii
P r(Xn = i|X0 = i)
n1
n1
1{Xn =i} |X0 = i
n1
= E(Ni |X0 = i),
1{Xn =i}
Ni =
n1
reprsente le nombre de visites futures i. Or,

E(Ni |X0 = i) =
kP r(Ni = k|X0 = i)
k1
P r(Ni k|X0 = i).
=
k1
De plus
(l)
P r(Ni k|X0 = i) =
(l)
fii P r Ni
l1
k 1|Xl = i ,
1.8 *Dmonstrations
54
o
(l)
fii = P r (Xl = i, Xl1 = i, , X1 = i|X0 = i)
est la probabilit que la premire visite future i partir de i l'instant 0

ait lieu l'instant l, et
(l)
Ni
1{Xn =i}
=
nl+1
reprsente le nombre de visites i partir de l'instant l + 1. Par stationarit,

on a
(l)
P r Ni
k 1|Xl = i = P r(Ni k 1|X0 = i).
D'autre part,
(l)
fii = P r (Ni 1|X0 = i)
fii =
l1
est la probabilit de visite future i partir de i. On obtient nalement

l'quation de rcurrence
P r(Ni k|X0 = i) = fii P r (Ni k 1|X0 = i) ,
pour tout k 1, d'o

k
P r(Ni k|X0 = i) = fii ,
par induction. On en dduit que

(n)
Pii
n1
k
fii =
=
k1
fii
1f ii
si fii < 1,
si fii = 1.
Donc la srie diverge si et seulement si i est rcurrent, alors qu'elle converge

(n)
si et seulement si i est transitoire, et dans ce cas, Pii 0 lorsque n .
(b) La dmonstration du rsultat est une consquence du thorme ergodique
(n)
qui garantit que Pii 0 lorsque n si un tat i est rcurrent nul.
(n)
Inversement, si Pii 0 lorsque n , alors (voir le lemme 1 en appendice
sur la limite d'une moyenne)
1
lim
n n
n1
(k)
Pii = 0.
k=0
55
Dans le cas o i est rcurrent, la limite est gale 1 par le thorme eri
godique, d'o i = , ce qui veut dire que i est rcurrent nul.
Remarque
(n)
La suite Pii ne converge pas lorsque n si i est rcurrent positif
(n)
priodique. Sinon, on devrait avoir convergence vers 0, puisque Pii = 0
pour tout n qui n'est pas un multiple de d(i). On devrait donc avoir
1
n n
n1
(k)
lim
Pii = 0.
k=0
Or, la limite dans le cas o i est rcurrent est donne par 1 par le thorme
i
ergodique, d'o i = , ce qui est une contradiction avec un tat i rcurrent
positif.
1.8.2 Proposition 1 sur la partition des tats

(n) (m)
Si i j , c'est--dire Pij Pji > 0 pour certains n, m 0, alors :
(a) i est rcurrent si et seulement si j est rcurrent ;

(b) i est rcurrent positif si et seulement si j est rcurrent positif ;
(c) i et j ont la mme priode.
Dmonstration : (en utilisant les critres de classication)

(a) Pour tout r 1, on a les ingalits
(n+r+m)
Pii
(n)
(r)
(m)
Pij Pjj Pji
0,
d'o
(r)
(n+r+m)
Pii
r1
Pii
r1
(n)
(m)
(r)
Pij Pji
Pjj 0.
r1
(r)
(r)
Donc, r1 Pii < , c'est--dire, i transitoire, implique r1 Pjj < ,
c'est--dire, j transitoire, et inversement par symtrie. Par consquent, i est
1.8 *Dmonstrations
56
rcurrent si et seulement si j est rcurrent.
(b) On suppose que i et j sont rcurrents. Par les ingalits en (a), si

(n+r+m)
Pii
0 lorsque r ,
c'est--dire, i rcurrent nul, alors

Pjj 0 lorsque r ,
(r)
c'est--dire, j rcurrent nul, et inversement par symtrie. Par consquent, i

est rcurrent positif si et seulement si j est rcurrent positif.
(c) Par les ingalits en (a), si
(r)
Pjj > 0,
alors
(n+r+m)
Pii
> 0,
c'est--dire que n + r + m est un multiple de d(i), la priode de i. Mais alors

on a aussi
(2r)
Pjj
(r)
(r)
Pjj Pjj > 0,
d'o n + 2r + m est un multiple de d(i). En consquence, r = (n + 2r + m)

(n + r + m) est un multiple de d(i). Par la dnition de la priode de j , on
a alors d(j) d(i). Inversement, on a d(j) d(i) par symtrie. On conclut
donc que d(i) = d(j).

(a) Si i est un tat rcurrent, alors
fij = P r(visite future j | dpart de i) = 1
(n)
pour tout j i, et 0 autrement, c'est--dire Pij = 0 pour tout n 1 et
tout j i.
(b) Si i et j sont des tats dans la mme classe rcurrente, alors fki = fkj
pour tout tat k.
57
Dmonstration :
(a) Il va sure de montrer que si i est rcurrent, alors on a l'galit
fij (1 fji ) = 0.
(n)
Si de plus j i, alors il existe un certain n 1 tel que 0 < Pij fij . Ceci
n'est compatible avec l'galit ci-dessus que si fji = 1. On a aussi fij = 1
par symtrie, car j est rcurrent si i est rcurrent et j i.
Si d'autre part j
i, alors ou bien fij = 0 ou bien fji = 0. En fait la
seule possibilit compatible avec l'galit ci-dessus est fij = 0.
Il reste donc montrer l'galit ci-dessus. Son interprtation est que la
probabilit de ne pas retourner i partir de i en passant par j est 0 si i est
rcurrent. Cela est intuitivement clair, car cette probabilit est plus petite
ou gale la probabilit de ne pas retourner i partir de i, qui est nulle
lorsque i est rcurrent.
L'galit est vidente pour j = i, car fii = 1 si i est rcurrent. On
(n)
considre donc j = i et on suppose que fij > 0. Alors, Pij > 0 pour un
certain n 1. Dans ce cas, il existe une suite d'tats i0 = i, i1 , , in1 ,
in = j telle que
Pi0 ,i1 Pi1 ,i2 Pin1 ,in > 0.
Soit ik = max{1 l n : il = i}. On a alors

(k)
gij Pik ,ik+1 Pin1 ,in > 0,
o
(k)
gij = P r (Xk = j; Xk1 = i, j; ; X1 = i, j|X0 = i)
reprsente la probabilit de la premire visite future j au k-ime pas partir

de i sans passer nouveau par i. D'autre part, on a videmment l'ingalit
(k)
0 = 1 fii gij (1 fji ),
d'o on conclut que 1 fji = 0.

(b) Pour tous les tats i, j et k, on a
fkj fki fij = P r(visite future j en passant par i | dpart de k)
en considrant la premire visite future i partir de k. Si i et j sont dans

la mme classe rcurrente, alors fij = 1 par (a), d'o l'ingalit fkj fki .
L'ingalit inverse est obtenue par symtrie.
1.8 *Dmonstrations
58

Si le nombre d'tats est ni, alors :
(a) Tous les tats rcurrents sont rcurrents positifs.
(b) Dans tous les cas, il y a au moins un tat rcurrent.
Corollaire : Une chane irrductible (et toute classe ferme) sur un nombre
ni d'tats est rcurrente positive.
Dmonstration : (en utilisant le thorme ergodique)

(a) Par la proposition 1, si i est rcurrent nul, alors j est rcurrent nul pour
tout j i. Par la proposition 2 et le thorme ergodique, on a alors
Pij 0 lorsque n ,
(n)
1=
(n)
Pij =
j
j:ji
puisqu'on a un nombre ni de termes qui tendent tous vers 0, ce qui est une
contradiction avec une somme gale 1.
(b) Si tous les tats j sont transitoires, alors le thorme ergodique garantit
la convergence vers 0 de chaque terme de la somme gauche ci-dessus, ce qui
mne une contradiction pour les mmes raisons. Il y a donc au moins un
tat rcurrent, et cet tat est ncessairement rcurrent positif par (a). C'est
aussi le cas pour la classe de cet tat, ce qui dmontre le corollaire.
1.8.5 Thorme sur la distribution stationnaire

Une chane irrductible a une distribution stationnaire (j ) si et seulement si elle est rcurrente positive. Dans ce cas la distribution stationnaire
est unique et donne par j = 1 pour tout j .
j
Dmonstration de la ncessit : (en utilisant le thorme ergodique)
59
Pour tout tat j , l'existence de la distribution stationnaire (j ) implique que

0 < j =
l Plj
i Pil Plj
i
i
Pil Plj
l
(2)
i Pij ,
=
i
et donc par induction que

(n)
0 < j =
i Pij ,
i
pour tout entier n 1. L'quation est aussi trivialement satisfaite pour

n = 0. Par consquent, on a
0 < j =
1
n
i
i
n1
(k)
Pij
k=0
pour tout entier n 1. Or, le thorme ergodique garantit que

1
n n
n1
(k)
Pij = fij
lim
k=0
1
1
=
,
j
j
pour i, j dans la mme classe. En eet, si la classe est transitoire, alors

1/j = 0, et si la classe est rcurrente, alors fij = 1. Dans ces conditions, le
lemme 2 en appendice sur la limite d'une somme donne
0 < j =
1
j
i =
i
c'est--dire,
j =
1
< ,
j
d'o l'tat j est rcurrent positif.
Dmonstration de la susance :
1
,
j
1.8 *Dmonstrations
60
On considre un tat particulier i. On montre que
j =
wj
l wl
pour tout tat j , o wj reprsente l'esprance du nombre de visites j

entre une visite i et la suivante, dnit une distribution stationnaire. On
remarque d'abord que wj > 0, puisque que j est atteignable partir de i, et
que
wj = E(Nj ) =
E(Nlj ),
l
o Nlj reprsente le nombre de visites j prcdes immdiatement d'une

visite l, entre une visite i et la suivante, et Nj = l Nlj avec Nj = 1 si
j = i. On obtient alors que
wj
E(Nlj |Nl = n)P r(Nl = n)
=
n
nPlj P r(Nl = n)
n
E(Nl )Plj
l
wl Plj ,
l
pour tout j . En divisant par l wl = i < , puisque i est rcurrent positif,

on a toutes les conditions d'une distribution stationnaire.
Remarque : Puisque wi = 1, on a que i = 1/
c'est--dire, wj = j /i .
l
i
wl = 1/i , d'o j = i wj ,
Figure 25 Visites j entre une visite i et la suivante.
61

(a) Dans tous les cas sauf peut-tre dans celui o j est rcurrent positif
priodique, on a :
(n)
lim Pij = fij
1
,
j
fij = P r(visite future j | dpart de i)
et
j = E(temps de premier retour j | dpart de j).
(b) Dans tous les cas, on a :

1
lim
n n
n1
(k)
Pij = fij
k=0
1
.
j
Dmonstration de (a) :
Partie 1. On observe d'abord qu'il sut de montrer que
(n)
Pjj
1
lorsque n .
j
En eet on a alors (voir la Figure 26)

n
(n)
Pij
(k)
(nk)
fij Pjj
k=1
(k)
(nk)
fij {kn} Pjj
fij
k1
1
lorsque n ,
j
o
fij = P r(premire visite future j au k -ime pas | dpart de i)
(k)
La convergence dcoule du lemme 2 en appendice sur la limite d'une somme,

car
(k)
0 fij =
fij 1
k1
1.8 *Dmonstrations
62
et
(nk)
lim {kn} Pjj
1
,
j
avec {kn} = 1 si k n, et 0 autrement.
premire visite j
0
k
n
Figure 26 Transition de i j en n pas avec premire visite j au pas k.
(n)
Partie 2. On sait dj, par les critres de classication des tats, que Pjj
0 lorsque n si j est transitoire, auquel cas 1 = 0. On considre

j
maintenant le cas o j est rcurrent apriodique. La probabilit de retourner
j partir de la dernire visite j avant l'instant n est alors gale 1.
En dcomposant l'vnement selon l'instant de la dernire visite j avant
l'instant n (n exclu), on obtient l'quation de renouvellement
(nk)
q(n) =
(m)
fjj = 1,
{kn} Pjj
k1
mk
pour tout entier n 1. Il sut de montrer que si

(n )
j = lim Pjj l ,
l
pour une sous-suite {nl }, alors j = 1 . On montre d'abord que

j
(n k)
j = lim Pjj l
l
pour tout entier k 1, en utilisant le fait dmontr dans la partie 3 que

(n)
(n)
lim Pij Pjj = 0,
pour tout tat i dans la classe de j , reprsente par C(j). En eet, si

(n )
j = lim Pjj lr ,
l
63
pour une sous-suite {nlr }, alors

(n )
(k)
Pjj lr =
(nlr k)
Pji Pij
i
(nlr k)
(k)
Pji
Pij
(n k)
Pjj lr
(k)
(n k)
Pji Pjj lr
+
i
ds que nlr k), o la somme est sur tous les tats i dans la classe C(j),
qui est rcurrente, donc ferme. Le lemme 2 en appendice sur la limite d'une
somme permet alors d'obtenir que
(k)
j = j
Pji = j .
i
Finalement, l'application du mme lemme q(nl ) donne

(m)
1 = j
fjj
(m)
= j
mfjj
= j j ,
m1
k1 mk
ce qui permet de conclure.

Il reste considrer le cas o j est rcurrent nul priodique, disons de
priode d(j) = d pour la chane (Xn ). Alors j est rcurrent nul apriodique
pour la chane (Xkd ), de telle sorte que
(kd)
lim Pjj
= 0,
par ce qui prcde. D'autre part,

(n)
Pjj = 0,
si n n'est pas un multiple de d. On peut donc conclure que

(n)
lim Pjj = 0.
Partie 3. Soit j un tat rcurrent apriodique. Par le lemme 3 en appendice

sur la condition d'apriodicit, il existe un entier N (i, k) 1 pour tous i, k
dans la classe de j , reprsente par C(j), tel que
(n)
Pik > 0,
pour tout n N (i, k). On construit maintenant une chane couple ((Xn , Yn ))
sur l'espace des tats de forme (i, k) pour i, k dans C(j) dont les probabilits
de transition sont donnes par
P(i,k)(j,l) = Pij Pkl ,
1.8 *Dmonstrations
64
pour tous i, j, k, l dans C(j). La chane couple restreinte cet espace d'tats
est irrductible, car
(n)
(n)
(n)
P(i,k)(j,l) = Pij Pkl > 0,
ds que n max(N (i, j), N (k, l)). On dnit (voir la gure 27)
T = min{n 1 : (Xn , Yn ) = (j, j)}.
On remarque que
(nk)
P r(Xn = j|T = k) = Pjj
= P r(Yn = j|T = k),
pour tout n k. Par consquent, pour tout i dans C(j), on dduit que
(n)
Pij = P r(Xn = j|X0 = i, Y0 = j)

=
P r(Xn = j, T = k|X0 = i, Y0 = j)
k1
P r(Xn = j|T = k)P r(T = k|X0 = i, Y0 = j)

k1
n
P r(Yn = j|T = k)P r(T = k|X0 = i, Y0 = j)

k=1
P r(Xn = j|T = k)P r(T = k|X0 = i, Y0 = j)

k=n+1
P r(Yn = j, T = k|X0 = i, Y0 = j)
k1
P r(T = k|X0 = i, Y0 = j)
+
k=n+1
= P r(Yn = j|X0 = i, Y0 = j) + P r(T n + 1|X0 = i, Y0 = j)

(n)
= Pjj + P r(T n + 1|X0 = i, Y0 = j).
De faon analogue, on trouve que

(n)
(n)
(n)
(n)
Pjj Pij + P r(T n + 1|X0 = i, Y0 = j).
On a donc
lim |Pij Pjj | lim P r(T n + 1|X0 = i, Y0 = j)
= 1 f(i,j)(j,j) .
65
Si la chane couple est rcurrente, alors f(i,j)(j,j) = 1, d'o

(n)
(n)
lim Pij Pjj = 0.
En fait on obtient le mme rsultat si la chane couple est transitoire, car

alors
(n) 2
Pij
(n)
= P(i,j)(i,j) 0,
lorsque n , pour tout i dans C(j).

Xn
i
Yn
j
Figure 27 Premire visite future de la chane couple (Xn , Yn ) (j, j)

l'instant T tant donn que (X0 , Y0 ) = (i, j).
Dmonstration de (b) :
Par le lemme en appendice sur la limite d'une moyenne, le rsultat (b) dcoule
du rsultat (a) sauf dans le cas o l'tat j est rcurrent positif priodique,
disons pour la chane (Xn ). Cependant, j est rcurrent positif apriodique
pour la chane (Xld ), o d = d(j) 2. Le rsultat (a) garantit alors que
(ld)
lim Pjj
1
,
j /d
o j /d reprsente l'esprance du temps de premier retour j partir de j

avec d pas comme unit de temps. D'autre part,
(n)
Pjj = 0,
si n n'est pas un multiple de d. On peut donc conclure que

1
lim
n n
n1
(k)
Pjj
k=0
k(n) 1
= lim
n n k(n)
k(n)
(ld)
Pjj
l=0
1
,
j
1.8 *Dmonstrations
66
o k(n) = la partie entire de (n 1)/d, est tel que

k(n)
1
= .
n n
d
lim
Finalement, pour un tat de dpart i quelconque, on procde comme dans

la partie 1 de la dmonstartion de (a).

Une chane irrductible apriodique sur un nombre ni d'tats, disons
0, 1, . . . , N 1, est rcurrente positive et la matrice de transition en n pas
satisfait
lim P
(n)
0 1
0 1
N 1
N 1
o (0 , 1 , , N 1 ) est la distribution stationnaire qui est donne par

j = 1 pour j = 0, 1, . . . , N 1.
j
Dmonstration :
Ce rsultat est une consquence du thorme ergodique et du thorme sur

la distribution stationnaire du fait que les propositions 2 et 3 sur la partition
des tats garantissent que la chane est rcurrente positive et que fij = 1
pour tous tats i, j . Nous en proposons ici une dmonstration directe. Par le
corollaire du lemme 3 en appendice sur la condition d'apriodicit, la matrice
de transition P de la chane admet une puissance P N , pour un certain entier
N 1, dont toutes les entres sont strictement positives. On dnit
(n)
Mj
(n)
= max Pij ,
i
pour tout entier n 1. L'quation de Chapman-Kolmogorov permet d'obtenir l'ingalit

(n)
(n1)
Pij =
Pil Plj
l
(n1)
(n1)
Mj
Pil = Mj
l
67
pour tout tat i et tout entier n 2. On a donc

(n1)
(n)
Mj
Mj
Mj ,
lorsque n . De mme,
(n1)
(n)
(n)
mj
mj
= min Pij mj ,
i
lorsque n . Toutes les probabilits de transition tant bornes par 1 et

le nombre d'tats tant ni, il existe une sous-suite d'entiers {nk } telle que
(nk )
Pij
ij ,
lorsque k , pour tous tats i, j avec

Mj = max ij , mj = min ij .
i
L'quation de Chapman-Kolmogorov donne alors

(N +nk )
Pij
(N )
(nk )
(N )
Pil Plj
l
Pil lj ,
l
lorsque k . On a donc
(N +nk )
Mj
(N )
max
i
Pil lj = Mj .
l
(N
Puisque Pil ) > 0, pour tous i, l, on doit avoir lj = Mj , pour tout l, ce qui
implique que mj = Mj . On conclut que
(n)
Pij Mj ,
lorsque n , pour tous i, j . De plus, on a

(N )
Mj min Pij
i
et
(n)
Mj =
j
avec
(n)
lim Pij = lim
(n)
(n1)
Mj = lim Pjj =
n
>0
lim Pji
Pij = 1,
j
Pij =
Mi Pij ,
i
1.9 *Appendice
68
ce qui signie que (Mj ) est bien une distribution stationnaire. D'autre part,
n
(n)
(k)
Mj = lim Pjj =
n
fjj
k=1
(nk)
lim Pjj
(k)
= Mj
fjj = Mj fjj ,
k1
ce qui implique que fjj = 1, c'est--dire que j est rcurrent. Finalement,

l'quation de renouvellement donne
(nk)
1 = q(n) =
(m)
fjj Mj
{kn} Pjj
k1
mk
(m)
mfjj
= M j j ,
mk
d'o j est rcurrent positif et Mj = 1 .

j
1.9 *Appendice
1.9.1 Lemme 1 sur la limite d'une moyenne
On a
1
n
n1
ak a lorsque n ,
k=0
si ak a lorsque n avec 0 ak 1 pour tout k 0.
Dmonstration :
On a
1
n
n1
ak a
k=0
1
n
n1
|ak a|
k=0
2N
1
+
n
n
n1
|ak a| ,
k=N
pour tout N 1. Ceci est plus petit que > 0 arbitraire si n > 4N/, o N
est tel que |ak a| < /2 pour tout k N .
1.9.2 Lemme 2 sur la limite d'une somme

On a
ak lorsque n ,
ak bn,k b
k1
k1
69
si bn,k b lorsque n pour tout k 1, o ak 0 et 0 bn,k 1 pour

tout n, k 1, dans les cas suivants : (a) k1 ak < , ou sinon (b) b > 0.
Remarque 1 : Le rsultat s'applique
bn,k = bnk si k n, et 0 autrement, avec 0 bm 1 pour tout m 0 et bm b lorsque m .
Remarque 2 : Dans le cas o
k1 ak < , la condition 0 bn,k 1

peut tre remplace par |bn,k | B < , en utilisant le fait qu'alors 0
bn,k +B
1.
2B
Dmonstration :
(a) On a
ak (bn,k b)
k1
ak |bn,k b|
k1
N
ak |bn,k b| + 2
k=1
ak ,
k>N
pour tout N 1. Ceci est plus petit que > 0 arbitraire si N est assez
grand pour que k>N ak < /4, puis n assez grand pour que |bn,k b| <
(2N N ak )1 pour k = 1, ..., N .
k=1
(b) On a
N
ak bn,k
k1
ak bn,k ,
k1
pour tout N 1. Ceci est plus grand que M > 0 arbitraire si N est assez
grand pour que N ak > 2M/b, puis n assez grand pour que bn,k > b/2
k=1
pour k = 1, ..., N .
1.9.3 Lemme 3 sur la condition d'apriodicit

Pour un tat j , les conditions suivantes sont quivalentes :
(n)
(1) d(j) = p.g.c.d.{n 1 : Pjj > 0, } = 1 ;
1.9 *Appendice
70
(n)
(2) Pjj > 0 pour tout n N (j) pour un certain entier N (j) 1.
Dans ce cas, si j est accessible partir de i, alors il existe un entier N (i, j) 1

(n)
tel que Pij > 0 pour tout n N (i, j).
Corollaire : La matrice de transition P d'une chane irrductible aprio-
dique sur un nombre ni d'tats admet une puissance P N , pour un certain
entier N 1, dont toutes les entres sont strictement positives.
Dmonstration :
Il est vident que (2) implique (1). On suppose la condition (1) pour un tat
j et on dnit l'ensemble
(n)
M = {n 1 : Pjj > 0, },
qui est non vide. Cet ensemble satisfait alors les conditions suivantes :
(1) p.g.c.d.{n : n dans M } = 1 ;
(n
(n
(n
(1') n1 + n2 est dans M si n1 , n2 sont dans M , car Pjj 1 +n2 ) Pjj 1 ) Pjj 2 ) .
On montre d'abord que M contient deux entiers conscutifs. Sinon, il existe

un entier k 2 tel que , + k appartiennent M , et n2 n1 k pour
tous n2 > n1 dans M . Par la condition (1), il existe un n dans M qui n'est
pas divisible par k, c'est--dire, n = mk + r pour certains entiers m 0
et 0 < r < k. Par la condition (1'), les entiers n2 = (m + 1)( + k) et
n1 = n + (m + 1) appartiennent M , mais la dirence satisfait
0 < n2 n1 = (m + 1)k n = k r < k,
ce qui est une contradiction.

On suppose maintenant que , + 1 appartiennent M , et on montre
que tout n N (j) = 2 est dans M . En eet, on a alors 0 n 2 = j + l
pour certains entiers j 0 et 0 l < . La condition (1') garantit que
n = l( + 1) + ( + j l)
appartient M .
que
71
Enn, si j est accessible partir de i, il existe un entier m(i, j) 0 tel

(m(i,j))
Pij
et alors
(n)
(m(i,j))
Pij Pij
> 0,
(nm(i,j))
Pjj
> 0,
ds que n N (i, j) = m(i, j) + N (j) 1.

Lorsque qu'une chane est irrductible apriodique sur un nombre ni
d'tats, on a la mme ingalit pour toute paire d'tats i, j ds que n
max(N (k, l)).
1.10 Exercices
1. Supposons que le temps qu'il fait d'une journ la suivante est dcrit
par une chane de Markov sur les tats 0, 1, 2 (0 pour ensoleill, 1 pour
nuageux, 2 pour pluvieux) dont la matrice de transition est donne par
1/2 1/2 0
P = 1/4 1/2 1/4 .
0 1/2 1/2
On est jeudi et c'est nuageux. Dterminer : (a) la probabilit que les

trois prochains jours soient ensoleills ; (b) la probabilit que dimanche
prochain soit ensoleill.
2. En utilisant les proprits d'une matrice de transition, montrer que si

P (2) est la matrice de transition en deux pas d'une chane de Markov
temps discret sur deux tats, 0 et 1, alors

(2)
(2)
P00 P10 .
3. Une unit de production comprend deux machines-outils qui fonc-
tionnent indpendamment l'une de l'autre. Chaque machine-outil a une

abilit 0,9 au cours d'une journe, ce qui signie que sa probabilit
de tomber en panne est 0,1. Il faut une nuit pour rparer une machineoutil qui tombe en panne mais une seule la fois peut tre rpare. (a)
Quelle est la matrice de transition pour le nombre de machines-outils
en tat de fonctionnement au dbut d'une journe ? (b) S'il faut deux
nuits pour rparer une machine-outil, quels tats peut-on considrer
1.10 Exercices
72
pour avoir une chane de Markov et quelle est sa matrice de transition ?
4. On considre un pentagone rgulier dont les sommets sont numrots
de 1 5 dans le sens des aiguilles d'une montre. Initialement (instant

0), deux coccinelles sont places aux sommets 1 et 3, respectivement.
chaque instant suivant, chacune des coccinelles se dplace, indpendamment de l'autre, vers l'un des deux sommets adjacents avec
probabilit 1/2 pour chacun d'eux. Combien de temps en moyenne
faudra-t-il pour que les deux coccinelles se rencontrent au mme sommet ? Suggestion : Considrer la distance entre les deux coccinelles.
5. Deux joueurs de tennis, A et B, sont rendus galit dans un jeu. Il
faut deux points d'avance pour tre dclar vainqueur. Un joueur qui
a un point d'avance est dit en avantage. En supposant que A a une
probabilit p de gagner chaque point, et B une probabilit 1 - p, indpendamment de tous les autres points, dterminer : (a) la probabilit
pour A d'tre dclar vainqueur ; (b) l'esprance du nombre de fois que
A sera en avantage avant la n du jeu.
6. On lance une pice de monnaie non pipe plusieurs fois indpendam-
ment jusqu' ce qu'on obtienne trois faces conscutives (F F F ). Les

rsultats des trois premiers jets sont F P F . En incluant les trois premiers jets, dterminer la probabilit d'obtenir trois piles conscutives
(P P P ) avant la n du jeu.
7. (SOA M A05
#5) Une espce de eurs peut se trouver dans trois

tats : viable (0), en voie de disparition (1), ou teinte (2). Les transi-
tions d'tat d'une anne la suivante sont modlises par une chane
de Markov non-homogne avec matrice de transition Qi de l'anne i1
l'anne i dnie comme suit :
0, 85 0, 15 0
0, 7 0, 3 ,
Q1 = 0
0
0
1
0, 95 0, 05 0
Q3 = 0, 2 0, 7 0, 1 ,
0
0
1
0, 9 0, 1 0
Q2 = 0, 1 0, 7 0, 2 ,
0
0
1
0, 95 0, 05 0
Qi = 0, 5 0, 5 0 ,
0
0
1
pour i 4. Calculer la probabilit que l'espce de eurs s'teigne ven-
73
tuellement tant donn qu'elle est initialement en voie de disparition.
8. Dans un processus de branchement avec gnrations spares, chaque
individu de chaque gnration, indpendamment de tous les autres,

produit k individus de la gnration suivante avec probabilit (1 p)pk
pour k 0. Dterminer la probabilit d'extinction ventuelle de la
descendance d'un individu : (a) si 0 < p < 1/2 ; (b) si p = 1/2 ; (c)
si 1/2 < p < 1. Dans le cas o l'extinction ventuelle est certaine,
dterminer le nombre moyen total de descendants d'un individu.
9. Supposons que, dans un processus de branchement, le nombre de des-
cendants de premire gnration de tout individu a comme fonction

gnratrice (s) = 1/2 + (1/2)s3 . Quelle est la probabilit d'extinction
ventuelle de la population s'il y a 2 individus la gnration initiale ?
10. Supposons que, dans un processus de branchement, le nombre de
descendants de premire gnration de tout individu de la gnration

n a comme fonction gnratrice (s) = 1/4 + (3/4)s si n est pair et
(s) = 1/4 + (3/4)s2 si n est impair. Quelle est la probabilit d'extinction ventuelle de la population s'il y a un seul individu la gnration
initiale (n = 0) ?
11. Une plante survit d'un printemps au suivant avec probabilit 3/4 et
dans ce cas elle produit le printemps suivant 0, 1 ou 2 autres plantes
identiques elle-mme avec la mme probabilit 1/3. Une plante peut
donc survivre et se reproduire plusieurs printemps de suite. On suppose
une seule plante au dpart et on considre le nombre total de plantes
chaque printemps suivant. (a) L'extinction est-elle certaine ? (b) Si
elle ne l'est pas, quelle est sa probabilit ?

produit un nombre d'individus de la gnration suivante selon une
loi binomiale de paramtres 3 et 1/2, c'est--dire un nombre k avec
probabilit
pk =
3!
k!(3 k)!
1
2
pour k 0. Dans la gnration initiale, il y a deux individus. (a)

A-t-on extinction certaine de la population ? (b) Sinon, quelle est la
1.10 Exercices
74
probabilit d'extinction ventuelle de la population ?
13. On lance un d non pip rptition de faon indpendante. On

reprsente par Xn le nombre maximum de points obtenus lors des n
premiers jets. Dterminer : (a) la matrice de transition de cette chane ;
(b) les tats transitoires, rcurrents, priodiques, apriodiques.
14. Dterminer les classes d'tats transitoires, rcurrentes nulles, rcur-
rentes positives, priodiques (dans ce cas donner leur priode) et ergodiques de la chane de Markov sur les tats 0, 1, ... dont la matrice de
transition est :
(a)
P =
0 1/3 1/3 0 1/3

1/2 0
0 1/2 0
0
0
0
1
0 ;
0
0
0
0
1
0
0 1/2 1/2 0
(b)
P =
0 1/4 0 0 1/4 1/4

0
0 1 0
0
0
1/3 0 0 1/3 0
0
1/2 0 0 0 1/2 0
0
0 0 0
0
1
0
0 0 0 1/2 0
0
0 0 0
0 1/2
1/4
0
1/3
0
0
1/2
1/2
Justier brivement vos armations.
15. Une chane de Markov sur trois tats, 0, 1 et 2, a comme matrice de

transition
1/4 3/4 0
1
0 .
P = 0
1/2 0 1/2
Dterminer : (a) les classes d'tats et leur type ; (b) la matrice de

transition en n pas ; (c) la limite de cette matrice lorsque n tend vers
l'inni. Suggestion : Diagonaliser la matrice de transition.
75
16. Considrons la promenade alatoire sur les entiers avec probabilits

de transition donnes par
Pi,i+1 = p,
Pi,i1 = q = 1 p.
(n)
(a) Trouver Pij et en dduire que tous les tats communiquent entre
eux, et donc que la chane est irrductible. (b) Montrer que les tats de
la promenade alatoire ne peuvent tre rcurrents positifs en utilisant
la formule de Stirling :
n!
= 1.
n nn+1/2 en 2
lim
(c) Montrer que tous les tats sont rcurrents nuls si p = 1/2, et transitoires sinon. Remarque : Si an ,bn 0 et limn an /bn = 1, alors
n=1 bn convergent ou divergent ensemble.

n=1 an et
17. Dans un test de Vrai ou Faux, les questions sont poses de telle fa-
on que trois quarts du temps en moyenne une rponse Vrai suit une
rponse Vrai et deux tiers du temps en moyenne une rponse Faux suit
une rponse Faux. Quelle fraction approximative des rponses devrait
tre Vrai sur un grand nombre de questions ?
18. Supposons que, d'une gnration la suivante, les familles changent
de groupe de revenu (Bas, Moyen, lev) selon une chane de Markov

dont la matrice de transition est
0, 6 0, 3 0, 1
P = 0, 2 0, 7 0, 1 .
0, 1 0, 3 0, 6
Comment devraient se rpartir les familles dans les trois groupes de

revenu aprs un grand nombre de gnrations ?
19. Les rsultats successifs de parties d'checs d'un joueur donn contre
un autre suivent une chane de Markov sur les tats V pour victoire, D
pour dfaite et N pour nulle avec matrice de transition correspondante
donne par
3/4 0 1/4
0 3/4 1/4
P =
1/2 1/4 1/4
1.10 Exercices
76
Dterminer : (a) la proportion de victoires long terme de ce joueur ;

et (b) l'esprance du nombre de parties d'une victoire la suivante.
20. Soit Sn la somme des points obtenus en lanant un d non pip n
fois de faon indpendante. La probabilit que Sn soit un multiple de

6 converge-t-elle lorsque n tend vers l'inni ? Si oui, quelle est la limite ?
21. Une chane de Markov sur les tats 0, 1, 2, 3, 4 a comme matrice de

transition
P =
0 0 1/2 1/4 1/4

0 1/2 1/2 0
0
0 1/4 3/4 0
0 .
0 0
0
1
0
1 0
0
0
0
Dterminer, si elles existent, les limites des probabilits de transition

(n)
(n)
en n pas suivantes : (a) limn P0,0 ; (b) limn P0,1 .
22. Une boutique d'lectronique garde en inventaire au plus 3 units
d'un produit, alors que chaque jour, la demande est de 0, 1, 2, 3 avec

probabilits correspondantes 3/10, 4/10, 2/10, 1/10. Elle renouvelle
l'inventaire 3 units pour le lendemain matin seulement si le nombre
d'units est infrieur ou gal 1 la n d'une journe. Dterminer :
(a) la matrice de transition pour le nombre d'units la n d'une journe, d'une journe la suivante ; (b) le prot net moyen par jour
long terme si le prot ralis sur une unit vendue est de 12 dollars et
le cot pour garder une unit en inventaire durant une nuit est de 2
dollars. Comparer ce prot celui obtenu dans le cas o l'inventaire
est renouvel 3 units pour le lendemain matin dans tous les cas.
23. Montrer avec un exemple qu'une chane de Markov avec deux classes
d'quivalence (la chane n'est donc pas irrductible) peut avoir plusieurs distributions stationnaires mme si les deux classes sont ergodiques.
24. Une chane de Markov sur un nombre ni d'tats avec matrice de
transition P est dite rgulire s'il existe un entier N 1 tel que P N est
positive (c'est--dire que toutes les entres sont > 0). Montrer que la
chane de Markov sur les tats 0, 1, 2, 3, 4 avec la matrice de transition
77
ci-dessous est rgulire et trouver sa distribution stationnaire :
P =
3/4 1/4 0
0
0
3/4 0 1/4 0
0
3/4 0
0 1/4 0
3/4 0
0
0 1/4
1
0
0
0
0
25. Une sauterelle se dplace sur les sites 0, 1, 2 disposs sur un cercle
en allant chaque saut au site adjacent dans le sens des aiguilles d'une
montre avec probabilit p et au site adjacent dans le sens contraire avec
(n)
probabilit 1p. Soit Pij la probabilit de passer du site i au site j en
(n)
n sauts. (a) Dterminer les valeurs de p pour lesquelles Pij converge
pour tout i, j et trouver alors les valeurs limites. (b) Rpondre la
(k)
mme question pour (1/n) n1 Pij . (c) Rpondre aux deux mmes
k=0
questions dans le cas o on ajoute un site 3.
26. Dans une population, il y a trois types de caractre gntique : D
pour dominant, R pour rcessif, H pour hybride. En supposant des

accouplements entre frres et soeurs au hasard l'intrieur des familles,
les lois de Mendel prdisent les probabilits de transition ci-dessous
d'une gnration la suivante pour les couples de parents DD, RR,
DH, DR, HH, HR :
P =
1
0
0
0
0
0
0
1
0
0
0
0
1/4
0
1/2 0 1/4 0
0
0
0
0
1
0
1/16 1/16 1/4 1/8 1/4 1/4
0
1/4
0
0 1/4 1/2
Dterminer, si elle existe, la distribution limite des couples de parents

tant donn un couple HH initialement.
27. Le modle de diusion d'Ehrenfest pour le nombre de molcules d'un

gaz dans un compartiment A en communication avec un compartiment
B qui contiennent ensemble m molcules admet les probabilits de
transition
i
mi
, Pi,i+1 =
,
m
m
pour i = 1, ..., m 1 et P0,1 = Pm,m1 = 1. Cette chane est irrductible. (a) Vrier que la distribution binomiale de paramtres m et 1/2
Pi,i1 =
1.11 *Exercices supplmentaires
78
donne par
i =
m!
,
i!(m i)!2m
pour i = 0, 1, ..., m, satisfait les quations d'quilibre et qu'elle est donc

(n)
la distribution stationnaire. (b) Est-ce que Pi,i converge vers i pour
tout i lorsque n tend vers l'inni ? Justier brivement.
28. Une chane de Markov temps discret sur les entiers 0 a comme
probabilits de transition
Pi,i+1 = p, Pi,i = q, Pi,0 = 1 p q,
pour i 1, et P0,1 = p, P0,0 = 1 p, o p, q > 0 et p + q < 1. (a) Pour

quelles valeurs de p et q la chane est-elle rcurrente positive ? (b) Dans
ce cas, quelle est l'esprance du temps de premier retour 0 partir
de 0 ?
29. Une chane de Markov temps discret sur les entiers 0 a comme
probabilits de transition
Pi,i+1 =
1
1
, Pi,0 = 1
,
2(i + 1)
2(i + 1)
pour i 0 Dterminer : (a) les classes d'tats et leur type (transitoire,

(n)
rcurrente positive ou nulle, ergodique) ; (b) limn P0,2 si la limite
existe, en prcisant pourquoi la limite existe ou n'existe pas.
30. Une machine sous dans un casino vous donne 3 dollars si vous
gagnez une partie, mais il faut payer 2 dollars par partie pour jouer.
Il est annonc sur la machine qu'il y a toujours au moins une chance
sur deux de gagner chaque partie. En eet, la probabilit de succs
une partie est gale (k + 1)/(k + 2) o k reprsente le nombre de
succs aux deux parties prcdentes. Est-ce que cette machine sous
est protable pour le casino ?

31. Supposons qu'un jour ensoleill (S ) est suivi d'un jour ensoleill avec
probabilit 2/3 et d'un jour nuageux avec probabilit 1/3, indpendamment du temps des autres jours, alors qu'un jour nuageux (N ) est suivi
79
d'un jour nuageux avec probabilit 1/2 et d'un jour ensoleill avec probabilit 1/2, indpendamment du temps des autres jours. tant donn
que c'est nuageux depuis deux jours, quelle est l'esprance du nombre
de jours nuageux supplmentaires avant d'avoir deux jours ensoleills
conscutifs ?
32. Un joueur de basketball a manqu ses deux premiers paniers et par

la suite il russit un panier avec les probabilits suivantes : 1/2 s'il a
manqu ses deux paniers prcdents, 2/3 s'il a manqu l'un ou l'autre
de ses deux paniers prcdents et 3/4 s'il a russi ses deux paniers
prcdents. Dterminer : (a) l'esprance du nombre de tentatives, en
excluant les deux premires, pour russir deux paniers conscutifs ; (b)
l'esprance du nombre de paniers russis sur toutes les tentatives en
(a).
33. Une compagnie d'assurances utilise un systme de bonus-malus avec
des niveaux de risque 1, 2, etc. . Si un assur ne fait aucune rclamation

durant une anne et survit, ce qui se produit avec probabilit 3/4, son
niveau de risque diminue de 1 l'anne suivante (ou reste le mme si ce
niveau est dj 1), alors que s'il fait une rclamation et survit, ce qui
a probabilit 1/8, son niveau de risque augmente de 1, et s'il dcde,
avec la probabilit complmentaire 1/8, son niveau de risque tombe
0. Calculer : (a) la probabilit que l'assur dcde avant d'atteindre
le niveau de risque 3 partir du niveau 1 ; (b) l'esprance du nombre
d'annes sans rclamation avant que l'assur ne dcde ou n'atteigne
le niveau de risque 3 partir du niveau 1.
34. Deux amies, Ariane (A) et Batrice (B), jouent roche-papier-ciseaux

jusqu' ce que l'une des deux mne par deux parties, roche (R) l'emportant sur ciseaux, papier (P) l'emportant sur roche, ciseaux (C) l'emportant sur papier, et deux stratgies identiques crant l'galit en
eaant tous les gains prcdents. Les cinq tats possibles pour dcrire
l'issu du jeu sont : -2 pour victoire A, -1 pour avantage A, 0 pour galit, +1 pour avantage B, +2 pour victoire B. Ainsi, si les stratgies
utilises par A et B, respectivement, au cours des 5 premires parties
sont (R, P), (C, P), (P, R), (C, C), (C, R), les tats conscutifs
partir de l'tat initial 0 sont +1, 0, -1, 0, +1. On suppose qu'Ariane
et Batrice choisissent chaque fois leur stratgie au hasard et indpendamment. Dterminer : (a) la matrice de transition de cette chane ;
(b) les classes d'tats et leur type (transitoire, rcurrente positive ou
80

nulle, priodique ou apriodique) ; (c) l'esprance du nombre de parties
avant la n du jeu.
35. Dans une srie de parties indpendantes, un joueur mise 1 sur chaque
partie. Selon l'issue de la partie, on suppose que le joueur triple sa mise
avec probabilit 1/7, qu'il la double avec probabilit 1/2, et qu'il la
perd sinon. Dterminer la probabilit de la ruine ventuelle du joueur
tant donn qu'il dispose d'un avoir initial de 5.
36. Le nombre d'enfants de chaque individu dans un processus de bran-
chement est 1, 2 ou 3 avec la mme probabilit p et 0 avec probabilit

1 3p, pour 0 < p < 1, indpendamment de tous les autres. Dterminer : (a) la condition sur p pour que la descendance d'un individu ne
s'teigne pas avec probabilit 1 ; (b) la probabilit d'extinction de la

descendance d'un individu sous la condition trouve en (a).

produit 2k individus de la gnration suivante avec probabilit (1p)pk
pour k 0, o 0 < p < 1. Attention au fait que le nombre d'individus produit est pair avec probabilit 1. Dterminer : (a) les valeurs
de p pour lesquelles l'extinction de la descendance d'un individu est
certaine ; (b) dans ce cas, l'esprance du nombre total de descendants
d'un individu avant l'extinction ; (c) dans le cas contraire, la probabilit d'extinction de la descendance d'un individu.
38. On considre le problme de la ruine du joueur avec un avoir initial

S0 = 1 et un avoir aprs n parties pour n 1 donn par
Sn = S0 + 1 + ... + n ,
o k = 2 avec probabilit p et k = 1 avec probabilit 1 p, indpendamment pour k 1 avec 0 < p < 1. Cela signie que le joueur
gagne le double de sa mise en plus de rcuprer celle-ci, qui est de 1
sur chaque partie, avec probabilit p alors qu'il perd cette mise avec
probabilit 1 p. On dnit
N = min{n 1 : Sn = 0},
qui reprsente le temps jusqu' la ruine du joueur. En utilisant la thorie des processus de branchement, dterminer les valeurs de p pour
81
lesquelles :
(a) la ruine est certaine, c'est--dire, P r(N < ) = 1 ;
(b) la ruine se produit en un temps moyen ni, c'est--dire, E(N ) < .
Dans ce cas, quelle est la valeur de E(N ) ?
39. Supposons que le nombre d'tudiants gradus superviss par un pro-
fesseur d'une anne la suivante suive une chane de Markov sur les
entiers 0, 1, 2, 3, 4 avec probabilits de transition P0,1 = P4,3 = 1 et
Pi,i1 = Pi,i+1 = 1/2 pour i = 1, 2, 3. (a) Pourquoi la distribution
stationnaire existe-t-elle et quelle est-elle ? (b) Quelle est la proportion
de temps long terme que ce professeur supervisera au moins un tudiant ? (c) En supposant que ce professeur commence superviser un
premier tudiant cette anne, quelle est l'esprance du nombre d'annes
conscutives (incluant l'anne en cours) durant lesquelles ce professeur
(n)
supervisera au moins un tudiant ? (d) Est-ce que P0,0 converge lorsque
n et pourquoi en utilisant des arguments prsents au cours ?

transition
P =
1/3
1/3
0
1/4
1/4
2/3
0
1/3
1/4
1/4
0
0
0
2/3 0
0
2/3 0
0
1/4 0 1/4
1/4 1/4 0
Dterminer : (a) les classes d'tats et leur type (transitoire, rcurrente

nulle ou positive, priodique) ; (b) limn P n .
41. Une chane de Markov temps discret sur les tats 0, 1, 2, 3, 4 a des
probabilits de transition en un pas donnes par la matrice
P =
0
0
0
0
1/4
1/4 1/4 1/4 1/4

1/2 0 1/2 0
0
1
0
0 .
1/4 0 3/4 0
1/4 1/4 1/4 0
Dterminer : (a) les classes d'tats et leur type (transitoire ou rcurrente, et dans ce cas rcurrente positive ou nulle, apriodique ou priodique, et dans ce cas leur priode, ergodique) ; (b) la limite lorsque
n tend vers l'inni de la probabilit de transition de 0 1 en n pas,
82
P01 , si cette limite existe.
(n)
probabilits de transition en un pas donnes par la matrice
P =
0 1/3 1/3 1/3 0

1/2 0 1/4 0 1/4
0
0
1
0
0
0
0
0 1/3 2/3
0
0
0 2/3 1/3

positive ou nulle, priodique ou apriodique) ; (b) la limite lorsque n
(n)
tend vers l'inni de la probabilit de transition de 0 4 en n pas, P04 ,
si la limite existe.
probabilits de transition un pas donnes par la matrice
P =
1
0
0
0
0
0 1/2 0
0 1/2
1/2 0
0 1/2 0
0
0 1/2 0 1/2
0 1/4 0
0 3/4
Dterminer : (a) les classes d'tats et leur type (transitoire ou rcurrente, et dans ce cas rcurrente positive ou nulle, apriodique ou priodique, et dans ce cas leur priode) ; (b) la limite lorsque n tend vers
(n)
l'inni de la probabilit de transition de 2 1 en n pas, P21 , si cette
limite existe.
44. Une chane de Markov temps discret sur les tats 0, 1, 2, 3, 4, 5 a

des probabilits de transition en un pas donnes par la matrice
P =
0 1/3 0 1/3 0 1/3

1 0 0 0 0 0
0 1 0 0 0 0
.
0 0 1 0 0 0
0 0 0 1 0 0
0 0 0 0 1 0
83
Dterminer : (a) la distribution stationnaire si elle existe ; (b) la limite

lorsque n tend vers l'inni de la probabilit de transition de 0 0 en
(n)
n pas, P00 , si la limite existe ; (c) la limite lorsque n tend vers l'inni
(k)
(k)
de (1/n) n1 P05 , o P05 est la probabilit de transition de 0 5 en
k=0
k pas, si la limite existe. Justier brivement l'existence ou non dans
chaque cas.
45. Les probabilits de transition en une tape d'une chane de Markov

sur les tats 0, 1, 2, 3, 4, 5 sont reprsentes dans la gure suivante :
5
1/3
1/2
1/2
1/2
1/3
1/4
1
1/2
1/3
1/4
1
1/4
1/4
3
Calculer la limite de la probabilit de transition de l'tat 5 l'tat 1 en

(n)
n tapes, reprsente par P51 , lorsque n . Justier votre rponse.
46. Une personne dispose de trois parapluies qui sont ou bien au bureau
ou bien la maison. Au dpart de la maison tous les matins et du

bureau tous les soirs, elle prend un parapluie s'il pleut ce momentl et s'il y a un parapluie disponible cet endroit-l. Supposons qu'il
pleuve chaque dpart avec probabilit 1/4 indpendamment de tous
les autres. Soit Xn le nombre de parapluies disponibles au lieu du dpart au moment du n-ime dpart. Dterminer : (a) les tats et la
matrice de transition de cette chane ; (b) la proportion de fois long
terme que la personne se fera mouiller parce qu'il pleut au moment du
dpart et qu'il n'y a aucun parapluie disponible au lieu du dpart ce
moment-l.
84
transition
P =
0 1/2 1/2
0
0
1/3
0 1/3 1/3
0
0
0
1
0
0
0
0
0 1/4 3/4
0
0
0 3/4 1/4

positive ou nulle, priodique ou apriodique) ; (b) la probabilit d'atteindre ventuelllement l'tat 4 partir de l'tat 0, reprsente par
f04 ; (c) la limite de la probabilit de transition de l'tat 0 l'tat 4 en
(n)
n pas lorsque n , c'est--dire, limn P04 .
Chanes de Markov temps continu
2.1 Description gnrale

La description des chanes de Markov temps continu prsente dans
cette section est la plus intuitive. Il s'agit en fait d'une construction partir de temps de sjours et de probabilits de changement d'tat sous des
conditions qui sont gnralement vries. Cette description n'est cependant
pas la plus gnrale. Elle exclut notamment la possibilit de transitions instantanes ou trs rapproches. Elle convient toutefois pour la plupart des
applications.
2.1.1 Retour sur les chanes temps discret

Considrons une chane de Markov {Xn }n0 temps discret sur les tats
i 0, dont les probabilits de transition sont donnes par Pij , pour i, j 0.
Un temps de sjour un tat i 0 est dnot par Si . Ce temps correspond
un nombre de transitions pour changer d'tat partir de l'tat i tel qu'illustr dans la Figure 28. On remarque les proprits suivantes.
Pii
Pii
1 Pii
autre tat que i
temps n 0
Si
Figure 28 Temps de sjour un tat i d'une chane de Markov temps

discret.
Le temps de sjour Si prend la valeur k 1 avec probabilit

k1
P r(Si = k) = Pii (1 Pii ),
86
et par consquent
l
P r(Si = k) = Pii ,
P r(Si > l) =
kl+1
pour tout l 0.
Le temps de sjour Si est donc une variable alatoire discrte qui suit
une loi gomtrique de paramtre 1Pii , ce qui est not Si G(1Pii ).
Le cas Pii = 1 correspond un tat i absorbant avec un temps de sjour
inni.
Il possde une esprance donne par
E(Si ) =
P r(Si > l) =
l0
1
.
1 Pii
Il est sans mmoire, car

P r(Si > k + l|Si > k) =
=
P r(Si > k + l)
P r(Si > l)
k+l
Pii
k
Pii
l
= Pii
= P r(Si > l),
pour k, l 1.
Il est indpendant des tats visits auparavant et des temps de sjour
ces tats. Cela est garanti par la proprit markovienne.
Finalement, les probabilits de transition conditionnelles tant donn
qu'il y a changement d'tat, c'est--dire lorsqu'on quitte l'tat i, sont
indpendantes des temps de sjour et des transitions qui ont prcd,
et sont donnes par
qij =
Pij
1Pii
si j = i,
si j = i.
Par convention, qij = 0 pour tout j si Pii = 1, c'est--dire si i est

absorbant.
La matrice de transition lorsqu'il y a changement d'tat, Q = (qij ), dont
l'entre sur la range i et dans la colonne j est donne par la probabilit qij ,
pour tous les tats i et j , ainsi que les paramtres des lois gomtriques pour
les temps de sjours dcrivent entirement la chane.
87
2.1.2 Chanes temps continu

Considrons maintenant les proprits correspondantes du temps de sjour Si un tat i 0 dans un contexte de processus temps continu
{Xt }t0 . La Figure 29 illustre cette situation.
j = i avec probabilit qij
i
Si
temps t 0
Figure 29 Temps de sjour un tat i d'une chane de Markov temps

continu.
Le temps de sjour Si suit une loi continue valeurs strictement positives, interdisant ainsi les visites instantanes. Il s'agit en fait d'une loi
exponentielle de paramtre 0 i < , ce qui est not Si Exp(i ),
avec i = 0 lorsque i est un tat absorbant.
Il prend alors une valeur suprieure h > 0 avec probabilit
P r(Si > h) =
i ei t dt = ei h .
Par le dveloppement de Taylor, nous obtenons que

P r(Si > h) = 1 i h + o(h),
o o(h)/h 0 lorsque h 0. Nous avons donc que

P r(0 < Si h) = 1 ei h = i h + o(h).
Ainsi, i est le taux avec lequel on quitte l'tat i. De plus, on a l'ingalit

P r(0 < Si h) i h.
En eet, 1 ei h pour h 0 est une fonction concave dont la drive

h = 0 est la pente de la droite i h pour h 0 (voir la Figure 30).
88
i h
1 ei h
Figure 30 Graphique pour 1 e h i h.

i
Le temps de sjour Si possde une esprance donne par
E(Si ) =
P r(Si > h)dh =

0
1
.
i
Il est sans mmoire, car

ei (s+h)
ei s
i h
=e
P r(Si > s + h|Si > s) =
= P r(Si > h),
pour s, h > 0.
Il est indpendant des tats visits auparavant et des temps de sjour
ces tats.
Lorsqu'on quitte l'tat i, il y a transition de i j = i avec probabilit
qij , indpendamment des temps de sjour et des transitions qui ont
prcd. On a qij = 0 si j = i par dnition, ou si i est absorbant
(i = 0) par convention. Si i n'est pas absorbant (i > 0), alors
qij = 1.
j
89
La matrice de transition lorsqu'il y a changement d'tat, Q = (qij ), et les

paramtres des lois exponentielles pour les temps de sjour dcrivent entirement le processus. Si on dnit Xt comme l'tat l'instant t, alors {Xt }t0
est une chane de Markov temps continu, c'est--dire
P r(Xt+h = j|Xt = i, Xs = is pour 0 s < t) = P r(Xt+h = j|Xt = i)
= Pij (h),
pour tous les tats j , i, is pour 0 s < t et pour t, h > 0.
Remarque : Les chanes temps discret et les chanes temps continu
ont des proprits analogues. La plus importante est d'tre des processus
sans mmoire : leur comportement futur tant donn l'tat prsent ne dpend pas des tats et des temps de sjour passs. En eet, les temps de sjour
sont sans mmoire et les changements d'tat indpendants de tous les tats
prcdents.
2.1.3 Minimum de variables de loi exponentielle

Soient T1 , T2 , . . . , Tn des variables alatoires indpendantes de loi exponentielle de paramtres 1 , 2 , . . . , n , respectivement. On dnit
T = min(T1 , . . . , Tn ).
De faon typique, T1 , . . . , Tn reprsentent des temps avant que des vnements dirents ne se produisent, et alors T est le temps avant que le premier
de ces vnements ne se produise. On a les deux proprits suivantes :
(a) La variable alatoire T est de loi exponentielle de paramtre 1 + +n ,
c'est--dire
T Exp(1 + + n ).
(b) La variable alatoire T prend la valeur de Ti avec probabilit proportionnelle i , c'est--dire
T = Ti avec probabilit
i
,
1 + + n
pour i = 1, . . . , n.
(c) L'vnement T = Ti est indpendant de la variable alatoire T .
Dmonstration :
90
(a) En utilisant les hypothses d'indpendance et de loi exponentielle pour

les variables alatoires T1 , . . . , Tn , on obtient que
P r(T > t) = P r(min(T1 , . . . , Tn ) > t)
= P r(T1 > t, . . . , Tn > t)
= P r(T1 > t) . . . P r(Tn > t)
= e1 t . . . en t
= e(i ++n )t ,
pour tout t>0.

(b) En conditionnant sur la valeur de Ti et en utilisant l'indpendance des
variables T1 , . . . , Tn , on calcule que
P r(T = Ti ) =
0
P r(Tj s, pour tout j = i)i ei s ds
ej s i ei s ds
j=i
= i
es
n
j=1
= i
=
es
n
j=1
n
j=1 j
ds
.
n
j=1 j
(c) En utilisant les mmes arguments que prcdemment, mais en conditionnant sur la valeur de Ti > t, on trouve que
P r(T = Ti , T > t) = i
=
es
n
j=1
n
j=1 j
e
n
j=1 j
n
j=1
t
j
= P r(T = Ti )P r(T > t),
pour tout t > 0.
91
2.1.4 Conditionnement sur le premier changement d'tat

La probabilit d'atteindre ventuellement un tat partir d'un autre tat
dans une chane de Markov temps continu peut tre obtenue en conditionnant sur le premier changement d'tat. La mthode est analogue au conditionnement sur la premire transition dans une chane de Markov temps
discret, mais en utilisant les probabilits de transition lorsqu'il y a changement d'tat, qui sont donnes par les entres de la matrice Q = (qij ). On
obtient ainsi un systme d'quations linaire qu'il sut de rsoudre.
Pour l'esprance du temps pour atteindre un tat partir d'un autre
tat, disons
i = E(temps avant l'tat 0 | dpart de l'tat i),
le conditionnement sur le premier changement d'tat donne l'quation

i = 1 +
i
qij j ,
j
o 1 est l'esprance d'un temps de sjour l'tat i, pour tout i = 0. Il

i
sut alors de rsoudre ce systme avec 0 = 0.
2.1.5 Exemple : Entretien de rampes mobiles

Dans cet exemple, deux rampes mobiles fonctionnent indpendamment
l'une de l'autre, chacune pendant un temps de loi Exp(), jusqu' ce que
l'une des deux tombe en panne. Lorsque cela se produit, la rampe mobile
en panne est rpare par un technicien. Cependant, comme il y a un seul
technicien, une seule rampe mobile peut tre rpare la fois. Le temps
de cette rparation est de loi Exp(). Tous les temps de rparation et de
fonctionnement sont indpendants.
On considre Xt , le nombre de rampes mobiles qui fonctionnent l'instant t 0. Il y a trois tats possibles, 0, 1 ou 2. Lorsqu'on est l'tat 0, on
y reste jusqu' temps que la rampe mobile qui est en rparation soit remise
en fonctionnement, soit un temps S0 de loi Exp(). Si en revanche on est
l'tat 2, on y reste jusqu' ce que l'une des deux rampes mobiles qui sont en
fonctionnement tombe en panne, soit un temps S2 = min(T1 , T2 ), o T1 et
T2 sont des variables alatoires indpendantes de loi Exp(), donc un temps
S2 de loi Exp(2). Enn, si on est l'tat 1, cela signie qu'une rampe
mobile est en fonctionnement, ce qu'elle reste un temps T de loi Exp(),
alors que l'autre est en rparation, ce qu'elle reste un temps R de loi Exp()
indpendant de T . Il y a dans ce cas un changement d'tat aprs un temps
92
S1 = min(T, R) de loi Exp( + ) avec transition de l'tat 1 l'tat 0 avec
probabilit
q10 = P r(S1 = T ) =
,
+
et transition de l'tat 1 l'tat 2 avec probabilit

q12 = P r(S1 = R) =
.
+
La situation est schmatise dans la Figure 31.

2
S2 Exp(2)
1 avec probabilit 1 = q21
S1 Exp( + )
S0 Exp()
= q12
0 avec probabilit
2 avec probabilit
= q10
1 avec probabilit 1 = q01
Figure
31 Temps de sjour et probabilits de changement d'tat dans

l'exemple des rampes mobiles.
Nous voulons calculer l'esprance du temps avec au moins une rampe
mobile en fonctionnement partir du moment o il y en a deux en fonctionnement. Nous allons utiliser la mthode de conditionnement sur le premier
changement d'tat. Posons
i = E(temps avant l'tat 0 | dpart de l'tat i),
pour i = 0, 1, 2. On dduit alors le systme d'quations linaire suivant :

0 = 0,
1
+
0 +
2 ,
+ +
+
1
2 =
+ 1 .
2
1 =
En eet, une fois l'tat 1, par exemple, on y reste un temps de loi Exp( +)
d'esprance ( + )1 , la suite de quoi on passe ou bien l'tat 0 avec
93
probabilit /( + ), ou bien l'tat 2 avec probabilit /( + ). Dans

le premier cas, on ajoute 0 l'esprance du temps avant d'atteindre l'tat
0, qui est trivialement 0. Dans le deuxime cas, on ajoute 2 , qui est son
tour l'esprance du temps pass l'tat 2, soit (2)1 plus l'esprance du
temps avant d'atteindre l'tat 0 partir de l'tat 1, soit 1 . En exprimant 1
en fonction de 2 , on obtient que
2 =
1
1
+
+
2 ,
2 + +
d'o on trouve que

2 =
+ 3
.
22
Sj
i=j
i
+ 3
2( + )
Si
autre tat que j

t
t+h
Figure 32 Au moins deux changements d'tat dans l'intervalle de temps

[t, t + h] partir de l'tat i.
2.1.6 Hypothse sur les changements d'tat

Nous faisons l'hypothse supplmentaire suivante qui porte sur la probabilit de plusieurs changements d'tat sur un petit intervalle de temps
partir de tout tat i :
P r(2 changements d'tat ou plus dans [t, t + h] | tat i t) = o(h).
Cette hypothse rend nulle la probabilit de points d'accumulation pour les

temps d'arrive de changements d'tats, et signie donc que les changements
d'tat sont certainement isols. Cette hypothse est vrie si
j qij < ,
j:j=i
94
pour tout tat i. En eet, la probabilit ci-dessus satisfait alors (voir la Figure
32)
P r(Si + Sj < h)qij
j:j=i
P r(Si < h, Sj < h)qij

j:j=i
P r(Si < h)P r(Sj < h)qij

j:j=i
i j h2 qij ,
j:j=i
d'o
j:j=i P r(Si
+ Sj < h)qij
j qij 0,
i j hqij = hi
j:j=i
j:j=i
lorsque h 0.
Remarque : Cette hypothse est vrie si :
le nombre d'tats est ni,

qij = 0 pour un nombre ni de j pour tout i, ou
j < pour tout j .
Ces conditions couvrent tous les cas de chane de Markov temps continu
considrs dans ce chapitre.
2.1.7 Probabilits de transition innitsimales

L'hypothse supplmentaire ci-dessus permet d'obtenir des approximations pour toutes les probabilits de transition sur de petits intervalles de
temps. Ainsi, pour tout j = i, on a (voir la Figure 33)
Pij (h) = P r(Xt+h = j|Xt = i) = P r(0 < Si < h) qij P r(Sj > h) + o(h),
o o(h) est la probabilit de ralisation de l'vnement avec au moins deux

changements d'tat ou avec Si , Sj h. On obtient alors l'approximation
Pij (h) = i qij h + o(h).
Cela signie que i qij est le taux avec lequel on quitte l'tat i pour l'tat j .
De mme, on obtient que
Pii (h) = P r(Si > h) + o(h) = 1 i h + o(h)
o i est le taux avec lequel on quitte l'tat i.
95
Si
Si
i
i=j
Sj
t+h
t+h
Figure 33 Moins de 2 changements d'tat dans l'intervalle de temps [t, t +

h] partir de l'tat i.
2.2 Chanes sur un nombre ni d'tats

L'objectif de cette section est d'valuer les probabilits de transition
Pij (t) pour tout t 0 pour une chane de Markov temps continu sur
un nombre ni d'tats, disons i, j = 0, 1, . . . , N . La mthode pour le faire est
de dduire, puis de rsoudre un systme d'quations direntielles.
2.2.1 Gnrateur et probabilits de transition

Nous avons vu dans la section prcdente que les probabilits de transition innitsimales sont donnes par
Pij (h) =
i qij h + o(h)
si j = i,
1 i h + o(h) si j = i.
Nous en dduisons que

Pij (h) Pij (0)
=
h
i qij + o(h)
h
i + o(h)
h
si j = i,
si j = i,
o Pij (0) = 1 si j = i, et 0 sinon. On a alors que

Pij (h) Pij (0)
=
h0
h
aij = lim
i qij 0 si j = i,
i 0 si j = i.
96
Ces limites sont les entres du gnrateur de la chane, not A = (aij ). Les
entres de cette matrice satisfont
aij = 0,
j
pour tout i. En eet,

aij = aii +
j
aij
j:j=i
= i + i
qij ,
j:j=i
o
qij =
j:j=i
1 si i > 0,
0 si i = 0.
En notation matricielle, on a donc

A1 = 0,
o 1 est un vecteur dont toutes les composantes sont 1 et 0 un vecteur dont

toutes les composantes sont 0. On remarque que aij = 0 pour tout j si i est
absorbant (i = 0).
Pour les probabilits de transition de l'instant 0 l'instant t + h, on
considre l'tat l'instant intermdiaire t (voir le Figure 34). Ainsi, nous
obtenons
Pij (t + h) =
Pik (t)Pkj (h),

k
pour i, j = 0, 1, . . . , N . C'est l'quation de Chapman-Kolmogorov.

En notation matricielle, on a donc
P (t + h) = P (t)P (h),
d'o
P (t + h) P (t)
P (h) I
= P (t)
,
h
h
o I reprsente la matrice identit. On conclut alors que

P (t + h) P (t)
P (h) I
= P (t) lim
= P (t)A.
h0
h0
h
h
P (t) = lim
97
j
i
k
t+h
Figure 34 Transition de i j
de l'instant 0 l'instant t + h en passant

par l'tat k l'instant intermdiaire t.
C'est l'quation progressive de Kolmogorov.

De mme, si on considre l'tat l'instant intermdiaire h entre 0 et
t + h et qu'on laisse tendre h vers 0, nous obtenons l'quation direntielle
matricielle
P (t) = AP (t),
qui est l'quation rtrograde de Kolmogorov.

Les quations ont comme solution
P (t) = eAt =
n0
An tn
.
n!
En eet, on a alors
d At
e =
dt
n1
=
n0
nAn1 tn1
n!
An t n
A
n!
At
=e A
= AeAt .
An de calculer P (t), nous supposons que le gnrateur A est diagonalisable,

c'est--dire
A = QQ1 ,
98
o
0
1
...
N
est une matrice diagonal de valeurs propres de A et Q est une matrice inversible dont les colonnes sont des vecteurs propres droite associs. On a
alors
Qn Q1 tn
n!
n0
n tn 1
= Q
Q
n!
eAt =
n0
= Qet Q1
t
e 0
e1 t
= Q
...
e N t
1
Q .
2.2.2 Exemple : Retour sur les rampes mobiles

Reprenons l'exemple des deux rampes mobiles avec les hypothses suivantes :
temps de fonctionnement de chaque tapis de loi Exp() ;
un seul tapis rpar la fois et temps de rparation de loi Exp() ;
indpendance de tous les temps de fonctionnement et de rparation.
On passe de l'tat 0 l'tat 1 au taux et de l'tat 2 l'tat 1 au taux 2,
alors qu'on quitte l'tat 1 pour l'tat 2 au taux et pour l'tat 0 au taux
. Le gnrateur pour le nombre de rampes mobiles en fonctionnement est
donc
0
.
A = ( + )
0
2
2
99
On pose = 1 et = 2 de telle sorte que
2
2
0
2 ,
A = 1 3
0
2 2
Les valeurs propres sont alors obtenues en solutionnant l'quation caractristique

0 = det(A I)
2
2
0
1
3
2
= det
0
2
2
= ( 2) (( 3)( 2) 2 2) 2( 2)
= ( + 2)( + 5).
Les valeurs propres sont donc = 0, 2, 5. Les vecteurs propres droite

associs sont obtenus en solutionnant l'quation

2x + 2y
x
x
y = A y = x 3y + 2z .
2y 2z
z
z
Il y a trois cas considrer :

si = 0, alors
x = y = z,
d'o

x
1
y = 1
z
1
en prenant arbitrairement x = 1 ;
si = 2, alors
y = 0, x = 2z,
100
et on obtient
x
2
y = 0
z
1
en prenant arbitrairement z = 1 ;
enn, si = 5, alors
3x = 3z = 2y,
et dans ce cas
x
2
y = 3
z
2
en prenant arbitrairement y = 3.
On dnit donc
1 2 2
0
3 .
Q= 1
1
1 2
On trouve alors que
Q1
3 6 6
1
0 5 .
= 5
15
1 3
2
La matrice A peut s'crire sous la forme

A = QQ1
1/5
1 2 2
0
0
0
1
0 2
1/3
0
3
0
=
1
1
2
0
0 5
1/15
2/5
2/5
1/3 .
0
1/5 2/15
La matrice de transition de l'instant 0 l'instant t est alors donne par

P (t) = Qet Q1
0t
1/5
1 2 2
e
0
0
2t
0
3 0 e
0 1/3
= 1
5t
1
1
2
0
0 e
1/15
2/5
2/5
1/3
2/15
1/5
101
Ainsi, on dduit que
1/5
1 2 2
1 0 0
1
0 0 0 1/3
0
3
lim P (t) =
t
1
1
2
0 0 0
1/15
1/5 2/5 2/5

= 1/5 2/5 2/5 .
1/5 2/5 2/5
2/5
2/5
1/3
0
1/5 2/15
Il est important de remarquer que toutes les lignes de la matrice de transition

limite sont identiques, ce qui signie que la chane oublie l'tat initial long
terme. De plus, les entres sur chaque ligne correspondent aux proportions
moyennes de temps long terme dans les tats 0, 1 et 2, respectivement.
2.3 Processus de Poisson comme processus de naissance

2.3.1 Description gnrale
Un processus de Poisson est une chane de Markov temps continu
{Xt }t0 , qui compte le nombre d'arrives d'un vnement qui surviennent
au hasard dans le temps un taux constant, par exemple, des accidents ou
des clients.
Le processus de Poisson est d'intensit > 0 si les arrives surviennent
avec ce taux. Dans ce cas, le temps entre deux arrives conscutives, qui est
indpendant de tous les autres temps inter-arrives, est de loi exponentielle
de paramtre . Si le nombre d'arrives dans l'intervalle de temps [0, t] est
i, alors l'tat du processus l'instant t est i, c'est--dire Xt = i. Le temps
avant l'arrive du prochain vnement est de loi Exp(). La chane passe
alors de l'tat i l'tat i + 1 avec probabilit 1.
Plus gnralement, lorsque le taux d'arrive dpend de l'tat courant de
telle sorte qu'on passe de l'tat i 0 l'tat i + 1 avec probabilit 1 aprs
un temps de loi Exp(i ), alors {Xt }t0 o Xt reprsente l'tat l'instant
t 0 est appel un processus de naissance (voir la Figure 35). Un processus
de naissance est un processus croissant sur tous les entiers non ngatifs avec
augmentation de 1 la fois avec probabilit 1. Une naissance correspond
une transition d'un entier l'entier suivant.
2.3.2 Nombre d'arrives dans un intervalle de temps

Si {Xt }t0 est un processus de Poisson d'intensit pour les arrives d'un
vnement, alors le nombre d'arrives dans l'intervalle de temps [0, t] suit
102
probabilit 1
i+1
Si Exp(i )
0i
temps t 0
Figure
35 Processus de naissance, en particulier processus de Poisson

lorsque i = .
une loi Poisson(t). En fait cela est les cas pour le nombre d'arrives dans
tout intervalle de longueur t, indpendamment des arrives en dehors de cet
intervalle. Le processus est alors accroissements indpendants.
La Figure 36 reprsente un intervalle de temps [0, t] subdivis en N sousintervalles de longueur gale t/N . On suppose que N est grand de telle sorte
que t/N est petit et que la probabilit de deux arrives ou plus dans un
mme sous-intervalle est ngligeable.
0
t/N
2t/N
...
it/N
(i+1)t/N
...
t/N
Figure 36 N
intervalles de longueur gale t/N .
Pour chacun de ces sous-intervalles, la probabilit qu'un vnement survienne est

pN = P r(S t/N ) =
t
+o
N
t
N
t ,
=
N
o S est de loi Exp(), alors que la probabilit qu'un vnement ne survienne

pas est
1 pN = 1
t
+o
N
t
N
1 t .
=
N
De plus, ces arrives de l'vnement sont indpendantes.

On s'intresse au nombre d'vnements qui surviennent dans l'intervalle
de temps [0, t], reprsent par Xt . Les N sous-intervalles correspondent
N preuves indpendantes, chacune donnant lieu un succs (arrive d'un
vnement) avec probabilit pN ou un chec avec probabilit 1 pN . Le
nombre total de succs suit alors une loi binomiale avec paramtres N et pN
103
dont l'esprance
N pN t,
et la variance
N pN (1 pN ) t,
lorsque N . On a donc l'approximation

P r(Xt = k|X0 = 0)
=
N
k
t
N
t
N
N k
1 t
N
N 1
N k + 1 (t)k
N
=
N
N
N
k!
1 t
N
N
k
(t)k t
e ,
k!
pour tout k 0, lorsque N .

Plus rigoureusement, la probabilit de transition ci-dessus, reprsente
par P0k (t), satisfait l'quation de Chapman-Kolmogorov
P0k (t + h) = P0k (t)(1 h + o(h)) + P0,k1 (t)(h + o(h)) + o(h),
pour t, h > 0. Cela donne l'quation direntielle

P0k (t + h) P0k (t)
= P0,k1 (t) P0,k (t),
h0
h
P0k (t) = lim
pour k 1, avec P00 (t) = evt . Il est facile de vrier que la solution est
donne par
P0k (t) =
(t)k t
e ,
k!
pour k 0. Cela signie que Xt , tant donn que X0 = 0, suit une loi de
Poisson de paramtre t, donc d'esprance et de variance t.
En fait, le mme raisonnement montre que
P r(Xt+s Xs = k|Xs = i) =
(t)k t
e ,
k!
pour tout s > 0. L'indpendance par rapport Xs dcoule essentiellement

du fait que la loi exponentielle est sans mmoire, alors que la distribution
reste identique parce que l'intensit du processus est constante.
104
2.3.3 Distribution des temps d'arrive

Le premier vnement dans un processus de Poisson d'intensit arrive
aprs un temps de loi exponentielle de paramtre . Le n-ime vnement
arrive aprs un temps
Tn = S0 + + Sn1 ,
o S0 , . . . , Sn1 sont des variables alatoires indpendantes de loi exponentielle de paramtre . Or,
P r(Tn t) =
P0k (t) =
kn
kn
(t)k t
e .
k!
La fonction de densit de Tn est donne par la drive par rapport t, soit

d
P r(Tn t) = et
dt
= et
(t)k
+ et
k!
kn
(t)n1
(n 1)!
kn
(t)k1
(k 1)!
pour t > 0. La loi correspondante est appele loi gamma de paramtres n et

.
2.3.4 Arrive d'vnements d'un type donn

Supposons que des vnements (par exemple, des accidents) surviennent
selon un processus de Poisson d'intensit et que chaque vnement qui
survient est d'un type donn A (par exemple, accident avec blessures corporelles) avec la mme probabilit p, indpendamment de tous les autres
vnements. Alors les vnements de type A surviennent selon un processus
de Poisson d'intensit p. Cela signie que le taux d'arrive des vnements
de type A est p.
En eet, soit N le nombre d'vnements survenir avant qu'un vnement de type A ne se ralise. Cette variable alatoire suit une loi gomtrique
de paramtre p. Soit aussi Ti , le temps entre l'arrive du (i 1)-ime vnement (instant initial si i = 1) et l'arrive du i-ime vnement, pour i 1.
Cette variable alatoire suit une loi exponentielle de paramtre . De plus,
toutes les variables sont indpendantes.
On a alors (voir la Figure 37)
N
Ti Exp(p).
T =
i=1

T1 Exp()
105
T2 Exp()
1p
T3 Exp()
1p
temps t 0
Figure 37 Temps jusqu' l'arrive d'un vnement de probabilit p dans

une suite d'vnements qui surviennent au hasard au taux .
En eet, on trouve que
P r(T > t) =
P r(T > t|N = n)P r(N = n)

n=1
n1
=
n=1
=
k=0
(t)k et
k!
k=0
(t)k et
k!
p(1 p)n1
p(1 p)n1
nk+1
(t)k et
(1 p)k
k!
k=0
t t(1p)
=e
=e
tp
pour tout t > 0.
2.3.5 Arrive d'vnements de deux types

Si {Xt }t0 et {Yt }t0 sont des processus de Poisson indpendants d'intensit 1 et 2 , respectivement (par exemple, pour l'arrive d'accidents avec
blessures corporelles et l'arrive d'accidents avec dommages matriels seulement), alors {Xt + Yt }t0 est un processus de Poisson d'intensit 1 + 2 .
Cela dcoule du fait que T =min(T1 , T2 ) est de loi Exp(1 + 2 ) si T1
et T2 sont des variables alatoires indpendantes de loi Exp(1 ) et Exp(2 ),
respectivement. Ici, T1 reprsente un temps avant que Xt augmente de 1 et
de mme T2 un temps avant que Yt augmente de 1, de telle sorte que la
somme augmente de 1 la n du minimum de ces deux temps, reprsent
par T .
106
2.3.6 Distribution conditionnelle des temps d'arrive

tant donn une seule arrive dans un intervalle de temps [0, t] dans un
processus de Poisson d'intensit , on s'attend ce que la loi du temps de
cette arrive soit uniforme sur [0, t]. En eet, le taux d'arrive tant constant
il n'y a pas de raison pour que l'vnement survienne de prfrence dans des
rgions de l'intervalle plutt que d'autres.
Plus gnralement, tant donn n arrives dans [0, t], les temps ordonns
de ces arrives, T1 , . . . , Tn , sont distribus comme les statistiques d'ordre
de variables alatoires indpendantes U1 , . . . , Un , toutes de loi uniforme sur
[0, t]. Autrement dit, les n arrives surviennent des instants choisis au
hasard et indpendamment dans l'intervalle [0, t].
En eet, si Xt reprsente le nombre d'arrives dans [0, t], alors on a la
dcomposition
Xt = Z1 + Z2 ,
o Z1 et Z2 sont les nombres d'arrives dans [0, s] et (s, t], respectivement, et

donc des variables alatoires indpendantes de loi de Poisson de paramtre
s et (t s) , respectivement. La loi conditionnelle de Z1 , tant donn que
Xt = n, est binomiale de paramtres n et s/t, car
k
P r(Z1 = k, Z2 = n k|Xt = n) =
nk
es (s) e(ts) ((ts))

k!
(nk)!
n
et (t)
n!
n!
s k
s
=
1
k!(n k)! t
t
nk
pour k = 0, 1, . . . , n. Cela signie que chacune des n arrives dans [0, t]

survient dans [0, s] avec probabilit s/t indpendamment des autres. Si Ui
est un temps choisi au hasard parmi les temps d'arrive ordonnes T1 , . . . , Tn ,
alors
s
P r(Ui s|Xt = n) = ,
t
pour 0 < s t. Donc, la variable Ui est bien de loi uniforme sur [0, t].
De faon analogue, les nombres d'arrives dans les intervalles [s0 , s1 ],
(s1 , s2 ], . . . , (sn , sn+1 ], avec s0 = 0 et sn+1 = t, reprsents par Z1 , . . . , Zn+1
ont une distribution conditionnelle de loi multinomiale de paramtres n et
(s1 s0 )/t, . . . , (sn+1 sn )/t, tant donn que Xt = n, c'est--dire
P r(Z1 = k1 , . . . , Zn+1 = kn+1 |Xt = n)
=
n!
k1 ! . . . kn+1 !
s1 s0
t
k1
...
sn+1 sn
t
kn+1
107
Cela signie que chacune des n arrives dans [0, t] survient dans les intervalles
ci-dessus avec probabilits proportionnelles la longueur de ces intervalles,
indpendamment des autres. Si U1 , . . . , Un sont choisis au hasard sans remise
parmi les temps d'arrive ordonns T1 , . . . , Tn , alors
sn
s1
...
t
t
= P r(U1 s1 |Xt = n) . . . P r(Un sn |Xt = n),
P r(U1 s1 , . . . , Un sn |Xt = n) =
pour 0 s1 sn 1. En fait, on a l'galit pour 0 s1 , . . . , sn

1, car toute permutation de U1 , . . . , Un a la mme distribution conjointe.
L'galit montre que ces variables sont indpendantes.
2.4 Processus de mort

Un processus de mort {Xt }t0 est une chane de Markov temps continu
sur les entiers non ngatifs avec transition de i 1 i 1, qui correspond
une mort, avec probabilit 1 aprs un temps de loi Exp(i ) (voir la Figure
38). De plus, on a 0 = 0 de telle sorte que 0 est une tat absorbant. Un
processus de mort est toujours dcroissant. Lorsque le processus est utilis
pour dcrire la taille d'une population, l'tat 0 correspond l'extinction de
la population.
0i
Si Exp(i )
i 1 avec probabilit 1
temps t 0
Figure
38 Processus de mort (0 = 0 de telle sorte que l'tat 0 est

absorbant).
2.4.2 Processus de mort linaire

Considrons le cas o le taux de mort lorsqu'on est l'tat i 0 est
donn par i = i. C'est le cas, par exemple, pour une population sans
naissance o chaque individu vit indpendamment des autres pendant un
temps alatoire qui suit une loi exponentielle de paramtre . Ainsi, s'il y a
108
i 1 individus dans la population un moment donn, la taille de celle-ci

diminue i 1 aprs un temps
Si = min(T1 , T2 , ..., Ti ),
o T1 , . . . , Ti sont des variables alatoires indpendantes de loi Exp(). On

a donc
Si Exp(i).
De plus, ce temps de sjour est indpendant de tous les autres. La Figure 39
illustre la situation. Remarquons que la probabilit que la population soit
1i
Si =min(T1 , T2 , ..., Ti ) Exp(i)

T1 , . . . , Ti Exp() indpendantes
i 1 avec probabilit 1
temps t 0
Figure 39 Reprsentation du processus de mort linaire.

teinte l'instant t 0 tant donn que sa taille est k 1 initialement est
donne par
P r(extinction t | tat k 0) = P r(Sk + + S1 < t).
La reprsentation graphique de cet vnement est donne dans la Figure 40.

Or la population est teinte l'instant t > 0 si et seulement si les temps de
vie des k individus l'instant 0 sont infrieurs t, c'est--dire (voir la Figure
41)
P r(Sk + + S1 < t) = P r(T1 < t, . . . , Tk < t)
= P r(T1 < t) P r(Tk < t)
= (1 et )k ,
en utilisant l'hypothse d'indpendance.
2.4.3 Processus de naissance de Yule

Le processus de naissance de Yule est un processus de naissance linaire
avec taux de naissance lorsqu'on est l'tat i 1 de la forme i = i .
C'est la situation par exemple lorsque chacune des cellules d'une population
109
Sk Exp(k)
k1
Sk1 Exp((k 1))
S1 Exp()
Figure 40 Extinction au temps t > 0 dans un processus de mort linaire

partir de l'tat k au temps 0.
T1 Exp()
T2 Exp()
Tk Exp()
Figure 41 Extinction au temps t > 0 partir de temps de vie individuels.

se divise en deux aprs un temps alatoire qui suit une loi exponentielle de
paramtre , indpendamment des autres cellules. L'tat de la chane est
le nombre total de cellules dans la population. Si ce nombre est i, alors il
augmente i + 1 aprs un temps de sjour
Si = min(T1 , T2 , ..., Ti ) Exp(i)
indpendant des autres temps de sjour, o T1 , . . . , Ti sont des variables

alatoires indpendantes de loi Exp() qui reprsentent les temps de vie de
cellules-mres avant de se diviser en deux cellules-lles. Les Figures 42 et 43
illustrent cette situation.
110
cellule-mre i
temps de vie Ti Exp()
2 cellules-lles
Figure 42 Temps de division d'une cellule-mre en deux cellules-lles.

i + 1 avec probabilit 1
1i
Si =min(T1 , T2 , ..., Ti ) Exp(i)

T1 , T2 , ..., Ti Exp() indpendantes
temps t 0
Figure 43 Temps avant une division parmi i cellules-mres.

La loi de probabilit conditionnelle de Xt , le nombre de cellules au temps
t 0, tant donn que X0 = 1, peut tre obtenue partir d'une correspondance avec le processus de mort linaire. En eet, on a
P r(Xt > k | X0 = 1) = P r(S1 + + Sk < t) = 1 et
pour tout k 1, puisque les temps de sjour S1 , . . . , Sk satisfont les mmes

conditions que dans la section prcdente (voir la Figure 44). Ainsi, le nombre
de cellules qui sont prsentes au temps t 0 lorsqu'il n'y a qu'une cellule au
dpart suit une loi gomtrique de paramtre et .
2.4.4 *Processus de coalescence

Le processus de coalescence est un processus de mort particulier avec
taux de mort lorsqu'on est l'tat i 1 donn par
i =
i(i 1)
.
2
Il est utilis en gntique des populations pour les lignes ancestrales d'un
chantillon alatoire de gnes. Ce taux correspond au nombre de paires de
lignes qui peuvent coalescer en remontant le temps pour n'en former qu'une
seule, parmi i lignes. C'est le cas si chaque paire de lignes coalescent au
taux 1 indpendamment des autres. Lorsqu'une paire de lignes coalescent
111
k
k1
2
Sk
Sk1
S2
S1
Figure 44 tat k au temps t > 0 dans un processus de naissance linaire
partir de l'tat 1 au temps 0
le nombre total de lignes passe de i i 1. De plus une seule coalescence

peut se produire la fois avec probabilit 1.
A partir d'un chantillon de i 2 gnes, on peut suivre les lignes en
remontant le temps jusqu' ce qu'on ait une seule ligne pour la premire
fois. Cela se produit lorsqu'on arrive l'anctre commun le plus rcent. On
obtient ainsi un arbre de coalescence. La Figure 45 reprsente un arbre de
coalescence partir de i = 16 lignes initiales.
temps vers le pass anctre commun le plus rcent
S2 Exp(1)
T16
S3 Exp(3)
Figure 45 Arbre de coalescence pour 16 lignes initiales.
112
Soit Ti le temps ncessaire pour arriver l'anctre commun le plus rcent

partir de i 2 gnes. On a
i
Ti =
Sj ,
j=2
o Sj reprsente le temps pass avec j lignes, pour j = 2, . . . , i. Ce temps

est de loi Exp((j(j 1)/2). De plus les temps S1 , . . . , Si sont des variables
alatoires indpendantes. Pour l'esprance de Ti , on obtient donc que
i
E(Ti ) =
E(Sj )
j=2
i
=
j=2
2
j(j 1)
1
1
j1 j
=2
j=2
=2 1
1
i
Quant la variance, elle est donne par

i
V ar(Ti ) =
V ar(Sj )
j=2
i
=
j=2
i
=4
j=2
i1
=4
j=1
i
=8
j=1
2
j(j 1)
1
1
j1 j
1
+4
j2
i
j=2
1
8
j2
i
j=2
1
j(j 1)
4
1
1
4 2 8 1
2
j
i
i
Par consquent on dduit que

lim E(Ti ) = 2
113
et
1
8 2
12 =
12 1, 16.
2
j
6
lim V ar(Ti ) = 8
j=1
Il est intressant de remarquer que E(S2 ) = V ar(S2 ) = 1, ce qui signie

que le temps pass avec deux lignes est responsable de plus de la moiti de
l'esprance du temps jusqu' l'anctre commun le plus rcent, et de la grande
majorit de la variabilit de ce temps, partir d'un nombre quelconque de
lignes.
Un autre lment intressant de l'arbre de coalescence est la longueur
totale de toutes les branches verticales jusqu' l'anctre commun le plus
rcent. Cette longueur est donne par la variable
i
Li =
jSj .
j=2
Son esprance est

i
E(Li ) =
jE(Sj ) = 2
j=2
j=2
1
2
j1
i
1
1
dx = 2 log(i).
x
Supposons maintenant que des mutations se produisent au hasard le long de

toutes les branches verticales de l'arbre de coalescence selon des processus
de Poisson indpendants d'intensit . De plus les mutations transforment le
matriel gntique des sites tous dirents du brin d'ADN qui dtermine le
gne considr. Chacune de ces mutations correspond un site polymorphe
dans l'chantillon, dans le sens que certains des gnes chantillonns portent
le matriel gntique de l'anctre commun le plus rcent un site donn
alors que d'autres portent un matriel dirent.
Le nombre de sites polymorphes dans un chantillon de taille i est reprsent par Ni . En conditionnant sur la longueur totale de toutes les branches
verticales de l'arbre de coalescence, Li , dont la fonction de densit est reprsente par f (l), on trouve que
E(Ni | Li = l)f (l)dl
E(Ni ) =
0
lf (l)dl
0
= E(Li )
2 log(i).
2.5 Processus de naissance et de mort
114
Cela permet d'estimer le taux de mutation par le nombre de sites polymorphes observs dans un chantillon de taille i divis par 2log(i).
Remarque : Dans le modle de Wright-Fisher pour une population de
taille N gnrations spares, les N individus de la gnration n + 1 sont

des copies de N individus de la gnration n choisis au hasard avec remise.
Considrons un chantillon alatoire sans remise de i individus une gnration donne, et suivons les i lignes de ces individus en remontant le
temps. Lorsque deux individus sont des copies d'un mme individu de la
gnration prcdente, les deux lignes correspondantes coalescent. Soit Si
le temps jusqu' la premire coalescence en prenant N gnrations comme
unit de temps et en laissant N . La probabilit qu'il n'y ait aucune
coalescence en une gnration est
N (N 1) (N i + 1)
i(i 1)
=1
+ o(N 1 ).
N N N
2N
En dsignant par [N t] la partie entire de N t pour tout t > 0 x, on a donc

P r(Si > t) = lim
i(i 1)
+ o(N 1 )
2N
[N t]
= e
i(i1)
t
2
De plus, tant donn qu'il y a au moins une coalescence, la probabilit conditionnelle qu'il y en ait exactement une a comme limite 1. Le nombre de lignes ancestrales est alors dcrit par un processus de coalescence. C'est le
cas asymptotiquement pour beaucoup d'autres modles de population.

Le processus de naissance et de mort combine le processus de naissance
et le processus de mort en un seul. Ici, une fois l'tat i 0 on y reste un
temps de loi Exp(i + i ) avant d'aller soit l'tat i + 1 avec probabilit
i /(i +i ), soit l'tat i1 avec probabilit i /(i +i ) (voir la Figure 46).
Cela est le cas si le temps avant une naissance est de loi Exp(i ) et le temps
avant une mort est de loi Exp(i ), les deux temps tant indpendants. Les
paramtres i et i sont les taux de naissance et de mort, respectivement.
On suppose que 0 = 0.
115
i + 1 probabilit
= qi,i+1
i 1 probabilit
0i
i
i +i
i
i +i
= qi,i1
Si Exp(i + i )
Figure 46 Processus de naissance et de mort.

2.5.2 Processus temps de vie inni
Un processus de naissance et de mort est temps de vie inni, sousentendu presque srement, si
Pij (t) = 1,
j
pour tout tat i et pour tout instant t > 0. Autrement dit, la probabilit
d'une explosion en un temps ni est gale 0.
Une condition susante pour qu'un processus de naissance et de mort
soit temps de vie inni est
j0
1
= .
j + j
Cela signie que l'esprance de la somme des temps de sjour aux dirents
tats, en supposant une naissance la n de chacun d'eux, est innie.
Remarque : Une explosion en un temps ni ne peut survenir que dans

le cas d'une chane de Markov temps continu. En eet, dans le cas d'une
chane de Markov temps discret, il ne peut y avoir qu'un nombre ni de
changements d'tat en un temps ni, ce qui exclut la possibilit d'explosion.
2.5.3 Systmes d'attente

Considrons un systme d'attente de type M/M/s. La lettre M , pour
sans mmoire, est une notation utilise pour signier une loi exponentielle.
116
Ainsi, le premier M signie que le temps entre deux arrives conscutives

de clients suit une loi exponentielle, disons de paramtre . Le deuxime
M signie que le temps de service suit aussi une loi exponentielle, disons
de paramtre . Les temps inter-arrives et les temps de service sont tous
supposs indpendants. Le processus d'arrives est donc un processus de
Poisson. Finalement, le s reprsente le nombre de serveurs pour les clients
dans le systme. La Figure 47 reprsente la situation dans le cas s = 1.
Exp()
Exp()
Figure 47 Systme d'attente M/M/1.

Le nombre de clients Xt en attente ou en train de se faire servir dans le
systme l'instant t, pour t 0, est un processus de naissance et de mort
dont les paramtres dpendent du nombre de serveurs. Trois systmes sont
considrer :
M/M/1 : Dans le cas o il n'y a qu'un seul serveur, le serveur est
occup ds qu'il y a au moins un client dans le systme. Ainsi, on a
i = pour i 0,
i = pour i 1,
0 = 0.
M/M/s pour 1 < s < : Dans ce cas, le nombre de serveurs occups

est gal au nombre de clients dans le systme jusqu' un maximum de
s. Le taux de naissance est le mme que prcdemment, soit i =
pour tout i 0, mais le taux de mort est
i =
i pour 0 i s,
s pour i s + 1.
M/M/ : Dans ce cas, le nombre de serveurs occups est gal au

nombre de clients dans le systme qui ne sera jamais satur. Le taux
117
de naissance est toujours i = pour tout i 0, alors que le taux de

mort est
i = i pour i 0.
2.5.4 quation progressive de Kolmogorov

L'quation progressive de Kolmogorov pour la drive de la probabilit
de transition de l'tat i l'tat j dans un processus de naissance et de mort
de l'instant 0 l'instant t est
Pij (t) = j+1 Pi,j+1 (t) + j1 Pi,j1 (t) (j + j )Pij (t),
pour i, j 0, avec 1 = 0 = 0 et Pij (0) = 1 si j = i, et 0 sinon.

Cette quation est obtenue en considrant la probabilit de transition
de l'instant 0 l'instant t + h et en conditionnant sur l'tat l'instant
intermdiaire t. Lorsque h est petit, les probabilits des visites j 1, j ,
j + 1 cet instant sont dominantes (voir la Figure 48).
j+1
j
j1
t+h
Figure 48 Transitions pour l'quation progressive de Kolmogorov.
118
En eet, l'quation de Chapman-Kolmogorov donne

Pij (t + h) =
Pik (t)Pkj (h)

k
= Pi,j+1 (t)(j+1 h + o(h))

+ Pi,j1 (t)(j1 h + o(h))
+ Pij (t)(1 (i + j )h + o(h))
+
Pik (t)Pkj (h).

k=j1,j,j+1
Or,
Pkj (h) max(P r(Sj2 + Sj1 < h), P r(Sj+2 + Sj+1 < h)),
o Sl dsigne un temps de sjour l'tat l. De plus,

P r(Sj2 + Sj1 < h) P r(Sj2 < h, Sj1 < h)
= P r(Sj2 < h)P r(Sj1 < h)
(j2 + j2 )(j1 + j1 )h2 .
De mme
P r(Sj+2 + Sj+1 < h) (j+2 + j+2 )(j+1 + j+1 )h2 .
On conclut que
Pik (t)Pkj (h) = o(h),
k=j1,j,j+1
qui dpend seulement de j . En regroupant toutes les fonctions o(h), on obtient que
Pij (t + h) P ij(t)
o(h)
= j+1 Pi,j+1 (t) + j1 Pi,j1 (t) (j + j )Pij (t) +
.
h
h
La limite lorsque h 0 donne l'quation progressive de Kolmogorov.
2.5.5 Processus linaire avec immigration

On considre un processus de naissance et de mort avec i = i + et
i = i, = , pour i 0. C'est un processus qui dcrit une population
qui reoit des immigrants au taux et dans laquelle chaque individu donne
119
naissance un autre individu au taux et meurt au taux , indpendamment

des autres. On dnit
jPij (t),
M (t) =
j0
soit l'esprance du nombre d'individus l'instant t tant donn qu'il y en a

i l'instant 0. En utilisant l'quation progressive de Kolmogorov, on trouve
que
jPij (t)
M (t) =
j1
(j 1)((j 1) + )Pi,j1 (t)
(j + 1)(j + 1)Pi,j+1 (t) +

j1
j1
j(j + j + )Pij (t)

j1
(j + 1)Pi,j+1 (t)
j1
((j 1) + )Pi,j1 (t)
+
j1
= Pi,j (t)
+
(j 1)Pi,j1 (t)
(j + 1)Pi,j+1 (t) +
j1
j1
Pi,j1 (t).
j1
Or,
Pi,j1 (t) = 1,
j1
car
i0
1
= ,
i + i +
ce qui garantit que le processus est temps de vie inni. On a alors

M (t) = ( + )M (t) + ,
avec M (0) = i. On essaie une solution de la forme

M (t) = F (t)e()t ,
o e()t est la solution de l'quation homogne (lorsque = 0). Ainsi,

M (t) = (F (t) + F (t)( ))e()t
= (( )F (t) + e()t )e()t .
120
On en dduit que
F (t) = e()t ,
c'est--dire que
F (t) =
()t
e
+ c,
pour une certaine constante c. On trouve que c = i /( ), en faisant

F (0) = M (0) = i. On obtient donc comme solution
M (t) =
(1 e()t ) + ie()t ,
d'o
lim M (t) =
si > ,
si < .
Cela suggre l'existence d'une distribution stationnaire dans le cas < si

> 0, mais l'absorption l'tat 0 avec probabilit 1 si = 0.
2.5.6 *Processus linaire sans immigration

On considre le processus de naissance et de mort linaire avec i = i
et i = i, pour i 0. L'tat 0, qui correspond l'extinction, est donc
absorbant.
Les probabilits de changement d'tat partir de tout tat i 1 sont
donnes par
i
=
,
i + i
+
i
=
=
.
i + i
+
qi,i+1 =
qi,i1
La probabilit d'extinction ventuelle partir de l'tat i 1 est donc la

mme que la probabilit de ruine ventuelle d'un joueur contre un adversaire inniment riche, tant donn un avoir initial de i et une mise de 1 sur
chaque partie d'une srie qui est double avec probabilit p = /( + )
indpendamment des autres ou perdue avec la probabilit complmentaire.
L'extinction est donc certaine si p 1/2, c'est--dire , alors que sa
probabilit donne par (1 p)i /pi = (/)i si > .
Dans le cas o , on dnit
i = E(temps avant l'tat 0 | dpart de l'tat i).
121
En conditionnant sur le premier changement d'tat, on obtient l'quation

i =
+
i+1 +
i1 ,
i( + ) +
+
pour tout i 1, avec 0 = 0. Cette quation est quivalente

i i+1 =
+ (i1 i ).
i
En itrant jusqu' ce qu'on arrive 0 1 = 1 , on obtient alors que

i
i i+1 =
j=1
1
j
ij
1 .
D'autre part,
i i+1 i + 1 .
En eet, i = E(Ti ), o Ti reprsente le temps jusqu' l'extinction de la

descendance de i individus dans une population o chaque individu donne
naissance un autre au taux et meurt au taux , indpendamment des
autres. Or,
E(Ti ) E(Ti+1 ) = E(max(Ti , T1 )) E(Ti + T1 ) = E(Ti ) + E(T1 ),
o Ti et T1 sont des variables indpendantes, d'o le rsultat.

Dans le cas = , on a
i
1 =
j=1
1
+ i+1 i
j
j=1
1
,
j
pour tout i 1. On faisant tendre i vers l'inni, on obtient que 1 = .

Dans le cas < , on a
zi 1 = zi +
pour tout i 1, o
(i+1 i ) zi +
zi =
j=1
1
j
1 ,
En faisant tendre i vers l'inni et en supposant que 1 < , on trouve que
1 =
j=1
1
j
log(1 /)
.
122
Il reste montrer que 1 < . On remarque d'abord que 1 E(L1 ), o L1

reprsente le temps avant d'atteindre 0 partir de 1 dans un processus de
naissance et de mort avec taux de naissance et de mort i = et i = i,
respectivement, pour i 1. En eet, un temps de sjour tout tat i 1
dans ce processus est d'esprance ( + )1 (i( + ))1 ), alors que les
probabilits de transition lorsqu'on change d'tat sont les mmes. Or,
N1
L1 =
Sk ,
k=1
o N1 reprsente le nombre de parties jusqu' la ruine du joueur contre

un adversaire inniment riche tant donn un avoir initial de 1, et Sk pour
k 1 sont des variables alatoires de loi Exp( + ), toutes les variables
tant indpendantes. En conditionnant sur la valeur de N1 , on a donc
E(L1 ) =
E
n=1
Sk
n
E(Sk ) P r(N1 = n)
n=1
=
n=1
P r(N1 = n)
k=1
k=1
n
P r(N1 = n)
+
E(N1 )
.
+
Or,
E(N1 ) =
1
+
=
< .
1 2p
On conclut que 1 ( )1 < .
2.5.7 *quation rtrograde de Kolmogorov

L'quation rtrograde de Kolmogorov pour la drive de la probabilit
de transition de l'tat i l'tat j dans un processus de naissance et de mort
de l'instant 0 l'instant t est donne par
Pij (t) = i Pi1,j (t) + i Pi+1,j (t) (i + i )Pij (t),
pour i, j 0, avec 0 = 0 et Pij (0) = 1 si j = i, et 0 sinon.

Cette quation est obtenue en considrant les instants 0, h et t + h. La
Figure 49 reprsente cette situation.
123
j
i+1
i
i
i1
t+h
Figure 49 Transitions pour l'quation rtrograde de Kolmogorov.

Dans ce cas, l'quation est dduite partir de
Pij (t + h) = (i h + o(h))Pi1,j (t)
+ (i h + o(h))Pi+1,j (t)
+ (1 (i + i ) + o(h))Pij (t)
+
Pik (h)Pkj (t),

k=i1,i,i+1
o
Pik (h)Pkj (t) P r(Si1 + Si < h) + P r(Si+1 + Si < h)
k=i1,i,i+1
(i1 + i1 )(i + i )h2 + (i+1 + i+1 )(i + i )h2 ,
qui est une fonction o(h) qui dpend seulement de i.
2.6 Distribution stationnaire et thorme ergodique

2.6.1 Dnition de distribution stationnaire
Soit {Xt }t0 une chane de Markov temps continu sur un nombre ni
d'tats ou un processus de naissance et de mort temps de vie inni sur une
innit d'tats. On suppose la chane irrductible, avec un temps de sjour
124
tout tat i de loi exponentielle de paramtre i > 0, de telle sorte que l'tat i
est non absorbant, et de probabilits de transition qij de l'tat i l'tat j = i
lorsqu'on quitte l'tat i qui sont telles que la matrice stochastique Q = (qij )
est irrductible. La situation est illustre dans la Figure 50.
Si Exp(i )
tat j = i avec probabilit qij

avec (qij ) irrductible
0 < i <
temps t 0
Figure 50 Description d'une chane de Markov temps continu irrductible.
Une distribution stationnaire = (i ) pour cette chane est dnie par les
trois conditions suivantes :
(a) j > 0 pour tout j ;
(b) j j = 1 ;
(c) j j = i=j i i qij pour tout j , ou A = 0 en notation matricielle.
Ici A = (aij ), avec aij = i qij si j = i, et j si j = i, est le gnrateur de
la chane, et 0 est un vecteur dont toutes les composantes sont 0.
Les conditions (a) et (b) garantissent que la distribution stationnaire est
une distribution de probabilit positive. Par le thorme ergodique (section
2.6.7), la probabilit j correspond la fraction moyenne de temps long
terme que la chane passe l'tat j . La condition (c) signie alors que le
ot de sortie de j est gal au ot d'entre j par tout autre tat i. C'est la
condition de stationnarit.
Remarque : La distribution stationnaire pour la matrice stochastique

est donne par
j j
k k k
2.6.2 Exemple : Sauts alatoires sur des sites

On imagine neuf nnuphars dans un tang qui correspondent autant de
sites dont quatre sont occups par une grenouille. On suppose que chaque
125
grenouille saute un taux de 1 sur l'un des nnuphars inoccups choisi au

hasard, indpendamment des autres grenouilles. Les tats de cette chane
sont reprsents par les quatre nnuphars occups. Ainsi, il y a 9 = 126
4
tats possibles, numrots de 1 126. Le temps de sjour un tat est un
minimum de 4 temps indpendants de loi Exp(1). Le taux avec lequel on
quitte l'tat i est donc i = 4, pour i = 1, . . . , 126. Par symtrie, le taux
avec lequel on passe de l'tat i l'tat j est le mme que le taux avec lequel
on passe de l'tat j l'tat i, c'est--dire
i qij = j qji ,
pour j = i. Ici, on a
qij =
1
1
= ,
54
20
si i et j dirent par un seul nnuphar occup, et 0 sinon. En eet, un

changement d'tat correspond au remplacement au hasard d'un nnuphar
parmi 4 qui taient occups par un nnuphar parmi 5 qui taient inoccups.
Le gnrateur A tant symtrique, on a que
1A = A1 = 0.
Donc, i = 1/126 pour i = 1, . . . , 126 est une distribution stationnaire.
2.6.3 Exemple : Deux comptoirs de service en srie

On considre deux comptoirs de service en srie, c'est--dire qu'aprs
avoir t servi un comptoir 1, un client se rend un comptoir 2 pour
recevoir un autre service. Cependant, par impatience, un client qui arrive
un comptoir dj occup quitte aussitt le systme. Les clients arrivent au
comptoir 1 selon un processus de Poisson d'intensit 2. Le temps de service
au comptoir 1 suit une loi exponentielle de paramtre 4, alors que celui au
comptoir 2 suit une loi exponentielle de paramtre 2. Tous les temps de
service sont indpendants et ils sont galement indpendants du processus
d'arrives. Cet exemple est reprsent dans la Figure 51.
Les quatre tats possibles du systme sont qu'aucun comptoir n'est occup (0), seul le comptoir 1 est occup (1), seul le comptoir 2 est occup (2),
et les deux comptoirs sont occups (12). Le gnrateur A pour les tats dans
cet ordre est
2
2
0
0
0 4
4
0
.
A=
2
0 4
2
0
2
4 6
126
Exp(4)
Exp(2)
comptoir 1
Exp(2)
comptoir 2
si occup
si occup
Figure 51 Deux comptoirs de service en srie.

Le systme rsoudre an de dterminer la distribution stationnaire est
0 , 1 , 2 , 12
A=
0, 0, 0, 0
avec la contrainte que 0 + 1 + 2 + 12 = 1. La solution est

0 , 1 , 2 , 12
1/3, 2/9, 1/3, 1/9
l'aide de cette distribution stationnaire, plusieurs quantits intressantes

peuvent tre calcules.
La proportion moyenne de temps long terme avec le comptoir 2 occup est donne par
2 + 12 = 4/9.
Le nombre moyen de serveurs occups long terme est donn par la

somme du nombre de serveurs occups pour chaque tat, multipli par
la proportion moyenne de temps long terme pass cet tat, soit
0 0 + 1 (1 + 2 ) + 2 12 = 7/9.
La proportion moyenne de clients servis au comptoir 2 parmi tous les

clients qui se prsentent long terme est
0 +
2
2+4
2 = 4/9.
long terme, un client qui se prsente un instant au hasard est servi

au comptoir 2 si les deux comptoirs sont libres son arrive (probabilit 0 ), ou si le comptoir 1 est libre et le comptoir 2 occup (probabilit
2 ), mais que celui-ci se libre avant la n du service au comptoir 1
(probabilit 2/(2 + 4)), soit la probabilit qu'un temps de loi Exp(2) se
127
termine avant un temps de loi Exp(4) qui lui est indpendant). Remarquons que le taux d'arrive des clients est 2 et aussi le taux de sortie
lorsque le comptoir 2 est occup. Or, le comptoir 2 est occup 4/9 du
temps long terme, d'o la proportion de clients servis au comptoir 2
doit tre 4/9.
Le temps moyen qu'un client qui se prsente passe dans le systme
long terme est donn par
0 (1 + 12 ) + (1/4 + 1/2) 0 + 1/4 +
2
1/2 2 = 7/18.
2+4
long terme, un client qui se prsente un instant au hasard ne passe

pas de temps dans le systme si le comptoir 1 est occup son arrive
(probabilit 1 + 12 ). En revanche, si aucun des deux comptoirs n'est
occup son arrive (probabilit 0 ), il passe un temps moyen 1/4 au
comptoir 1, puis un temps moyen 1/2 au comptoir 2. Finalement, si le
comptoir 1 est libre son arrive, mais le comptoir 2 occup (probabilit 2 ), il passe un temps moyen 1/4 au comptoir 1 auquel on ajoute
un temps moyen 1/2 au comptoir 2 seulement si celui-ci se libre entretemps (probabilit 2/(2 + 4)).
Il est remarquer que les raisonnements pour dduire les deux dernires
quantits fonctionnent parce que le processus d'arrive de clients est de Poisson, et donc qu'une arrive particulire ne dpend pas de celles qui prcdent
ou qui suivent.
2.6.4 Processus de naissance et de mort stationnaire

On considre un processus de naissance et de mort temps de vie inni
sur tous les entiers non ngatifs pour lequel les taux de naissance i et les
taux de mort i , pour i 0, sont tous nis et strictement positifs sauf
0 = 0. Dans ce cas, la distribution stationnaire existe si et seulement si
k < ,
k0
o
k =
0 1 . . . k1
,
1 2 . . . k
128
pour k 1, avec 0 = 1. La distribution stationnaire = (i ) est alors

donne par
i =
k0 k
pour i 0.
Nous allons prouver cette armation par induction. Tout d'abord, le
gnrateur est de la forme
0
0
1 (1 + 1 ) 1
A=
j1
(j + j )
j+1
La distribution stationnaire = (i ) est dtermine par le systme d'quations

A = 0.
Ainsi, la premire quation de ce systme est

0 = 0 0 + 1 1 ,
d'o
1 =
0
0 = 1 0 .
1
L'hypothse d'induction est que

i = i 0 ,
pour i = 1, . . . , j . La (j +1)-ime quation du systme donne

0 = j1 j1 (j + j )j + j+1 j+1 ,
c'est--dire
j+1 =
(j + j )j j1 j1
.
j+1
129
L'hypothse d'induction mne alors l'quation

0 1 j1 (j + j ) 0 1 j1 j
1 j j+1
1 j j+1
0 1 j
=
0
1 2 j+1
j+1 =
= j+1 0 .
Il y a donc une distribution stationnaire si et seulement si 0 > 0, et dans

ce cas
1=
i = 0
i=0
i=0
si et seulement si
0 =
avec
i0 i
1
i0 i
< .
Remarque : Dans le cas d'un processus de naissance et de mort sur les
entiers 0, 1, . . . , N avec 0 < i < pour i = 0, 1, . . . , N 1 et 0 < i <

pour i = 1, . . . , N , mais 0 = N = 0, la distribution stationnaire = (i )
est donne par
i =
i
,
N
j=0 j
pour i = 0, 1, . . . , N .
2.6.5 Systme d'attente stationnaire M/M/1

Soit un systme d'attente de type M/M/1, comme illustr dans la Figure
47, avec comme rgle de service premier arriv, premier servi. Le nombre
de clients dans le systme est un processus de naissance et de mort avec taux
de naissance i = pour tout i 0 et taux de mort i = pour tout i 1,
o est le taux d'arrive des clients et le taux de service d'un client. Nous
avons donc que
k =
pour tout k 1, avec 0 = 1. Ainsi,

k =
k0
1
1/
si ,
si < .
130
Donc la distribution stationnaire = (i ) existe si et seulement si < , et

elle est alors donne par
i =
(1 /),
pour i 0. Il s'agit donc de la distribution de X 1, o X est une variable

de loi gomtrique de paramtre 1 /.
Voici quelques remarques intressantes :
0 reprsente la fraction moyenne de temps long terme que le serveur
est libre.
1 0 reprsente la fraction moyenne de temps long terme que le
serveur est occup.
Le nombre moyen de clients dans le systme est donn par
L=
1
/
1=
,
1 /
1 /
o 1/(1 /) est l'esprance d'une variable de loi gomtrique de

paramtre 1 /. Ainsi L lorsque / 1.
Le temps moyen long terme qu'un client passe dans le systme est
donn par
W =
i0
=
i0
(i + 1)
i
ii
+
i0
L 1
= +

1
=
.
(1 /)
Nous obtenons donc que

L = W.
C'est la formule de Little. La quantit L reprsente le nombre moyen

de clients dans le systme l'tat stationnaire l'arrive d'un client.
La quantit W reprsente le nombre moyen de clients dans le systme
au dpart d'un client. L'galit dcoule de la stationnarit.
131
2.6.6 Systme d'attente stationnaire M/M/

Dans le cas d'un systme d'attente de type M/M/, les taux de naissance et de mort sont donns par i = et i = i, respectivement, pour
i 0, comme illustr dans la gure 52.
Exp()
Exp()
Exp()
Exp()
Figure 52 Systme d'attente avec une innit de serveurs.

Dans ce cas, on a que
k =
k
0 k1
=
,
1 k
k!k
pour k 1, et 0 = 1. Ainsi,
k =
k0
k0
(/)k
= e/ < ,
k!
pour tout , > 0. La distribution stationnaire = (i ) existe dans tous les

cas et elle est donne par
i =
(/)i /
e
,
i!
pour i 0.
Le temps moyen W qu'un client passe dans le systme quivaut simplement l'esprance d'une variable de loi exponentielle de paramtre ,
soit 1/. D'autre part, le nombre moyen de clients dans le systme l'tat
stationnaire est
L=
soit l'esprance d'une variable de loi de Poisson de paramtre /. On vrie

ici encore la formule de Little, soit L = W .
2.7 *Dmonstrations
132

Si {Xt }t0 est une chane de Markov temps continu irrductible sur un
nombre ni d'tats ou un processus de naissance et de mort irrductible
temps de vie inni sur une innit d'tats, alors on a
Pij (t) = P r(Xt = j|X0 = i) j 0 lorsque t .
De plus, ou bien j = 0 pour tout j , ou bien j > 0 pour tout j , et dans ce

cas, (j ) est l'unique distribution stationnaire.
2.7 *Dmonstrations
2.7.1 Processus temps de vie inni
Un processus de naissance et de mort est temps de vie inni, c'est--dire
qu'il satisfait
Pij (t) = 1,
j
pour tout tat i et pour tout instant t > 0, si
j0
1
= .
j + j
Dmonstration :
On note d'abord que la situation la moins favorable un temps de vie
inni est celle o il y a une naissance la n de tous les temps de sjour.
On considre donc un processus de naissance avec taux de naissance j + j
pour tout j 0. Pour tout i 0, on dnit
Ti =
Sj ,
ji
o Sj reprsente un temps de sjour l'tat j 0. On a alors que

E(Ti ) =
ji
1
.
j + j
133
Supposons maintenant que

Pij (t) < 1,
p = P r(Ti > t) =
ji
pour un certain t > 0. En conditionnant sur l'tat l'instant t, on obtient

alors que
Pij (t) = p2 .
Pij (t)P r (Tj > t) P r(T0 > t)
P r(Ti > 2t) =
ji
ji
Par induction, on trouve que

P r(Ti > kt) pk ,
pour tout k 1. On a donc que
P r(Ti > s)ds
E(Ti ) =
0
pk =
P r(Ti > kt)

k=1
k=1
p
< .
1p
Par consquent, la condition E(T0 ) = , qui entrane que E(Ti ) = pour

tout i 0, entrane aussi que ji Pij (t) = 1 pour tout t > 0 et tout i 0.

Pij (t) = P r(Xt = j|X0 = i) j 0 lorsque t .
De plus, ou bien j = 0 pour tout j , ou bien j > 0 pour tout j , et dans ce

cas, (j ) est l'unique distribution stationnaire.
Dmonstration :
On remarque d'abord que Pij (t) > 0 pour tout t > 0 et tout couple d'tats
i, j sous la condition que la chane est irrductible (voir les gures 53 et 54).
En eet,
Pii (t) P r(Si > t) > 0,
2.7 *Dmonstrations
134
Si
Figure 53 Situation pour Pii (t) > 0.

Si
i1
Si1
S i2
i2
in1
j=i
Sin1
Sj
Figure 54 Situation pour Pij (t) > 0 pour j = i.

o Si reprsente un temps de sjour l'tat i. Pour j = i, il existe des tats
i0 = i, i1 , ..., in = j tous dirents tels que la probabilit de transition de
ik ik+1 lorsqu'on quitte l'tat ik est positive, c'est--dire qik ik+1 > 0, pour
k = 0, 1, . . . , n 1. On a alors
n1
Pij (t) P r
S ik < t <
k=0
n1
Sik
k=0
qik ik+1 > 0,

k=0
o Sik reprsente un temps de sjour l'tat ik pour k = 0, 1, . . . , n.

En considrant seulement les instants entiers n 0, on obtient une chane
de Markov temps discret {Xn }n0 dont les probabilits de transition d'un
instant au suivant sont donnes par Pij (1) > 0 pour tout i et j , donc irrductible apriodique. Le thorme ergodique temps discret garantit alors
que
Pij (n) j 0 lorsque n .
De plus, ou bien j = 0 pour tout j , ou bien j > 0 pour tout j . Dans ce

second cas, j j = 1 et
j =
i Pij (n),
i
135
pour tout n 0 et tout j . De mme, en considrant seulement les instants

de la forme n/2k pour tout n 0 pour k 1 x, on obtient que
n
2k
Pij
j lorsque n
et
j =
i Pij
i
n
,
2k
pour tout n 0 et tout j .

Maintenant, pour tout t 0 x et tout entier k 1 x, il existe un
entier nk (t) 0 tel que
nk (t)
nk (t) + 1
t<
.
k
2
2k
De plus, on a l'ingalit
|Pij (t) j |
Pij (t) Pij
nk (t)
2k
nk (t)
2k
+ Pij
j .
Pour > 0 arbitraire, le premier terme droite est infrieur /2 pour

k assez grand (par le lemme sur la continuit uniforme des probabilits de
transition de la section 2.6.8), et pour un tel k x le deuxime terme droite
est galement infrieur /2 pour nk (t) assez grand (par ce qui prcde),
c'est--dire, pour t assez grand.
Il reste vrier les quations de stationarit pour (j ) dans la cas o
j > 0 pour tout j avec j j = 1. Tout d'abord, en faisant crotre k vers
l'inni dans
j =
i Pij
i
nk (t)
2k
on obtient que
j =
i Pij (t) ,
i
pour tout j et tout t 0. Puis, en faisant dcrotre h vers 0 dans

0=
i
i
Pij (t + h) Pij (t)

h
2.7 *Dmonstrations
136
on conclut que
0=
i Pij (t) ,
i
pour tout j et tout t 0. (Dans les deux cas, on utilise le lemme 2 sur la
convergence d'une somme en appendice du chapitre 1.) Finalement, l'quation progressive de Kolmogorov et un changement d'ordre de sommations
donnent
0 =
Pik (t)akj
i
i
i Pik (t) akj

k
k akj ,
k
pour tout j , o akj reprsente l'lment k, j du gnrateur A de la chane de

Marvov temps continu.
2.7.3 Lemme sur la continuit des probabilits de transition

|Pij (t + h) Pij (t)| Cj h,
pour tout t, h 0, o Cj est une constante qui peut dpendre de l'tat j , et

Pij (t) = P r(Xt = j|X0 = i)
est la probabilit de transition de l'tat i l'tat j de l'instant 0 l'instant

t 0. Ce rsultat garantit que la probabilit de transition est uniformment
continue.
Dmonstration :
137
En conditionnant sur l'tat l'instant t, on obtient que

Pij (t + h) =
Pil (t)Plj (h),

l
d'o
Pij (t + h) Pij (t) =
Pil (t)Plj (h) + Pij (t)(Pjj (h) 1),

l=j
et par consquent
|Pij (t + h) Pij (t)|
Pil (t)Plj (h) + Pij (t)(1 Pjj (h)).

l=j
On a toujours
1 Pjj (h) P r(Sj < h) j h,
o Sj reprsente un temps de sjour l'tat j de loi exponentielle de paramtre j . De mme,

Plj (h) P r(Sl < h) l h,
pour tout l = j . Dans le cas d'un processus de naissance et mort, on utilise

plutt
Plj (h) P r(Sj1 < h) j1 h,
pour tout l < j , et

Plj (h)) P r(Sj+1 < h) j+1 h,
pour tout l > j . Puisque
Pil (t) = 1, on obtient le rsultat nonc avec

Cj = max l
l
dans le cas d'une chane sur un nombre ni d'tats, et

Cj = max{j1 , j , j+1 }
dans le cas d'un processus de naissance et de mort sur un nombre inni

d'tats.
Remarque : La dmonstration montre que le rsultat est aussi valide pour

n'importe quelle chane sur un nombre inni d'tats avec l pour tout
tat l.
2.8 Exercices
138
2.8 Exercices
1. Deux employs d'une maison de courtage recoivent des appels de
clients au sujet d'achat ou de vente de fonds mutuels. Lorsque leurs

lignes tlphoniques taient indpendantes, chacun d'eux tait occup
un temps de loi exponentielle de moyenne 1/4 d'heure avec chaque
client, temps pendant lequel tout nouvel appel tait rejet, puis attendait un temps de loi exponentielle de moyenne 1 heure avant de
recevoir le prochain appel. Depuis une rorganisation du service, lorsqu'un appel est reu par un employ qui est occup, il est transfr
l'autre employ si celui-ci est libre, sinon l'appel est rejet. Dterminer
le gnrateur pour le nombre d'employs occups : (a) avant la rorganisation du service, et (b) aprs la rorganisation du service.
2. Supposons qu'un appareil tombe en panne aprs avoir subi un k-ime
choc avec probabilit k2 /9 pour k = 1, 2, 3 et dans ce cas qu'il est remplac par un appareil neuf. Si les chocs sont espacs par des intervalles
de temps indpendants de loi exponentielle de paramtre 9, quel est le
gnrateur pour le nombre de chocs subis par l'appareil en fonctionnement ?
3. Une chane de Markov temps continu sur les tats 0, 1 et 2 a comme

gnrateur :
3
2
1
2 4
2
0
1 1
Dterminer le temps moyen pour atteindre 2 partir de 0.
4. Un sous-marin dispose de trois systmes de navigation et il reste en
mer tant qu'au moins deux de ces systmes fonctionnent. Les temps
de fonctionnement de ces systmes sont indpendants et de loi exponentielle de moyennes 1 an, 1,5 an et 3 ans, respectivement. Quel est
le temps moyen que le sous-marin restera en mer ?
5. Une lampe a besoin de deux batteries pour tre oprationnelle. On
dispose de quatre batteries numrotes de 1 4 dont les temps de vie

sont indpendants de loi exponentielle de moyenne 100 heures. On utilise les batteries dans l'ordre (d'abord 1 et 2, puis 3 lorsque l'une des
deux premires est puise, etc.). Soit T le temps de fonctionnement de
la lampe et N le numro de la dernire batterie non puise. Trouver
139
l'esprance de T et la distribution de N . Rpondre la mme question

dans le cas de n batteries.
6. Dans une population de N individus, certains sont aects d'une cer-
taine maladie, d'autres pas. Chaque individu aect gurit un taux ,

alors que chaque paire d'individus se rencontre un taux et chaque
fois que cela se produit un individu aect transmet la maladie un
autre qui ne l'est pas avec probabilit p. Dterminer le temps moyen
pour que tous les individus soient aects par la maladie tant donn
qu'il y en a un seul initialement dans le cas o = 0 et p > 0.
7. Une ampoule l'entre d'un immeuble a un temps de vie de loi ex-
ponentielle de moyenne 100 jours. Lorsqu'elle brle, le concierge la

remplace immdiatement pour une neuve. De plus, un employ qui
s'occupe de l'entretien journalier remplace l'ampoule par une neuve
par mesure prventive selon un processus de Poisson d'intensit 0,02
par jour. (a) Quel est le taux de remplacement de l'ampoule ? (b)
Quelle est la probabilit que la prochaine ampoule soit remplace par
le concierge ?
8. Un correcteur d'preuves lit un manuscrit de 200 pages et relve 108
erreurs typographiques. Supposons que l'auteur fasse des erreurs typographiques selon un processus de Poisson d'intensit inconnue par
page et que le correcteur en relve en moyenne 9 sur 10. Comment
estimeriez-vous ?
9. Supposons que le prix d'une action d'une grande compagnie est la
hausse (+) ds et aussi longtemps que la dernire nouvelle la concernant est bonne et la baisse (-) lorsqu'elle est mauvaise. De plus ces
nouvelles arrivent selon un processus de Poisson d'intensit 2 par jour
et chacune d'elles est bonne avec probabilit 2/3 ou mauvaise avec
probabilit 1/3 indpendamment de toutes les autres. Quel est le gnrateur de la chane de Markov pour le mouvement (+ ou -) du prix
de l'action de cette compagnie ? Justier brivement en identiant bien
les tats.
10. Un cble transatlantique prend un temps de loi exponentielle de

paramtre 2 avant de subir un bris. Le temps de rparation est de loi
exponentielle de paramtre 5. En supposant deux cbles avec des temps
de fonctionnement et de rparation indpendants et deux quipes de
2.8 Exercices
140
rparation, quelle est la probabilit que les deux cbles ne fonctionnent

pas aprs un temps t tant donn qu'ils fonctionnent tous les deux initialement ?
11. Dans une prison du Far West, les tentatives d'vasion surviennent
selon un processus de Poisson d'intensit 1 par 4 mois, mais elles russissent seulement avec probabilit 1/2, et dans ce cas tous les prisonniers s'vadent en bloc. D'autre part, il faut un temps de loi exponentielle de moyenne 2 mois pour rattraper et emprisonner nouveau
chaque prisonnier en cavale. En faisant toutes les hypothses d'indpendance, dterminer : (a) le gnrateur pour le nombre de prisonniers
en cavale sur les deux en prison au dpart ; (b) le temps moyen pour
que les deux prisonniers en cavale se retrouvent ensemble en prison.
12. (SOA M A06 #9) Un jeu dans un casino fait des paiements selon un
processus Poisson d'intensit 5 par heure et le montant d'un paiement
peut tre 1, 2, 3, ... sans limite. La probabilit qu'un paiement soit gal
i est 1/2i et les paiements sont indpendants les uns des autres. Calculer la probabilit qu'il n'y ait pas de paiement de 1, 2 ou 3 dans une
priode de 20 minutes.
13. (SOA M A06 #10) Vous arrivez une station de train 6h15. Jusqu' 7h00, les trains arrivent selon un processus Poisson d'intensit 1
par 30 minutes. Aprs 7h00, ils arrivent selon un processus Poisson
d'intensit 2 par 30 minutes. Calculer l'esprance du temps que vous
devrez attendre avant qu'un train arrive.
14. Une chane de Markov temps continu sur les tats 0, 1 et 2 a comme
gnrateur
2
1
1
2 4
2
0
1 1
Dterminer la fraction moyenne de temps long terme l'tat 0.
15. Un courtier d'assurances reoit des appels de clients selon un proces-
sus de Poisson d'intensit 4 par heure. La conversation tlphonique

avec un client dure un temps de loi exponentielle de moyenne 1/4
d'heure. Si un autre appel arrive durant cette priode, il est mis en
attente jusqu' la n de la conversation en cours, mais la ligne t-
141
lphonique devient alors inaccessible et tout nouvel appel est rejet.

D'autre part un client en attente s'impatiente et libre la ligne aprs
un temps de loi exponentielle de moyenne 1/4 d'heure. On fait les hypothses habituelles d'indpendance et on s'intresse ce qui se passera
long terme. Dterminer : (a) la proportion moyenne de temps que le
courtier sera au tlphone ; (b) la proportion moyenne de clients auxquels le courtier rpondra ; (c) le temps moyen qu'un client passera au
tlphone ?
16. Deux machines, 1 et 2, fonctionnent chacune un temps exponentiel
de paramtre 1 avant de tomber en panne et prennent chacune un

temps exponentiel de paramtre 1 rparer. Il y a un seul rparateur
et celui-ci rpare en priorit la machine 1 lorsque les deux machines
sont en panne quitte suspendre la rparation de la machine 2. Tous
les temps de fonctionnement et de rparation sont indpendants. Dterminer : (a) le gnrateur pour les machines en fonctionnement, soit
0 (aucune), 1, 2 ou 12 ; (b) la proportion moyenne de temps long
terme avec la machine 2 en fonctionnement.
17. Le temps de fonctionnement d'un appareil suit une loi exponentielle
de moyenne 2 alors que le temps de rparation suit une loi exponentielle de moyenne 1/2. Il y a 4 appareils et 2 rparateurs qui peuvent
travailler chacun sur un seul appareil la fois. On suppose que tous
les temps de fonctionnement et de rparation sont indpendants. Quel
est le nombre moyen de rparateurs en service long terme ?
18. Des automobilistes se prsentent une station-service au taux de 20
par heure, mais n'entrent pas s'il y a au moins quatre voitures dans la
station. Il y a deux pompes disponibles dans la station et le temps de
service chacune d'elle est de loi exponentielle de moyenne 6 minutes.
(a) Quelle est la distribution stationnaire du nombre de voitures dans
la station ? (b) En moyenne, combien d'automobilistes sont servis par
heure ?
19. Une boutique qui vend des ordinateurs en garde au plus 3 en stock.
Les acheteurs se prsentent selon un processus de Poisson d'intensit

2 par semaine et ils repartent avec un ordinateur s'il y en a au moins
un en stock. Lorsqu'il reste un seul ordinateur, la boutique en commandent 2 et elle les reoit en un temps exponentiel de moyenne une
semaine. Dterminer : (a) le nombre moyen d'ordinateurs en stock
2.8 Exercices
142
long terme ; et (b) le nombre moyen d'ordinateurs vendus en une semaine long terme.
20. Un coieur a de la place pour seulement 2 clients dans son salon. Les
clients potentiels arrivent selon un processus Poisson d'intensit 2 par

heure. Lorsqu'il y a dj 2 clients dans le salon, les clients potentiels
n'entrent pas et vont se faire couper les cheveux chez un comptiteur.
Si le coieur coupe les cheveux d'un client selon un temps de loi exponentielle, combien de temps en moyenne devrait-il passer avec un
client an que seulement 1/7 de sa clientle soit perdue la faveur
d'un comptiteur ?
21. Il y a 1278 particules sur un damier de 100 par 100. Chaque parti-
cule saute un taux gal 1 sur l'une des quatre cases adjacentes au
hasard (devant, derrire, gauche, droite). Si la case choisie est en dehors du damier ou est dj occupe par une particule, le dplacement
est annul. Quelle est la distribution stationnaire pour l'ensemble des
cases occupes par les particules ?
22. On considre une station de taxis dans un aroport o les taxis et les
clients arrivent selon des processus de Poisson d'intensit 2 et 3, respectivement. On suppose qu'un taxi attend la station, quel que soit le
nombre de taxis prsents lors de son arrive. En revanche, si un client
ne trouve pas de taxi son arrive, il dcide d'utiliser un autre moyen
de transport. (a) Quelle est la proportion long terme des clients qui
prennent un taxi ? (b) Quel est le nombre moyen de taxis en attente ?
(c) Lorsqu'un taxi arrive la station, quel est le temps moyen que ce
taxi doit attendre avant de servir un client ?
23. Un central tlphonique dispose de m lignes. Les appels arrivent se-
lon un processus de Poisson d'intensit . Un appel est accept s'il y

a une ligne libre au moment de son arrive, qu'il occupe pendant un
temps de loi exponentielle de paramtre indpendamment de tout le
reste. Quelle est la distribution stationnaire du nombre de lignes occupes ?
24. Dterminer la distribution stationnaire, si elle existe, du processus

de naissance et de mort dont les taux de naissance et de mort sont
i = , i =
i
,
i+1
143
respectivement, pour i 0.
25. Une population reoit des immigrants un taux gal 1. De plus,
CHAQUE individu se reproduit un taux constant gal 2 et meurt

un taux donn par 1 + i qui dpend de la taille i de la population.
(a) Dterminer les taux de naissance et de mort pour le nombre total
d'individus dans cette population. (b) Existe-t-il une distribution stationnaire ? (On ne demande pas de la trouver si elle existe.)
26. Des clients se prsentent pour recevoir un service selon un processus
de Poisson d'intensit . Il sont servis un la fois et le temps de

service est de loi exponentielle de paramtre . De plus, les clients qui
attendent pour tre servis deviennent impatients et ils quittent au taux
indpendamment les uns des autres. (a) Dterminer la distribution
stationnaire dans le cas o = ; (b) Montrer que la distribution
stationnaire existe pour tout > 0.

27. Un centre de traumatologie dispose de deux salles d'opration. Les
arrives de patients, un la fois, sont espaces par des temps alatoires

d'esprance 1, alors que les temps d'intervention sont des variables alatoires d'esprance 1/2. Tous les temps sont supposs indpendants et
de loi exponentielle. Lorsque les deux salles d'opration sont occupes,
les patients sont dirigs vers d'autres centres. Dterminer : (a) le gnrateur pour le nombre de salles d'opration occupes ; (b) l'esprance
du temps pour que les deux salles soient libres partir du moment o
elles sont toutes les deux occupes.
28. Un assur passe de la catgorie A la catgorie B et y reste aprs
une seule rclamation pour un accident majeur ou trois rclamations

pour un accident mineur. Supposons qu'un assur de catgorie A subit des accidents selon un processus de Poisson d'intensit 1/2, qu'un
accident n'est que mineur avec probabilit 3/4 indpendamment des
autres, mais qu'un tel accident n'est pas dclar avec probabilit i/3,
o i est le nombre de rclamations prcdentes pour un accident mineur. Il y a quatre tats possibles pour le statut de l'assur : A0, A1,
A2, B , o Ai reprsente la catgorie A avec i rclamations pour un
accident mineur au dossier. Dterminer : (a) le gnrateur pour le statut de l'assur ; (b) l'esprance du temps pour atteindre le statut B
144
partir du statut A0.
29. Une grenouille sur le bord d'un tang (tat 0) saute dans l'tang
(tat 1) et vice versa selon une chane de Markov temps continu dont
le gnrateur est
A=
2
2
2 2
Dterminer : (a) la probabilit que la grenouille soit dans l'tang

l'instant t si elle est au bord de l'tang l'instant 0 ; (b) le gnrateur
pour le nombre de grenouilles dans l'tang si trois grenouilles sautent
indpendamment les unes des autres selon le modle ci-dessus.
30. Un mdecin de garde reoit des appels selon un processus de Poisson

d'intensit 2 par 24 heures. Un appel ncessite un temps d'intervention
de loi exponentielle d'esprance 3 heures, indpendant de tout le reste.
Tout nouvel appel durant ce temps est envoy quelqu'un d'autre. Le
mdecin commence sa garde le vendredi 18h. Quelle est la probabilit qu'il puisse passer entirement la soire du samedi, soit de 18h
minuit, en famille ?
31. Dans une population de 2N personnes qui ont chacune un tlphone
cellulaire, chaque personne qui n'est pas au tlphone en appelle une

autre au hasard qui n'est pas au tlphone au taux instantan de 1
par heure indpendamment des autres, alors que chaque appel dure un
temps de loi exponentielle d'esprance 3 minutes. On suppose tous les
temps indpendants. Le nombre d'appels en cours est alors un processus de naissance et de mort sur un nombre ni d'tats. Dterminer :
(a) les taux de naissance et les taux de mort ; (b) la distribution stationnaire pour le nombre d'appels en cours ; (c) l'esprance du nombre
d'appels en cours l'tat stationnaire ; (d) la proportion moyenne de
temps long terme que chaque personne parlera au tlphone.
32. Le temps pour un membre du CEPSUM de rserver un plateau spor-
tif par tlphone partir du moment o il obtient la ligne est de 30

secondes. Les appels arrivent indpendamment selon un processus de
Poisson d'intensit > 0 par minute et ils sont mis en attente si la
ligne est occupe. La ligne redevient inoccupe losqu'il ne reste plus
personne en ligne ni en attente. Dterminer avec justication l'appui : (a) les valeurs de pour lesquelles la ligne redevient certainement
145
inoccupe partir d'un premier appel ; (b) les valeurs de pour lesquelles la ligne redevient inoccupe en un temps moyen ni partir
d'un premier appel, et dans ce cas le temps moyen.
33. Le CEPSUM reoit des appels pour la rservation d'un plateau spor-
tif selon un processus de Poisson d'intensit 2 et les appels sont dirigs

vers deux prposs, un en formation numrot 1 qui prend un temps
exponentiel d'esprance 1 pour naliser la rservation et un avec exprience numrot 2 qui prend un temps exponentiel d'esprance 1/2.
Lorsque l'un des prposs est occup, l'appel est pris par l'autre, alors
que lorsque les deux sont libres, l'un des deux au hasard prend l'appel. De plus, lorsque les deux prposs sont occups, l'appel est mis
en attente, ce qui bloque la ligne aux appels entrants. Dans ce cas,
l'appel en attente est pris par le premier prpos qui se libre si la
personne en attente ne quitte pas la ligne auparavant par impatience,
ce qui survient au taux instantan de 1. On numrote les tats 0 (aucun prpos occup), 1 (prpos 1 seulement occup), 2 (prpos 2
seulement occup), 3 (prposs 1 et 2 occups avec aucun appel en
attente), et 4 (prposs 1 et 2 occups avec un appel en attente). En
faisant les hypothses habituelles pour une chane de Markov temps
continu, dterminer : (a) le gnrateur de la chane ; (b) les proportions
moyennes long terme des appels reus par le CEPSUM qui seront pris
par les prposs 1 et 2, respectivement, en fonction de la distribution
stationnaire (vous n'avez pas calculer cette distribution). APRS
le quiz, calculer la distribution stationnaire et donner une explication
pour laquelle les proportions en (b) ne sont pas dans le rapport de 1 2.
34. Des clients se prsentent un comptoir de service selon un proces-
sus de Poisson d'intensit 2, mais rebroussent chemin si le comptoir est

dj occup par un client. D'autre part, le temps de service est d'esprance 1/2. Cependant, le serveur quitte son poste pour s'acquitter
d'une autre tche aprs un temps d'inoccupation d'esprance 1/3 et
ne revient qu'aprs un temps d'esprance 1/4. De plus, un client qui
ne trouve aucun serveur en poste quitte le comptoir aprs un temps
d'attente d'esprance 1/5. On suppose tous les temps indpendants
de loi exponentielle. Les tats du systme sont (0, 0), (0, 1), (1, 0) et
(1, 1), o la premire composante reprsente le nombre de client au
comptoir et la deuxime le nombre de serveur en poste. Dterminer :
(a) le gnrateur de la chane ; (b) l'esprance du temps qu'un client
qui se prsente au comptoir passera dans le systme en fonction de la
146
distribution stationnaire MAIS SANS LA CALCULER.
35. Un entrepreneur en construction a pratiqu trois ouvertures dans
une clture d'un chantier pour permettre aux passants de satisfaire

leur curiosit. On suppose que les passants se prsentent selon un processus de Poisson d'intensit 3, mais ne s'arrtent une ouverture pour
regarder qu'avec probabilit 1/3 et seulement s'il y a une ouverture disponible. On suppose qu'un seul passant la fois peut regarder par une
ouverture et un temps d'observation de loi exponentielle de paramtre
1 pour chacun. Le gnrateur pour le nombre d'ouvertures occups, 0,
1, 2, 3, dans cet ordre, est
1
1
0
0
1 2
1
0
.
A=
0
2 3
1
0
0
3 3
Dterminer : (a) la distribution stationnaire ; (b) la proportion moyenne

de passants long terme qui s'arrtent pour regarder.
36. Trois enfants s'amusent dans une glissade d'un parc. Un seul enfant
peut glisser la fois. On suppose tous les temps de remonte et de descente indpendants et de loi exponentielle, disons de paramtres et ,
respectivement. On a une chane de Markov sur quatre tats possibles
selon les nombres d'enfants en remonte, en descente et en attente,
respectivement : (3, 0, 0), (2, 1, 0)), (1, 1, 1) et (0, 1, 2), reprsents par
0, 1, 2 et 3, respectivement. En supposant que la remonte prend en
moyenne deux fois plus de temps que la descente, dterminer : (a) le
gnrateur ; (b) la distribution stationnaire ; (c) la proportion moyenne
de temps long terme pendant laquelle chaque enfant glissera.
37. Une station-service possde deux pompes essence : une en libre
service et une avec service. Le temps de service est plus long la seconde, car on y vrie le niveau d'huile et on y lave le pare-brise. On
suppose des temps de service de loi exponentielle, de moyenne 2 min
la premire et de moyenne 4 min la seconde. Les temps entre les
arrives des automobilistes sont aussi de loi exponentielle, de moyenne
2 minutes. Tous ces temps sont indpendants. Un automobiliste choisit la pompe en libre service lorsque les deux pompes sont libres, car
l'essence y est moins chre, sinon il prend celle qui est libre ou qui
se libre. Les automobilistes en attente de service s'impatientent et
147
ils quittent la station-service un taux instantan de 1/4 par minute

indpendamment les uns des autres et de tout le reste. (a) Existe-t-il
une distribution stationnaire pour le nombre d'automobilistes dans la
station-service ? Si oui, quelle est-elle ? (b) La chane pour ce nombre
est-elle rcurrente positive ? Si oui, quelle est l'esprance du temps
pour revenir 0 partir de 0 ? (c) Quelle est la fraction moyenne
long terme des automobiliste qui prennent de l'essence en libre service
parmi tous ceux qui en prennent ?
38. Des clients arrivent un centre commercial selon un processus de

Poisson d'intensit 100 par heure. Les temps passs par les clients
dans le centre commercial sont des variables alatoires indpendantes
identiquement distribues, indpendantes du processus d'arrive. On
considre trois hypothses sur la loi de probabilit d'un tel temps, reprsent par X : (a) loi constante de valeur une heure ; (b) loi exponentielle d'esprance une heure ; (c) loi continue quelconque d'esprance
une heure, de telle sorte que
(1 F (x))dx = 1,
0
o F (x) = P r(T x). Dterminer dans chaque cas la loi de probabilit pour le nombre de clients dans le centre commercial l'tat
stationnaire.
39. Un prpos l'information reoit des appels tlphoniques de clients
selon un processus de Poisson d'intensit 1. Le temps requis pour rpondre aux questions d'un client est de loi exponentielle d'esprance
1/2. Si le prpos reoit un appel alors qu'il est inoccup (tat 0),
il prend aussitt l'appel. S'il reoit un appel alors qu'il rpond un
client (tat 1), il prend l'appel pour un temps de loi exponentielle d'esprance 1/4 mais seulement pour dire au nouveau client qu'il sera mis
en attente jusqu' ce qu'il ait termin avec le client prcdent. Pendant ce temps (tat 2) et tant que le nouveau client est en attente
par la suite (tat 2a), tout nouvel appel est rejet. D'autre part, un
client en attente s'impatiente au taux 2, auquel cas il libre la ligne
avant que le prpos ne rponde ses questions. Dterminer : (a) la
distribution stationnaire ; (b) la proportion moyenne de clients long
terme qui ne recevront pas d'information ; (c) le temps en ligne moyen
long terme (avec le prpos ou en attente) d'un client qui appelle.
Suggestion pour (c) : Dterminer d'abord le temps en ligne moyen
148

d'un client qui appelle alors que le prpos est disponible, reprsent
par m0 , puis le temps en ligne moyen d'un client qui appelle alors que
le prpos est ocup mais personne n'est en attente, reprsent par m1 .
Processus de renouvellement

On considre l'arrive d'vnements identiques qui sont espacs par des
intervalles de temps alatoires indpendants de mme loi de probabilit,
mais quelconque. L'vnement en question, comme par exemple le remplacement d'un dispositif, est appel un renouvellement. Le nombre de renouvellements N (t) qui surviennent dans l'intervalle de temps (0, t] pour t > 0
avec N (0) = 0 dnit alors un processus de renouvellement. La gure 55
reprsente un tel processus.
S2
N (t)
S1
renouvellement
S0
0
0 = T0
T1
T2 temps t
Figure 55 Processus de renouvellement.

Le i-ime renouvellement survient un temps alatoire reprsent par Ti
pour i 1. On dnit les intervalles de temps
Si = Ti+1 Ti ,
pour i 0, avec la convention que T0 = 0. Ces intervalles correspondent aux

temps de sjour aux dirents tats. On fait les hypothses suivantes : S0 ,
S1 , S2 , . . . , sont des variables alatoires positives, indpendantes et identiquement distribues, d'esprance < et de variance 2 < .
On considre aussi la possibilit que le temps avant le premier renouvellement, S0 , ait une distribution dirente du temps entre deux renouvellements
3.2 Thormes de renouvellement
150
2
conscutifs, avec une esprance 0 < et une variance 0 < . Dans ce
cas, le processus de renouvellement est dit avec dlai.

3.2.1 Introduction
Dans le cas o les intervalles de renouvellement S0 , S1 , S2 , . . . , sont de
loi exponentielle de paramtre , le processus{N (t)}t0 est un processus de
poisson d'intensit . Dans ce cas, on a
E(N (t))
1
== ,
t
pour tout t > 0. Plus gnralement,

E(N (t + h) N (t))
1
== ,
h
pour tout h > 0 et tout t 0, avec la convention N (0) = 0. Ce rsultat

signie que 1/ est le taux d'arrive instantan des vnements.
Dans le cas gnral, les rsultats ci-dessus ne peuvent tre exacts qu'asympotiquement, c'est--dire lorsque t . Cela garantit que 1/ est le taux
moyen de renouvellement sur une longue priode de temps, ou sur une priode de temps de longueur quelconque mais aprs un long moment.
3.2.2 Thorme de renouvellement lmentaire

On considre un processus de renouvellement avec S0 > 0 d'esprance
0 < pour le temps avant le premier renouvellement, et Si > 0 d'esprance
< pour le temps entre les i-ime et (i + 1)-ime renouvellements, pour
i 1. Tous ces temps sont indpendants. Si N (t) reprsente le nombre de
renouvellements jusqu' l'instant t > 0 inclusivement, alors
lim
E(N (t))
1
= .
t
La dmonstration de ce rsultat est reporte loa n du chapitre.
3.2.3 Lemme de Wald

Soit X1 , X2 , . . . , une suite de variables alatoires indpendantes identiquement distribues valeurs non ngatives d'esprance < . Si N une
151
variable alatoire valeurs entires non ngatives telle que la ralisation ou

non de l'vnement {N n} est indpendante de Xn , pour tout n 1, alors
N
= E(N ).
Xn
n=1
Remarque 1 : La condition E(N ) < n'est pas requise sous l'hypothse

que Xn 0, pour tout n 1.
+
Remarque 2 : Dans le cas o Xn = Xn Xn , o les parties positives et
ngatives, dnies par
Xn = max(Xn , 0), Xn = max(Xn , 0),

+
satisfont E(Xn ) = + < et E(Xn ) = < avec + = , on a

N
Xn
n=1
Xn
+
Xn E
=E
n=1
= + E(N ) E(N ) = E(N ),
n=1
sous la condition que E(N ) < .
Dmonstration :
En dnissant la variable alatoire indicatrice 1{N n} = 1 si N n, et 0
autrement, qui est indpendante de Xn , pour tout n 1, on trouve que
= E
1{N n} Xn
Xn
n=1
n1
1{N n} Xn
1{N n}
n1
E (Xn )
n1
P r(N n)
=
n1
nP r(N = n)
n1
= E(N ).
152
3.2.4 Exemple : Rclamations d'assurance

On considre une compagnie d'assurances qui reoit des rclamations
selon un processus de renouvellement {N (t)}t0 . Les montants des rclamations sont des variables alatoires X1 , X2 , . . . , indpendantes de ce processus.
Ainsi,
X1 + + XN (t)
t
reprsente le montant des rclamations par unit de temps jusqu'au temps

t > 0 inclusivement. Par le lemme de Wald, on a que
E
X1 + + XN (t)
t
E(N (t))E(X1 )
.
t
Le thorme de renouvellement lmentaire permet alors d'obtenir le taux

moyen du montant des rclamations long terme, soit
lim
E(N (t))E(X1 )
E(X1 )
=
,
t
o est l'esprance du temps entre deux rclamations conscutives.
3.2.5 Exemple : Remplacement d'un appareil

Un appareil peut tre remplac de faon prventive aprs un temps xe
T un certain cot c. S'il est remplac d'urgence la n de sa dure de
vie, le cot du remplacement augmente c + C . On cherche dterminer
la valeur de T qui minimise le cot moyen de remplacement de l'appareil
long terme.
On suppose que la dure de vie de l'appareil est une variable alatoire W
de loi uniforme sur l'intervalle [0, 1], c'est--dire W U [0, 1]. Un remplacement prventif se fait aprs un temps xe T si la dure de vie de l'appareil
dpasse T . Sinon, l'appareil est remplac d'urgence la n de sa dure de
vie. Tous les appareils ont des dures de vie indpendantes.
On reprsente par S , le temps entre deux remplacements conscutifs.
Ainsi,
W si W < T,
S=
T si W T.
La loi conditionnelle de W , tant donn que W < T , est uniforme sur l'intervalle [0, T ]. L'esprance conditionnelle est alors
E[W |W < T ] =
T
.
2
153
L'esprance du temps entre deux remplacements conscutifs est donc

E(S) = E(W |W < T )P r(W < T ) + T P r(W T )
T
= T + T (1 T )
2
T
.
=T 1
2
D'autre part, le temps S entre un remplacement d'urgence et le suivant peut

s'crire sous la forme
S = KT + Z,
o Z suit une loi uniforme sur [0, T ] et K+1 une loi gomtrique de paramtre
T . Ainsi,
P r(K = k) = (1 T )k T,
pour k 0, et
E(K) = E(K + 1) 1 =
1
1.
T
Donc, on a
E[S] = E(K)T + E(Z)

1
T
1 T +
T
2
T
=1 .
2
=
En supposant un cot c = 1 pour un remplacement prventif et un cot

supplmentaire C = 4 pour un remplacement d'urgence, le cot moyen
long terme par unit de temps prdit par le thorme de renouvellement
lmentaire est
1
4
+
E(S) E(S)
1
4
=
+
T (1 T /2) (1 T /2)
1 + 4T
=
.
T (1 T /2)
C(T ) =
Le graphique de C(T ) est illustr dans la Figure 56. Le point de minimum

apparat tre entre 0,4 et 0,6. La drive de C(T ) est donne par
154
Figure 56 Graphique de C(T ).

d
4T (1 T /2) (1 + 4T )(1 T )
C(T ) =
,
dT
(T (1 T /2))2
qui est gale 0 si et seulement si

4T 2T 2 1 + T 4T + 4T 2 = 0,
c'est--dire si et seulement si
2T 2 + T 1 = (2T 1)(T + 1) = 0.
La seule solution positive est

T = 1/2.
Il s'agit d'un point de minimum, car la drive seconde est positive. En eet,
aprs quelques simplications, on trouve que
d2
4(4 6T + 3T 2 + 4T 3 )
C(T ) =
,
dT 2
((2 + T )3 T 3 )
qui prend la valeur 8/3 pour T = 1/2, et qui est positive en gnral pour
0 < T < 1. On conclut donc que C(T ) pour 0 < T < 1 est minimum lorsque
T = 1/2.
155

On considre un processus de renouvellement avec S0 pour le temps avant
le premier renouvellement, et Si pour le temps entre les i-ime et (i+1)-ime
renouvellements, pour i 1. Tous ces temps sont indpendants, de mme
distribution de probabilit discrte donne par la fonction de masse pk 0,
pour toute valeur entire k 1. On suppose que
p.g.c.d.{k 1 : pk > 0} = 1,
kpk = < .
k1
Soit
uk = P r(renouvellement l'instant k),
pour k 1. Alors
lim uk = .
De plus, on a le mme rsultat si S0 a une distribution de probabilit dirente sur les entiers k 1. La dmonstration de ce rsultat est reporte la
n du chapitre.
Remarque : Par le thorme de renouvellement lmentaire, on a toujours

1
n n
lim
uk = lim
k=1
E(N (n))
1
= ,
n
qu'on ait ou non la condition

p.g.c.d{k 1 : pk > 0} = 1.
3.2.7 Thorme de renouvellement temps continu

Dans le cas d'un processus de renouvellement {N (t)}t0 avec intervalles
de renouvellement S0 , S1 , S2 , . . . , de distribution de probabilit continue,
on a
E(N (t + h) N (t))
1
lim
= ,
t
pour tout h > 0 et tout t 0. Donc 1/ reprsente le taux moyen de

renouvellement par unit de temps sur une priode de temps de longueur
quelconque, mais partir d'un moment qui tend vers l'inni. Ce thorme
est nonc sans dmonstration.
3.3 Distributions asymptotiques
156

3.3.1 ge et temps de vie rsiduel et total
Lorsqu'on observe un processus de renouvellement un instant donn,
trois temps ont un intrt particulier : (a) le temps qui s'est coul depuis le
dernier renouvellement, qui correspond l'ge de ce renouvellement, reprsent par A, (b) le temps qui reste couler jusqu'au prochain renouvellement, appel le temps de vie rsiduel, reprsent par R, et (c) le temps entre
ces deux renouvellements, qui est le temps de vie total, reprsent par V . La
distribution de probabilit de ces temps lorsque l'instant d'observation tend
vers l'inni, appele distribution asymptotique, dpend de la distribution du
temps entre deux renouvellements conscutifs.
3.3.2 Distributions asymptotiques temps discret

On considre d'abord l'ge et les temps de vie rsiduel et total dans le cas
o le temps entre deux renouvellements conscutifs est une variable alatoire
de loi discrte.
V (n) = m + l = k 1
)
TN (n) = n l
0 A(n) = l n
TN (n)+1 = n + m
R(n) = m 1
Figure 57 ge, temps de vie rsiduel et temps de vie total temps discret.
Les temps valeurs entires Si > 0 entre les i-ime et (i + 1)-ime
renouvellements, pour i 1, sont indpendants et identiquement distribus,
de fonction de masse donne par pk 0, pour tout entier k 1, avec
kpk = < .
k1
157
On suppose de plus que p.g.c.d.{k 1 : pk > 0} = 1. Le temps S0 avant le

premier renouvellement est aussi valeurs entires, et il est indpendant des
temps entre les renouvellements suivants.
L'ge, le temps de vie rsiduel et le temps de vie total du renouvellement
courant l'instant n 0 sont dnis par
A(n) = n TN (n) ,
R(n) = TN (n)+1 n,
V (n) = TN (n)+1 TN (n) ,
respectivement. La variable N (n) reprsente le nombre de renouvellements

jusqu' l'instant n 0, inclusivement, alors que
TN (n) = S0 + ... + SN (n)1
est l'instant du dernier renouvellement avant n (n inclus), et

TN (n)+1 = S0 + ... + SN (n)
est l'instant du premier renouvellement aprs n (n exclu). La gure 57 reprsente ces variables.
On considre les limites des fonctions de masse des dirents temps
lorsque n .
Temps de vie rsiduel : Pour tout m 1, on a
n
P r(R(n) = m) =
unl pm+l ,
l=0
o unl reprsente la probabilit d'un renouvellement l'instant n l.

En faisant appel au thorme de renouvellement temps discret et au
lemme sur la limite d'une somme du chapitre 1, on obtient que
lim P r(R(n) = m) =
l0
1
pm+l =
pour tout m 1.
ge : Pour tout l 0, on a
P r(A(n) = l) = unl
pm+l .
m1
km pk
158
Dans ce cas, le thorme de renouvellement temps discret garantit

que
lim P r(A(n) = l) =
pm+l =
m1
kl+1 pk
pour tout l 0.
Temps de vie total : Pour tout k 1, on a
k1
P r(V (n) = k) =
unl pk .
l=0
Par le thorme de renouvellement temps discret, on conclut alors

que
k1
lim P r(V (n) = k) =
l=0
1
kpk
pk =
,
pour tout k 1.
On arrive aux mmes rsultats pour les proportions moyennes limites de
temps que ces variables prennent ces valeurs en utilisant la loi des grands
nombres. (Voir la section 3.5.1 pour une dmonstration.)
Remarque 1 : La distribution asymptotique conditionnelle du temps de vie

rsiduel tant donn un temps de vie total k 1 est uniforme sur les entiers
1, ..., k . Cela donne une probabilit totale
km
1
k
kpk
km pk
pour que le temps de vie rsiduel prenne asymptotiquement la valeur m 1.

En conditionnant de faon analogue sur la vie totale, on obtient la fonction
de masse
kl+1
1
k
kpk
kl+1 pk
pour l 0, pour la distribution asymptotique de l'ge.
Remarque 2 : L'ge a la mme distribution asymptotique que le temps
de vie rsiduel moins 1. Cela dcoule de la convention que c'est l'ge, et non
pas le temps de vie rsiduel, qui prend la valeur 0 lorsqu'un renouvellement
159
a lieu exactement l'instant d'observation du processus.
Remarque 3 : La distribution asymptotique du temps de vie total est

dirente de la distribution entre deux renouvellements conscutifs. C'est le
paradoxe de l'inspection. L'explication est que l'observation du processus
un instant au hasard favorise les grandes valeurs qui occupent d'avantage de
temps. Ainsi, avec autant de piles d'une dure de vie de deux ans que de
piles d'une dure de vie d'un an, les premires seront utilises deux tiers du
temps long terme.
3.3.3 Distributions asymptotiques temps continu

V (t) 0
)
TN (t)
t
A(t) 0
TN (t)+1
R(t) 0
Figure 58 ge, temps de vie rsiduel et temps de vie total temps continu.
On considre maintenant un processus de renouvellement avec temps de
loi continue Si > 0 entre les i-ime et (i + 1)-ime renouvellements, pour
i 1, indpendants identiquement distribus, de fonction de densit donne
par f (x) 0, pour tout rel x > 0, avec
xf (x)dx = < .
0
De plus, ces temps sont indpendants du temps avant le premier renouvellement, S0 , qui est aussi suppos de loi continue.
courant l'instant t 0 sont dnis par
A(t) = t TN (t) ,
R(t) = TN (t)+1 t,
V (t) = TN (t)+1 TN (t) ,
160
respectivement. Ici, N (t) reprsente le nombre de renouvellements jusqu'

l'instant t 0, inclusivement, alors que
TN (t) = S0 + ... + SN (t)1
est l'instant du dernier renouvellement avant t (t inclus), et

TN (t)+1 = S0 + ... + SN (t)
est l'instant du premier renouvellement aprs t (t exclu).(Voir la gure 58.)

Nous nonons ici sans dmonstration, par analogie avec le cas discret, les
rsultats pour les limites des fonctions de distribution des dirents temps
lorsque t .
Temps de vie total :
x
lim P r(V (t) x) =
yf (y)
dy,
pour tout x > 0.

ge et temps de vie rsiduel :
x
lim P r(A(t) x) = lim P r(R(t) x) =
1 F (y)
dy,
F (x) =
f (y)dy,
0
pour tout x > 0.

En utilisant la loi des grands nombres, on obtient les mmes limites pour
les proportions moyennes de temps que ces variables prennent des valeurs
infrieures ou gales x. (Voir la section 3.5.2 pour une dmonstration.)
L'esprance de la distribution asymptotique du temps de vie total est
donne par
x xf (x)
dx =
2
0 x f (x)dx
0 xf (x)dx
2
E(S1 )
2 + 2
=
,
E(S1 )
161
o 2 = V ar(S1 ). On note ici que l'esprance de la distribution asymptotique

du temps de vie total est plus grande que l'esprance du temps entre deux
renouvellements conscutifs donn par = E(S1 ).
Pour ce qui est de l'esprance de la distribution asymptotique de l'ge et
du temps de vie rsiduel, on obtient que
x (1 F (x))
dx =
=
=
=
=
0 x x f (y)dy
xf (y)dxdy
2
0 (y /2)f (y)dy
2)
E(S1
2E(S1 )
2 + 2
.
2
y
0
0
Sans surprise, par symtrie, l'esprance de la distribution asymptotique du

temps de vie rsiduel et de l'ge est la moiti de l'esprance de la distribution
asymptotique du temps de vie total.
Remarque : La distribution asymptotique du temps de vie total a une
densit donne par xf (x)/, pour tout x > 0. D'autre part, la distribution
asymptotique conditionnelle du temps de vie rsiduel et de l'ge tant donn
un temps de vie total x > 0 est uniforme sur l'intervalle (0, x). Cela donne
une densit totale
1
x
xf (x)
dx =
1 F (y)
,
pour tout y > 0, pour la distribution asymptotique du temps de vie rsiduel

et de l'ge.
3.3.4 Processus de renouvellement stationnaire

Un processus de renouvellement est dit stationnaire lorsque la distribution du temps de vie rsiduel tout instant est donne par la distribution
asymptotique de ce temps. C'est le cas si la distribution de S0 est donne par
la distribution asymptotique du temps de vie rsiduel. Sous les conditions du
thorme de renouvellement temps discret ou temps continu, on a alors
E(N (t + h) N (t)) =
h
,
162
pour tout t, h > 0. C'est le thorme de renouvellement pour un processus stationnaire. La dmonstration pour un processus en temps continu est
prsente la n du chapitre.
noter qu'on s'attend ce qu'un processus de renouvellement soit approximativement stationnaire aprs un long moment quelle que soit la distribution de S0 en admettant la convergence de la distribution du temps de
vie rsiduel vers sa distribution asymptotique.
3.3.5 Exemple : Intervalles de loi uniforme

Si le temps S1 entre deux renouvellements conscutifs suit une loi uniforme sur l'intervalle [0, 1], alors sa fonction de densit f (x) = 1 si 0 x 1,
et 0 autrement. Son esprance est = 1/2 et sa fonction de rpartition
0 si x < 0,
F (x) = x si 0 x 1,
1 si x > 1.
La densit asymptotique de l'ge et du temps de vie rsiduel est donne par

2(1 x) si 0 x 1,
0
ailleurs.
1 F (x)
=
La densit asymptotique du temps de vie total est

2x si 0 x 1,
0
ailleurs.
xf (x)
=
L'esprance asymptotique de la vie totale est

1
0
2
2x2 dx = ,
3
ce qui est plus grand que = 1/2 comme prvu.
3.3.6 Exemple : Intervalles de loi exponentielle

On suppose maintenant que S1 suit une loi exponentielle de paramtre
. Ainsi, l'esprance est = 1/, et la fonction de distribution satisfait
1 F (x) = P r(S1 > x) = ex ,
163
pour x > 0. La densit asymptotique pour le temps de vie rsiduel et pour

l'ge est donne par
1 F (x)
= ex ,
pour x > 0, qui est la fonction de densit de S1 . La loi exponentielle tant

sans mmoire, le processus de renouvellement est stationnaire quel que soit
l'instant initial choisi.
En ce qui concerne la densit asymptotique de la vie totale, elle est donne
par
xf (x)
= x2 ex ,
pour x > 0. L'esprance correspondante est
2
x2 2 ex dx = E(S1 )
= (V ar(S1 ) + E(S1 )2 )
=
=
1
1
+ 2
2
2
,
qui excde 1/ = E(S1 ).
3.4 Processus semi-markoviens

Un processus semi-markovien sur les entiers i 0 est dcrit par des temps
de sjour aux dirents tats, tous indpendants, qui sont de mme distribution de probabilit, mais quelconque, discrte ou continue, pour chaque tat
i 0. A la n d'un temps de sjour l'tat i 0, il y a transition l'tat
j 0 avec probabilit Pij , indpendamment de toutes les autres transitions
et de tous les temps de sjour. remarquer qu'on peut avoir Pii = 0. La
matrice stochastique P = (Pij ) correspond une matrice de transition pour
une chane de Markov temps discret.
3.4.1 Extension du thorme ergodique

On considre un processus semi-markovien avec temps de sjour chaque
tat i 0 d'esprance 0 < i < . On suppose que la matrice de
transition P = (Pij ) correspond une chane de Markov temps discret
irrductible, rcurrente positive avec distribution stationnaire donne par
164
(i ). Si Wi (t) reprsente le temps pass l'tat i de l'instant 0 l'instant

t > 0 inclusivement, alors
lim
E(Wi (t))
=
t
i i
.
j1 j j
Cette limite reprsente la proportion moyenne de temps long terme que

le processus est l'tat i. Ce thorme pour les processus semi-markoviens
est une extension du thorme ergodique pour les chanes de Markov. La
dmonstration du rsultat est reporte la n du chapitre.
Remarque : Dans le cas o les temps de sjour prennent la valeur 1 avec

probabilit 1, on obtient le thorme ergodique pour les moyennes des probabilits de transition de P , c'est--dire,
1
n n
n1
lim
(k)
Pji = i ,
k=0
pour tout i, j 0. Dans le cas o les temps de sjour sont de loi exponentielle,
disons de paramtre i lorsqu'on est l'tat i, et que Pii = 0 pour tout tat
i, alors on a
1
t t
lim
Pji (s)ds =
s=0
i /i
,
j1 j /j
o Pji (s) reprsente la probabilit d'tre l'tat i l'instant s tant donn

qu'on est l'tat j l'instant 0. Le rsultat est cohrent avec le thorme
ergodique pour les chanes de Markov temps continu.
3.4.2 Exemple : Principe de Peter

Le principe de Peter prdit que la majorit des postes sont occups par
des incomptents, car un employ comptent est rapidement promu un
poste suprieur jusqu' ce qu'il occupe nalement un poste pour lequel il est
incomptent. La situation est modlise par un processus semi-markovien.
On considre un nouvel employ qui arrive un poste donn. L'employ est
comptent pour le poste en question avec probabilit p, ce qui reprsente
l'tat 0. En revanche, il est incomptent avec la probabilit complmentaire
1 p, ce qui correspond l'tat 1. On suppose que 0 p 1. Le temps
moyen 1 que passe un nouvel employ incomptent ce poste est suprieur
165
au temps moyen 0 qu'y passe un employ comptent, car ce dernier est

promu plus rapidement. La matrice de transition sur les tats 0 et 1 dans
cet ordre pour le poste en question est
P =
p 1p
p 1p
La distribution stationnaire est donne par 0 = p et 1 = 1 p.

Ainsi, la proportion moyenne de temps long terme avec le poste occup
par un employ incomptent, avec 0 = 1, 1 = 10 et p = 1/2, est
1 1
= 0, 91.
1 1 + 0 0
Cette proportion est trs prs de 1.
3.4.3 Processus de renouvellement avec alternance

On considre la situation de l'alternance d'un systme entre deux tats,
disons un tat de fonctionnement, reprsent par 1, et un tat de rparation,
reprsent par 0. Le systme tombe en panne aprs un temps de fonctionnement d'esprance 1 < et il est remis en fonctionnement aprs un temps
de rparation d'esprance 0 < , tel qu'illustr dans la gure 59.
temps de fonctionnement
d'esprance 1 <
temps de rparation
d'esprance 0 <
Figure 59 Alternance entre deux tats.

L'tat du systme au cours du temps, 0 ou 1, est un processus semi-markovien
dont la matrice de transition est donne par
P =
0 1
1 0
La distribution stationnaire correspondante est 0 = 1 = 1/2. La proportion de temps long terme que le systme est l'tat de fonctionnement est
alors donne par
1
2 1
1
1
2 0 + 2 1
1
.
0 + 1
166
3.4.4 Exemple : Compteur de particules

Des particules arrivent un compteur selon un processus de Poisson
d'intensit qui est inconnue. Le temps avant l'arrive d'une particule, et
ce partir de n'importe quel instant, est donc d'esprance 0 = 1/. Aprs
chaque rception d'une particule, le compteur prend un temps d'esprance
1 connue pour rcuprer, temps pendant lequel il ne peut recevoir aucune
particule. La gure 60 illustre la situation.
temps de rcupration
d'esprance 1
temps de rception
d'esprance 0 = 1/
Figure 60 Compteur de particules.

Le taux moyen de rception des particules long terme est
=
1
1
=
.
0 + 1
(1/) + 1
On en dduit que le taux d'arrive des particules est

=
.
1 1
3.4.5 Systme d'attente M/G/1

Pour un systme d'attente, l'hypothse que le processus d'arrive est un
processus de Poisson est raisonnable, car les clients se prsentent souvent au
gr d'alas divers. En revanche, l'hypothse que le temps de service est de
loi exponentielle, donc sans mmoire, est trs forte.
On considre un systme d'attente de type M/G/1. Le G signie que
le temps de service suit une loi gnrale, quelconque. Ici, on suppose un
temps de service strictement positif, de fonction de densit f et d'esprance
0 < = 0 xf (x)dx < . D'autre part, il y a un seul serveur et l'arrive

des clients se fait selon un processus de Poisson d'intensit 0 < < . La
gure 61 illustre ce systme.
Exp()
167
temps de service
de densit f (x)
Figure 61 Systme d'attente de type M/G/1.

Le processus {Xt }t0 , o Xt reprsente le nombre de clients prsents
dans le systme l'instant t 0, n'est gnralement pas une chane de
Markov temps continu. Il faut pour cela que le temps de service soit de
loi exponentielle. En revanche, le processus {Xn }n0 , o Xn reprsente le
nombre de clients restants dans le systme au dpart du n-ime client, est
une chane de Markov temps discret, le temps tant compt en nombre se
services. En fait, la chane est irrductible, apriodique, sur les tats 0, 1, 2,
. . . , avec matrice de transition de forme
P =
Ici
p0 p1 p2
p0 p1 p2
0 p0 p1
.
.
.
pk =
0
.
.
.
.
.
.
. .
. .
. .
.
.
. .
(y)k y
e
f (y)dy > 0,
k!
reprsente la probabilit de k arrives pendant un service, pour tout k 0.

La chane est-elle rcurrente, et si oui est-elle rcurrente positive ou nulle ?
On construit un processus de branchement an de rpondre ces questions.
Pour cela, on considre que les clients qui arrivent pendant le service d'un
premier client correspondent aux descendants de premire gnration de ce
client. Les clients qui arrivent pendant les services de ces descendants de
premire gnration forment la gnration suivante, et ainsi de suite. On
obtient donc un processus de branchement qui commence avec un individu
la gnration initiale et dans lequel chaque individu produit k descendants
de premire gnration avec probabilit pk , pour k 0. La gure 62 illustre
cela.
168
premier client
k clients arrivs durant le
service du premier client avec

probabilit pk pour k 0,
et de mme pour les autres
Figure 62 Processus de branchement pour systme d'attente M/G/1.

Dans ce cas, on a un extinction certaine si et seulement si
m=
kpk
k0
k(y)k
k0
k!
ey f (y)dy
yf (y)dy
0
= 1,
c'est--dire
1
.
Cela signie que l'tat 0 est rcurrent si et seulement si l'esprance du temps

de service est plus petit que l'esprance du temps entre l'arrive d'un client
et l'arrive du suivant.
D'autre part, si on dnit
= E(nombre de services avant un retour 0 | dpart de 0),
alors on a
= E(
Zk ) =
k0
E(Zk ),
k0
o Zk reprsente le nombre d'individus la gnration k 0. On a donc

mk =
=
k0
1
1
=
< ,
1m
1
169
si et seulement si < 1. C'est la condition pour que l'tat 0 soit rcurrent

positif. Sinon, il est rcurrent nul.
Un retour 0 partir de 0 correspond une priode d'occupation du
serveur. Une telle priode commence par l'arrive d'un premier client dans le
systme et se termine par le dpart d'un dernier client. Dans le cas rcurrent
positif, on s'intresse l'esprance d'une priode d'occupation en temps rel,
soit
= E(priode d'occupation du serveur en temps rel).
Cette esprance est reprsente par
T
=E
Si
i=1
o S1 , S2 , . . . , sont des temps de service identiquement distribus, indpendants entre eux et indpendants de la variable
T =
Zk .
k0
Par le lemme de Wald, on obtient que

= E(S1 )E(T ) = =
.
1
Enn, par la thorie du renouvellement avec alternance, la fraction moyenne

de temps long terme que le serveur est en repos est (voir la gure 63)
1/
(1/) + (/(1 ))
1
=
1 +
= 1 .
0 =
Par consquent, la fraction moyenne de temps long terme que le serveur

est occup est
=
,
1/
c'est--dire l'esprance d'un temps de service sur l'esprance du temps entre

deux arrives conscutives de clients.
3.5 *Moyennes temporelles asymptotiques
170
Priode d'occupation
d'esprance 1
Dbut d'un 1er service
Figure
Dbut d'un 1er service
Priode de repos
d'esprance 1/
63 Priodes d'occupation et de repos d'un systme d'attente
M/G/1

3.5.1 Moyennes temporelles temps discret
On considre un processus de renouvellement avec temps Si > 0 entre les
i-ime et (i + 1)-ime renouvellements, pour i 1, indpendants et identiquement distribus, de fonction de masse donne par pk 0, pour tout entier
k 1, avec k1 kpk = < . De plus, ces temps sont indpendants du
temps avant le premier renouvellement, S0 , qui est aussi suppos valeurs
entires.
courant l'instant n 0 sont dnis par
A(n) = n TN (n) ,
R(n) = TN (n)+1 n,
V (n) = TN (n)+1 TN (n) ,
respectivement, o N (n) reprsente le nombre de renouvellements jusqu'

l'instant n 0, inclusivement, alors que
TN (n) = S0 + ... + SN (n)1
est l'instant du dernier renouvellement avant n (n inclus), et

TN (n)+1 = S0 + ... + SN (n)
est l'instant du premier renouvellement aprs n (n exclu).
Thorme :
171
Avec probabilit 1, la proportion de temps avec un renouvellement courant

de temps de vie total k 1 jusqu' l'instant n 0 converge lorsque n
vers
kpk
,
alors que la proportion de temps avec un renouvellement courant de temps

de vie rsiduel m 1 converge vers
km pk
et la proportion de temps avec un renouvellement courant d'ge l 0 vers

kl+1 pk
Remarque : Les distributions empiriques limites ainsi obtenues correspondent

aux distributions asymptotiques du temps de vie total, du temps de vie rsiduel et de l'ge, respectivement, lorsque ces distributions existent, c'est-dire, lorsque p.g.c.d.{k 1 : pk > 0} = 1.
Dmonstration :
Pour la proportion de temps avec un temps de vie total k 1 jusqu' l'instant
n 0, inclusivement, on obtient les ingalits
1
TN (n)+1
N (n)1
k 1{Si =k}
i=0
n+1
1{V (l)=k}
l=0
1
TN (n)
N (n)
k 1{Si =k} ,
i=0
o 1{V (l)=k} = 1 si le temps de vie total l'instant l est k, et 0 autrement,

alors que 1{Si =k} = 1 si le i-ime renouvellement a un temps de vie total k,
et 0 autrement. Cela dcoule des ingalits pour les sommes qui reprsentent
des temps passs avec un temps de vie total k jusqu'aux instants TN (n) , n et
TN (n)+1 , respectivement, et du fait que
TN (n) < n + 1 TN (n)+1 .
Le terme de gauche peut s'crire
N (n)
N (n)
i=0 Si
1
N (n)
N (n)1
i=0
k 1{Si =k} .
172
Par la loi des grands nombres, il converge vers

1
E(S1 )
E k 1{S1 =k} =
kpk
,
avec probabilit 1 lorsque n . En eet, on a alors N (n) avec

probabilit 1 (puisque Si < avec probabilit 1 pour tout i 0). Les
mmes arguments peuvent tre appliqus au terme de droite.
Pour le temps de vie rsiduel de valeur m 1, la variable alatoire
k 1{Si =k} ci-dessus est remplace par la variable alatoire 1{Si m} , dont l'esprance est
P r(Si m) =
pk ,
km
alors que pour l'ge de valeur l 0, elle est remplace par 1{Si l+1} d'esprance
P r(Si l + 1) =
pk .
kl+1
3.5.2 Moyennes temporelles temps continu

On considre un processus de renouvellement avec temps Si > 0 entre
les i-ime et (i + 1)-ime renouvellements, pour i 1, indpendants et identiquement distribus, de fonction de densit donne par f (x) 0, pour tout
rel x > 0, avec 0 xf (x) = < . De plus, ces temps sont indpendants
du temps avant le premier renouvellement, S0 , qui est aussi suppos de loi
continue.
courant l'instant t 0 sont dnis par
A(t) = t TN (t) ,
R(t) = TN (t)+1 t,
V (t) = TN (t)+1 TN (t) ,
respectivement, o N (t) reprsente le nombre de renouvellements jusqu'

l'instant t 0, inclusivement, alors que
TN (t) = S0 + ... + SN (t)1
est l'instant du dernier renouvellement avant t (t inclus), et

TN (t)+1 = S0 + ... + SN (t)
173
est l'instant du premier renouvellement aprs t (t exclu).
Thorme :
Avec probabilit 1, la proportion de temps avec un renouvellement courant
de temps de vie total x, pour x > 0 x et jusqu' l'instant t > 0, converge
lorsque t vers la limite
x
yf (y)dy,
0
alors que la proportion de temps avec un renouvellement courant de temps

de vie rsiduel x et la proportion de temps avec un renouvellement courant
d'ge x convergent toutes les deux vers la limite
1
(1 F (y))dy,
0
F (x) =
f (y)dy,
0
pour x > 0, est la fonction de rpartition pour le temps entre deux renouvellements conscutifs.
Remarque : Les distributions empiriques limites ainsi obtenues correspondent

aux distributions asymptotiques du temps de vie total, du temps de vie rsiduel et de l'ge, respectivement, lorsque celles-ci existent.
Dmonstration :
Pour la proportion de temps avec un renouvellement courant de temps de vie

total x, pour x > 0 x et jusqu' l'instant t > 0, on obtient les ingalits
1
TN (t)+1
N (t)1
i=0
Si 1{Si x}
t
0
1{V (s)x} ds
1
TN (t)
N (t)
Si 1{Si x} ,
i=0
o 1{V (s)x} = 1 si le temps de vie total du renouvellement courant l'instant

s est x, et 0 autrement, alors que 1{Si x} = 1 si le i-ime renouvellement
a un temps de vie total x, et 0 autrement. Ici, on a utilis le fait que
TN (t) t < TN (t)+1 .
3.6 *Dmonstrations
174
Le terme de gauche peut s'crire
N (t)
N (t)
i=0 Si
1
N (t)
N (t)1
Si 1{Si x} .
i=0
Par la loi des grands nombres, il converge vers

1
E(S1 )
E S1 1{S1 x} =
yf (y)dy,
0
avec probabilit 1 lorsque t , car alors N (t) avec probabilit 1

(puisque Si < avec probabilit 1 pour tout i 0). Les mmes arguments
peuvent tre appliqus au terme de droite.
Pour le temps de vie rsiduel et l'ge de valeur x, la variable alatoire
S1 1{S1 x} ci-dessus est remplace par la variable alatoire min(S1 , x), dont
l'esprance est
E(min(S1 , x)) =
yf (y)dy + x
0
(1 F (y))dy.
f (y)dy =
x
3.6 *Dmonstrations
3.6.1 Thorme de renouvellement lmentaire
On considre un processus de renouvellement avec S0 > 0 d'esprance
0 < pour le temps avant le premier renouvellement, et Si > 0 d'esprance
< pour le temps entre les i-ime et (i + 1)-ime renouvellements, pour
i 1. Tous ces temps sont indpendants. Si N (t) reprsente le nombre de
renouvellements jusqu' l'instant t > 0 inclusivement, alors
lim
E(N (t))
1
= .
t
Dmonstration :
On considre d'abord le cas o Si M pour une certaine constante

M < , pour tout i 0. La gure 64 illustre cette situation.
Le temps d'arrive du premier renouvellement aprs t (t exclu) satisfait
alors les ingalits
t < S0 + S1 + + SN (t) = TN (t)+1 t + M.
D'autre part, l'vnement

{N (t) n} = {S0 + + Sn1 = Tn t}
175
SN (t)
n N (t)
Tn
TN (t)
<
TN (t)+1 t + M
Figure 64 Temps de sjour l'tat N (t) dans le cas o tous les temps de
sjour aux dirents tats sont borns par une constante M .
est indpendant de Sn . Le lemme de Wald garantit alors que

t 0 + E(N (t)) t + M.
On obtient le rsultat en divisant partout par t et en passant la limite

lorsque t .
Dans le cas gnral, pour > 0 arbitrairement petit, on peut trouver une
constante 0 < M < susamment grande pour que les temps tronqus
dnis par
Si =
Si si Si M,
M si Si > M,
aient des esprances i satisfaisant 0 0 < pour i = 0, et
< ,
1 +
pour i 1. En reprsentant par N (t) N (t) le nombre de renouvellements

jusqu' l'instant t > 0 inclusivement obtenus avec ces temps tronqus, et en
rptant les arguments ci-dessus, on obtient les ingalits
E(N (t))
E(N (t))
t + M 0
t 0
.
t
t
t
t
On conclut que
1
E(N (t))
E(N (t))
1
1
lim inf
lim sup
+ ,
t
t
t
ce qui complte la dmonstration.
3.6 *Dmonstrations
176

On considre un processus de renouvellement avec S0 pour le temps avant
le premier renouvellement, et Si pour le temps entre les i-ime et (i+1)-ime
renouvellements, pour i 1. Tous ces temps sont indpendants, de mme
distribution de probabilit discrte donne par la fonction de masse pk 0,
pour toute valeur entire k 1. On suppose que
p.g.c.d.{k 1 : pk > 0} = 1,
kpk = < .
k1
Soit
uk = P r(renouvellement l'instant k),
pour k 1. Alors
lim uk = .
De plus, on a le mme rsultat si S0 a une distribution de probabilit dirente sur les entiers k 1.
Dmonstration :
En conditionnant sur le temps du premier renouvellement (voir la gure
65), on obtient l'quation de renouvellement
k
uk =
pj ukj ,
j=1
pour tout k 1, avec u0 = 1. La solution de ce systme d'quations, qui

peut tre obtenue par rcurrence, est unique.
aucun renouvellement
kj
Figure 65 Reprsentation de l'quation de renouvellement. Un indique

un renouvellement.
D'autre part, on obtient le mme systme d'quations pour la probabilit

(k)
de retourner 1 en k pas partir de 1, P11 , dans la chane de Markov
177
temps discret sur les entiers k 1 dont les probabilits de transition en un

pas sont donnes par
P1k = pk , Pk+1,k = 1,
pour tout k 1. Ces transitions sont illustres dans la gure 66. Ce sont les
transitons pour le temps qu'il reste avant le prochain renouvellement, d'un
pas au suivant.
p4
p3
p1
p2
1
Figure 66 Chane de Markov correspondant l'quation de renouvellement.
De plus, par les hypothses faites sur pk pour k 1, l'tat 1 de cette chane
est rcurrent positif apriodique, avec
kpk <
=
k=1
comme esprance du nombre de pas pour retourner 1 partir de 1. En

appliquant le thorme ergodique temps discret, on a donc
1
(k)
lim uk = lim P11 = .
Si S0 = j avec probabilit qj pour j 1, alors la probabilit d'un renouvellement l'instant k est

k
qj ukj =
j=1
qj {jk} uk .
j1
Par le lemme sur la limite d'une somme du chapitre 1, on a convergence vers

j1 qj
1
.
3.6 *Dmonstrations
178
3.6.3 Thorme de renouvellement dans le cas stationnaire

On considre un processus de renouvellement stationnaire en temps continu
{N (t)}t0 avec intervalles de renouvellement S1 , S2 , . . . , de fonction de dis-
tribution continue
f (y)dy,
F (x) =
0
pour tout x > 0, avec

fonction de densit
0 (1
F (x))dx = < , et intervalle initial S0 de

f0 (x) =
1 F (x)
,
pour tout x > 0. On a alors

E(N (t + h) N (t)) =
h
,
pour tout h > 0 et tout t 0.
Dmonstration :
Tout d'abord, on dnit

m(t) = E(N (t)),
pour tout t 0. Par stationnarit, on a que

m(t+s) = E(N (t+s)N (s)+N (s)) = E(N (t+s)N (s))+E(N (s)) = m(t)+m(s),
pour tout s, t 0. Cela implique que

m(t) = ct,
pour une constante c = m(1) dterminer. D'autre part, en conditionnant

sur la valeur prise par S1 dans le cas o les deux premiers renouvellements
surviennent dans l'intervalle de temps [0, t], on obtient que
t
kP r(N (t x) = k 1)f (x)dx
m(t) = P r(N (t) = 1) +

k2
t
= P r(N (t) 1) +
m(t x)f (x)dx

0
t
= P r(S0 t) +
m(t x)f (x)dx.

0
179
Or,
t
1 F (x)
dx
0
t
x
f (y)
t
dydx
=
0
0
t
t
ty
=
f (y)dy.
P r(S0 t) =
En faisant m(t) = ct, on conclut alors que c = 1 .
3.6.4 Thorme ergodique pour processus semi-markoviens

On considre un processus semi-markovien avec temps de sjour chaque
tat i 0 d'esprance 0 < i < . On suppose que la matrice de
transition P = (Pij ) correspond une chane de Markov temps discret
irrductible, rcurrente positive avec distribution stationnaire donne par
(i ). Si Wi (t) reprsente le temps pass l'tat i de l'instant 0 l'instant
t > 0 inclusivement, alors
lim
E(Wi (t))
=
t
i i
.
j1 j j
Dmonstration :
Le temps entre le dbut d'une visite i et le dbut de la prochaine peut

tre reprsent par
Si = Si,1 +
Sj,1 + ... + Sj,Nij ,

j=i
o Si,1 est un temps de sjour i d'esprance i < et Sj,1 , Sj,2 , . . . , des

temps de sjour j d'esprance j < , pour j = i, tous indpendants entre
eux et indpendants du nombre de visites j entre deux visites conscutives
i, reprsent par Nij , pour j = i. Le lemme de Wald garantit alors que
E(Si ) = i +
j E(Nij ).
j=i
Or,
E(Nij ) =
j
,
i
3.7 Exercices
180
d'aprs la remarque qui suit la dmonstration du thorme sur la distribution

stationnaire pour les chanes de Markov temps discret. De plus,
0 < E(Si ) +
< ,
i
car 0 < i < et i > 0, pour tout i 0.

Le thorme de renouvellement lmentaire donne alors que
E(Ni (t))
1
=
,
t
t
E(Si )
lim
o Ni (t) reprsente le nombre de visites i jusqu' l'instant t > 0 inclusivement.

D'autre part, le temps pass l'tat i 0 jusqu' l'instant t > 0 inclusivement satisfait
Si,1 + ... + Si,Ni (t)1 Wi (t) Si,1 + ... + Si,Ni (t) ,
o Si,1 , Si,2 , ... sont des temps de sjour i d'esprance i < , indpendants entre eux et indpendants de Ni (t). Le lemme de Wald mne alors aux
ingalits
i E(Ni (t) 1) E(Wi (t)) i E(Ni (t)).
On conclut que
lim
E(Wi (t))
i
=
,
t
E(Si )
ce qui donne le rsultat annonc en multipliant le numrateur et le dnominateur par i .
3.7 Exercices
1. Des voitures arrivent une barrire. Chaque voiture a une longueur
alatoire L ayant une fonction de rpartition F . La premire voiture

arrive et se stationne contre la barrire. Les voitures suivantes se stationnent les unes derrire les autres une distance qui est une variable
alatoire de loi uniforme sur [0, 2]. Soit Nx le nombre de voitures alignes une distance infrieure ou gale x de la barrire. Dterminer
la limite de l'esprance de Nx sur x lorsque x tend vers l'inni dans
les cas : (a) F (l) = 0 pour l < c et 1 pour l c ; (b) F (l) = 1 el/2
pour l > 0 et 0 ailleurs.
181
2. Supposons que le temps entre deux renouvellements conscutifs dans
un processus de renouvellement temps discret est 1 avec probabilit

1/4, 2 avec probabilit 1/4 et 3 avec probabilit 1/2. (a) Quelle est la
probabilit d'avoir un renouvellement l'instant n lorsque n tend vers
l'inni ? (b) Quelle est la fonction de masse du temps entre l'instant
n et l'instant du premier renouvellement aprs n (n exclu) lorsque n
tend vers l'inni ? (c) Quelle est la fonction de masse du temps entre
l'instant du dernier renouvellement avant n (n inclus) et l'instant du
premier renouvellement aprs n (n exclu) lorsque n tend vers l'inni ?
3. Supposons que chaque fois qu'un appareil cesse de fonctionner, il est
remplac par un appareil neuf. Le temps de fonctionnement d'un appareil neuf a comme fonction de densit f (x) = x2 +4x/3 pour 0 < x < 1
et 0 ailleurs. (a) Quel est le taux moyen de remplacement des appareils long terme ? (b) Combien de temps en moyenne un appareil en
opration un instant donn trs tard dans le futur va-t-il encore fonctionner ? (c) Quelle est la probabilit que l'appareil en (b) fonctionne
encore plus d'une demie unit de temps ?
4. Des particules arrivent un compteur selon un processus de Poisson
d'intensit 2. Le compteur a besoin d'un intervalle de temps de longueur xe 1/5 pour rcuprer aprs la dtection d'une particule. Pendant cette priode de rcupration, les particules arrivant au compteur
ne sont pas dtectes. Quelle est la proportion moyenne des particules
qui sont dtectes long terme ?
5. Un vendeur de drogue se tient au coin d'une rue. Les acheteurs se
prsentent selon un processus de Poisson d'intensit 12 par heure. Lorsqu'un acheteur tombe sur le vendeur, ils disparaissent tous les deux 5
minutes pour conclure la transaction, puis le vendeur retourne au coin
de la rue. Les acheteurs qui se prsentent durant l'absence du vendeur
passent leur chemin. Le montant moyen d'une transaction est de 50 dollars et elles sont toutes indpendantes. (a) Quel est le montant moyen
des transactions par heure long terme ? (b) Quelle est la probabilit
qu'un policier qui se prsente au coin de la rue tombe sur le vendeur ?
(c) Combien de temps en moyenne un policier qui commence surveiller le coin de la rue devra-t-il attendre avant d'tre tmoin d'une
rencontre entre un acheteur et le vendeur ?
6. Lorsqu'un appel est reu une bote vocale, un message enregistr
182
3.7 Exercices
d'une dure xe de 2 minutes est transmis. Tout autre appel est rejet durant cette priode. Le taux moyen de messages transmis long
terme est de 12 par heure. On suppose que les appels arrivent selon un
processus de Poisson. Dterminer : (a) le temps moyen entre le dbut
d'un message et le dbut du suivant ; (b) la proportion moyenne des
appels rejets long terme ; (c) le taux d'arrive des appels (accepts
ou rejets) ; (d) le nombre moyen d'appels rejets durant la transmission d'un message.
7. Sur une grande artre d'une ville, le stationnement est autoris pour
une priode de deux heures. Un employ de la ville passe sur cette

artre toutes les deux heures et il marque les vhicules qui y sont stationns l'aide d'une craie. Si le vhicule est dj marqu, l'employ
donne une contravention. Supposons qu'une personne stationne son
vhicule sur cette artre un instant au hasard pour une priode de
temps de loi uniforme entre 0 et 4 heures. Quelle est la probabilit que
cette personne obtienne une contravention ?
8. Des groupes constitus d'une, deux ou trois personnes avec les pro-
babilits 1/4, 1/2 et 1/4, respectivement, se prsentent au comptoir

d'un glacier selon un processus de Poisson d'intensit 20 par heure,
mais passent leur chemin si le glacier est occup. Les personnes sont
servies une la fois, indpendamment les unes des autres, et le temps
de service est de loi exponentielle d'esprance 1 minute. Calculer : (a)
la proportion de temps long terme que le glacier sera occup ; (b) le
temps moyen d'une priode de repos du glacier ; (c) le temps moyen
d'une priode d'occupation du glacier.
9. Considrons une assurance pour laquelle un nouvel assur doit payer

une prime un taux annuel de 500 dollars. Lorsqu'un assur n'a pas
fait de rclamation durant une priode de 2 annes conscutives, le
taux annuel de la prime diminue 300 dollars. Cependant, il revient
nouveau 500 dollars suite une rclamation. Si on suppose que
l'assur vit pour toujours et fait des rclamations selon un processus
Poisson d'intensit 1 par anne, calculer : (a) le montant moyen annuel
de la prime long terme ; (b) la proportion de temps long terme que
l'assur paie au taux de 500 dollars.
10. Des vnements surviennent selon un processus Poisson d'intensit
. Si un vnement survient moins de 1 unit de temps aprs l'vne-
183
ment prcdent, alors on dit que c'est un succs. Par exemple, si les
vnements surviennent aux temps 2 ; 2,8 ; 4 ; 6 ; 6,6 ; etc., alors les
vnements aux temps 2, 8 et 6, 6 sont des succs. (a) quel taux les
succs surviennent-ils long terme ? (b) Quelle est la proportion des
vnements qui sont des succs long terme ?
11. Un appareil qui cesse de fonctionner est ou bien remplac immdiatement par un appareil neuf avec probabilit 2/3 ou bien remis en
service aprs avoir t rpar avec probabilit 1/3. Le temps de rparation moyen est 1 et le temps de fonctionnement moyen est 2 ou 4
selon qu'il s'agisse d'un appareil rpar ou d'un appareil neuf. Quelle
est la proportion moyenne du temps long terme avec un appareil en
rparation ?

12. L'ampoule d'un lampadaire a un temps de vie en nombre d'annes
de loi exponentielle de paramtre 1. Quel est le taux moyen de remplacement long terme de l'ampoule : (a) si elle est remplace aussitt
qu'elle brle ; (b) si l'quipe d'entretien passe date xe une fois l'an
et remplace l'ampoule seulement si elle est brle. Dans ce dernier cas,
(c) quelle est la proportion moyenne de temps long terme avec une
ampoule brle ?
13. Un tudiant utilise des cartes prpayes pour son cellulaire qui lui
dure chacune un temps Si (en mois) de fonction de densit f (x) = 2x,

pour 0 < x < 1, et qu'il renouvelle juste avant qu'elle ne s'puise.
Dterminer : (a) le taux de remplacement moyen long terme de la
carte, et (b) la proportion moyenne de temps long terme avec une
carte qui sera puise dans moins d'un demi mois. Si on suppose maintenant qu'il oublie de renouveler avant l'puisement de la carte avec
probabilit 1/3 et qu'il prend dans ce cas un temps de loi uniforme sur
[0, 1] aprs son puisement pour la renouveler, dterminer : (c) le taux
moyen d'oubli de remplacer la carte long terme ; (d) la proportion
moyenne du temps long terme avec une carte puise ?
14. Un appareil fonctionne jusqu' ce qu'il reoive un deuxime choc,
la suite duquel il est remplac par un nouveau. Les chocs surviennent

selon un processus de Poisson d'intensit 1. Dterminer : (a) le taux
moyen de remplacement de l'appareil long terme ; (b) la proportion
184
moyenne de temps long terme avec un appareil en fonctionnement

ayant subi un choc ; (c) la densit asymptotique du temps de vie rsiduel de l'appareil en fonctionnement ; (d) l'esprance asymptotique
du temps de vie rsiduel de l'appareil en fonctionnement. Remarque :
L'esprance asymptotique peut tre calcule sans calculer la densit
asymptotique.
15. Une chane de Markov temps continu sur les tats 0, 1, 2, 3 a

comme gnrateur
3
1
2
0
1 3
2
0
.
A=
0
1 2
1
0
1
2 3
Dterminer : (a) la distribution stationnaire si elle existe ; (b) l'esprance du temps pour revenir 0 lorsqu'on quitte l'tat 0. Remarque : Il
y a deux faons de rpondre la question (b), une longue et une courte.
16. Un mdecin travaille dans une salle d'urgence. Il est appel en moyenne
une fois toutes les deux heures selon un processus de Poisson. S'il
s'coule plus de 36 minutes depuis le dernier appel, il s'endort et il ne
se rveille qu'au prochain appel. (a) Quelle est la fraction de temps
moyenne long terme que le mdecin dormira ? (b) Quelle est l'esprance d'une priode d'veil continu du mdecin ?
17. Des paires de joueurs de tennis se prsentent un centre sportif o il
y a deux courts selon un processus de Poisson d'intensit 2 par heure.

Ils utilisent un court s'il y en a un qui est disponible au moment de leur
arrive ou sinon ils attendent qu'un se libre mais seulement s'il n'y
pas dj de joueurs en attente. Dans l'autre cas, ils renoncent jouer.
Le temps d'utilisation d'un court par chaque paire de joueurs est de loi
exponentielle de moyenne une heure indpendamment de tout le reste.
Dterminer : (a) le gnrateur pour le nombre de paires de joueurs en
action ou en attente ; (b) le nombre moyen de courts utiliss long
terme ; (c) le temps moyen d'une priode d'utilisation continue d'au
moins un court.
18. Des clients se prsentent un comptoir de service selon un processus
de Poisson d'intensit 2, mais ils rebroussent chemin avec probabilit
185
1/2 si le serveur est occup. Il y a un seul serveur et le temps de service

est de loi exponentielle de paramtre . Le nombre de clients dans le
systme (en attente ou en train de se faire servir) est un processus de

naissance et de mort. Dterminer : (a) les taux de naissance et les taux
de mort ; (b) la condition ncessaire et susante sur pour l'existence
d'une distribution stationnaire ; (c) la distribution stationnaire lorsqu'elle existe ; (d) l'esprance du temps dans le systme d'un client qui
se prsente au comptoir de service l'tat stationnaire en supposant la
rgle du DERNIER ARRIV, PREMIER SERVI. Remarque : Vous ne
pouvez pas utiliser la formule de Little qui a t dduite sous d'autres
conditions.
19. Un hotel dispose d'une navette pour cueillir des clients l'aroport
qui arrivent selon un processus de Poisson d'intensit 6 par heure.

Lorsque 4 clients sont arrivs, la navette part pour l'hotel et elle est
de retour l'aroport aprs 30 minutes. Les clients qui arrivent durant
cette priode choisissent un autre hotel. Sur une longue priode de
temps, dterminer : (a) le taux moyen de dpart de la navette ; (b) la
probabilit que la navette ne soit pas l'aroport minuit ; (c) la probabilit qu'elle soit l'aroport minuit avec 3 clients prts partir ;
(d) l'esprance du temps du premier dpart de la navette aprs minuit.
20. On imagine trois catgories pour un assur : 0, 1, et 2. On augmente

d'une catgorie chaque accident jusqu'au maximum de 2, alors qu'on
diminue d'une catgorie aprs un an sans accident jusqu'au minimum
de 0. Les accidents surviennent selon un processus de Poisson d'intensit annuelle 1. Dterminer la proportion moyenne de temps long
terme dans chaque catgorie.
21. Des voitures se prsentent l'entre d'un stationnement intrieur se-
lon un processus de Poisson d'intensit 12 par heure. Un dtecteur photolectrique dclenche l'ouverture de la porte l'arrive d'une voiture
et celle-ci se referme aprs 1 minute s'il n'arrive pas d'autres voitures
entre-temps. Sinon, elle reste ouverte, et ne se referme que lorsqu'il
s'est coul 1 minute depuis l'arrive de la dernire voiture. Enn,
le temps de stationnement de chaque voiture est de loi exponentielle
d'esprance 1/4 d'heure, indpendamment de tous les autres et indpendamment du processus d'arrive, et la porte de sortie est dirente
de la porte d'arrive. Dterminer : (a) la distribution stationnaire pour
le nombre de voitures dans le stationnement ; (b) l'esprance du temps
186

d'une priode d'occupation continue du stationnement par au moins
une voiture ; (c) le taux moyen long terme d'ouverture de la porte
d'entre du stationnement.
22. Une station BIXI comporte N points d'ancrage de vlo. On suppose

que les usagers qui veulent utiliser un vlo et les usagers qui veulent
rapporter un vlo se prsentent selon des processus de Poisson d'intensit indpendants. Lorsqu'il n'y a aucun vlo disponible pour les
premiers ou aucun point d'ancrage disponible pour les seconds, ils vont
une autre station. Dterminer : (a) la distribution stationnaire (i )
pour le nombre de vlos la station ; (b) l'esprance m d'une priode
de temps continu avec au moins un vlo la station.
Introduction aux martingales
4.1 Dnitions et exemples

4.1.1 Dnition d'une martingale
Un processus temps discret est une martingale lorsque l'esprance du
changement d'un instant au suivant est nulle. C'est le cas notamment pour
l'avoir d'un joueur qui joue une srie de parties lorsque le jeu est quitable.
De faon analogue, le prix d'un actif nancier est dcrit par une martingale
sous l'hypothse que le jeu de l'ore et de la demande permet d'tablir un
prix juste tout moment sans certitude de gain ou de perte dans le futur.
Une suite de variables alatoires {Xn }n0 est une martingale si
E(Xn+1 |Xn = xn , . . . , X0 = x0 ) = xn ,
pour toutes valeurs possibles x0 , . . . , , xn . Cette esprance conditionnelle est

calcule partir de la fonction de masse ou de densit conditionnelle selon
que les variables sont discrtes ou continues, respectivement. La condition
ci-dessus est crite sous la forme
E(Xn+1 | Xn , . . . , X0 ) = Xn ,
pour tout n 0.
En supposant des variables alatoire discrtes, on vrie alors que
E(Xn+1 |Xn = xn , . . . , X0 = x0 )P r(Xn = xn , . . . , X0 = x0 )
E(Xn+1 ) =
xn ,...,x0
xn P r(Xn = xn , . . . , X0 = x0 )
xn ,...,x0
xn
xn
P r(Xn = xn , . . . , X0 = x0 )
xn1 ,...,x0
xn P r(Xn = xn )
xn
= E(Xn ),
pour tout n 0. Par induction, on conclut que

E(Xn ) = E(X0 ),
188
pour tout n 0. L'existence de l'esprance est sous-entendue dans la dnition de martingale.

On arrive aux mmes conclusions dans le cas de variables alatoires continues en remplaant la fonction de masse conjointe de Xn , . . . , X0 par la fonction de densit conjointe, et la somme par une intgrale.
4.1.2 Exemple : Marche alatoire symtrique

On considre une marche alatoire sur les entiers avec 0 comme point de
dpart. Plus prcisment, on dnit S0 = 0 et
Sn = 1 + + n ,
pour n 1, o
k =
1
avec probabilit 1/2,
1 avec probabilit 1/2,
indpendamment pour tout k 1. La variable alatoire Sn reprsente par

exemple le gain net d'un joueur qui mise 1 sur le cot face d'une pice de
monnaie quilibre, et ce n fois de faon indpendante, en doublant ou en
perdant la mise chaque fois selon qu'il gagne ou qu'il perd.
Ce qui est important dans l'expression de Sn est que les variables alatoires k pour k 1 sont indpendantes d'esprance 0. Cela garantit que
E(Sn+1 |Sn = sn , . . . , S0 = s0 ) = E(Sn + n+1 |Sn = sn , . . . , S0 = s0 )
= sn + E(n+1 )
= sn .
Donc, {Sn }n0 est une martingale, et par consquent E(Sn ) = E(S0 ) = 0.
4.1.3 Exemple : Prix juste d'une option d'achat

par
Le prix d'un actif nancier suite n 1 sances boursires est reprsent

Sn = S0 + 1 + + n ,
pour n 1, o k pour k 1 sont des variables alatoires indpendantes

et identiquement distribues d'esprance et de variance 2 . Comme dans
l'exemple prcdent, {Sn }n0 est une martingale si = 0, ce qu'on suppose
ici.
Ce modle additif est raisonnable si la priode considre est courte de
telle sorte que la variation sur toute la priode est petite par rapport la
189
valeur de l'actif et que le taux d'intrt sans risque (accord sur les bons du
trsor) qui tend augmenter la valeur de l'actif est ngligeable.
On se demande quel est le prix juste payer pour une option d'achat de
l'actif au prix actuel, mais aprs n sances. Le prix juste correspond l'esprance du gain. Ce gain est la dirence entre le prix de l'actif aprs n sances
et le prix actuel si cette dirence est positive, sinon il est nul. Autrement
dit, c'est la partie positive de la dirence, reprsente par (Sn S0 )+ . Pour
n assez grand, le thorme limite central permet d'obtenir l'approximation
E((Sn S0 )+ ) n
0
zez /2
dz =
2
n
.
2
4.1.4 Exemple : Modle de Wright-Fisher

Le modle de Wright-Fisher est le modle le plus important en gntique
des populations. On considre une population de taille constante N et on
suppose que les gnrations sont spares. De gnration en gnration, la
taille de la population reste la mme. Cependant, aucun des membres de
la gnration n 0 ne survit la gnration n + 1. Les N individus de la
gnration n + 1 sont obtenus en faisant des copies de N individus de la
gnration n tirs au hasard avec remise.
On suppose deux types possibles d'individus dans la population, A et B ,
et on reprsente le nombre d'individus de type A la gnration n par Xn ,
pour n 0. tant donn que Xn = xn , la probabilit qu'un individu tir au
hasard la gnration n soit de type A est xn /N . Sous cette condition, la
variable alatoire Xn+1 suit une loi binomiale de paramtres N et xn /N . On
obtient donc que
E(Xn+1 |Xn = xn , . . . , X0 = x0 ) = N xn /N = xn ,
qui est la valeur prise par Xn . Ainsi, {Xn }n0 est une martingale. En consquence, E(Xn ) = E(X0 ), qui est le nombre initial moyen d'individus de type
A dans la population.
4.1.5 Exemple : Processus de branchement

On suppose que chaque individu d'une population a un nombre d'enfants
indpendamment des autres, que ce nombre est de mme loi de probabilit
d'esprance m, que les gnrations sont spares et qu'il y a un seul individu
la gnration initiale (voir la gure 67).
190
Z0
Z1
Z2
Figure 67 Illustration d'un processus de branchement.

Le nombre d'individus la gnration n est dnot par Zn , pour n 0.
Le nombre d'individus la gnration n + 1 est reprsent par
Zn+1 = X1 + + XZn ,
o Xi pour i 1 sont indpendantes d'esprance m, et indpendantes de

Zn . Cette reprsentation garantit alors que
E(Zn+1 |Zn = zn , . . . , Z0 = 1) = mzn .
On a donc
E
zn
Z0
Zn+1 Zn
= n,..., 0 = 1
n+1 mn
m
m
m
mzn
zn
= n,
n+1
m
m
pour n 0. Donc, {Zn /mn }n0 est une martingale. Par consquent,
E
Zn
mn
=E
Z0
m0
= 1,
c'est--dire E(Zn ) = mn . Le mme rsultat a t obtenu directement la

section 1.4 du chapitre 1.
4.1.6 Martingale par rapport une suite de variables

Plus gnralement, un processus {Mn }n0 est une martingale par rapport une suite de variables alatoires {Sn }n0 si Mn dpend seulement de
S0 , . . . , Sn pour tout n 0, et
E(Mn+1 |Sn , . . . , S0 ) = Mn .
191
La variable Mn est en quelque sorte une fonction de S0 , . . . , Sn et sa valeur

est dtermine lorsque les valeurs prises par ces variables sont donnes. En
conditionnant sur ces valeurs, on vrie facilement comme pour une martingale par rapport elle-mme que
E(Mn+1 ) = E(Mn ) = E(M0 ),
pour tout n 0. Il est sous-entendu que E(Mn ) existe pour tout n 0.
4.1.7 Exemple : Marche alatoire asymtrique

On reprend la marche alatoire sur les entiers dnie par S0 = 0 et
Sn = 1 + + n , pour n 1, mais avec

k =
1
avec probabilit p,
1 avec probabilit 1 p,
pour p = 1/2, indpendamment pour k 1. Ici, Sn pour n 0 n'est pas une

martingale, car
E(Sn+1 |Sn = sn , . . . , S0 = s0 ) = sn + E(n+1 ) = sn + 2p 1 = sn ,
pour n 0.
On introduit maintenant
Mn =
1p
p
Sn
pour n 0, et on vrie qu'on obtient ainsi une martingale par rapport

{Sn }n0 . En eet, Mn est une fonction de Sn , et
E(Mn+1 | S0 , . . . , Sn ) = E
1p
p
1p
p
Sn
1p
p
1p
p
= Mn ,
Sn
pour n 0.
S0 , . . . , Sn
Sn
Sn +n+1
1p
p
1p
p
n+1
p+
1p
p
(1 p)
4.2 Martingale arrte
192

4.2.1 Temps d'arrt
Une variable alatoire valeurs entires non ngatives T est un temps
d'arrt par rapport une suite de variables alatoires {Sn }n0 si l'vnement
{T n} dpend seulement des variables alatoires S0 , . . . , Sn1 pour tout
n 1. Cela signie qu'on sait que l'vnement se ralise ou qu'il ne se ralise
pas si on connait les valeurs prises par ces variables. Autrement dit, on sait si
on continue ou non aprs l'instant n1 en connaissant l'histoire du processus
jusqu' cet instant.
4.2.2 Thorme d'arrt

Soient {Mn }n0 une martingale et T un temps d'arrt, par rapport
une mme suite de variables alatoires {Sn }n0 . On considre {MnT }n0 ,
o n T = min(n, T ), et on suppose ou bien que
P r(T < ) = 1
et
|MnT | K,
ou bien que
E(T ) <
et
|M(n+1)T MnT | K,
pour une constante K < , pour tout n 0. Alors,

E(MT ) = E(M0 ).
4.2.3 Exemple : Marche alatoire symtrique arrte

On s'intresse la probabilit qu'une marche alatoire symtrique sur les
entiers qui commence 0 atteigne une valeur donne a > 0 avant d'atteindre
une valeur donne b < 0. La gure 68 reprsente la situation.
Comme on l'a vu prcdemment, la marche alatoire reprsente par S0 = 0
et Sn = 1 + + n , pour n 1, o
i =
1
avec probabilit p = 1/2,
1 avec probabilit 1 p = 1/2,
193
n SnT
Sn
Figure 68 Marche alatoire sur les entiers avec arrt a ou b.

indpendamment pour i 1, est une martingale par rapport elle-mme.
On pose
T = min{n 0 : Sn = a ou Sn = b}.
C'est un temps d'arrt par rapport {Sn }n0 . En eet,
{T n} = {b < S0 , . . . , Sn1 < a}
dpend seulement de S0 , . . . , Sn1 , pour n 1. La suite {SnT }n0 est

donc une martingale arrte par rapport {Sn }n0 . En supposant les conditions du thorme d'arrt vries, cette martingale s'arrte a ou b avec
probabilit 1. De plus on a
0 = E(S0 ) = E(ST ) = apa + (b)(1 pa ),
o pa reprsente la probabilit qu'elle s'arrte a et 1 pa la probabilit

qu'elle s'arrte b. On obtient alors que
pa =
b
,
a+b
qui est la probabilit que la marche alatoire atteigne a avant b. Cela

correspond la probabilit de ruine d'un joueur B contre un joueur A qui
ont des avoirs initiaux b et a, respectivement, et des probabilits gales de
gagner chaque partie indpendamment des autres avec une mise de 1 de
chaque joueur sur chaque partie. Le mme rsultat a t obtenu au chapitre
1 par la mthode de conditionnement sur la premire transition.
194
Il reste vrier les conditions du thorme d'arrt. Pour tout n 0, on

a les ingalits
|SnT | max(a, b) < .
D'autre part,
P r(T a + b) = 1 P r(T < a + b)
1 pa+b ,
o pa+b est la probabilit qu'il y ait a + b hausses conscutives de 1. Ainsi,

P r(T n(a + b)) 1 pa+b
pour n 1, o p = 1/2. On en dduit que

P r(T = ) = lim P r(T n(a + b)) = 0.
n
Par consquent, T < avec probabilit 1.

En fait, E(T ) < . En eet,
(n+1)(a+b)1
P r(T k)
E(T ) =
P r(T k)
n0
k1
k=n(a+b)
(a + b)P r(T n(a + b))

n0
1 pa+b
(a + b)
n0
a+b
= a+b < .
p
4.2.4 Exemple : Marche alatoire asymtrique arrte

Dans cet exemple, il s'agit toujours d'une marche alatoire sur les entiers
dnie par S0 = 0 et Sn = 1 + + n , pour n 1, mais avec
i =
1
avec probabilit p = 1/2,
1 avec probabilit 1 p,
indpendamment pour i 1. Dans ce cas, la suite dnie par

Mn =
1p
p
Sn
195
pour n 0, est une martingale par rapport {Sn }n0 .

La variable alatoire dnie par
T = min{n 0 : Sn = a ou Sn = b},
est un temps d'arrt par rapport {Sn }n0 qui vrie P r(T < ) = 1 pour
les mmes raisons que prcdemment. De plus,
|MnT | max
1p
p
1p
p
< .
Le thorme d'arrt garantit alors que

1 = E(M0 ) = E(MT ) = pa
1p
p
+ (1 pa )
1p
p
o pa est la probabilit pour la marche alatoire d'atteindre a avant b. Dans

ce cas, on trouve que
1
pa =
1
1p
p
1p
p
a+b
Cela correspond ce qui a t trouv au chapitre 1 pour la probabilit de

ruine d'un joueur contre un autre de force ingale.
D'autre part, Dn = Sn n(2p 1) est aussi une martingale par rapport
{Sn }n0 . En eet,
E(Dn+1 |Sn , . . . , S0 ) = Dn + E(n+1 ) (2p 1) = Dn ,
pour n 0. De plus,
D(n+1)T DnT |Dn+1 Dn | = |n+1 (2p 1)| 2 < ,
pour tout n 0. Puisque T est un temps d'arrt qui satisfait E(T ) <
pour les mmes raisons que prcdemment, la remarque qui suit le thorme
d'arrt garantit que
E(DT ) = E(ST ) (2p 1)E(T ) = E(D0 ) = 0.
On en dduit que
E(T ) =
E(ST )
apa b(1 pa )
=
.
2p 1
2p 1
196
Remarque :
Dans le cas o p < 1/2, on dduit les rsultats suivants :
a
p
,
P r(Sn atteigne a) = lim pa =
b
1p
P r(Sn atteigne b) = lim (1 pa ) = 1,
a
E(temps pour Sn d'atteindre b) = lim E(T ) =

a
b
.
1 2p
Cette dernire limite correspond l'esprance du nombre de parties avant

la ruine d'un joueur qui emprunte b dollars pour jouer contre un adversaire inniment riche en doublant ou en perdant une mise de 1 dollars sur
chaque partie avec probabilit p ou 1 p, respectivement, indpendamment
des autres parties. L'explication pour cette limite est que le joueur perd en
moyenne 1 2p dollars sur chaque partie. Ce rsultat et les autres correspondent ce qui a t obtenu au chapitre 1 au sujet de la ruine du joueur
dans le cas o p < 1/2.
D'autre part, en appliquant la rgle de l'Hpital, on trouve que
lim pa =
p1/2
et
b
a+b
lim E(T ) = ab.
p1/2
Ces limites correspondent aux rsultats obtenus au chapitre 1 pour la ruine

du joueur dans le cas p = 1/2.
4.2.5 Exemple : Martingale classique de doubler la mise

La martingale classique dans une srie de jeux avec une chance sur deux
de gagner chaque partie (par exemple, noir ou rouge, pair ou impair, passe
ou manque, la roulette) consiste miser une unit sur le premier jeu puis
doubler la mise si on perd, et cela jusqu' ce qu'on gagne, la suite de
quoi on recommence. Par exemple, si le joueur mise sur le rouge et que le
noir sort trois fois de suite puis le rouge, alors les mises successives sur les
quatre premiers jeux sont
M1 = 1, M2 = 2, M3 = 4, M4 = 8,
197
et les gains nets suite ces jeux sont

W1 = 1, W2 = 3, W3 = 7, W4 = 1.
Cette stratgie semble tre toujours gagnante si on arrte de jouer aprs le

premier gain.
Le gain net aprs le jeu n 1 est donn par
W n = M1 1 + + M n n ,
o Mi reprsente la mise sur le jeu i 1 et

i =
1
1
si le rouge sort au jeu i, ce qui a probabilit p = 1/2,

si le noir sort au jeu i, ce qui a probabilit 1 p = 1/2,
pour i 1. Les variables alatoires i pour i 1, sont supposes indpendantes. D'autre part, la mise Mn sur le jeu n 1 dpend seulement
des variables 1 , . . . , n1 . La suite {Mn }n1 est alors une stratgie de mise
prvisible. Par consquent, la variable alatoire Wn dpend seulement de
1 , . . . , n pour tout n 1. De plus, on a
E(Wn+1 |1 , . . . , n ) = Wn + E(Mn+1 n+1 ) = Wn + Mn+1 E(n+1 ) = Wn ,
pour tout n 0, en dnissant W0 = 0. La suite {Wn }n0 est alors une

martingale par rapport {n }n1 . En particulier, on a E(Wn ) = E(W0 ) = 0
pour tout n 1, ce qui signie que le gain net moyen est nul si on arrte de
jouer n'importe quel instant x.
Le temps alatoire dni par
T = min{n 1 : Wn = 1}
est un temps d'arrt par rapport {n }n1 , puisque

{T n} = {W1 , . . . , Wn1 < 1}
dpend seulement de 1 , . . . , n1 , pour tout n 1. De plus, T = k avec

probabilit (1/2)k , pour tout k 1, d'o E(T ) = 2 < . D'autre part, on a
videmment WT = 1 avec probabilit 1, d'o
E(WT ) = 1 = 0 = E(W0 ).
Ici, le thorme d'arrt ne s'applique pas, car la mise est non majore. Si au
contraire elle ne peut pas dpasser 2N par limite de ressources ou de crdit,
de telle sorte qu'on doive se retirer si on atteint ce seuil, alors on a
T = min{n 1 : Wn = 1 ou Wn = 2N + 1}
198
comme temps d'arrt, auquel cas
WT =
1
2N + 1
avec probabilit 1 21 ,
N
avec probabilit 21 ,
N
d'o E(WT ) = 0, en accord avec le thorme d'arrt.
4.2.6 *Preuve du thorme d'arrt

Si {Mn }n0 est une martingale par rapport une suite de variables alatoires
{Sn }n0 et T est un temps d'arrt par rapport la mme suite, alors le
processus arrt {MnT }n0 , o n T =min(n, T ), est aussi une martingale
par rapport {Sn }n0 .
En eet, MnT , pour n 0, dpend seulement de S0 , . . . , Sn , puisque
c'est le cas des variables M0 , . . . , Mn et de l'vnement {T n}. De plus,
E(M(n+1)T |Sn = sn , . . . , S0 = s0 ) = E(Mn+1 |Sn = sn , . . . , S0 = s0 ) = mn ,
si T n + 1 et Mn = mn lorsque Sn = sn , . . . , S0 = s0 . D'autre part,

E(M(n+1)T |Sn = sn , . . . , S0 = s0 ) = mt ,
si T = t < n + 1 et MT = mt lorsque Sn = sn , . . . , S0 = s0 . Dans ce dernier

cas, le processus a atteint un tat de xation avant l'instant n + 1. Dans tous
les cas, on a
E(M(n+1)T |Sn = sn , . . . , S0 = s0 ) = MnT ,
pour tout n 0.
Puisque {MnT }n0 est une martingale par rapport {Sn }n0 , on a que
E(MnT ) = E(M0T ) = E(M0 ).
Sous les conditions que |MnT | K et P r(T < ) = 1, pour une constante
K < , pour tout n 0, on a que
|MT | = lim |MnT | K.
n
De plus,
|E(MT )E(MnT )| = |E(MT MnT )| E(|MT MnT |) 2KP r(T > n),
199
car
|MT MnT | |MT | + |MnT | 2K
si T > n, et 0 sinon. Or,

lim P r(T > n) = P r(T = ) = 1 P r(T < ) = 0.
On conclut que
E(MT ) = lim E(MnT ) = E(M0 ).
n
Sous les conditions alternatives que

E(T ) <
et
|M(n+1)T MnT | K,
pour une constante K < , pour tout n 0, on a que
|E(MT MnT )| = E
(M(k+1)T MkT )
kn
M(k+1)T MkT
E
kn
P r(T k),
kn
car
M(k+1)T MkT = 0,
lorsque T < k. Or, la somme droite de l'ingalit ci-dessus tend vers 0

lorsque n , car
P r(T k) < .
E(T ) =
k1
On conclut donc comme prcdemment.
200
4.3 Exercices
1. Une urne contient des boules rouges et des boules vertes. chaque
instant n, on tire une boule au hasard de l'urne et on la remet dans

l'urne en ajoutant une autre boule de la mme couleur que celle tire.
On dsigne par Xn la proportion de boules rouges dans l'urne cet
instant et on suppose qu'il y a une boule de chaque couleur dans l'urne
initialement. Montrer que Xn est une martingale.
2
2. Montrer que Sn n est une martingale par rapport Sn = 1 + ... +
n o les k sont des variables alatoires indpendantes qui prennent

les valeurs +1 ou 1 avec la mme probabilit 1/2. Utiliser alors le
thorme d'arrt des martingales pour dterminer l'esprance du temps

d'arrt
N = min{n : Sn = a ou b}.
3. On considre le problme de la ruine du joueur avec un avoir initial

S0 = 1 et un avoir aprs n parties pour n 1 donn par
Sn = S0 + 1 + ... + n ,
o k = 1 avec probabilit 1/3 et k = 1 avec probabilit 2/3, indpendamment pour k 1. On dnit

N = min{n 1 : Sn = 0 ou 4}.
(a) Montrer que 2Sn est une martingale par rapport n .

(b) Vrier que N est un temps d'arrt par rapport n .
(c) En utilisant le thorme d'arrt des martingales, dterminer la distribution de probabilit de SN .
(d) En utilisant le lemme de Wald, dterminer E(N ).

4. On considre une population de N organismes dans laquelle, chaque
unit de temps, un organisme choisi au hasard parmi les N existants
produit une copie identique lui-mme et cette copie remplace l'un des
N organismes existants choisi au hasard (c'est le modle de Moran en
gntique des populations). Le nombre d'organismes d'un type donn
201
A l'instant n, Xn , forme alors une chane de Markov dont la matrice
de transition est donne par

Pi,i1 = Pi,i+1 =
i(N i)
2i(N i)
, Pi,i = 1
,
N2
N2
pour i = 1, ..., N 1 et P0,0 = PN,N = 1. (a) Montrer que Xn est une

martingale. (b) Dterminer la probabilit que le type A disparaisse
ventuellement de la population tant donn qu'il a k reprsentants
initialement en utilisant le thorme d'arrt des martingales.
5. Un joueur mise une unit d'avoir sur chaque jeu d'une srie de jeux
identiques idpendants. Son gain net (gain brut en nombre entier d'units moins une unit de mise) sur chaque jeu est d'esprance =
1/2 < 0 et de variance 2 = 1 > 0, en plus d'tre major en valeur absolue par une constante K > 0. Le gain net aprs n 1 jeux
est donn par
Sn = 1 + . . . n ,
o i reprsente la gain net sur le i-ime jeu. On dnit S0 = 0. Soient

Mn = Sn n,
et
Wn = (Sn n)2 n 2 ,
pour tout n 0, et
T = min{n 1 : Sn = N },
pour un entier N 1. Aprs avoir montr que : (a) Mn et Wn , pour

n 0, sont des martingales par rapport Sn , pour n 0 ; et (b) T est
un temps d'arrt par rapport Sn , pour n 0 ; dterminer en utilisant
le thorme d'arrt : (c) l'esprance de T , reprsente par E(T ) ; et (d)
la variance de T , reprsente par V ar(T ). Vous pouvez supposer que
l'esprance et la variance de T sont nies et que les conditions du
thorme d'arrt sont satisfaites.
Introduction au mouvement brownien

5.1.1 Introduction
Le mouvement brownien dcrit le dplacement dans une direction d'une
particule en suspension dans un liquide, par exemple d'un grain de pollen
dans l'eau. Ce mouvement a une apparence trs saccade (voir la gure 70).
En eet, les collisions molculaires font en sorte que la trajectoire de la
particule change constamment de direction.
Bien que plusieurs aient imagin ou observ le mouvement brownien bien
avant Robert Brown, celui-ci est le premier, en 1827, publier la dcouverte
qu'il avait faite par des observations au microscope. En 1905, Albert Einstein
ore une description quantitative de ce mouvement, qui permet notamment
d'estimer la dimension des molcules, et plus tard de dnir le nombre d'Avogadro. Le mouvement dans n'importe quelle direction donne en fonction du
temps est aussi alors dcrit comme n'ayant pas de tangente en tout point.
Finalement, c'est Norbert Wiener qui dveloppe la thorie mathmatique
de ce mouvement en 1923, base sur les probabilits, et conrme que les
trajectoires de ce mouvement sont gnralement continues, mais nulle part
direntiables.
Le mouvement brownien est un processus stochastique temps continu
et espace d'tats continu. Il est le plus important dans cette catgorie et
il est aujourd'hui appliqu dans une multitude de domaines, notamment en
nance.
5.1.2 Dnition du mouvement brownien standard

Le mouvement brownien standard {B(t)}t0 est une suite de variables
alatoires continues dnies pour tout temps continu t 0 qui possde les
caractristiques suivantes :
(a) Initialement 0 : Le processus est l'tat 0 au temps t = 0, c'est--dire
que
B(0) = 0.
203
Figure 69 Reprsentation du mouvement brownien.

(b) Accroissements indpendants : Les accroissements sur des priodes de
temps disjointes sont indpendants. En particulier, l'accroissement sur
l'intervalle de temps (t, t + h] pour t, h > 0, soit B(t + h) B(t), est
indpendant de B(s) = B(s) B(0), pour 0 s t. Cela implique que
P r(B(t + h) a | B(s) = bs , 0 s t) = P r(B(t + h) B(t) a bt )
= P r(B(t + h) a | B(t) = bt ).
Le processus est donc markovien.

(c) Accroissements de loi normale d'esprance nulle et de variance gale au
temps coul : L'accroissement sur l'intervalle de temps (t, t + h] pour
t, h > 0 est donn par
B(t + h) B(t) N (0, h).
En particulier, cela implique que

E(B(t + h) | B(s), 0 s t) = B(t) + E(B(t + h) B(t)) = B(t).
Le processus est donc une martingale temps continu. De plus, la fonction de densit de la variable alatoire B(t) = B(t) B(0) est donne
par
pt (x) =
1 x2
e 2t ,
2t
204
pour < x < +, pour t > 0. Il est facile de vrier que cette
fonction est la solution de l'quation aux drives partielles
1 2
pt (x) =
pt (x) =
t
2 x2
x2
8t5
x2
8t3
e 2t ,
qui est l'quation de diusion d'Einstein.
5.1.3 Construction du mouvement brownien standard

i+1
probabilit
1
2
i1
probabilit
1
2
i
N
k1
N
k
N
BN (t)
n
N
t < n+1
N
Figure 70 Construction du mouvement brownien standard.

An de construire un mouvement brownien standard, on pose d'abord
une constante entire N 1. Initialement, on dnit BN (0) = 0. Par la
suite, les changements d'tat ont lieu aux instants de forme k/N pour k 1.
L'tat est alors ou bien augment de 1/ N ou bien diminu de 1/ N avec

probabilit 1/2 pour chaque cas, indpendamment des autres changements
(voir la gure 70). On dnit ainsi
1
BN (t) = (1 + + n ) =
N
n Sn
,
N n
o n = N t reprsente la partie entire de N t, et Sn = 1 + + n avec

k =
+1 avec probabilit 1/2,

1 avec probabilit 1/2,
indpendamment pour k 1. Puisque |t n/N | < 1/N , on a que

lim
n
= t.
N
205
2
D'autre part, comme E(k ) = 0 et V ar(k ) = E(k ) = 1, le thorme limite
central garantit que
lim P r
S
n x
n
y2
e 2
dy,
2
pour < x < +. On en dduit que

lim P r(BN (t) x) =
y2
e 2t
dy,
2t
pour < x < +. Cela qui signie que BN (t) tend en distribution vers
une variable alatoire de loi N(0, t) lorsque N .
Remarque 1 : Dans la construction ci-dessus du mouvement brownien
standard, il sut en fait que les variables alatoires k pour k 1 soient

indpendantes d'esprance 0 et de variance 1.
Remarque 2 : Comme le suggre la construction en escalier ci-dessus,
presque toutes les trajectoires du mouvement brownien standard sont conti

nues, car la hauteur des marches 1/ N est de plus en plus petite, mais elles
sont nulle part direntiables, car le rapport de la hauteur des marches sur
leur largeur donn par N est de plus en plus grand.
Remarque 3 : Le mouvement brownien standard sur tout intervalle [0, t]
pour t > 0 tant la limite d'une contraction d'une marche alatoire symtrique sur les entiers sur un intervalle de temps de plus en plus grand, et une
telle marche tant rcurrente, le nombre de visites 0 de ce mouvement de
l'instant 0 tout instant t > 0 est inni avec probabilit 1 !
5.1.4 Mouvement brownien avec drive et cart-type

Un mouvement brownien plus gnral est obtenu en dnissant
X(t) = t + B(t),
pour t 0, o {B(t)}t0 est un mouvement brownien standard, alors que

et > 0 sont des constantes. On remarque que
E(X(t)) = t + E(B(t) = t
et
V ar(X(t)) = 2 V ar(B(t)) = 2 t.
206
Les paramtres et > 0 sont appels respectivement la drive et l'carttype du processus.

Comme dans la section prcdente, on peut montrer que
Sn x ,
N
P r(X(t) x) = lim P r
N
pour < x < +, o

n
Sn =
k ,
k=1
et n = N t . Ici
k =
+1 avec probabilit p =
1
2
1+
1 avec probabilit 1 p =
1
2
pour k 1, sont des variables alatoires indpendantes. Leur esprance est

donne par
E(k ) =
N
et leur variance par

V ar(k ) = 1
2
,
2N
2
de telle sorte que E(k ) = 1.
Remarque : La plupart des proprits du mouvement brownien peuvent

tre obtenues partir de cette reprsentation et des rsultats sur la marche
alatoire sur les entiers prsents dans le chapitre 4. Ainsi, si < 0 et donc
p < 1/2, alors on a pour a, b > 0
P r(X(t) atteigne a) = lim P r(Sn atteigne a N /)

N
1+
= lim
N
2
= e2a/ ,
207
E(temps pour X(t) d'atteindre b)
= lim N 1 E(temps pour Sn d'atteindre b N /)

N
b N /(N )
= lim
N /( N )
b
= .
5.2 *Mouvement brownien gomtrique

Dans le domaine nancier, la valeur d'un actif au temps t 0 est reprsente par une variable
Y (t) = Y (0)eX(t) ,
o X(t) est un mouvement brownien avec drive et cart-type . Le processus Y (t) est alors un mouvement brownien gomtrique et le paramtre
est appel la volatilit.
La variable Y (t) est approche par la variable
YN (t) = Y (0)e
n
Sn
= Y (0)
k
N
k=1
o n = N t et k pour k 1 sont des variables alatoires indpendantes
telles que dnies dans la section prcdente. La variable e N k 1 reprsente

la variation en pourcentage de la valeur de l'actif de l'instant (k 1)/N
l'instant k/N , pour k 1.
L'hypothse de variations en pourcentage, indpendantes et identiquement distribues, qui mne un modle multiplicatif est plus raliste pour
un actif nancier que l'hypothse de variations additives qui ne dpendent
pas de la valeur. De plus, la valeur de l'actif est exprime en dollars du temps
0 pour liminer l'eet du taux d'intrt sans risque (gnralement le taux
d'intrt accord sur les bons du trsor).
Pour N assez grand, un dveloppement de Taylor autour de 0 donne
l'approximation
e
k
N
2 2
1 k +
.
=
2N k
N
Pour l'esprance, on a alors

E e
k
N
2
1
2
1 E(k ) +
E(k ) =
=
2N
N
N
2
2
208
La variation moyenne approximative en pourcentage est nulle lorsque +

2 /2 = 0. Cela suggre que c'est la condition pour avoir la neutralit, c'est-dire pour que le processus soit une martingale.
En eet, la valeur de l'actif au temps t + h pour t, h > 0 est donne par
Y (t + h) = Y (0)eX(t+h) = Y (t)eX(t+h)X(t) .
Son esprance conditionnelle sachant la valeur de l'actif Y (s) tout temps

s t, est donne par
E(Y (t + h)|Y (s), 0 s t) = Y (t)E(eh+(B(t+h)B(t)) |B(s), 0 s t)
= Y (t)eh E e(B(t+h)B(t))
= Y (t)eh(+
2 /2)
Ces galits utilisent le fait que B(t + h) B(t) est indpendante de B(s)
pour tout s t et de loi N(0, h). On remarque que
< Y (t) si + 2 /2 < 0,
E(Y (t + h)|Y (s), 0 s t) = Y (t) si + 2 /2 = 0,
> Y (t) si + 2 /2 > 0.
La tendance est donc la baisse, neutre ou la hausse selon que + 2 /2 est

plus petite, gale ou plus grande que 0. Dans le cas o + 2 /2 = 0, la suite
{Y (t)}t0 est une martingale. On fait souvent cette hypothse en supposant
un ajustement du march comme rsultat du jeu de l'ore et de la demande.
5.2.2 Exemple : Seuil d'exercice d'une option d'achat

Une option amricaine peut tre exerce en tout temps avant l'chance.
Ici on suppose qu'il n'y a pas d'chance.
On considre une option d'achat d'un actif un prix Y (0)A x qui
est exerce lorsque la valeur de l'actif atteint un certain niveau Y (0)a >
Y (0)A. Ce niveau est dterminer pour que le gain espr soit maximum.
On suppose que la valeur de l'actif, en dollars du temps 0, est dcrite par
un mouvement brownien gomtrique Y (t) = Y (0)eX(t) avec drive et
volatilit satisfaisant 2 /2 + < 0, de telle sorte que la tendance est la
baisse. C'est le cas, par exemple, lorsque = 1 et = 1.
209
On calcule d'abord
P r(Y (t) atteigne Y (0)a) = P r(X(t) atteigne log(a))
= e2log(a)/
= a2/ .
Ici, on a utilis la remarque de la section 5.1.4. Ainsi, le gain espr en

fonction de a est de la forme
2
G(a) = Y (0)(a A)a2/ + 0 1 a2/
La drive premire par rapport a est donne par

d
2
G(a) = Y (0)a2/ 1 a + (2/ 2 )(a A) .
da
La drive est nulle si et seulement si

a=
2A/ 2
.
1 + 2/ 2
Cela donne le point critique, en fait le point de maximum, car la drive

seconde est ngative sous la condition 2 /2 + < 0. Dans le cas = 1 et
= 1, par exemple, le point de maximum est a = 2A. On a cependant
suppos que le taux d'intrt sans risque est nul.
Avec un taux d'intrt sans risque r > 0, un dollars au temps 0 vaut ert
dollars au temps t 0. L'option doit alors tre exerce lorsque la valeur de
l'actif en dollars courants atteint Y (0)aert .
5.2.3 Formule de Black-Scholes

Une option europenne peut tre exerce seulement la date d'chance
xe. On s'intresse donc au prix juste payer au temps 0 pour une option
d'achat d'un actif exerce un temps t 0 x un prix Y (0)A x, en
dollars du temps 0. Ici, on suppose que la valeur de l'actif, en dollars du temps
0, est dcrite par un mouvement brownien gomtrique Y (t) avec drive
et volatilit satisfaisant 2 /2 + = 0, de telle sorte que la tendance est
neutre.
Ce prix juste correspond au gain espr donn par la formule de BlackScholes, soit
C(t) = E (Y (t) Y (0)A)+ = Y (0) t t A(t ) ,
210
o
(z) =
et
x2
1
e 2 dx
2
log(A) t
+
t =
.
2
t
Ici, on dnit
Y (t) Y (0)A si positif,
0
sinon.
(Y (t) Y (0)A)+ =
Pour tenir compte d'un taux d'intrt sans risque r > 0 par unit de temps,
on prend
A = Bert ,
o Y (0)B est le prix en dollars du temps t 0 x par l'option.
Dmonstration :
La dmonstration utilise simplement le fait que
Y (t) = Y (0)eX(t) ,
o X(t) est de loi N(t, 2 t) o = 2 /2. On a alors
E (eX(t) A)+ =
(ex A)
(xt)2
2 2 t
dx
2 2 t
z2
1
et+z t A e 2 dz,
2
log(A)
=
t
log(A) t
log(A) t
+
t =
=
.
2
t
t
Finalement, on obtient que

E (eX(t) A)+ = et+
2 t/2
t t
z2
1
e 2 dz A
2
z2
1
e 2 dz.
2
Cela donne le rsultat nonc, car t + 2 t/2 = 0 et la fonction (z) est

symtrique par rapport z = 0.
211
5.2.4 Exemple : Prix juste d'une option d'Apple

Le 13 mars 2012 l'action d'Apple (AAPL) vaut 568 dollars la cloture du
Nasdaq. Une option d'achat 600 dollars tre exerce le 15 juin 2012, soit
trois mois plus tard, est oerte au prix de 20 dollars. La volatilit historique
de l'action d'Apple est estime = 0, 20 par an. Cela implique notamment
que la variation de sa valeur sur une anne est d'au plus 20 % en plus ou
en moins avec probabilit d'environ 0,68. D'autre part le taux d'intrt sans
risque sur les bons du trsor amricains pour une priode de trois mois est
pratiquement nul, 0,08 %.
La formule de Black-Scholes donne alors
C(1/4) = 568 0, 2 1/4 1/4
o
1/4 =
log(600) log(568)
0, 2
1/4
600
(1/4 ) ,
568
0, 2 1/4
= 0, 65.
2
Finalement, on obtient que

C(1/4) = 568 [ (0, 55) 1, 06(0, 65)] = 9, 58.
C'est bien moins que les 20 dollars demands.
5.3 *Exercices
1. Dterminer la covariance entre B(s) et B(t), o B(t) pour t 0 dsigne un mouvement brownien standard.
2. En utilisant la formule de Black-Scholes, dterminer le prix juste d'une

option d'achat 50 dollars dans 6 mois sur une action qui en vaut
aujourd'hui 55 et dont la volatilit est estime 0,4 alors que le taux
d'intrt sans risque est de 5 pour-cent par an.
212
Bibliographie
Rfrences
[1] Durrett, R. Essentials of Stochastic Processes, Springer-Verlag, New
York, 1999, 289 pages.
[2] Foata, D., Fuchs, A. Processus stochastiques, Dunod, Paris, 2004, 236
pages.
[3] Freedman, D. A. Markov Chains, Springer-Verlag, New York, 1983, 382
pages.
[4] Grimmett, G., Stirzaker, D. Probability and Random Processes, Oxford
University Press, Third Edition, Oxford, 2001, 608 pages.
[5] Hein, J., Schierup, M. H., Wiuf, C. Gene Genealogies, Variation and
Evolution : A Primer in Coalescent Theory, Oxford University Press,
Oxford, 2005, 290 pages.
[6] Mehdi, J. Stochastic Models in Queuing Theory, Academic Press, Second Edition, San Diego, 2003, 450 pages.
[7] Rosenthal, J. S. A First Look at Rigorous Probability Theory, Second
Edition, World Scientic, Singapore, 2006, 219 pages.
[8] Ross, S. Introduction to Probability Models, Academic Press, Seventh
Edition, San Diego, 2000, 693 pages.
[9] Ross, S. Stochastic Processes, John Wiley and Sons, Second Edition,
New York, 1996, 510 pages.
[10] Ruegg, A. Processus stochastiques, Presses Polytechniques et Universitaires Romandes, Lausanne, 1989, 164 pages.
[11] Society of Actuaries, Past Exam Questions and Solutions, Archives, http ://www.soa.org/education/exam-req/syllabus-studymaterials/edu-multiple-choice-exam.aspx.
[12] Taylor, H. M., Karlin, S. An Introduction to Stochastic Modeling, Academic Press, Third Edition, San Diego, 1998, 631 pages.
[13] Taylor, H. M., Karlin, S. A First Course in Stochastic Processes, Academic Press, Second Edition, San Diego, 1975, 557 pages.
[14] Taylor, H. M., Karlin, S. A Second Course in Stochastic Processes, Academic Press, San Diego, 1981, 542 pages.
[15] Williams, D. Probability with Martingales, Cambridge University Press,
Cambridge, 1991, 251 pages.

ProcessusStochastiquesLessard2014 PDF

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

ProcessusStochastiquesLessard2014 PDF

Hochgeladen von

Copyright:

Verfügbare Formate

Sabin Lessard

Cours de processus stochastiques

c 2013 Sabin Lessard

Cours de processus stochastiques

passion dans le monde de l'enseignement ou de la recherche. C'est une source

Montral, 7 mai 2013

Table des matires

Table des matires

Cours de processus stochastiques

1.7.10 Exemple : Chane avec plusieurs classes d'tats . . .

2 Chanes de Markov temps continu

2.1 Description gnrale . . . . . . . . . . . . . . . . . . . . .

Table des matires

2.4.3 Processus de naissance de Yule . . . . . . . . . . . . .

3.1 Description gnrale . . . . . . . . . . . . . . . . . .

Cours de processus stochastiques

3.3.4 Processus de renouvellement stationnaire . . . . . . .

4 Introduction aux martingales

4.1 Dnitions et exemples . . . . . . . . . . . . . . . . . . . .

Table des matires

5 Introduction au mouvement brownien

5.1 Dnitions et exemples . . . . . . . . . . . . . . . . . .

Chanes de Markov temps discret

1 Chanes de Markov temps discret

Figure 1  Modle de diusion d'Ehrenfest.

La matrice P = (Pij ), avec l'entre Pij sur la ligne i et dans la colonne j ,

Question 1 : Il est intressant de savoir ce qui se passe long terme : la

probabilit de trouver j particules dans le compartiment A au temps n tant

pour j = 0, 1, . . . , m. En eet, par symtrie, chaque particule devrait avoir

Question 2 : Attention cependant la priodicit : le nombre de particules

Cette probabilit de transition du temps 0 au temps n ne converge pas,

Question 3 : En gnral on s'attend toujours ce que

Cette limite reprsente la proportion moyenne de temps long terme avec j

1{Xk =j} |X0 = i

en utilisant la variable alatoire indicatrice

Par la linarit de l'esprance, on obtient donc que

1 Chanes de Markov temps discret

reprsente le temps pass avec j particules dans le compartiment A de l'instant 0 l'instant n 1.

1.2.2 Modle de Wright-Fisher en gntique des populations

Question 1 : L'esprance du nombre de gnes de type A la gnration

Cette proprit, qui dcoule de la neutralit, garantit que Xn pour n 0

Question 2 : Les valeurs 0 et N pour Xn , qui correspondent l'extinction

de A et la xation de A, respectivement, sont des tats absorbants dans le

On peut se demander si ces tats sont ventuellement atteints avec certitude.

En supposant cette condition vrie, on peut se demander quelle est la

La conrmation de ce type de rsultats est l'un des objectifs du chapitre 1.

1.2.3 Systme de bonus-malus en assurance automobile

1 Chanes de Markov temps discret

initiale est 0 et elle ne peut pas descendre plus bas. Si Xn reprsente la

pour i 1. Le paramtre reprsente un taux de rclamations. Sa valeur

et d'identier la limite si elle existe. Cette limite j devrait correspondre la

1.2.4 Modle d'entretien en thorie de la abilit

pour tous les tats j, i, in1 , . . . , i0 et tout entier n 0. C'est la proprit

pour tous les tats i et j , est appele la matrice de transition.

la dernire galit tant obtenue par induction sur l'entier n 0, et ce pour

1.3.2 Matrice de transition en n pas

Pij = P r (Xn = j|X0 = i) ,

1 Chanes de Markov temps discret

Figure 2  Exemple de transitions du temps 0 au temps n.

Pij = P r (Xn+k = j|Xk = i) ,

pour tout k 0. De plus on a les proprits suivantes :

0 Pij 1 pour tout i, j .

Pij = 1 pour tout i.

4.1 Dnitions et exemples . . . . . . . . . . . . . . . . . . . .

5.1 Dnitions et exemples . . . . . . . . . . . . . . . . . .

Figure 1 Modle de diusion d'Ehrenfest.

pour j = 0, 1, . . . , m. En eet, par symtrie, chaque particule devrait avoir

de A et la xation de A, respectivement, sont des tats absorbants dans le

En supposant cette condition vrie, on peut se demander quelle est la

La conrmation de ce type de rsultats est l'un des objectifs du chapitre 1.

et d'identier la limite si elle existe. Cette limite j devrait correspondre la

1.2.4 Modle d'entretien en thorie de la abilit

Figure 2 Exemple de transitions du temps 0 au temps n.

Le cas n = 0 est trivial par dnition. La matrice de transition en n pas

Figure 3 Reprsentation de l'quation de Chapman-Kolmogorov.

Figure 4 Souris dans un labyrinthe.

avec u7 = 1 et u8 = 0. Ce systme se simplie en utilisant la condition de

Il est facile de vrier que c'est bien la solution du systme complet.

L'tat 3 qui correspond F F F marque la n du jeu. On dnit

pour i = 1, . . . , N 1, et P00 = PN N = 1. Cela signie que si l'avoir de A est

Figure 5 La ruine du joueur.

En remplaant k par N k et p par q , on peut vrier que la probabilit

c'est--dire, 1 = N 1. On dduit nalement que