Beruflich Dokumente
Kultur Dokumente
Partiel du 8 janvier
Problème. Soit {pn , n ≥ 0} une suite à valeurs dans ]0, 1[. On considère la chaı̂ne
de Markov {Xn , n ≥ 0} à valeurs dans N dont la matrice de transition est donnée par
··· ···
q0 p0 0 0 0
q1 0 p1 0 ··· 0 ···
q2 0 0 p2 ··· 0 ···
P =
.. .. .. .. ..
. . . . . 0 ···
qn 0 0 0 · · · pn ···
.. .. .. .. .. .. ..
. . . . . . .
(a) Montrer que pour tout i, j ≥ 0 il existe n0 ≥ 1 tel que Pnij > 0 pour tout n ≥ n0 .
En déduire que la chaı̂ne {Xn , n ≥ 0} est irréductible et apériodique.
(b) On note τj = inf{n ≥ 1, Xn = j} le temps d’atteinte de l’état j ≥ 0. Montrer que
pour tout i, k ≥ 0 on a
βi+k
Pi [τ0 > k] = ·
βi
En déduire une condition nécessaire et suffisante sur β∞ pour que {Xn , n ≥ 0} soit
récurrente, et une condition nécessaire et suffisante sur {βk , k ≥ 1} pour qu’elle soit
récurrente positive.
(c) On suppose que {Xn , n ≥ 0} est récurrente positive. Calculer l’unique probabilité
invariante π, solution de πP = π.
1
• Montrer que pour tout i ≥ 0 on a
1 X
m(i, 0) = βk+i .
βi k≥0
• Montrer que pour tout n ≥ 1 on a P0 [τ0 = n] = βn−1 qn−1 et en déduire par (d)
que pour tout i > 0 on a
i−1
X i−1
X
m(i, 0) = iβi + (n + 1)qn βn + m(0, i) q n βn .
n=0 n=0
• Etablir les égalités m(i, j) = m(0, j) + m(i, 0) pour tout i ≥ j > 0 et m(i, j) =
m(0, j) − m(0, i) pour tout j > i > 0. En déduire une formule générale pour
m(i, j) pour tout i, j ≥ 0 et retrouver l’expression de m(i, i) déjà obtenue en (c).
(g) On suppose que {Xn , n ≥ 0} est transitoire. On pose n(i, j) = Pi [τj < +∞].
• En utilisant le (f), montrer que pour tout i ≥ j > 0 on a n(i, j) = n(i, 0)n(0, j).
2
Exercice. Soit E = {1, . . . , N } un espace fini et P une matrice stochastique sur
E × E. On rappelle que Pij ≥ 0 et que
N
X
Pij = 1
j=1
Preuve topologique :
• Montrer que µP = µ.
Preuve algébrique :
• Montrer que |m|P = |m|, où |m| désigne le vecteur (|m1 |, . . . , |mN |).
• Conclure.