Sie sind auf Seite 1von 3

Master 2 Agrégation - Module ”Chaı̂nes de Markov”

Partiel du 8 janvier

Notes de cours autorisées. Appareils électroniques interdits. Barême indicatif : 15-5.

Problème. Soit {pn , n ≥ 0} une suite à valeurs dans ]0, 1[. On considère la chaı̂ne
de Markov {Xn , n ≥ 0} à valeurs dans N dont la matrice de transition est donnée par

··· ···
 
q0 p0 0 0 0

 q1 0 p1 0 ··· 0 ··· 

 q2 0 0 p2 ··· 0 ··· 
P = 
 .. .. .. .. ..

 . . . . . 0 ··· 

qn 0 0 0 · · · pn ··· 
 

.. .. .. .. .. .. ..
. . . . . . .

avec qn = 1 − pn pour tout n. On a donc

Pij = Pi [X1 = j] = P[X1 = j | X0 = i] = P[Xn+1 = j | Xn = i]


Q∞ Qk−1
pour tous i, j, n ≥ 0. On pose β0 = 1, β∞ = i=0 pi et βk = i=0 pi pour tout k ≥ 1.

(a) Montrer que pour tout i, j ≥ 0 il existe n0 ≥ 1 tel que Pnij > 0 pour tout n ≥ n0 .
En déduire que la chaı̂ne {Xn , n ≥ 0} est irréductible et apériodique.
(b) On note τj = inf{n ≥ 1, Xn = j} le temps d’atteinte de l’état j ≥ 0. Montrer que
pour tout i, k ≥ 0 on a
βi+k
Pi [τ0 > k] = ·
βi
En déduire une condition nécessaire et suffisante sur β∞ pour que {Xn , n ≥ 0} soit
récurrente, et une condition nécessaire et suffisante sur {βk , k ≥ 1} pour qu’elle soit
récurrente positive.

(c) On suppose que {Xn , n ≥ 0} est récurrente positive. Calculer l’unique probabilité
invariante π, solution de πP = π.

(d) Montrer que pour tout i > 0 on a P0 [τi < i] = 0, P0 [τi = i] = βi et


i
X
P0 [τi = k] = P0 [τ0 = n]P0 [τi = k − n]
n=1

pour tout k > i.

(e) On suppose que {Xn , n ≥ 0} est récurrente. On pose m(i, j) = Ei [τj ].

1
• Montrer que pour tout i ≥ 0 on a
1 X
m(i, 0) = βk+i .
βi k≥0

• Montrer que pour tout n ≥ 1 on a P0 [τ0 = n] = βn−1 qn−1 et en déduire par (d)
que pour tout i > 0 on a
i−1
X i−1
X
m(i, 0) = iβi + (n + 1)qn βn + m(0, i) q n βn .
n=0 n=0

• En utilisant la transformation d’Abel, montrer alors que


i−1
1 X
m(i, 0) = βn .
βi n=0

• Etablir les égalités m(i, j) = m(0, j) + m(i, 0) pour tout i ≥ j > 0 et m(i, j) =
m(0, j) − m(0, i) pour tout j > i > 0. En déduire une formule générale pour
m(i, j) pour tout i, j ≥ 0 et retrouver l’expression de m(i, i) déjà obtenue en (c).

(f) Montrer que Pi [τj = k] = 0 pour tout i ≥ j ≥ k > 0 et


k
X
Pi [τj = k] = Pi [τ0 = n]P0 [τj = k − n]
n=1

pour tout k > j et i ≥ j > 0.

(g) On suppose que {Xn , n ≥ 0} est transitoire. On pose n(i, j) = Pi [τj < +∞].

• En utilisant le (f), montrer que pour tout i ≥ j > 0 on a n(i, j) = n(i, 0)n(0, j).

• On suppose maintenant j > i ≥ 0. Montrer que

{τj = +∞} ⊂ {N0 + · · · + Nj−1 = +∞} Pi p.s.


P
avec la notation Nk = n≥0 1{Xn =k} . En déduire n(i, j) = 1.

• Montrer enfin que


β∞
n(i, j) = 1 −
βi
pour tout i ≥ j ≥ 0.

2
Exercice. Soit E = {1, . . . , N } un espace fini et P une matrice stochastique sur
E × E. On rappelle que Pij ≥ 0 et que
N
X
Pij = 1
j=1

pour tout i = 1, . . . , N. On se propose de donner deux démonstrations de l’existence


d’une probabilité invariante π pour P.

Preuve topologique :

• Identifier l’espace P(E) des probabilités sur E à un ensemble fermé borné de RN


et le munir de la topologie de RN (convergence composante par composante).

• Soit µ0 ∈ P(E). Montrer que


1
µn = (µ0 + µ0 P + · · · + µ0 Pn ) ∈ P(E)
n+1
pour tout n ≥ 1. Montrer qu’il existe une suite {µnk } extraite de {µn } conver-
gente dans P(E) et noter µ sa limite.

• Montrer que µP = µ.

Preuve algébrique :

• Montrer que 1 est valeur propre de P et en déduire l’existence d’un vecteur


m = (m1 , . . . , mN ) ∈ RN non nul tel que mP = m.

• Montrer que |m|P = |m|, où |m| désigne le vecteur (|m1 |, . . . , |mN |).

• Conclure.

Das könnte Ihnen auch gefallen