MAT2717 – PROCESSUS STOCHASTIQUES

SOLUTIONS DU TP2

THOMAS DAVIGNON

Problème 1. Considérons la marche

Pn aléatoire simple sur Z, i.e. la chaı̂ne
de Markov Xn définie par Xn = i=1 Yi où les Yi sont une suite i.i.d. de
Bernoulli(1/2) à valeurs ±1.
(a) Combien existe-t-il de trajectoires de longueur 2n partant de 0 et finissant
en 0 ?
(b) Utiliser la question précédente pour calculer P {Xn = 0}.
(c) Utiliser la formule de Stirling
√  n n
n! ∼ 2πn
e
pour trouver E [R] où R est le nombre de retours en 0, i.e.
R = |{n ≥ 0 : Xn = 0}|
Solution. (a) Pour finir en 0 si on a commencé en 0, il faut que tous les pas
vers la droite aient été compensés par un pas vers la gauche. Il faut donc
avoir fait exactement n pas vers la droite et n pas vers la gauche. Il y a
précisément 2n


n
façons de se retrouver en 0 après 2n pas.
(b) Toutes les trajectoires sont équi-probables. Pour vous en convaincre, com-
mencez par observer que, partant d’une trajectoir, si vous la copez au
kième pas, et qu’à partir du kième pas, vous réfléchissez tous les pas
subséquents, la trajectoire obtenue doit être équiprobable à la trajectoire
de départ. En effet, jusqu’au kième pas, elles sont identique. Puis, à par-
tir du kième pas, elles sont des images mirroir l’une de l’autre. Donc,
par symmétrie, elles doivent être équiprobables. En appliquant de telles
réflexions successivement, on peut, à partir de la trajectoire linéaire ascen-
dante (1, 2, 3, . . . , 2n), obtenir n’importe quelle trajectoire-cible. Il suffit
de faire des réflexions à chaque temps où la trajectoire cible change de
direction. Vous pouvez vous imaginer que vous pliez graduellement un
cure-pipe pour qu’il adopte le profil désiré. Résultat : si à chaque réflexion
effectuée, la trajectoire a une probabilité égale à la trajectoire précédente,
et qu’on peut obtenir toutes les trajectoires en partant d’une seule et en lui
Date: 25 janvier 2018.
1
2 THOMAS DAVIGNON

appliquant des réflexions successives, alors toutes les trajectoires doivent

être équiprobables. On a donc
2n


n
P {X2n = 0} =
4n
2n
puisqu’il y a 2 trajectoires possibles à 2n pas. Bien entendu, cela n’est
pas la peine de calculer cette probabilité pour les longueurs impaires – il
est impossible d’arriver à 0 avec des longueurs impaires.
(c) Ici, ça devient amusant ! On peut écrire R comme une somme qui ajoute
1 chaque fois qu’on visite 0.
∞
1{X2n = 0}
X
R=
n=0
Ainsi, par le théorème de convergence monotone,
∞
X
E [R] = P {X2i = 0}
n=0
Maintenant, on va montrer que cette série diverge. C’est relativement
simple. Pour tout ε > 0, il existe N tel que n > N entraı̂ne
√  n n
(1 − ε)n! ≤ 2πn ≤ (1 + ε)n!
e
. On a donc, pour une certaine constante Cε ,
X 2n


X (2n)!
n
=
n≥N
4n n≥N
4n (n!)2
√
X 4πn 2n 2n


e
≥ Cε
n 2πn n 2n


n≥N 4 e
X 1
= Cε √
n≥N
πn

Autrement dit, la série pour E [R] diverge, et E [R] = ∞.

Problème 2. On considère la marche aléatoire simple Zn sur Z2 , qui se

déplace vers l’un de ses quatre voisins les plus proches avec probabilité 1/4 à
chaque pas.
(a) Si on écrit Zn = (Xn , Yn )ppour les coordonnées de la marche au temps
n, et qu’on calcule Dn = Xn2 + Yn2 la distance à l’origine au temps n,
s’agit-il d’une chaı̂ne de Markov ?
(b) Qu’en est-il de la marche aléatoire sur Z ?
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP2 3

Solution. (a) Non. C’est subtil, mais voilà : On va noter A = {(x, y) ∈ Z2 :

xy = 0} l’ensemble des points qui sont soit sur l’axe des x ou sur l’axe
des y. Alors, si on fixe L > 1
P {Dn+1 ∈ A | Dn = L, Dn−1 = L − 1} = 1/2 6= P {Dn+1 ∈ A | Dn = L}
Donc, non. Dn n’est pas une chaı̂ne de Markov.
(b) Cette fois-ci, oui. On a que P {Dn+1 = k ± 1|Dn = k} = 12 pour tout k ≥ 1,
et P {Dn+1 = 1|Dn = 0} = 1. Si on sait où on est au temps n, peu importe
où on était avant, les probabilités de transitions sont celles-là.

Problème 3. On considère la marche aléatoire simple Xn sur Z, et on note

τ = inf{n ≥ 0 : |Xn | = 5} le premier moment où la marche touche −5 ou 5.
(a) Montrer que P {τ ≤ 5|X0 = x} ≥ 2−5 pour tout x ∈ [−5, 5].
(b) En déduire que P τ ≥ 5k |X0 = x ≤ (1 − 2−5 )k pour tout k.


Solution. (a) Il existe toujours au moins un chemin partant de x qui sort en

moins de 5 pas, puisque x est entre −5 et 5, au pire, cinq pas à droite
ou bien cinq pas à gauche font toujours l’affaire. Et une trajectoire qui
commence par cinq pas dans une ou l’autre direction a probabilité 2−5 .
Donc, peu importe d’où on part, on a toujours probabilité 2−5 au moins
de sortir en moins de 5 pas.
(b) On le montre par induction. Pour k = 1, c’est facile ; ça découle directe-
ment du résultat précédent. Supposons que c’est vrai pour k = n. Alors
qu’arrive-t-il quand k = n + 1 ?
P {τ ≥ 5(n + 1)|X0 = x} = P {τ ≥ 5(n + 1)|X0 = x, τ ≥ 5n} P {τ ≥ 5n|X0 = x}
≤ P {τ ≥ 5|X0 = x} P {τ ≥ 5n|X0 = x}

Pour passer à la seconde ligne, on a simplement remarqué que, par la

propriété de Markov, sachant qu’on n’est toujours pas sortis de la boı̂te
[−5, 5] au temps 5n, on est quelque part là dedans. Et alors, la probabilité
qu’on sorte en 5(n + 1) pas, c’est comme si on recommencait au temps
5n de n’importe où, et qu’on se demandait la probabilité de sortir en
5 pas. Finalement, on remplace le premier facteur grace à la question
précédente, et le second grâce à l’hypothèse d’induction. On a alors prouvé
le résultat. 
4 THOMAS DAVIGNON

Problème 4. Considérons une marche aléatoire simple sur Z qui peut rester
sur place, i.e. la chaı̂ne de Markov
n
X
Xn = Yi
i=1

où les Yi sont une suite i.i.d. avec P {Yi = 0} = r et P {Yi = ±1} = p, 2p + r =
1.
Notons τ = min{n ≥ 0 : Xn = 0 ou Xn = N }
(a) Calculer P {Xτ = N |X0 = A}
(b) Calculer E [τ |X0 = A]
Solution. (a) Pour A ∈ {1, . . . , N − 1}, on conditionne par le premier pas.
P {Xτ = N |X0 = A} = E [P {Xτ = N |X0 = A, X1 }]
1
X
= P {Xτ = N |X0 = A, X1 = A + i} P {X1 = A + i|X0 = A}
i=−1
= rP {Xτ = N |X0 = A} + p(P {Xτ = N |X0 = A + 1}
+ P {Xτ = N |X0 = A − 1})

On va alléger la notation en écrivant P {Xτ = N |X0 = n} = pn pour

n ∈ {0, . . . , N }. Dans ce contexte, évidemment, l’équation obtenue plutôt
nous donne la relation de récurrence suivante :
p 1
pn = (pn+1 + pn−1 ) = (pn+1 + pn−1 )
1−r 2
On multiplie les deux côtés par 2. On obtient alors
(pn − pn−1 ) − (pn+1 − pn ) = 0
soit que la différence de termes consécutifs reste constante ! si on pose
p1 = a,
PNalors pn+1 − pn = a pour tout n ≤ N − 1 ! En particulier, 1 =
−1
pN = n=0 (pn+1 − pn ) = N a, d’où p1 = N1 et, en général,
n
pn =
N
Ou, pour revenir à notre notation première,
A
P {Xτ = N |X0 = A} =
N
(b) On va refaire le même genre de manège. On commence par conditionner
sur le premier pas.
E [τ |X0 = A] = E [E [τ |X0 = A, X1 ]]
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP2 5

1
X
= E [τ |X0 = A, X1 = A + i] P {X1 = A + i | X0 = A}
i=−1
= r(1 + E [τ |X0 = A]) + p (1 + E [τ |X0 = A + 1] + 1 + E [τ |X0 = A − 1])

La troisième égalité tient au fait qu’en général, E [τ |X1 = x] = 1+E [τ |X0 = x],
ce qui reflète le fait que si on sait qu’on a déja fait un pas, le temps moyen
sera 1 plus le temps moyen si on commençait une marche à cet endroit.
Bien sûr, ceci n’est valide que pour A = 1, . . . , N − 1. On a évidemment
que E [τ |X0 = 0] = 0 = E [τ |X0 = N ]. On allège encore une fois la no-
tation en écrivant µn = E [τ |X0 = n]. On découvre alors la relation de
récurrence suivante :
µn (1 − r) − p(µn+1 + µn−1 ) = r + 2p = 1
En divisant par p des deux côtés, on trouve finalement
1
(µn+1 − µn) − (µn − µn−1 ) = −
p
On suppose, encore une fois, µ1 = a. On note ∆µn := µn+1 − µn . Ainsi,
∆µn = ∆µn−1 − p1 et, de façon générale, puisqu’on a choisi ∆µ0 = a, on
aura ∆µn = a − np
Bien sûr, µn = n−1
P Pn−1 k
k=0 ∆µk = k=0 (a − p ) d’où l’on trouve

1 n(n − 1)
µn = na −
p 2
On veut µN = 0, ce qui signifie N a = p1 N (N2−1) , donc a = N −1
2p
. On a
donc finalement
1
µn = n(N − n)
2p
Ou, pour reprendre la notation initiale,
1
E [τ |X0 = A] = A(N − A)
2p
On remarque que l’intuition est respectée : l’expression est symmétrique
autour de N/2. De plus, 2p = 1 − r. Plus la probabilité de rester sur place
est élevée, plus 2p est petit, et plus l’espérance du temps moyen pour
sortir sera grande.