MIDO M1 MMD Universit Paris-Dauphine 09/10

Contrle des Chanes de Markov [v.1 20091119]

Partiel
[Dure une heure et demi. Aucun document nest autoris. Tous les exercices sont independantes.
Seule les reponses soigneusement justifies seront prise en compte.]

Exercice 1. Soient T , S des temps darrt pour une ltration (Fn)n
0.

a) Montrer que U = min (T , S) est un temps darrt .
b) Montrer que si S()
T () pour tout alors FS FT .
Exercice 2. Soit (Xn)n
1 une suite iid valeurs dans R et g() = E[eX1] < + pour tout
R. Soit (Fn)n
0 la ltration naturelle de la suite (Xn)n
1 (c--d F0 = {, }, Fn = (X1, , Xn)
pour n  1) et soit S0 = 0, Sn = X1 +
+ Xn la marche alatoire engendre par les (Xn)n
1.
a) Montrer que pour tout t.a. T born associ la ltration naturelle on a que

E[eSTg()T ] = 1, R.

b) Soit a < 0 < b et T = inf {n > 0: Sn(a, b)}. Utiliser le rsultat de la question a) pour mon-

trer que si est tel que g() = 1 alors P(ST
a)
ea.
c) Soit Xk = 1 avec probabilit p et Xk = 1 avec probabilit q = 1 p et p > 1/2. Soit T =
inf {n > 0: Sn = 1}. On suppose que P(T < + ) = 1. Montrer que

1 = eE[g() T ]

pour tout > 0 et utiliser cet quation pour obtenir la fonction gnratrice de T (s) =
E[sT ] pour |s| < 1.
Exercice 3. Une chane de Markov contrle (Xn)n
0 valeurs dans R volue selon la rcur-
rence alatoire contrle
Xn+1 = Xn + Un + n+1

o Un = un(Xk , , Xn), u un contrle valeurs dans R et o (n)n
1 est une suite des v.a. iid
de moyenne nulle et variance 2>0. On se xe un horizon ni T > 0 et une constante ]0, 1[.
On veut trouver un contrle u qui minimise le cot moyen (actualis)


T 1
WTu(t, x) = Eu(t,x)[ ktC(Xk , Uk) + T tR(XT )]
k=t

o C(x, u) = u2 + a x2)/2 et R(x) = a0x2/2 + b0 avec a, a0, b0 constantes xes.
a) Montrer que la fonction WT (t, x) = infuCt WTu(t, x) satisfait lquation

WT (t, x) = inf {c(x, u) + E[WT (t + 1, x + u + 1)]}.

uR

1
b) Montrer par rcurrence rtrograde que WT (t) est de la forme WT (t) = 2 aT tx2 + bT t
avec (a j ) j
0 et (bj ) j
0 des constantes dterminer.
c) Montrer que le contrle optimal u est Markovien et tel que ut (x) = kT t x pour une cer-
taine suite (k j ) j
0 de constantes.
d) Calculer les constantes a j , bj , k j pour j  0.