Tarea de Procesos Estocasticos

Estefania Vargas Gomez

April 19, 2015
14.2 Encuentre las clases comunicantes de la CM con espacio de estados
S=(1,...,5) y matriz de transicion:

#
0

0
#

0
#
0
#
0

0 0 #
0 # 0

1 0 0

# # #
0 0 #

en donde # representa n
umeros positivos.Diga que clases son cerradas.
Solucion
Clases comunicantes: {1, 5} , {2, 4}, {3}
Clases cerradas : {3}, {1, 5}
14.3 Si y es un estado transitorio, entonces (por el lema 14.6(d))
V (x, y) < para todo x S De este hecho deduzca que si y es transitorio entonces

lim Pn (x, y) = 0 x S .

Solucion
Sabemos que

X
V (x, y) =
Pn (x, y)
n=1

n > 1Pn (x, y) =

y fxy =

n
X

f xy(k)Pnk (y, y)

k=1

fxy (k)

k=1

Asi
lim Pn (x, y)

X
n
X

n=1 k=1
X

fxy (k)Pnk (y, y)

k=1 n=k

X
X

=
//m = n k//

fxy (k)Pnk (y, y)

fxy (k)Pnk (y, y)

k=1 nk=0
X

fxy (k)Pm (y, y)

k=1 m=0

k=1

m=0

fxy (k)

= f( xy)

!
Pm (y, y)

Pm (y, y) 6

m=0

Pm (y, y) 6

k=0

Donde
lim Pn (xy) = f( xy)

Pm (y, y) = 0

m=0

al ser y transitorio entonces

Pm (y, y) < 1

m=0

14.5 Demuestre que en una CM irreducible y recurrente,

P (Ty < ) = 1 para todo estado y.
Demostracion
Cuando una cadena es irreducible y algun estado es recurrente, todos los
estados lo son por lo tanto la cadena es recurrente
Entonces como en la cadena cualquier estado y es recurretne por el teoprema 14.5
(a1 ) (a2 )
y es recurrente entonces f (y, y) = Py (Ty < ) = 1
14.6 Se dice que una CM es transitoria si todos sus estados son transitorios. (Por ejemplo, la CM Xn+1 = Xn + 1 con espacio de estados S=(0,1,...)es transitoria).Demuestre que una CM con espacio de estados finito no puede ser transitoira, es decir tiene al menos un estado
recurrente.(Sugerencia : suponga que la CM es transitoria y use el Ejercicio 3.)
Demostracion Sea P una CM transitoria, entonces para cualesquiera estados x ,y se cumple

X
n=1

Pn (x, y)

Pn (x, y) < la suma es finita

n=1

ya que todos sus estados son transitorios

Sumnado sobre el conjunto finito de todos los posibles estados tenemos
que

XX

Pn (x, y) <

y n=1

Si intercambiamos el orden de las sumas notamos que

X
X

Pn (x, y) =

n=1 y

1=

n=1

lo cual es una contradiccion, por lo tanto debe de existir por lo menos un

estado recurrente
14.10 Considerese una CM con espacio de estados S = (0, 1, ...) y probabilidades de transici
on P = (x, x + 1) = p (para alg
un 0 < p < 1) y
P (x, 0) = 1 p
(a)Demuestre que la CM es irreducible.
(b)Encuentre P0 (T0 = n) para todo n > 1.
(c)Demuestre que la CM es recurrente.
(d)Diga si la CM es recurrente positova o recurrente nula- demuestre que
su respuesta es correcta.
Solucion para (a)

1p p 0
1 p 0 p

p = 1 p 0 0
1 p 0 0

..
.
0 0

0
0
p
0

...
0

...

Observamos mediante la matriz que cualquier estado x se comunica con el

estado x + 1 y tambien que cualquier estado x se comunica con el estado
0.Como todos los estados se comunican entre si i.e S es la u
nica clase
comunicante. Por lo tanto S=(0,1,...).
Solucion para (b)
usando Px (Ty = n) =

P (x, z)Pz (Ty = n 1)

z6=y

P0 (T0 = n) =?
para n = 1 P0 (T0 = 1) = P (0, 0) = 1 p
para n > 2
X
P0 (T0 = n) =
P (0, z)Pz (T0 = n 1) = P (0, 1)P1 (T0 = n 1) +
z6=0

P (0, 2)P2 (T0 = n 1) + ... + Pi (0, i)Pi (T0 = n 1) + 0 + 0.... + 0 + ...

Entonces P0 (T0 = n) = P (0, 1)P1 (T0 = n 1)
luego desarrollando tenemos que

P1 (T0 = n 1) =

P (1, z)Pz (T0 = (n 1) 1) =

z6=0

P (1, z)Pz (T0 = n 2) = P (1, 1)P1 (T0 = n 2) + P (1, 2)P2 (T0 =

z6=0

n 2) + ...
Entonces P0 (T0 = n) = p2 P2 (T0 = n 2) y asi seguimos hasta que
P= (T0 = n) = pn1 Pn 1(T0 = 1) con n > 1
Pn 1(T0 = 1) = P (n 1, 0) = 1 p Entonces P0 (T0 = n) = pn1 (1 p)
Solucion para (c)
Como P0 (T0 = n) = pn1 (1 p)
f00 = P0 (T0 < ) =

X
X
=
P0 = (T0 = n) =
pn1 (1 p) = (1 p)/(1 p) = 1 es decir
n=1

n=1

x = 0 es un estado recurrente por lo tanto la CM es recurrente.

14.11 Considerese una CM X=X.Para cada m=1,2,...sea Nm (y) el numero
de visitas de y hasta el tiempo m, es decir
Nm (y) :=

m
X

Iy (Xn )

n=1

[notese que Nm (y) N (y) cuando m con N (y) como en (3.)]

Asimismo , sea Vm (x, y) el numero esperado de tales visitas , dado que
X0 = x i,e
Vm (x, y) := Ex [Nm (y)] =

m
X

Pn (x, y)

n=1

[por (5), Vm (x, y V (x, y) cuando m ]. Demuestre que si y es un

estado transitorio de X, entonces para cualquier estado inicial x:
1
Vm (x, y) = 0
(a) lim
m m
1
(b) lim
Nm (x, y) = 0
m m
Solucion para (a)
como y es transitorio usando (D) del lema 14.6 tenemos que lim

1
Vm (x, y) =
m

m
1 X
1
lim
Pn (x, y) = lim
(poralgunnumerorealf inito) = 0 por que
m m
m m
n=1
V (x, y) es finito
Solucion para (b)
como y es transitorio usando (E) del lema 14.6 Nm (y) es variable aleatoria
m
1 X
1
1
Nm (x, y) = lim
Iy (Xn ) = lim
(1) = 0 c.s
lim
m m
m m
m m
n=1

14.15 Demuestre que si x es un estado recurrente positivo y x y entonces Ey (Tx ) < [Sugerencia: itere la ecuacion en el ejercisio 8(c)
4

con y = xX
y use la preposicion 14.1(b)] Solucion Sabemos que Ey (Tx ) =
P (y, x)+
P (y, z)(fzx + Ez (T (x))
z6=x

en particular para x = y mx = P (x, x)+

(fzx + Ez (T (x))

z6=x

Por 14.8(c) X
Ey (Tx ) = 1 +
P (y, z)Ez (T (x))
z6=x

sifxy = 1 al ser la hipotesis y y x comunicantes es valido usar la expresion

y fxy =fyx = 1
iterando esta ultima
expresion con x = y
X
Ex (Tx ) = 1 +
P (x, z)Ez (T (x))
z6=x

conf xx = 1 Ey (T (x) = 1 + P (x0 , x1 )Ex1 (T (x0 )) + P (x1 , x2 )Ex2 (T (x1 )) +

... + P (xn1 , xn )Exn (T (xn 1)) < ya que al ser recurrente positiva Exi
es finito y por 14.1(b)la multiplicacion de lasP (xi , xi + 1)es f inita.