CNSF

Procesos Estocasticos I
Capacitaci on tecnica especializada en el nuevo marco de Solvencia

Ger onimo Uribe Bravo
Instituto de Matem aticas
Universidad Nacional Aut onoma de Mexico
CAP
ITULO 1
Introducci on
1. Deniciones y clasicacion basica de procesos estocasticos
Un proceso estocastico es una coleccion de variables aleatorias (X
t
)
tT
in-
dexadas por un conjunto T y denidas en alg un espacio de probabilidad (, F, P).
Interpretamos al conjunto de ndices T como un parametro temporal; para nosotros
T ser a 0, . . . , n, N, alg un intervalo [0, t] o [0, ). Interpretamos a un proceso es-
toc astico como la evolucion en el tiempo de alg un fenomeno cuya dinamica se rige
por el azar. Un ejemplo sencillo de esto es la cantidad de soles que vamos acu-
mulando al participar en un juego de volados. Otro ejemplo es la evolucion en el
tiempo de la reserva de una compa na de seguros. En el primer ejemplo, se puede
indexar al proceso por alg un intervalo de naturales, en cuyo caso hablaremos de
un proceso estocastico a tiempo discreto. Ademas, dicho proceso toma valores
en los naturales, por lo que tambien se trata de un proceso con espacio de esta-
dos discreto. En el segundo caso, se puede pensar en un modelo indexado por un
subintervalo de [0, ) y hablaremos de un proceso estocastico a tiempo continuo.
Ademas, en principio el valor de la reserva podra ser cualquier real no-negativo y
por lo tanto hablamos de un proceso con espacio de estados continuo
Uno de los primeros resultados generales dentro de la teora de los procesos
estoc asticos es el teorema de consistencia de Kolmogorov que nos permite construir
procesos estocasticos a partir de colecciones vectores aleatorios (que satisfacen la
condici on tecnica de ser consistentes). La prueba de este teorema se puede hacer
bas andose en la existencia de una sucesion de variables aleatorias uniformes. Antes
de analizar por que existe una sucesion de variables uniformes independientes,
ejemplicaremos como se pueden construir algunos de los procesos estocasticos
que analizaremos en este curso.
Ejemplo 1.1 (Caminatas aleatorias simples y el problema de la ruina). Imag-
inemos la siguiente situacion: tengo un capital de 20 pesos al tiempo cero y cada
instante de tiempo apuesto un peso en un volado, ganando si cae aguila. como
puedo estudiar matematicamente a la evolucion de mi capital en el tiempo? De par-
ticular interes es la variable aleatoria que nos indica el instante en que me arruino
por primera vez, misma que a priori podra ser innita si jamas me arruino.
1
1. Deniciones basicas 2
El modelo matematico es el siguiente: consideremos variables aleatorias
U
1
, U
2
, . . .
uniformes en (0, 1) e independientes. A la variable aleatoria 1
U
i
1/2
, que toma los
valores cero y uno, la interpretaremos como indicandonos si el resultado del i-esimo
volado es aguila (cuando toma el valor uno) y por lo tanto, la variable 21
U
i
1/2
1
toma los valores 1 si cae aguila y 1 si cae sol.
Ejercicio 1.1. Con el objeto de vericar que comprendemos la nocion de
independencia, probar que las variables aleatorias 1
U
1
1/2
, 1
U
2
1/2
, . . . son inde-
pendientes y con distribucion Bernoulli de parametro 1/2.
Finalmente, podemos denir
X
0
= 20 y X
n+1
= X
n
+ 21
U
n+1
1/2
1.
El siguiente codigo en R simula la evolucion de mi fortuna.
C<-20 #C es un vector cuya entrada i ser a mi capital al tiempo i
aux <-C #Esta variable me dice cual es el ultimo valor de mi capital
while (aux >0) { #Mientras no me haya arruinado
aux <-aux+2*(runif (1) <1/2) -1 #actualizo mi capital al sumarle una variable
que toma valores -1 y 1 con probabilidad 1/2
C<-c(C,aux) #Agrego el ultimo valor de mi fortuna al vector C
}
plot(C)
Listing 1.1. Ruina.R
En la Figura 1 podemos apreciar un ejemplo del resultado de correr el codigo
anterior.
Ejemplo 1.2 (Apostando con prisa). Modicaremos el ejemplo anterior como
sigue: tengo un capital de 20 pesos al tiempo cero y cada instante de tiempo
apuesto en un volado ya sea la mitad de mi fortuna si tengo mas de 6 pesos o 2
pesos si mi fortuna es menor o igual a 6, ganando si cae aguila.
Un modelo matematico es el siguiente: consideremos variables aleatorias U
1
,
U
2
, . . . uniformes en (0, 1) e independientes y denamos
X
0
= 20 y X
n+1
= X
n
+
_
2 1
U
n+1
1/2
1
_
_
X
n
/2| X
n
> 6
2 X
n
6
.
El modelo anterior se puede implementar facilmente en R con el codio siguiente.
C<-20 #C es un vector cuya entrada i sera mi capital al tiempo i
fortuna <-C #Esta variable me dice cual es el ultimo valor de mi capital
while (fortuna >0){ #Mientras no me haya arruinado
monto <-2*(fortuna <=6)+floor(fortuna/2)*(fortuna >6) #Calculo el monto que
apostar e , que es la mitad de mi fortuna cuando tengo m as de 6 pesos y
si no , dos pesos.
0 20 40 60 80 100
0
5
1
0
1
5
2
0
Index
C
Figura 1. Trayectoria de una caminata aleatoria simple que
comienza en 20 y es detenida al llegar a cero
fortuna <-fortuna+monto*(2*(runif (1) >1/2) -1) #actualizo mi capital al sumarle
una variable que toma valores -1 y 1 con probabilidad 1/2 multiplicada
por el monto de la apuesta
C<-c(C,fortuna) #Agrego el ultimo valor de mi fortuna al vector C
}
plot(C)
Listing 1.2. Prisa.R
Por supuesto, esperamos que esta estrategia nos llege mas rapido a la ruina. En la
Figura 2 podemos apreciar dos ejemplos de trayectorias simuladas de la evolucion
de la fortuna bajo este esquema de apuestas.
Los dos ejemplos anteriores corresponden a procesos con tiempo y espacio
discreto. Ahora analizaremos un modelo a tiempo continuo y espacio discreto.
Ejemplo 1.3 (Conteos aleatorios ). Imaginemos que queremos modelar los
tiempos sucesivos en que cambiamos un foco en nuestro lugar de trabajo. Supon-
dremos que en cuanto se funde un foco lo cambiamos (instantaneamente) por uno
nuevo.
Es natural asumir que podemos modelar los tiempos de vida de los sucesivos
focos mediante una sucesion de variables aleatorias independientes. El supuesto
2 4 6 8 10 12
0
1
0
2
0
3
0
4
0
5
0
6
0
Index
C
0 20 40 60 80
0
5
0
1
0
0
1
5
0
2
0
0
2
5
0
Index
C
Figura 2. Dos trayectorias que muestran la evlucion de un cap-
ital al someterlo a un esquema de apuestas arriesgadas
adicional que impondremos es que estas tienen distribucion exponencial de tasa
> 0, donde la tasa es el recproco de la media. Sean U
1
, U
2
, . . . variables in-
dependientes de distribucion uniforme en (0, 1) y denamos a T
i
= log(U
i
) /.
Entonces T
1
, T
2
, . . . son variables aleatorias exponenciales independientes de tasa
. La variable T
i
la interpretamos como el tiempo de vida del i-esimo foco.
Puesto que la distribucion exponencial esta caracterizada por la propiedad de
perdida de memoria
P(S
i
> t +s [S
i
> t) = P(S
i
> s) ,
el suponer que el tiempo de vida de un foco tiene distribucion exponencial puede
ser cuestionable puesto que debe haber un efecto de desgaste en su tiempo de vida.
Sin embargo, lo que se espera con el modelo es que capture la escencia del fenomeno
que queremos modelar.
El proceso estocastico de interes es el que va midiendo la cantidad de focos que
hemos cambiado en el intervalo de tiempo [0, t] que mediremos en a nos. Sean
T
0
= 0, T
n+1
= T
n
+S
n+1
y N
t
=
i=1
1
T
i
t
.
Entonces se interpreta a T
n
como el instante de tiempo en el que cambiamos el
n-esimo foco y a N
t
como la cantidad de focos que hemos cambiado en [0, t].
Se puede simular a la funcion aleatoria t N
t
en el intervalo [0, 1] mediante
el siguiente codigo.
lambda =24*360/1000 # Media , en a\~nos , del tiempo de vida de un foco
xi=rexp(1,lambda) # xi representa el tiempo en el que se cambio el ultimo
foco
0.0 0.2 0.4 0.6 0.8 1.0
2
4
6
8
1
0
1
2
T
c
(
1
:
(
N

+

2
)
)
0.0 0.2 0.4 0.6 0.8 1.0
0
2
0
4
0
6
0
8
0
T
c
(
1
:
(
N

+

2
)
)
Figura 3. Los tiempos sucesivos en los que se cambia un foco a
lo largo de 1 y 8 a nos
T=c(0,xi) # El vector T ira acumulando los tiempos en que vamos
cambiando los focos
N=0 # N nos dira cuantos focos hemos cambiado al final de un a~no
while(xi <1){ # Mientras no haya pasado un a~ no
N<-N+1 # Aumentamos el numero de focos cambiados en uno
xi<-xi+rexp(1,lambda) # Vemos el tiempo en el que debemos cambiar el
siguiente foco
T=c(T,xi) # Aumentamos un evento temporal
}
plot(T,c(1:(N+2)))
Listing 1.3. Poisson.R
En la Figura 3 podemos observar dos trayectorias con los tiempos en los que
se cambian los focos, primero en un a no y luego en ocho. Podemos observar una
cierta regularidad, como si hubiera cierta tendencia determinista (una linea recta)
y unas uctuaciones aleatorias que capturan los sucesivos tiempos de cambio de
foco.
Ejemplo 1.4 (Tiempos de espera). Imaginemos la la de un banco. Supong-
amos que los clientes van llegando a tiempos aleatorios y que cada uno requiere un
servicio que es tambien una variable aleatoria. Lo que se quiere medir es: al correr
el sistema, si un cliente llega al momento t, ?Cuanto debe esperar para salir del
banco?
Un modelo posible se enfoca en los tiempos entre los arribos de los clientes
y supone que estos son variables aleatorias exponenciales de alg un parametro
i
.
Ademas, podemos suponer que los tiempos de servicio son variables aleatorias in-
dependientes con distribucion com un, que jaremos como la exponencial de tasa
s
para jar ideas. Se supone que todas las variables en cueston son independi-
entes. Este modelo, aunque sea criticable en su supuesto de perdida de memoria
heredado de las variables exponenciales, tiene la particularidad de que se pueden
hacer c alculos explcitos que no son posibles en modelos mas generales. Ademas,
ejemplica algunas caractersticas de los modelos mas generales.
Sean S
1
, S
2
, . . . variables exponenciales independientes de parametro
i
y
1
,
2
, . . . variables exponenciales independientes (entre si y de las S
i
) de parametro
s
. Si
T
0
= 0, T
n+1
= T
n
+S
n+1
, N
t
=
n=1
1
T
n
t
, R
0
= 0 y R
n+1
= R
n
+
n+1
,
denimos entonces los procesos
X
t
= R
N
t
t y Q
t
= X
t
min
st
X
s
.
Entonces Q
t
representa el tiempo de servicio necesario para atender a los clientes
que se encuentran presentes en el banco al tiempo t.
Por otra parte, podemos simular al modelo matematico de la cola mediante el
siguiente codigo en R.
li<-1 # Tasa interarribo
ls<-2 # Recproco de la media de servicio
T=8*60 # Tiempo de la simulacion
t<-c(0,rexp(1,li)) # Inicializacion del vector de eventos temporales
q<-c(0,rexp(1,ls)) # Inicializacion del vector de estado de la cola
while(tail(t,1)<T){ # Mientras no haya sobrepasado el umbral temporal
taux=rexp(1,li) # Me fijo en cuanto falta para la llegada del proximo
cliente
if(taux <tail(q,1)){ # En particular si el proximo cliente llega antes de que
la cola se vac e
t<-c(t,tail(t,1)+taux) #En cuyo caso agrego el evento de llegada
q<-c(q,tail(q,1)-taux+rexp(1,ls)) # Junto con el tiempo de
servicio que requiere menos el que ya he realizado
}
else{ # Si el proximo cliente llega despues de que la cola se vace
t<-c(t,tail(t,1)+tail(q,1),tail(t,1)+taux) #Agrego dos eventos
temporales: cuando se vaca la cola y cuando llega el pr oximo
cliente
q<-c(q,0,rexp(1,ls)) #Agrego adem as un estado de cola=0 mas el
servicio del proximo cliente que llega
}
}
plot(t,q)
Listing 1.4. Cola.R
Al ejecutar el codigo se obtienen gracos como los de la Figura 4.
2. Variables uniformes independientes 7
0 100 200 300 400
0
5
1
0
1
5
2
0
2
5
3
0
t
q
0 100 200 300 400
0
1
2
3
4
5
t
q
Figura 4. Estado de la cola cuando
i
= 1 y
s
= 1, 2
2. La construccion fundamental de una sucesion de variables aleatorias
independientes
Como vimos en los ejemplos anteriores, y es cierto en gran generalidad, pode-
mos construir procesos estocasticos muy generales a partir de sucesiones de vari-
ables aleatorias inependientes. En cierto sentido, dichas sucesiones son los ejemplos
mas sencillos de procesos estocasticos, en los que no hay realmente una evolucion.
Al ser, sin embargo, los bloques fundamentales con los que se construyen todos los
demas, nos detendremos en su construccion matematica.
2.1. El modelo matematico de una sucesion de volados. Primero se
ejemplicara la construccion de una sucesion de variables aleatorias independientes
a partir de una sola variable.
Consideremos al espacio de probabilidad (, F, P) en el que = (0, 1], F =
B
(0,1]
y P es la medida de Lebesgue restringida a . Denamos a las variables
aleatorias d
n
: R como sigue: a cada , se le puede asignar su expansion
diadica con colas innitas de tal forma que
=
n=1
d
n
()
2
n
,
donde cada d
n
es cero o uno. Aunque la expansion diadica todava no este bien
denida, puesto que por ejemplo a 1/2 se le podra asociar ya sea (1, 0, 0, . . .) o
(0, 1, 1, . . .), la expansion diadica con colas innitas, que es la segunda en nuestro
ejemplo, s lo esta. Mas formalmente, denamos
d
1
() =
_
0 si (0, 1/2]
1 si (1/2, 1]
.
Notemos que si
1
= 2 d
1
(), entonces
1
(0, 1]; recursivamente, denimos
d
n+1
() = d
1
(
n
) y
n+1
= 2
n
d
1
(
n
) (0, 1].
Es facil ver que de hecho,
d
2
() = 1
(1/4,2/4]
+1
(3/4,4/4]
,
d
3
() = 1
(1/8,2/8]
+1
(3/8,4/8]
+1
(5/8,6/8]
+1
(7/8,8/8]
y en general
d
n
() =
2
n1
i=1
1
((2i1)/2
n
,2i/2
n
]
.
Esto implica inmediatamente que si u
1
, . . . , u
n
0, 1 entonces el conjunto
d
1
= u
1
, . . . , d
n
= u
n
es un intervalo de longitud 1/2

n
y que por lo tanto d
1
, . . . , d
n
son variables aleato-
rias independientes de distribucion Bernoulli de parametro 1/2.
2.2. Una sucesion de variables aleatorias uniformes independientes.
Ahora demostraremos que si (X
i
)
i1
son variables aleatorias independientes con
distribucion Bernoulli de parametro 1/2 (denidas en otro espacio de probabilidad)
entonces U =
i1
X
i
/2
i
tiene distribucion uniforme. En efecto, puesto que
P(X
1
= u
1
, . . . , X
n
= u
n
) = 1/2
n
= P(d
1
= u
1
, . . . , d
n
= u
n
) ,
vemos que
P
_
n
i=1
X
i
/2
i
< x
_
= P
_
n
i=1
d
i
/2
i
< x
_
.
Por otro lado,
U = lim
n
n
i=1
X
i
/2
i
,
y de hecho la sucesion de variables aleatorias es creciente. Por lo tanto U es variable
aleatoria y
P(U < x) = lim
n
P
_
n
i=1
X
i
/2
i
< x
_
= lim
n
P
_
n
i=1
d
i
/2
i
< x
_
= P((0, x]) = x.
As, vemos que U es una variable uniforme.
Ahora utilizaremos lo anterior para mostrar que existe un espacio de probabil-
idad en el que estan denidas una sucesion de variables aleatorias uniformes inde-
pendientes. De hecho el espacio de probabilidad que consideraremos es el mismo
(, F, P) que en la Subseccion 2.1. Como Z
+
y Z
2
+
tienen la misma cardinalidad,
consideremos una biyeccion de : Z
2
+
Z
+
. Denamos d
n
i
= d
(n,i)
y para cada
n Z
+
, sea
U
n
=
i1
d
n
i
2
i
.
Como (d
n
i
)
i1
son variables aleatorias independientes de distribucion Bernoulli de
parametro 1/2, se sique que U
n
tiene distribucion uniforme para cada n N.
Se arma ahora que las variables (U
n
)
n1
son independientes. En efecto, esto es
consecuencia del siguiente lema, un tanto mas general. Notemos que U
n
es medible
respecto de la -algebra generada por (d
n
i
)
i1
, a la cual llamaremos F
n
.
Lema 1. Sean F
n,i
, i 1, n 1 -algebras independientes y denamos
F
n
= (F
n,1
, F
n,2
, . . .) .
Entonces F
n
, n 1 son -algebras independientes.
Demostraci
on. Debemos mostrar que para todo A

1
F
1
, . . . , A
n
F
n
, se
tiene que
(1) P(A
1
A
n
) = P(A
1
) P(A
n
) .
Sea
C
n
= A
1
A
m
: m 1 y A
j

i1
F
n,i
para j = 1, . . . , m .
Puesto que
_
i1
F
n,i
C
n
F
n
,
vemos que
(C
n
) = F
n
.
Por otra parte, es facil ver que C
n
es un -sistema.
Consideremos ahora la clase
M
1
= A F
k
: P(A B) = P(A) P(B) si B = B
1
B
n
con B
j
C
j
.
Es facil ver que M
k
es un -sistema que contiene, por hipotesis a C
1
. Por lo tanto
M
1
= F
1
.
Ahora consideramos a
M
2
=A F
2
: P(A B) = P(A) P(B)
si B = B
1
B
3
B
n
con B
1
F
1
y B
j
C
j
para j 3 .
Se prueba entonces que M
2
es un -sistema que por hipotesis y la igualdad M
1
=
F
1
contiene a C
2
. Al aplicar este razonamiento sucesivamente, obtenemos la igual-
dad (1).
2.3. Una sucesion de variables aleatorias independientes con dis-
tribuciones arbitrarias. Ahora utilizaremos la construccion de la sucesion de
variables aleatorias uniformes independientes para demostrar el siguiente resul-
tado:
Teorema 1.1. Sean
n
, n 1 medidas de probabilidad en R. Entonces ex-
iste un espacio de probabilidad (, F, P) y una sucesion de variables aleatorias
independientes X
n
: R, n 1 tales que la distribucion de X
n
es
n
.
La herramienta principal de la construccion sera el siguiente lema: (tomado
de Billingsley p. 190). Recordemos que una funcion F : R [0, 1] es la funcion
de distribucion de una variable aleatoria real si y solo si es no decreciente, con-
tinua por la derecha (y con lmites por la izquierda) tal que lim
x
F(x) = 0 y
lim
x
F(x) = 1.
Definici
on. La funcion de cuantiles de una funcion de distribucion F es

la funci on : (0, 1) R dada por
(u) = inf x R : u F(x) .
La funcion de cuantiles satisface la igualdad
(u) x u F(x)
que se demostrara posteriormente. De esta igualdad se deduce la medibilidad de
.
Prueba del Teorema 1.1. Sabemos que existe un espacio de probabilidad
(, F, P) en el que existe una sucesion de variables aleatorias independientes
(U
n
)
n1
uniformes en (0, 1). Sea F
n
la funcion de distribucion asociada a la medida
de probabilidad
n
y
n
la funcion de cuantiles de F
n
. Como
n
es una funcion
medible, X
n
=
n
(U
n
) es una variable aleatoria. Ademas, como las variables
U
n
, ,= 1 son independientes, tambien lo son las variables X
n
, n 1:
X
1
A
1
, . . . , X
n
A
n
=
_
U
1
,
1
1
(A
1
) , . . . , U
n
,
1
n
(A
n
)
_
.
Finalmente:
P
_
X
1
i
((, x])
_
= P
_
U
1
i
_
1
i
((, x])
__
= P
_
U
1
i
((0, F
i
(x)])
_
= F
i
(x) ,
por lo que X
i
tiene distribucion
i
.
Ahora demostremos las propiedades de la funcion de cuantiles asociada a la
funcion de distribucion F. Sea u (0, 1); entonces el conjunto x R : u F(x)
es no vaco y como F es no decreciente, es un intervalo ya sea de la forma [(u) , )
o ((u) , ), ya que (u) es el nmo del conjunto considerado. La segunda opcion
se descarta al notar que F es continua por la derecha. Por lo tanto, u F(x) si y
s olo si (u) x.
CAP
ITULO 2
Cadenas de Markov a tiempo discreto
La Figura 1 representa un laberinto. Imaginemos que colocamos una rata en la
esquina inferior izquierda y un plato de comida en la esquina superior derecha. Para
modelar la trayectoria que sigue la rata hasta encontrar la comida, supongamos
que cuando se encuentra en un cuarto del laberinto, la rata va a cualquier otro con
la misma probabilidad. Un modelo matematico para esta situacion es el siguiente.
Enumeremos los cuartos del laberinto de izquierda a derecha, de abajo a arriba,
por lo que la rata comienza en el cuarto 1 y encuentra la comida en el cuarto 9.
Denamos P
i,j
como la probabilidad con que la rata pasa del cuarto i al cuarto j;
por ejemplo, vemos que
P
5,j
=
_
1/4 j 2, 4, 6, 8
0 j , 2, 4, 6, 8
.
Figura 1. Laberinto para un experimento aleatorio
11
12
Esta informacion se puede organizar de forma matricial de la siguiente manera:
P =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
0 1/2 0 1/2 0 0 0 0 0
1/3 0 1/3 0 1/3 0 0 0 0
0 1/2 0 0 0 1/2 0 0 0
1/3 0 0 0 1/3 0 1/3 0 0
0 1/4 0 1/4 0 1/4 0 1/4 0
0 0 1/3 0 1/3 0 0 0 1/3
0 0 0 1/2 0 0 0 1/2 0
0 0 0 0 1/3 0 1/3 0 1/3
0 0 0 0 0 1/2 0 1/2 0
_
_
_
_
_
_
_
_
_
_
_
_
_
_
Entonces la probabilidad de que la rata siga la trayectoria 1, 4, 7, 8, 9 para encontrar
la comida es P
1,4
P
4,7
P
7,8
P
8,9
. Notemos que
(1) P
i,j
0 para todo i y j y
(2)
j
P
i,j
= 1 para toda i.
A una matriz con estas dos caractersticas se le llama matriz estocastica. La
segunda condicion nos dice que P
i,1
, . . . , P
i,9
es una distribucion de probabilidad
sobre el conjunto 1, . . . , 9. Si denimos a
i
como la funcion de quantiles asoci-
ada, tendremos que
i
(U
j
) es una variable aleatoria con la misma distribucion que
el cuarto al que pasa la rata si esta en el cuarto j. Es por esto que si denitmos
X
0
= 1 y X
n+1
=
X
n
(U
n+1
) ,
las variables X
0
, X
1
, . . . nos modelan el movimiento de la rata por el laberinto. Para
poder obtener la trayectoria de la rata detenida hasta que encuentre la comida,
podramos modicar la matriz P en
P =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
0 1/2 0 1/2 0 0 0 0 0
1/3 0 1/3 0 1/3 0 0 0 0
0 1/2 0 0 0 1/2 0 0 0
1/3 0 0 0 1/3 0 1/3 0 0
0 1/4 0 1/4 0 1/4 0 1/4 0
0 0 1/3 0 1/3 0 0 0 1/3
0 0 0 1/2 0 0 0 1/2 0
0 0 0 0 1/3 0 1/3 0 1/3
0 0 0 0 0 0 0 0 1
_
_
_
_
_
_
_
_
_
_
_
_
_
_
que diere de P salvo en el ultimo renglon, en el cual especicamos que una vez
que la rata llegue al cuarto 9 se quede ah. Si

i
son las funciones de cuantiles
asociadas a los renglones de

P, podemos entonces modelar la trayectoria de la rata,
detenida cuando alcanza la comida mediante la sucesion
X
0
= 1 y

X
n+1
=

X
n
(U
n+1
) .
13
Se presenta a continuacion un codigo en R para simular la trayectoria de la
rata.
P=matrix(c(0,1/2,0,1/2,0,0,0,0,0,1/3,0,1/3,0,1/3,0,0,0,0,0,1/2,0,0,0,1/2,0,0,0,1
/3,0,0,0,1/3,0,1/3,0,0,0,1/4,0,1/4,0,1/4,0,1/4,0,0,0,1/3,0,1/3,0,0,0,1/
3,0,0,0,1/2,0,0,0,1/2,0,0,0,0,0,1/3,0,1/3,0,1/3,0,0,0,0,0,1/2,0,1/2,0) ,9)
# Genera la matriz de transicion para la rata en un laberinto
X<-1 # El vector X acumular a la trayectoria que sigue la rata; comienza
en el cuarto 1.
N<-0 # Paso en el que vamos
while(tail(X,1)!=9){ #Mientras la rata no encuentre la comida del cuarto 9
X<-c(X,sample(c(1:9) ,1,prob=P[tail(X,1) ,])) # Escogemos un cuarto al azar a
partir del que se encuentra
N<-N+1 # Especificamos que se ha dado un paso mas
}
Listing 2.1. Rata.R
Como un ejemplo, se obtuvieron las siguientes dos trayectorias simuladas
1 2 3 2 1 2 1 2 1 4 1 4 1 4 1 2 3 6 5 6 5 2 3 2 3 6 3 2 3 6 3 2 1 2 1 2 3 6 9
1 4 5 6 3 6 9
A continuacion presentamos una serie de preguntas para las cuales la teora sub-
secuente encuentra una respuesta.
Cuanto tarda la rata en promedio en encontra la comida si comienza en
el cuarto i?
Si quitamos la comida y nada mas seguimos la trayectoria de la rata,
Cual es la probabilidad de que se encuentre en el cuarto j en el paso n si
comienza en i? Parte de la teora que veremos nos dice que la probabilidad
se estabiliza conforme n .
Si de nuevo seguimos solamente la trayectoria sin comida, estamos se-
guros de regresar al punto inicial?
Si agregamos la comida, Cuantas veces regresara la rata al cuarto inicial
antes de encontrar la comida?
A continuacion daremos un marco teorico que permite generalizar al modelo
anterior. Se trata de las cadenas de Markov cuyo estudio abarcara este captulo.
Sea E un conjunto a lo mas numerable al que llamaremos espacio de estados.
Consideremos a una coleccion numerica P = (P
x,y
)
x,yE
a la que pensaremos como
una matriz indexada por E. Supongamos que
(1) P
x,y
0 para todo x y y y
(2)
y
P
x,y
= 1 para toda x.
A P le llamamos matriz estocastica. Consideremos tambien una distribucion de
probabilidad sobre E, que podemos pensar como un vector (digamos rengon)
= (
x
)
xE
.
Definici
on. Una cadena de Markov con matriz de transicion P y dis-

tribuci on inicial es un proceso estocastico (X
n
)
nN
con valores en E tal que si
14
x
0
, . . . , x
1
E entonces
P(X
0
= x
0
, . . . , X
n
= x
n
) =
x
0
P
x
0
,x
1
P
x
n1
,x
n
.
Teorema 2.1. Dada una matriz de transicion P y una distribucion inicial
existe un espacio de probabilidad en el que estan denidas una sucesion de variables
aleatorias (X
n
)
nN
denidas en el que conforman una cadena de Markov con matriz
de transicion P y distribuci on inicial .
La demostracion del teorema es importante pues nos provee de un algoritmo
de simulacion para cadenas de Markov. Representa otra ilustracion del hecho de
que cualquier proceso estocastico se puede construir mediante variables uniformes
independientes.
Demostraci
on. Al enumerar a los elementos de E, podemos pensar que E =

0, . . . , n o E = N. Sea
i
la funcion de cuantiles asociada al renglon i de P, la
funcion de cuantiles de y sea (, F, P) un espacio de probabilidad en el que estan
denidas una sucesion (U
i
)
iN
de variables uniformes independientes. Denimos a
X
0
= (U
0
) y X
n+1
=
X
n
(U
n+1
) .
Por denicion de funcion de cuantiles:
P(
x
(U
j
) = y) = P
x,y
,
por lo que se sigue que si x
0
, . . . , x
n
E entonces
P(X
0
= x
0
, . . . , X
n
= x
n
)
= P
_
(U
0
) = x
0
,
x
0
(U
1
) = x
1
, . . . ,
x
n1
(U
n
) = x
n
_
= P((U
0
) = x
0
)
i = 1
n1
P
_
x
i1
(U
1
) = x
1
_
=
x
0
P
x
0
,x
1
P
x
n1
,x
n
.
Una de las caractersticas principales de las cadenas de Markov es la propiedad

de Markov:
Proposici
on 2.1 (Propiedad de Markov). Sea X una cadena de Markov de

distribucion inicial y transici on P. Si P(X
0
= x
0
, . . . , X
n
= x
n
) > 0 entonces
P(X
n+1
= x
n+1
[X
0
= x
0
, . . . , X
n
= x
n
) = P(X
n+1
= x
n+1
[X
n
= x
n
) .
La interpretacion es que la evolucion futura de la cadena solo depende del
pasado a traves del presente.
Demostraci
on. Calculemos el lado izquierdo:

P(X
0
= x
0
, . . . , X
n+1
= x
n+1
) =
x
0
P
x
0
,x
1
P
x
n
,x
n+1
por lo cual
P(X
n+1
= x
n+1
[X
0
= x
0
, . . . , X
n
= x
n
) = P
x
n
,x
n+1
.
15
Por otra parte, puesto que
X
n
= x
n
=
_
x
0
,...,x
n1
X
0
= x
0
, . . . , X
n1
= x
n1
, X
n
= x
n
donde la union es disjunta, se sigue que

P(X
n
= x
n
) =
x
0
,...,x
n
x
0
P
x
0
,x
1
P
x
n1
,x
n
y que
P(X
n
= x
n
, X
n+1
= x
n+1
) =
x
0
,...,x
n
x
0
P
x
0
,x
1
P
x
n1
,x
n
P
x
n
,x
n+1
por lo que
P(X
n+1
= x
n+1
[X
n
= x
n
) = P
x
n
,x
n+1
.
Esta misma tecnica de descomposicion del espacio de estados nos lleva a lo que
se conoce como las ecuaciones de Chapman-Kolmogorov.
Proposici
on 2.2. Sea X una cadena de Markov de distribucion inicial y

transicion P. Si P
n
x,y
= P(X
n
= y [X
0
= x) entonces
P
n+m
x,z
=
yE
P
m
x,y
P
n
y,z
.
La ecuacion anterior recuerda mucho a la de multiplicacion de matrices. En
efecto, lo que nos dice es que P
n
x,y
es la enesima potencia de la matriz de transicion
P.
Demostraci
on. Al generalizar la idea de la prueba anterior, vemos que si

denimos x
0
= x y x
n+m
= z entonces
P
n+m
x,z
P(X
n+m
= z [X
0
= x)
=
x
1
,...,x
n+m1
E
P
x
0
,x
1
P
x
n+m1
,x
n+m
=
yE
x
1
,...,x
m1
E
P
x
0
,x
1
P
x
m1
,y
x
m+1
,...,x
n+m1
E
P
y,x
m+1
P
x
n+m1
,z
=
yE
P
m
x,y
P
n
y,z
.
16
0 20 40 60 80 100
-
5
0
-
4
0
-
3
0
-
2
0
-
1
0
0
Index
X
[
1
:
1
0
0
]
0 200 400 600 800 1000
-
5
0
0
-
4
0
0
-
3
0
0
-
2
0
0
-
1
0
0
0
Index
X
[
1
:
1
0
0
0
]
0 200 400 600 800 1000
-
5
0
0
-
4
0
0
-
3
0
0
-
2
0
0
-
1
0
0
0
Index
X
[
1
:
1
0
0
0
]
Figura 2. 100, 1000 y 10000 pasos de una caminata aleatoria
simple con p = 1/4
Por supuesto, en general no es posible calcular explcitamente las potencias
de la matriz de transicion. Sin embargo, un paquete como R es capaz de realizar
este producto de manera numerica y as poder resolver problemas de orden practico
que se modelen mediante cadenas de Markov. A continuacion, se presentan algunos
ejemplos de cadenas de Markov.
Ejemplo 2.1. La caminata aleatoria simple es una cadena de Markov cuyo
espacio de estados es Z y es tal que P
i,i+1
= 1 P
i,i1
= p para alguna p (0, 1).
Este es uno de los ejemplos introductorios. Basta entonces mencionar que se puede
simular una trayectoria de longitud ja n (de hecho 2 trayectorias) mediante el
siguiente codigo.
# C odigo para simular una trayectoria de n pasos de una caminata aleatoria
simple de parametro p
p<-1/2
n<-10000
U<-runif(n)
Y<-2*(U<p)-1
X<-cumsum(Y)
plot(X[1:100] , type="l")
quartz () #usar x11() en UNIX y windows () en Windows , esto es para mac.
plot(X[1:1000] , type="l")
quartz ()
plot(X[1:10000] , type="l")
Listing 2.2. CAS1.R
Se pueden obtener entonces trayectorias como las de las Figuras 2 y 3 en las que
se examinan trayectorias de 100, 1000 y 10000 pasos respectivamente para los
parametros 1/4 y 1/2. En la primera se aprecia la ley fuerte de los grandes n umeros.
Por otra parte, se pueden calcular numericamente las probabilidades de tran-
sicion a n pasos mediante el codigo:
pa<-.5 #Probabilidad de ir de i a i+1
n<-6 #Cantidad de pasos que daremos
17
0 20 40 60 80 100
-
2
5
-
2
0
-
1
5
-
1
0
-
5
0
Index
X
[
1
:
1
0
0
]
0 200 400 600 800 1000
-
5
0
-
4
0
-
3
0
-
2
0
-
1
0
0
Index
X
[
1
:
1
0
0
0
]
0 2000 4000 6000 8000 10000
-
2
0
0
-
1
5
0
-
1
0
0
-
5
0
0
Index
X
[
1
:
1
0
0
0
0
]
Figura 3. 100, 1000 y 10000 pasos de una caminata aleatoria
simple con p = 1/2
p<-matrix(0,n+1,2*n+1) #La entrada P[i,j] nos da la probabilidad de
encontrarnos en j-i al paso i-1
p[1,1] <-1 #Inicializacion: comenzamos en 0 al paso 0 con probabilidad 1
for(i in 1:n){ #Con cada paso actualizamos nuestras probabilidades
p[i+1,]=(1-pa)*p[i,]+pa*c(0,0,p[i ,1:(2*n-1)])
}
Listing 2.3. CASnPasos.R
Podemos entonces obtener la matriz P tal que P
i,j
nos da la probabilidad de que
una caminata aleatoria simple este en el estado j i al paso i 1. Para que cupiera
en la pagina solo se corrio con n = 6, pero computacionalmente n = 1000 no
representa ning un problema. Una vez almacenados estos datos se pueden utilizar
para obtener numericamente la media, varianza, o la esperanza de alguna otra
funcion de la variable aleatoria que nos mide la posicion despues de n pasos.
1 2 3 4 5 6 7 8 9 10 11 12 13
1 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
2 0.50 0.00 0.50 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
3 0.25 0.00 0.50 0.00 0.25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
4 0.12 0.00 0.38 0.00 0.38 0.00 0.12 0.00 0.00 0.00 0.00 0.00 0.00
5 0.06 0.00 0.25 0.00 0.38 0.00 0.25 0.00 0.06 0.00 0.00 0.00 0.00
6 0.03 0.00 0.16 0.00 0.31 0.00 0.31 0.00 0.16 0.00 0.03 0.00 0.00
7 0.02 0.00 0.09 0.00 0.23 0.00 0.31 0.00 0.23 0.00 0.09 0.00 0.02
Ejemplo 2.2 (Cadena de nacimiento y muerte). Se trata de una cadena de
Markov cuyo espacio de estados es E = 0, . . . , n o N = 0, 1, 2, . . . con probabil-
idades de transicion son P
i,i+1
= p(i) y P
i,i1
= q(i) donde 1 q(i) = p(i) [0, 1].
(Denimos q(0) = 0 y si E = 0, . . . , n entonces p(n) = 0.)
Ejemplo 2.3 (Cadena de Ehrenfest). En este ejemplo hay dos urnas, con bolas
numeradas del 1 al n repartidas entre ambas. A cada instante de tiempo se escoge
18
0 2000 4000 6000 8000 10000
6
8
0
7
0
0
7
2
0
7
4
0
7
6
0
7
8
0
Index
X
Figura 4. Trayectoria simulada de 1000 pasos de la cadena de
Ehrenfest con n = 1000
un n umero al azar entre 1 y n y la bola con ese n umero se cambia de urna. Lo que
se mide es la cantidad de bolas en la urna 1 (digamos). Esta sera una cadena de
Markov con espacio de estados E = 0, . . . , n y matriz de transicion P dada por
P
0,1
= 1 = P
n,n1
, P
i,i+1
= 1 i/n si i < n yP
i,i1
= i/n si i > 0.
Este es un caso particular de la cadena de nacimiento y muerte con espacio de
estados nito. Se puede simular la cadena mediante un codigo como el siguiente:
# C odigo para simular una trayectoria de m pasos de una cadena de Ehrenfest con
espacio de estados {0,...,n}.
n<-1000
m<-1000
U<-runif(m)
X<-n/2
for(i in 2:m){
aux <-tail(X,1)
if(aux ==0){X<-c(X,1)}
else if (aux==n){X<-c(X,n-1)}
else {X<-c(X,aux+1-2*(U[i]<aux/n))}
}
plot(X,type="l")
Listing 2.4. Ehrenfest.R
Con el, se obtuvo la Figura 4.
Como ejemplo nal, el lector puede vericar la liga http://www.r-bloggers.
com/basics-on-markov-chain-for-parents/ a un blog en el que se interpreta
al juego de serpientes y escaleras en terminos de cadenas de Markov con codigo en
R para simular el desarrollo del juego.
1. Clases de comunicacion 19
1. Clases de comunicacion
Sean P una matriz de transicion sobre E y X una cadena de Markov con
matriz de transicion P y distribucion inicial tal que
x
> 0 para toda x E.
Denotaremos por P
x
a P condicionada por X
0
= x. Puesto que
P
x
(X
n
= y) =
i
1
,...,i
n1
E
P
x
(X
1
= x
1
, . . . , X
n1
= x
n1
, X
n
= y) ,
vemos que
P
x
(X
n
= y) =
i
1
,...,i
n
P
x,x
1
P
x
n1
,y
.
Por lo tanto, si se introducen a las potencias de la matriz de transicion P
n
, n 1
(y se dene P
0
x,y
=
x,y
) vemos que
P
x
(X
n
= y) = P
n
x,y
.
Sean x y y dos estados de E. Diremos que x conduce a y si existe n 0 tal
que P
n
x,y
> 0. Claramente esto ocurre si y solo si existen x
0
, . . . , x
n
con x
0
= x y
x
n
= y tales que P
x
k1
,x
k
> 0. Cuando x conduce a y y y conduce a x, diremos
que x y y se comunican y lo denotaremos mediante x y.
Proposici
on 2.3. La relacion x y es una relacion de equivalencia en E.

A las clases de equivalencia inducidas por la relacion les llamaremos clases
de comunicacion.
Demostraci
on.
Reexividad: Puesto que P
0
x,x
= 1, vemos que x x.
Simetra: Por denicion x y si y solo si x y.
Transitividad: Si x y y y z, sean m y n en N tales que P
m
x,y
> 0 y
P
n
y,z
> 0. Puesto que
P
n+m
x,z
P
n
x,y
P
m
y,z
> 0,
vemos que x conduce a z y un argumento analogo muestra que entonces
x z.
Se dice que una cadena de Markov es irreducible si tiene una sola clase de
comunicacion. A la clase de comunicacion a la que pertenece el estado x E la
denotamos por C
x
; explcitamente:
C
x
= y E : x y .
El concepto de clase de comunicacion nos permite dar una primera descom-
posicion del espacio de estados.

Esta se puede renar al introducir el concepto
2. La propiedad de Markov fuerte 20
de clase de comunicacion abierta y cerrada. Este concepto es util pues se puede
reducir el espacio de estados de una cadena de Markov a una clase de comunicacion
cerrada.
Definici
on. Sea C un subconjunto del espacio de estados E. Decimos que C

es un conjunto cerrado si para toda y E C, x no conduce a y. Un conjunto
abierto es aquel que no es cerrado.
2. La propiedad de Markov fuerte
La propiedad de Markov fuerte es una extension de la propiedad de Markov a
ciertos tiempos aleatorios. Es una herramienta de gran utilidad. En particular nos
servir a para estudiar los conceptos de transitoriedad y recurrencia. Antes de pasar
a la propiedad de Markov fuerte, veamos la siguiente extension de la propiedad de
Markov.
Proposici
on 2.4. Sea A cualquier subconjunto de E

n
tal que P(A X
n
= y) >
0. Entonces, condicionalmente a A X
n
= y, el proceso (X
n+m
, m 0) es una
cadena de Markov que comienza en y y tiene matriz de transicion P.
Demostraci
on. Al descomponer al conjunto A como union de eventos ele-

mentales de la forma (x
0
, . . . , x
n1
), vemos que
P(A, X
n
= y, X
n+1
= y
1
, . . . , X
n+m
= y
m
)
=
(x
0
,...,x
n1
)A
P(X
0
= x
0
, . . . , X
n1
= x
n1
, X
n
= y, X
n+1
= y
1
, . . . , X
n+m
= y
m
)
=
(x
0
,...,x
n1
)A
P
x
1
,x
1
P
x
n1
,y
P
y,y
1
P
y
m1
,y
m
As, se obtiene
P(X
n+1
= y
1
, . . . , X
n+m
= y
m
[A, X
n
= y) = P
x
n1
,y
P
y,y
1
P
y
m1
,y
m
.
Ahora vericaremos que la propiedad de Markov se extiende a ciertos tiempos

aleatorios. Un tiempo aleatorio es una variable aleatoria T : N .
Dicho tiempo aleatorio es nito si T() N para toda y es acotado si existe
K N tal que T() K para todo .
Definici
on. Un tiempo aleatorio T es un tiempo de paro si para toda n N

existe A
n
E
n+1
tal que
T = n = (X
0
, . . . , X
n
) A
n
.
Intuitivamente un tiempo de paro es un tiempo que obtenemos de observar la
trayectoria hasta que se cumpla una condicion. El instante en que se cumple es el
tiempo de paro.
2. La propiedad de Markov fuerte 21
Nuestro primer ejemplo de un tiempo de paro es el tiempo T
1
en que una
cadena X regresa a su estado inicial. En otras palabras:
T
1
=
_
X
n
,= X
0
para toda n
min n 1 : X
n
= X
0
en otro caso
.
En efecto es un tiempo de paro puesto que
T
1
= 1 = X
1
= X
0
y para n 2
T
1
= n = X
1
,= X
0
, . . . X
n1
,= X
0
, X
n
= X
0
.
De igual manera, el tiempo T
n
en que ocurre la enesima visita al estado inicial es
un tiempo de paro. Esto se prueba por induccion al notar que ya hemos vericado
la base inductiva n = 1 y por otro lado
T
n+1
= m =
_
l<m
T
n
= l X
l+1
,= X
0
, . . . , X
m1
,= X
0
, X
m
= X
0
.
Otro ejemplo de un tiempo de paro es la primera vez H
A
en que la cadena accede
a un subconjunto A del espacio de estados. En otras palabras:
H
A
=
_
X
n
E A para toda n
min n 0 : X
n
A en otro caso
.
Teorema 2.2 (Propiedad de Markov fuerte). Sea A cualquier subconjunto
de E
n+1
tal que P(A, X
n
= y, T = n) > 0. Entonces, condicionalmente a A
T = n, X
n
= y, el proceso (X
n+m
, m 0) es una cadena de Markov que comienza
en y y tiene matriz de transicion P.
Demostraci
on. Sea A
n
E
n+1
tal que
T = n = (X
0
, . . . , X
n
) A
n
.
Al descomponer al conjunto A como union de eventos elementales de la forma
(x
0
, . . . , x
n1
), vemos que
P(A, T = n, X
n
= y, X
n+1
= y
1
, . . . , X
n+m
= y
m
)
=
(x
0
,...,x
n
)AA
n
P(X
0
= x
0
, . . . , X
n1
= x
n1
, X
n
= y, X
n+1
= y
1
, . . . , X
n+m
= y
m
)
=
(x
0
,...,x
n
)AA
n
P
x
1
,x
1
P
x
n1
,y
P
y,y
1
P
y
m1
,y
m
As, se obtiene
P(X
n+1
= y
1
, . . . , X
n+m
= y
m
[A, T = n, X
n
= y) = P
x
n1
,y
P
y,y
1
P
y
m1
,y
m
.
3. Transitoriedad y recurrencia 22
3. Transitoriedad y recurrencia
Pasaremos ahora al analisis de dos conceptos que permiten hacer una distincion
entre los estados de una cadena de Markov, de acuerdo a si siempre seran revisitados
o no.
Sea x E. Denamos a la cantidad de visitas al estado x como la variable
aleatoria
V
x
=
n=0
1
X
n
=x
.
Esta variable aleatoria podra tomar el valor innito. Sin embargo, un resultado
curioso es que si toma el valor innito con probabilidad positiva, entonces toma el
valor innito con probabilidad 1. En caso de que V
x
sea innita con probabilidad
1 bajo P
x
hablamos de un estado recurrente y en caso contrario de un estado
transitorio. Analicemos ahora por que el conjunto V
x
= tiene probabilidad
cero o uno. Para esto, denamos a T
0
, T
1
, . . . como los instantes sucesivos que X
visita al estado x. Bajo la medida P
x
,
T
0
= 0, T
1
= min n > 0 : X
n
= x
y T
n+1
es la primera vez que la cadena de Markov (X
T
n
+m
, m 0) regresa a x.
Hemos visto que cada T
n
es un tiempo de paro.
Notemos que
V
x
=
n=1
1
T
n
<
.
Se arma ahora que bajo P
x
, V
x
es una variable aleatoria geometrica de parametro
P
x
(T
1
< ). En efecto, por una parte se tiene que
V
x
n = T
n
<
y por otra,la propiedad de Markov fuerte nos permite armar que para cada n 1:
P
x
(T
n+1
< ) = P
x
(T
n+1
< , T
n
< ) = E
x
(1
T
n
<
P
x
(T
1
< )) ,
por lo cual
P
x
(T
n
< ) = P
x
(T
1
< )
n
.
El caso en que P
x
(T
1
< ) = 1 ocurre si y solo si V
x
es innita P
x
casi seguramente.
Si no, V
x
es geometrica de parametro P
x
(T
1
< ) y por lo tanto su esperanza
es nita. Esto nos proporciona una equivalencia, en terminos de la matriz de
transicion, para que un estado sea recurrente.
Proposici
on 2.5. El estado x es recurrente si y s olo si
x
P
n
x,x
= .
Demostraci
on. La armacion se sigue de notar que

E
x
(V
x
) =
n
E
x
(1
X
n
=x
) =
n
P
n
x,x
.
Ahora veremos que la transitoriedad o recurrencia es de hecho una propiedad
de clase.
Proposici
on 2.6. Si x y y se comunican entre si e x es transitorio entonces

y es transitorio.
Demostraci
on. Sean m y n tales que P

m
x,y
> 0 y P
n
x,y
> 0. Entonces
P
m+l+n
x,x
P
m
x,y
P
l
y,y
P
n
y,x
.
Por lo tanto:
si
n
P
m+l+n
x,x
< entonces
n
P
l
y,y
< .
La conclusion que obtenemos es que en una clase o todos los estados son re-
currentes o todos son transitorios y que por lo tanto podemos hablar de clases
recurrentes y de clases transitorias. Hay una forma facil de saber si una clase
es transitoria.
Proposici
on 2.7. Sea C E una clase abierta. Entonces C es transitoria.

Demostraci
on. En efecto, puesto que C es una clase abierta, existe x C,

y E C y m 0 tal que P
m
x,y
> 0 mientras que P
n
y,x
= 0 para toda n 0. Por
lo tanto
E
y
(V
x
) =
n=0
E
y
(1
X
n
=x
) =
n=0
P
n
y,x
= 0
y puesto que V
x
es una variable aleatoria no-negativa, entonces
P
y
(V
x
= 0) = 1.
As, vemos que
P
x
(V
x
< ) P
x
(V
x
(X
m
, X
m+1
, . . .) = 0, X
m
= y) = P
m
x,y
> 0
por lo que x es transitorio.
Veremos ahora que la conclusiones anteriores nos permiten clasicar a las clases
de cadenas de Markov con espacio de estados nito. En efecto,
Proposici
on 2.8. Si el espacio de estados es nito, una clase es recurrente si

y solo si es cerrada.
Demostraci
on. Solo hace falta vericar que si C es cerrada entonces es re-

currente. Puesto que C es cerrada, vemos que para cualquier x C,
1 = P
x
(X
n
C para toda n 0) .
Por otra parte, al ser E nito, lo anterior forza a que exista y C que se visita
innitas veces bajo P
x
:
0 < P
x
(V
y
= ) .
Si T denota a la primera visita a y, vemos que
0 < P
x
(T
y
< ) P
y
(V
y
= )
de acuerdo a la propiedad de Markov fuerte. Por lo tanto, vemos que y es recurrente
y que as la clase C es recurrente.
La primera conclusion es que una cadena irreducible con espacio de estados
nitos tiene a todos los estados recurrentes. Un ejemplo muy concreto sera el
de la cadena de Ehrenfest. A un mas, en una cadena irreducible y recurrente, de
cualquier estado se accede a cualquier otro.
Proposici
on 2.9. Si la cadena es irreducible entonces P

x
(V
y
= ) = 1 para
toda x, y E
En particular, si recordamos la cadena de Markov que modela el movimiento
de una rata por el laberinto ilustrado en la Figura 1, si colocamos comida en alg una
celda, entonces la rata la encontrara con probabilidad 1.
Demostraci
on. Recordemos que P

y
(V
y
= ) = 1 para toda y E. Por otra
parte, al aplicar la propiedad de Markov al instante n, vemos que
1 = P
y
(V
y
= ) =
xE
P
n
y,x
P
x
(V
y
= ) .
Del lado derecho tenemos un promedio ponderado de las cantidades P
x
(V
y
= )
1. El promedio es igual a 1 si y solo s P
x
(V
y
= ) = 1 para toda y tal que
P
n
y,x
> 0. Por irreducibilidad, para toda y existe n tal que P
n
y,x
> 0 y por lo tanto
P
x
(V
y
= ) = 1 para toda x, y E.
Para la cadena de la ruina del jugador, donde el espacio de estados es 0, . . . , N
y la matriz de transicion es
P
i,j
=
_
_
p i < N, j = i + 1
1 p i > 0, j = i 1
1 i = 0, N
,
vemos que 0 y N son absorbentes y que de cualquier estado se accede a 0 y a N.
Hay por lo tanto 3 clases de comunicacion: 0 , 1, . . . , N 1 , N. La primera y
la ultima son cerradas y por lo tanto recurrentes mientras que la segunda es abierta
y por lo tanto transitoria. Cabe la pregunta de si en esta cadena alcanzamos alguno
de los estados 0 y N con probabilidad 1. La respuesta es por supuesto armativa
y se puede generalizar como sigue:
Proposici
on 2.10. Sean
A = x E : C
x
es abierta , C = x E : C
x
es cerrada
y
H
C
=
_
si n N : X
n
C =
min n 0 : X
n
C en caso contrario
.
Si A es nita entonces para todo x E, P
x
(H
C
< ) = 1.
Demostraci
on. Si x C entonces 1 = P
x
(H
C
= 0) P
x
(H
C
< ).
Por la propiedad de Markov fuerte, si x E y y A, se tiene que
P
x
(V
y
= ) = P
x
(T
y
< ) P
y
(V
y
= ) .
El segundo factor del lado derecho es cero puesto que y es transitorio. Puesto que
E es nito, se concluye que P
x
_
yA
V
y
=
_
= 0 para todo x, y A.
Por otra parte, ya que
yE
V
y
= , se deduce que para x A:
P
x
_
_
yC
V
y
=
_
_
= 1.
Como
P
x
(H
C
< ) P
x
_
_
yC
V
y
=
_
_
,
se deduce el resultado deseado.
El analisis de recurrencia y transitoriedad de cualquier cadena con espacio de
estados nito es como el de los dos ejemplos anteriores. Sin embargo, cuando el
espacio de estados es innito, el analisis de recurrencia y transitoriedad es mucho
mas delicado. Se presenta un ejemplo celebre de este tipo de analisis. Para mas
ejemplos, necesitaremos profundizar en la relacion entre la propiedad de Markov y
las relaciones de recurrencia, en la siguiente seccion.
Ejemplo 2.4 (Recurrencia y transitoriedad de la caminata aleatoria simple y
el teorema de Polya). Sea P dada por P
i,i+1
= p = 1 P
i,i1
para i Z, donde
p (0, 1) y sea S = (S
n
) una cadena de Markov con esta matriz de transicion.
Esta cadena es irreducible y por lo tanto, basta ver la recurrencia o transito-
riedad del cero y los demas estados compartiran esta caracterstica.
Si p ,= 1/2, la ley fuerte de los grandes n umeros nos dice que S
n
/n 2p 1
conforme n casi seguramente. Por lo tanto, para < p 1 p, existe N tal
que para toda n N, se tiene que (2p 1 ) n < S
n
< (2p 1 +) n. Vemos
que entonces el n umero de visitas al estado cero es nito casi seguramente y por lo
tanto 0 es transitorio. Note que este argumento no es valido cuando p = 1/2.
Si p = 1/2, entonces se puede calcular explcitamente P
2n
0,0
=
_
2n
n
_
2
2n
. Ahora
utilizamos la formula de Stirling, la cual arma que
lim
n
n!
n
n
e
n
2n
= 1,
4. Ejemplos de utilizacion de la propiedad de Markov 26
vemos que
P
n
0,0
1/
n
.
Por lo tanto
n
P
n
0,0
=
y as vemos que S es una cadena recurrente.
Consideremos ahora una caminata aleatoria simple y simetrica en dimension d,
que tomaremos igual a 2 o 3. Si i, j Z
d
, deniremos P
i,j
= 1/2d si
l
[i
l
j
l
[ =
1. Mediante un argumento combinatorio y la formula de Stirling, se puede probar
que P
n
0,0
/n
d/2
C
d
donde C
d
(0, ). Entonces, vemos que si d = 2 la caminata
aleatoria simple y simetrica es recurrente mientras que si d = 3, es transitoria.
Este ultimo resultado se conoce como Teorema de Polya para la caminata aleatoria
simple.
4. Ejemplos de utilizacion de la propiedad de Markov
Ejemplo 2.5 (El problema de la ruina). Consideremos la matriz de transicion
P
i,i+1
= 1 P
i,i1
= p (0, 1) que da lugar a una caminata aleatoria simple en
Z. Sea X una cadena de Markov con transicion P y tal que comienza en i bajo
P
i
. Consideremos N 2 y m 1, . . . , N 1. Denamos al siguiente tiempo de
paro:
T = min n 0 : X
n
0, N .
El objetivo del ejemplo es utilizar la propiedad de Markov, mediante el llamado
analisis del primer paso para calcular la probabilidad siguiente:
(2) P
m
(X
T
= N) .
La interpretacion es la siguiente: un jugador tiene un capital inicial de m pesos
y se enrola en un juego de volados en el que gana un peso con probabilidad p
(y los juegos son independientes). No deja de jugar hasta que pasan dos cosas:
acumula un capital objetivo de N pesos o pierde toda su fortuna. Lo que se quiere
determinar es la probabilidad de que termine de jugar con N pesos. Claramente,
para este problema, es igual trabajar con la caminata aleatoria simple, y su espacio
de estados innito, que con la caminata aleatoria con absorcion en 0 y en N que
tiene espacio de estados 0, . . . , n y matriz de transicion Q dada por
Q
0,0
= Q
N,N
= 1 , Q
i,i+1
= p = 1 Q
i,i1
si 1 i N 1.
La cantidad Q
l
m, 0 nos da la probabilidad haber llegado a cero antes del instante
l y de visitar el estado N. El siguiente codigo R permite hacer un calculo de esta
cantidad cuando N = 10, l = 26, m = 5 y p = 5/11.
# Objetivo: encontrar , numericamente , las probabilidades de transicion y de
ruina para la cadena de la ruina del jugador
N<-10 #Capital objetivo
p<- 5/11 #Probabilidad de ir hacia arriba
m<-floor(N/2) #Capital inicial
P<-matrix(0,N+1,N+1) #Matriz de transicion
P[1,1] <-1
P[N+1,N+1] <-1
for(i in 2:N) {P[i,(i-1):(i+1)]<-c(1-p,0,p)}
p<-matrix(0,1,N+1) #Distribucion inicial
p[m+1] <-1
aux <-p
l<-26 # Cantidad de pasos que se haran
M<-matrix(0,l+1,N+1)
M[1,]<-aux
for(i in 1:l){
aux <-aux%*%P
M[i+1,]<-aux
}
library(xtable) #Cargar el paquete que genera la tabla
print(xtable(M),type="latex",file="Ruina2.tex") #Genera el TeX de la tabla
Listing 2.5. Ruina2.R
Se escogio n peque no para poder presentar los resultados en la Tabla 1. Solo se
imprimen dos decimales.
Antes que nada, probaremos que T < P
m
casi seguramente. Al notar que
si hay N incrementos de X igual a 1 (lo cual sucede con probabilidad p
N
> 0,
entonces T < ). Sin embargo, como bajo P
m
los incrementos son independientes
y toman el valor 1 con probabilidad p, esto sucedera casi seguramente (como se ve
por ejemplo al utilizar Borel-Cantelli).
Escribamos
q
m
= P
m
(X
T
= N)
y determinemos ahora el valor de q
m
. Hay dos casos sencillos:
q
0
= 0 y q
n
= 1.
Por otro lado, observamos que si m n 2 entonces 1 < T por lo que
q
m
= pq
m+1
+ (1 p) q
m1
.
As, la probabilidad de interes queda determinada por una relacion de recurrencia
con valores de frontera.
Afortunadamente, la solucion a la relacion de recurrencia se conoce. En efecto,
escribamos la relacion de recurrencia en la forma
pq
m
+qq
m
= pq
m+1
+qq
m1
o pq
m
+qq
m
= pq
m+1
+qq
m1
1 2 3 4 5 6 7 8 9 10 11
1 0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00
2 0.00 0.00 0.00 0.00 0.55 0.00 0.45 0.00 0.00 0.00 0.00
3 0.00 0.00 0.00 0.30 0.00 0.50 0.00 0.21 0.00 0.00 0.00
4 0.00 0.00 0.16 0.00 0.41 0.00 0.34 0.00 0.09 0.00 0.00
5 0.00 0.09 0.00 0.30 0.00 0.37 0.00 0.20 0.00 0.04 0.00
6 0.05 0.00 0.20 0.00 0.34 0.00 0.28 0.00 0.12 0.00 0.02
7 0.05 0.11 0.00 0.27 0.00 0.30 0.00 0.19 0.00 0.05 0.02
8 0.11 0.00 0.20 0.00 0.29 0.00 0.24 0.00 0.12 0.00 0.04
9 0.11 0.11 0.00 0.25 0.00 0.26 0.00 0.17 0.00 0.05 0.04
10 0.17 0.00 0.19 0.00 0.26 0.00 0.21 0.00 0.11 0.00 0.07
11 0.17 0.10 0.00 0.22 0.00 0.23 0.00 0.16 0.00 0.05 0.07
12 0.22 0.00 0.17 0.00 0.23 0.00 0.19 0.00 0.10 0.00 0.09
13 0.22 0.09 0.00 0.20 0.00 0.21 0.00 0.14 0.00 0.04 0.09
14 0.27 0.00 0.15 0.00 0.21 0.00 0.17 0.00 0.09 0.00 0.11
15 0.27 0.08 0.00 0.18 0.00 0.19 0.00 0.13 0.00 0.04 0.11
16 0.32 0.00 0.14 0.00 0.18 0.00 0.15 0.00 0.08 0.00 0.13
17 0.32 0.07 0.00 0.16 0.00 0.17 0.00 0.11 0.00 0.04 0.13
18 0.36 0.00 0.12 0.00 0.17 0.00 0.14 0.00 0.07 0.00 0.14
19 0.36 0.07 0.00 0.15 0.00 0.15 0.00 0.10 0.00 0.03 0.14
20 0.40 0.00 0.11 0.00 0.15 0.00 0.12 0.00 0.06 0.00 0.16
21 0.40 0.06 0.00 0.13 0.00 0.13 0.00 0.09 0.00 0.03 0.16
22 0.43 0.00 0.10 0.00 0.13 0.00 0.11 0.00 0.06 0.00 0.17
23 0.43 0.05 0.00 0.12 0.00 0.12 0.00 0.08 0.00 0.03 0.17
24 0.46 0.00 0.09 0.00 0.12 0.00 0.10 0.00 0.05 0.00 0.18
25 0.46 0.05 0.00 0.11 0.00 0.11 0.00 0.07 0.00 0.02 0.18
26 0.48 0.00 0.08 0.00 0.11 0.00 0.09 0.00 0.05 0.00 0.19
27 0.48 0.04 0.00 0.09 0.00 0.10 0.00 0.07 0.00 0.02 0.19
Tabla 1. El renglon i representa la distribucion en el i-esimo paso
de la cadena de la ruina del jugador
o inclusive
(q
m
q
m+1
) = (q/p) (q
m1
q
m
) .
Se sigue entonces que
q
m
q
m+1
= q
1
(q/p)
m
y por lo tanto
q
m
=
_
q
1
1(q/p)
m
1(q/p)
si q ,= p
q
1
m si q = p = 1/2
.
Al utilizar la igualdad q
n
= 1 obtenemos nalmente
q
m
=
_
1(q/p)
m
1(q/p)
N
si q ,= p
m/N si q = p
.
Cuando p = q = 1/2, podemos adicionalmente calcular v
m
= E
m
(T). En
efecto, por la propiedad de Markov y el hecho de que T
1
= 1
T1
+ T, vemos
que
v
0
= v
N
= 0 y 2v
m
= 2 +v
m+1
+v
m1
.
La ultima ecuacion se puede escribir, deniendo d
m
= v
m
v
m1
como una igualdad
matricial:
_
d
m+1
2
_
=
_
1 1
0 1
__
d
m
2
_
,
por lo que
_
d
m+1
2
_
=
_
1 1
0 1
_
m
_
d
1
2
_
.
La potencia de la matriz resultante se puede calcular y nos devuelve
d
m+1
= d
1
2m.
Puesto que d
1
= v
1
y v
0
= 0, vemos que
v
m
= d
1
+ +d
m
= v
1
v
1
2 v
1
2 (m 1) = mv
1
m(m 1) .
Al utilizar v
N
= 0, vemos que
v
1
= N 1
y que por lo tanto
v
m
= m(N m) .
Ejemplo 2.6 (Recurrencia y transitoriedad de una caminata aleatoria simple
con barrera absorbente). El ejemplo anterior nos permite establecer la recurrencia
o transitoriedad de una cadena de Markov con espacio de estados innito que esta
ligada a la caminata aleatoria simple. Sea P
i,i+1
= p y P
i,i1
= q si i 1 y
P
0,1
= 1. Sea X una cadena de Markov con transicion P tal que comienza en i
bajo P
i
. Notemos que P se comporta como una caminata aleatoria si se encuentra
en i 1, pero si llega a cero automaticamente pasa a 1. Puesto que esta cadena y
la del ejemplo anterior tienen el mismo comportamiento hasta que llegan a cero o
a n, vemos que si p ,= q:
P
i
(T
n
< T
0
) =
1 (q/p)
i
1 (q/p)
n
.
Al tomar el lmite conforme n , obtenemos
P
i
(T
0
= ) =
_
1 (q/p)
i
q < p
0 q p
.
As, la caminata aleatoria simple con barrera reejante en cero es transitoria si
p > 1/2 y recurrente si p 1/2.
Ejemplo 2.7 (Cadenas de nacimiento y muerte). Para una sucesion de proba-
bilidades de exito p
i
(0, 1) (con q
i
= 1p
i
), sea (P
i
, i 0) la familia markoviana
asociada a un proceso de nacimiento y muerte con matriz de transicion deterninada
por P
i,i+1
= p
i
. Haremos un analisis de primer paso para calcular h
i
= P
i
(T
0
< ).
Notemos que h
0
= 1.
De nuevo, la propiedad de Markov nos permite obtener la siguiente relacion de
recurrencia para i 1:
h
i
= p
i
h
i+1
+q
i
h
i1
.
De nueva cuenta, si escribimos d
i
= h
i
h
i+1
, se tiene que
p
i
d
i
= q
i
d
i1
y sabemos que d
0
= 1 h
1
. Vemos que entonces
d
i
=
i
d
0
donde
i
=
p
i
p
1
q
i
q
1
.
As, podemos escribir
d
0
(1 +
1
+ +
i1
) = d
0
+ +d
i1
= 1 h
i
.
Ahora debemos hacer un analisis mas preciso para determinar a la constante fal-
tante d
0
.
Si
i
= , puesto que 1 h
i
[0, 1], vemos que d
0
= 1 h
1
= 0 y por lo
tanto h
i
= 1 para toda i 1.
Si
i
< , denamos
h
0
= 1 y

h
i
= 1 a (1 +
0
+ +
i
) ,
por lo que

h
i
[0, 1] y
h
i
= p
i
h
i+1
+q
i
h
i1
si i 1.
Vemos que entonces
h
i
= E
i
_
h
X
n
_
para toda n 1. Sin embargo:
E
i
_
h
X
n
_
= P
i
(T
0
n) +E
i
_
h
X
n
1
n<T
0
_
P
i
(T
0
n) .
Como lo anterior es valido para toda n, vemos que
h
i
h
i
.
As, h
i
es la mnima solucion no-negativa a la relaci on de recurrencia y por lo tanto
d
0
= 1/(1 +
i
). Vemos que por lo tanto h
i
< 1 para toda i 1.
Ejemplo 2.8 (Tiempos de arribo para la caminata aleatoria simple unidimen-
sional). Sea (P
k
, k Z) la familia Markoviana asociada a la caminata aleatoria
simple con matriz de transicion P
i,i+1
= 1 P
i,i1
= p (0, 1). Sea T
0
el primer
arribo a cero dado por
T
0
= min n : X
n
= 0 .
Nuestro objetivo sera determinar a
(s) = E
1
_
s
T
0
_
.
Comenzando en 2, la caminata aleatoria simple debe pasar por uno para llegar
a cero, y la trayectoria de 2 a 1 tiene la misma distribucion que la de 1 a cero. Por
lo tanto:
E
2
_
s
T
0
_
= (s)
2
.
Por otra parte, la propiedad de Markov al instante 1 nos dice que
(s) = E
1
_
s
T
0
_
= (1 p)s +psE
2
_
s
T
0
_
= (1 p) s +ps(s)
2
.
As, puesto que (s) (0, 1) para s (0, 1), vemos que
(s) =
1
_
1 4p (1 p) s
2
2ps
.
Esto tiene varias implicaciones. La primera es que
E
1
(T
0
< ) = lim
s1
E
1
_
s
T
0
_
=
1 [1 2p[
2p
=
_
1 p < 1/2
q
p
p 1/2
.
La segunda es el calculo, para p 1/2 de la esperanza de T
0
: al derivar la ecuacion
que satisface vemos que
0 = 1 (2p 1)
(1)
Ejemplo 2.9 (El mnimo de caminatas aleatorias skip-free). Sea P
k
, k Z la
familia markoviana asociada a una caminata aleatoria cuyos saltos pertenecen a
1, 0, 1, . . .. Dichas caminatas se llaman sin saltos a la izquierda (skip-free to the
left) aunque el punto es que el mnimo acumulativo tiene como imagen un intervalo
de enteros. Sea
I = min
n0
X
n
.
Obviamente I = 0 si P
0
(X
1
= 1) = 0. Supongamos por lo tanto que este no es el
caso. Veamos que entonces bajo P
0
, I es una variable aleatoria geometrica (aunque
posiblemente degenerada en innito). Recordemos que las variables geometricas
est an caracterizadas por la propiedad de perdida de memoria, por lo que es su-
ciente vericar que
P
0
(I m+n) = P
0
(I n) P
0
(I m) .
Sin embargo, notemos primero que si
T
m
= min n N : X
n
= m ,
entonces I m = T
m
< . Segundo, sobre el conjunto T
m
< se tiene
que I = I
T
m
. La propiedad de Markov fuerte nos permite armar que
P
0
(I m+n) = P
0
(I m) P
m
(I n +m) .
Finalmente, puesto que P
0
es la distribucion de X +m bajo P
m
, vemos que
P
m
(I n +m) = P
0
(I n) .
Ahora determinemos el parametro de la distribucion de I, al que denotaremos
por p y escribimos q = 1p. Al aplicar la propiedad de Markov al tiempo 1, vemos
que
q = P
0
(I 1) = P
0
(P
X
1
(I 1)) = E
0
_
q
1+X
1
_
.
Si denota a la funci on generadora de la distribucion de salto, vemos que
1 = (q) .
Por la desigualdad de Holder, es facil ver que la funcion
_
e
_
es log-convexa. Por
lo tanto la ecuacion (s) = 1 solo se satisface cuando s = 1 si
(1) = E
0
(X
1
) 0
(lo cual dice que I es casi seguramente innito) mientras que admite dos soluciones,
digamos q y 1 si E
0
(X
1
) > 0. Ahora veremos que q = q en este ultimo caso. Basta
mostrar que q q. Puesto que
E
k
_
q
X
1
_
= q
k
E
0
_
q
X
1
_
= q
k
( q) = q
k
,
la propiedad de Markov nos permite probar que
E
k
_
q
X
n
_
= q
k
.
Por lo tanto, al utilizar la propiedad de Markov
q = E
0
_
q
1+X
n
_
=
n
k=0
E
0
_
1
T
1
=k
E
1
_
q
1+X
nk
__
+E
0
_
1
T
1
>n
q
1+X
n
_
= P
0
(T
1
n) +E
0
_
1
T
1
>n
q
1+X
n
_
P
0
(T
1
n) .
Al tomar el lmite conforme n , vemos que q q y por lo tanto, q es la
solucion mnima en [0, 1] a la ecuacion (s) = 1.
Ejemplo 2.10 (El principio de reexion). Consideremos la familia markoviana
(P
k
)
kZ
asociada a la caminata aleatoria simple y sea
T
m
= min n N : X
n
= m .
5. Medidas y distribuciones invariantes 33
Denamos
X
n
=
_
X
n
si n T
m
2mX
n
si n > T
m
.
El principio de reexion, que ahora demostaremos, arma que la distribucion de
X bajo P
0
es precisamente P
0
. En efecto, el principio de reexion es consecuencia
de la propiedad de Markov fuerte y el hecho de que la distribucion de X bajo P
0
es tambien P
0
.
Como una aplicacion, notemos que si k 0 entonces
P
0
(T
m
n) = P
0
(T
m
n, X
n
m) +P
0
(T
m
n, X
n
< m) .
Puesto que T
m
n X
n
m y
T
m
n, X
n
m =
_
X
n
m
_
,
se deduce que
P
0
(T
m
n) = P
0
(X
n
= m) + 2P
0
(X
n
> m) .
5. Medidas y distribuciones invariantes
Comenzaremos con un sistema lineal importante que se obtiene de una apli-
caci on de la propiedad de Markov fuerte.
Ejemplo 2.11 (Cantidad esperada de visitas antes de la recurrencia). Consid-
eremos de nuevo a los tiempos de primera visita
T
y
= min n N : X
n
= y .
Fijemos a x E y denamos
x
x
= 1 y
x
y
= E
x
_
T
x
i=0
1
X
n
=y
_
para y ,= x.
Teorema 2.3. Para una cadena irreducible y recurrente,
x
satisface
x
x
= 1,
0 <
x
y
< y
(3)
zE
z
y
P
y,z
=
x
z
.
Una medida invariante es un vector renglon
y
, y E con entradas no-
negativas tal que P = o mas explcitamente,
zE
z
y
P
y,z
=
z
.
Por lo tanto, el vector
x
representa una construccion probabilstica de una medida
invariante.
Demostraci
on. Claramente
x
x
= 1. Para ver que
x
satisface (3), utilizamos
la propiedad de Markov de manera similar al analisis del primer paso. Supongamos
primero que y ,= x. Entonces, puesto que T
x
es nito P
x
casi seguramente
E
x
_
n<T
x
1
X
n
=y
_
= E
x
_
_
nT
x
1
X
n
=y
_
_
=
n=1
E
x
(1
X
n
=y
1
T
x
n
) .
El sumando n = 1 es facil de calcular puesto que bajo P
x
, T
x
1:
E
x
(1
X
1
=y
1
T
x
1
) = E
x
(1
X
1
=y
) = P
x,y
.
Para los sumandos con n 2, aplicamos la propiedad de Markov al instante n 1
(haciendo una especie de analisis de ultimo paso), notando que T n F
n1
:
E
x
(1
X
n
=y
1
T
x
n
) =
z=x
E
x
_
1
X
n1
=z
1
X
n
=y
1
T
x
n
_
z=x
E
x
_
1
X
n1
=z
1
T
x
n
_
P
z,y
.
As, vemos que
x
y
= E
x
_
n<T
x
1
X
n
=y
_
= P
x,y
+
z=x
n=1
E
x
(1
X
n
=y
1
T
x
>n
) P
z,y
=
x
x
P
x,y
+
z=x
E
x
_
T
x
1
n=0
1
X
n
=y
_
P
z,y
=
zE
x
z
P
z,y
.
Ahora veremos que 1 =
x
x
=
x
y
P
y,x
. En efecto, basta descomponer respecto al
valor de T
x
y de X
T
x
1
, recordando que T
x
es nito P
x
casi seguramente:
1 =
n=1
P
x
(T
x
= n)
= P
x,x
+
n=2
y=x
P
x
(T
x
= n, X
n1
= y)
= P
x,x
+
n=2
y=x
P
x
(T
x
n 1, X
n1
= y) P
x,y
= P
x,x
+
y=x
x
y
P
x,y
.
Finalmente, si consideramos m tal que P
m
x,y
> 0 y n tal que P
n
y,x
> 0 entonces por
una parte
x
y
=
x
z
P
m
z,y
P
m
x,y
> 0
y por otra
1 =
x
x
=
x
z
P
n
x,z

x
y
P
n
x,y
implica que
x
y
< .
Definici
on. Un estado x de una cadena de Markov es positivo recurrente

si E
x
(T
x
) < . Denotamos por m
x
a dicha cantidad, a la que nos referiremos
como tiempo medio de recurrencia de x.
Notemos que, de acuerdo a nuestra denicion de
x
, se tiene que
x
y
= E
x
_
n<T
x
1X
n
= y
_
= E
x
(T
x
) .
Si x es positivo recurrente, podemos entonces denir al vector
x
=
_
x
y
/E
x
(T
x
)
_
que satisface
x
y
0,
x
y
= 1 y
yE
x
y
P
y,z
=
x
z
.
Una distribucion invariante es un vector renglon que satisface las 3 condiciones
anteriores. Una propiedad importante y util de una distribucion invariante es que
si X
0
tiene distribucion , entonces X
n
tendra distribucion para toda n. Por otra
parte, en espacio de estados nito es facil ver que existen distribuciones invariantes.
Corolario 1. En una cadena irreducible con espacio de estados nito, todos
los estados son positivo recurrentes.
Demostraci
on. Sea x cualquier estado de la cadena. Por el teorema anterior
x
y
< para toda y y como E es nito, entonces
E
x
(T
x
) =
yE
x
y
< .
En caso de que exista un unico vector de probabilidad invariante, se pueden
calcular tiempos medios de recurrencia al resolver un sistema de ecuaciones. A
continuacion profundizaremos en esta idea.
Teorema 2.4. Si es una medida invariante para una matriz de transicion
irreducible P y
x
= 1 entonces
x
. Si ademas P recurrente entonces =
x
.
Demostraci
on. Al aplicar la invariancia de se obtiene
y
=
y
1
E
y
1
P
y
1
,y
=
x
P
x,y
+
y
1
=x
y
1
P
y
1
,x
= P
x,y
+
y
1
=x
y
1
P
y
1
,y
.
Al volverla a aplicar se obtiene
y
= P
x,y
+
y
1
=x
P
x,y
1
P
y
1
,y
+
y
1
,y
2
=x
y
2
P
y
2
,y
1
P
y
1
,y
y al continuar repetidamente, vemos que
y
= P
x,y
+
y
1
=x
P
x,y
1
P
y
1
,y
+ +
y
1
,...,y
n
=x
P
x,y
n
P
y
n
,y
n1
P
y
2
,y
1
P
y
1
,y
+
y
1
, ,y
n+1
=x
y
n+1
P
y
n+1
,y
n
P
y
2
,y
1
P
y
1
,x
.
Si y ,= x, encontramos la cota
y

n
m=0
P
x
(X
m
= y, T
x
m)
y el lado derecho converge conforme n a
x
y
, por lo que
y

x
y
.
Por otra parte, si la cadena es recurrente ademas de irreducible entonces
x
es invariante, por lo cual =
x
es una medida invariante con
x
= 0. Por
irreducibilidad, para toda y E existe n 0 tal que P
n
y, x > 0 y entonces
0 =
x
=
z
P
n
z,x

y
P
n
x,y
,
por lo que
y
= 0.
Teorema 2.5. Para una cadena irreducible las siguientes condiciones son
equivalentes.
(1) Todos los estados son positivo recurrentes
(2) Alg un estado es positivo recurrente
(3) La cadena admite una distribucion invariante.
En este caso, la distribucion invariante es unica y asigna a x el recproco de su
tiempo medio de recurrencia.
Demostraci
on. Primero probaremos que si la cadena admite una distribucion

invariante entonces todos los estados son positivo recurrentes. Para esto, note-
mos primero que
x
> 0 para toda x E. En efecto, lo debe ser para alguna x y
al utilizar la irreducibilidad para encontrar n tal que P
n
y,x
> 0, vemos que
y
=
zE
P
n
z,y
z

x
P
n
x,y
> 0.
Si x E, entonces /
x
es una medida invariante que asigna 1 a x, por lo cual
/
x

x
. Puesto que es una distribucion:
m
x
= E
x
(T
x
) =
x
y

x
=
1
x
< .
As, todos los estados son positivo recurrentes. Al ser en particular recurrentes,
hemos visto que
x
=
x
x
= m
x
y como
x
es una distribucion entonces m
x
< .
Esto termina la demostracion de las implicaciones y ademas nos produce la formula
requerida para la distribucion invariante.
Ejemplo 2.12 (La cadena de Ehrenfest). Sea E = 0, . . . , N y P
i,i+1
=
1 i/N = 1 P
i,i1
. Esta cadena es irreducible y con espacio de estados nito,
por lo que todos los estados son positivo recurrentes y por lo tanto existe un unico
vector de probabilidad invariante . Ademas,
x
= 1/E
x
(T
x
). El siguiente codigo
nos permite obtener numericamente estas cantidades.
N<-10 #Cantidad de bolas para la cadena de Ehrenfest
P<-matrix(0,N+1,N+1)
P[1,2] <-1
P[N+1,N]<-1
for(i in 2:N){
P[i,i+1] <-1-(i-1)/N
P[i,i-1] <-(i-1)/N
}
I<-diag(1,N+1,N+1)
Null <-function(M) #Calcula una base del kernel de la matriz M mediante
factorizacion QR
{
tmp <- qr(M)
set <- if(tmp$rank == 0) 1:ncol(M) else - (1: tmp$rank)
qr.Q(tmp , complete = TRUE)[, set , drop = FALSE]
}
v<-t(Null(I-P)) # El kernel de I-P tiene dimension 1 por ser la cadena
irreducible y finita
v<-v/sum(v) #Se obtiene el vector de probabilidad invariante
m<-1/v #Se obtienen los tiempos medios de recurrencia
library(xtable) #Cargar el paquete que genera tablas en TeX
print(xtable(v),type="latex",file="EhrenfestInvariantDist.tex") #Genera el TeX
de la tabla
print(xtable(m),type="latex",file="EhrenfestMeanRecurrence.tex") #Genera el TeX
de la tabla
Listing 2.6. EhrenfestMatrix.R
El resultado se puede visualizar en las tablas siguientes
1 2 3 4 5 6 7 8 9 10 11
1 0.00 0.01 0.04 0.12 0.21 0.25 0.21 0.12 0.04 0.01 0.00
6. Comportamiento a tiempos grandes 38
1 2 3 4 5 6 7 8 9 10 11
1 1024.00 102.40 22.76 8.53 4.88 4.06 4.88 8.53 22.76 102.40 1024.00
Por otra parte, para esta cadena particular, podemos calcular explcitamente el
vector de probabilidad invariante y por lo tanto los tiempos medios de recurrencia.
En efecto, sea
j
=
_
N
j
_
2
N
y notemos que si j 1, . . . , N 1 entonces
i
P
i,j
=
j1
P
j1,j
+
j+1
P
j+1,j
=
_
N
j 1
_
2
N
N j + 1
N
+
_
N
j + 1
_
2
N
j + 1
N
= 2
N
N!
_
1
(j 1)! (N j + 1)!
N j + 1
N
+
1
(j + 1)! (N j 1)!
j + 1
N
_
= 2
N
N!
(j 1)! (N j 1)!
_
1
N (N j)
+
1
jN
_
= 2
N
N!
(j 1)! (N j 1)!
_
1
j (N j)
_
= 2
N
_
N
j
_
=
j
.
Por lo tanto la distribucion binomial de parametros N y 1/2 es invariante para la
cadena de Ehrenfest con espacio de estados (0, . . . , N). Como esta es irreducible,
los tiempos medios de recurrencia son
m
i
=
2
N
_
N
i
_.
Si ahora utilizamos la formula de Stirling, notamos que conforme N
m
N/2

1
N
pero m
0
= 2
N
.
6. Comportamiento a tiempos grandes
El objetivo de esta seccion es estudiar como se comporta una cadena de Markov
recurrente cuando la dejamos correr un tiempo grande. Una aplicacion de este
tipo de ideas sirve para desplegar el resultado de una b usqueda en Google en
orden descendiente de importancia de las paginas. Para describir como se dene la
importancia de una pagina, podemos pensar en la siguiente situacion: se considera
a la red como un conjunto de nodos (paginas web) y aristas (hipervnculos) que
los conectan. Si N
v
denota la cantidad de hipervnculos que hay en la pagina v, se
puede denir la importancia de una pagina v como la cantidad I
v
que satisface el
sistema de ecuaciones:
I
v
=
I
u
N
u
,
v
I
v
= 1.
La interpretacion es que una pagina importante transmite su importancia a cada
una de las ligas que esta presente en la pagina y que la suma de las importancias
es 1. Esta es la base del algoritmo PageRank de Google. Para interpretar lo
anterior en terminos de cadenas de Markov, consideremos la siguiente estrategia
para navegar en esta red: al encontrarme en la pagina web, escojo un hipervnculo
al azar y lo recorro. Entonces mi trayectoria por la red sera una cadena de Markov
con matriz de transicion
P
u,v
=
_
_
1
N
u
si existe hipervnculo de u a v
1
Total de p aginas
no hay hipervnculos en u
0 otro caso
.
Notemos que la importancia de una pagina es simplemente una solucion I a la
ecuaci on I = IP. Por otra parte, mediante la estrategia de navegacion postulada,
podramos pensar a la importancia de una pagina web como la fraccion de tiempo
asintotica que le dedico cuando recorro la web al azar. En esta seccion veremos
que de hecho, son la misma idea. En la pagina http://www.nd.edu/
~
networks/
resources.htm el los autores Albert, Jeong y Barabasi proporcionan sus datos
sobre la estructura de la red que recopilaron para un estudio de 1999. Por supuesto
ha crecido mucho desde entonces, pero es un buen ejemplo de datos que se han
hecho de acceso p ublico. Un peque no detalle es que los fundadores de Google
se dieron cuenta de cuestiones numericas que aparecen al tratar de encontrar la
importancia de una pagina, por lo que modicaron la denicion de importancia a:
I
v
=
I
u
N
u
+
1
N
,
donde [0, 1] y N es la cantidad de paginas web que hay. La interpretacion en
terminos de estrategia de navegacion es que, con probabilidad sigo la estrategia
de navegacion anterior y con probabilidad 1 salto a una pagina al azar. As,
se estara considerando la matriz de transicion
P
=
_
N
u
si existe hipervnculo de u a v
1
total de p aginas
no hay hipervnculos en u
1
N
otro caso
El valor utilizado por Google es = .85. La diferencia entre P y P
es que la
segunda es irreducible y aperiodica mientras la primera no tiene por que serlo.
Como ejemplo concreto utilicemos la graca que, el 21 de Mayo del 2012,
se encuentra en la pagina de Wikipedia de PageRank. Los vertices son seran
etiquetados del 1 al 11 y la graca se presenta en la Figura 5. Con = .85, la
2
3
4
1
5
6
7 8 9 10 11
Figura 5. Ilustracion sobre la denicion de importancia de
paginas web
matriz de transicion es
100Q =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
9.09 9.09 9.09 9.09 9.09 9.09 9.09 9.09 9.09 9.09 9.09
1.36 1.36 86.36 1.36 1.36 1.36 1.36 1.36 1.36 1.36 1.36
1.36 86.36 1.36 1.36 1.36 1.36 1.36 1.36 1.36 1.36 1.36
43.8 43.8 1.36 1.36 1.36 1.36 1.36 1.36 1.36 1.36 1.36
1.36 29.70 1.36 29.70 1.36 29.70 1.36 1.36 1.36 1.36 1.36
1.36 43.8 1.36 1.36 43.8 1.36 1.36 1.36 1.36 1.36 1.36
1.36 43.8 1.36 1.36 43.8 1.36 1.36 1.36 1.36 1.36 1.36
1.36 43.8 1.36 1.36 43.8 1.36 1.36 1.36 1.36 1.36 1.36
1.36 43.8 1.36 1.36 43.8 1.36 1.36 1.36 1.36 1.36 1.36
1.36 1.36 1.36 1.36 86.3 1.36 1.36 1.36 1.36 1.36 1.36
1.36 1.36 1.36 1.36 86.3 1.36 1.36 1.36 1.36 1.36 1.36
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
El vector de probabilidad invariante, que nos da la importancia de cada pagina,
es
100 = (3.28, 38.44, 34.29, 3.91, 8.09, 3.91, 1.62, 1.62, 1.62, 1.62, 1.62)
Como comentamos, otra manera de pensar a la importancia de un vertice es
mediante la fraccion de tiempo que paso en el. La fraccion esperada de tiempo que
paso en j comenzando en i despues de n pasos es
1
n
n
l=0
Q
n
i,j
.
Sin embargo, al calcular numericamente la entrada 50 de la cadena, vemos que es
igual a
Q
50
=
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
3.28 38.44 34.29 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.43 34.30 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.45 34.28 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.45 34.28 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.44 34.29 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.45 34.28 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.45 34.28 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.45 34.28 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.45 34.28 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.44 34.29 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
3.28 38.44 34.29 3.91 8.09 3.91 1.62 1.62 1.62 1.62 1.62
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
Vemos que desde el punto de vista numerico, Q
50
es ya una matriz cuyos renglones
son iguales al vector de probabilidad invariante. Esto no es ninguna coincidencia y
uno de nuestros objetivos sera explicarlo. Se utilizo el siguiente codigo para generar
a la distribucion invariante y a la potencia 50 de la matriz.
N<-11
A=matrix(c(
1,1,1,1,1,1,1,1,1,1,1,
0,0,1,0,0,0,0,0,0,0,0,
0,1,0,0,0,0,0,0,0,0,0,
1,1,0,0,0,0,0,0,0,0,0,
0,1,0,1,0,1,0,0,0,0,0,
0,1,0,0,1,0,0,0,0,0,0,
0,1,0,0,1,0,0,0,0,0,0,
0,1,0,0,1,0,0,0,0,0,0,
0,1,0,0,1,0,0,0,0,0,0,
0,0,0,0,1,0,0,0,0,0,0,
0,0,0,0,1,0,0,0,0,0,0),N,N,byrow=TRUE) #Define la matriz de adyacencia de la
grafica
P=A/rowSums(A) #Normaliza los renglones para obtener una matriz estocastica
a=.85
Pa=a*P+(1-a)/N #Se produce la matriz irreducible
l<-50
aux <-Pa
for(i in 1:l){ #Se calcula la potencia 50 de la matriz de transicion
aux <-aux%*%Pa
}
I<-diag(1,N,N)
tmp <- qr(I-Pa) # Se obtiene la factorizacion QR
set <- if(tmp$rank == 0) 1:ncol(M) else - (1: tmp$rank)
Null <-qr.Q(tmp , complete = TRUE)[, set , drop = FALSE]
v<-t(Null) # El kernel de I-P tiene dimension 1 por ser la cadena irreducible y
finita
v<-v/sum(v) #Se obtiene el vector de probabilidad invariante
library(xtable) #Cargar el paquete que genera tablas en TeX
print(xtable(Pa),type="latex",file="PageRankMatrix") #Genera el TeX de la tabla
print(xtable(v),type="latex",file="PageRankInvariantDistribution.tex")
print(xtable(aux),type="latex",file="PageRankMatrixPower.tex")
Listing 2.7. PageRank.R
Vale la pena comparar lo anterior con la cadena de Ehrenfest: con N = 10, a
continuacion se presentan las potencias 50 y 51 de la matriz de transicion:
1000 P
50
=
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
1000 P
51
=
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
2 0 88 0 410 0 410 0 88 0 2
0 20 0 234 0 492 0 234 0 20 0
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
Casi lo mismo se repite al calcular potencias superiores. En este caso, paracera
haber convergencia de las potencias pares y de las potencias impartes a un lmite
distinto. La diferencia entre la matriz de transicion de PageRank y la de la cadena
de Ehrenfest se encuentra en el siguiente concepto.
Definici
on. Sea P una matriz de transicion. Denimos al periodo de un

estado x como el maximo com un divisor de
_
n 0 : P
n
x,x
> 0
_
. Decimos que la
cadena es aperiodica si el periodo de todo estado es 1.
Si x tiene periodo d, entonces P
kd
x,x
> 0 salvo para una cantidad nita de ndices
k mientras que P
kd+1
x,x
= = P
kd+(d1)
x,x
= 0.
Es facil vericar que el periodo es el mismo para todos los elementos de una
clase de comunicacion. Entonces, para vericar que una cadena irreducible es
aperiodica, basta vericar que un alg un estado tiene periodo 1.
Cuando el espacio de estados es nito, una cadena es irreducible y aperiodica
si y solo si existe N > 0 tal que P
N
x,y
> 0 para todo x, y E.
Definici
on. Decimos que una cadena nita es regular si existe una potencia
de la matriz de transicion con todas las entradas positivas.
Puesto que la matriz PageRank con < 1 tiene todas las entradas positivas,
entonces es regular. Sin embargo, la cadena de Ehrenfest tiene periodo 2, por lo
que no es regular. Esta es la gran diferencia entre ambos tipos de cadenas.
El resultado mas importante que relaciona a las potencias de la matriz de
transicion con el vector de probabilidad invariante es el siguiente.
Teorema 2.6 (Teorema fundamental de convergencia). Si P es la matriz de
transicion de una cadena de Markov irreducible, aperiodica y positivo recurrente y
es la unica distribucion invariante de P entonces
P
n
x,y

y
0 conforme
n .
Utilizando el hecho de que si una sucesion converge tambien converge la sucesion
de sus promedios, vemos
lim
n
1
x=y
+P
x,y
+ +P
n
x,y
n
=
y
.
Por lo tanto la entrada y del vector de probabilidad tambien se puede interpretar
como la fraccion esperada asintotica de veces en que la cadena se encuentra en el
estado y, independientemente de donde comenzo.
Hay dos tipos de prueba muy distintos para este resultado. El primero se
enfoca en espacio de estado nito y utiliza el hecho de que la matriz de transicion
de la cadena sera regular, as como un argumento de punto jo. El segundo se
basa en una idea probabilstica conocida como acoplamiento, en el que se prueba
que para dos cadenas de Markov independientes que satisfacen las hipotesis del
teorema toman el mismo valor en un tiempo aleatorio y nito.
A continuacion exploraremos la prueba del teorema fundamental de conver-
gencia en el caso de espacio de estados nito. Comenzaremos con el caso en que
no solo P es regular sino que ademas P tiene todas las entradas positivas.
Denimos a
= min
x,yE
P
x,y
.
Puesto que el espacio de estados es nito, el mnimo anterior esta denido y es
positivo. Sea y un vector columna. Probaremos a continuacion que las entradas de
P
n
y se van acercando entre si conforme n crece. Para esto, sean m
n
el mnimo de las
entradas de P
n
y y M
n
el maximo. Primero mostraremos que m
0
m
1
M
1
M
0
y que M
1
m
1
(1 2) (M
0
m
0
). La idea, que se puede justicar con calculo
diferencial, es que para maximizar el promedio
j
P
i,j
y
j
sujeto a la restriccion de
que max
j
y
j
= M
0
y min
j
y
j
= m
0
formamos un vector con todas sus coordenas
iguales a M
0
salvo una, que sera igual a m
0
y que colocamos con el menor peso
posible, es decir, en la coordenada j tal que P
i,j
= min
j
P
i,j
. As, obtendremos
j
P
i,j
y
j
M
0
(1 P
i,j
) +m
0
P
i,j
M
0
(1 ) +m
0
.
Con un argumento similar se obtiene
j
P
i,j
y
j
m
0
(1 ) +M
0
y por lo tanto
M
1
m
1
(1 2) (M
0
m
0
)
como se anuncio.
Al aplicar lo anterior con P
n1
y en vez de y, vemos que m
0
m
1

m
n
M
n
M
1
M
0
y que
(M
n
m
n
) (1 2)
n
(M
0
m
0
) 0.
Por lo tanto, P
n
y converge a un vector con todas sus entradas iguales.
Si aplicamos lo anterior al vector e
j
que tiene 1 en la entrada j y cero en
cualquier otra entradas, vemos que (P
n
e
j
)
i
(la i-esima entrada de P
n
e
j
) es igual a
P
n
i,j
que esta cantidad converge a u
j
para cualquier i. Notemos ademas que m
1
> 0
y por lo tanto u
j
> 0 para toda j. As, la matriz P
n
converge a una matriz cuyos
renglones son todos iguales al vector cuya entrada j es u
j
. Finalmente, notamos
que u es una distribucion invariante. Es una distribucion pues, como el espacio de
estados es nito, entonces
1 = lim
n
j
P
n
i,j
=
j
lim
n
P
n
i,j
=
j
u
j
.
Por otro lado, puesto que P
n+1
= P
n
P, vemos que
u
j
= lim
n
P
n+1
i,j
= lim
n
(P
n
P)
i,j
= lim
n
k
P
n
i,k
P
k,j
=
k
u
k
P
k,j
.
Finalmente, aprovechamos la ocasion para dar otra prueba de por que en este
caso, hay a lo mas una distribucion invariante. Si v es una distribucion invariante
entonces vP
n
= v y por otro lado
v
j
= (vP
n
)
j
=
i
v
i
P
n
i,j

i
v
i
u
j
= u
j
.
Por lo tanto u = v.
7. Cadenas absorbentes 45
Histogram of apariciones
apariciones
F
r
e
q
u
e
n
c
y
0 10 20 30 40 50 60 70
0
1
0
0
0
2
0
0
0
3
0
0
0
4
0
0
0
Figura 6. Histograma de una muestra del tiempo de aparicion
de la palabra 101
7. Cadenas absorbentes
Consideremos el siguiente problema: se tiene un abecedario jo (digamos para
jar ideas igual a 0, 1) con cuyos elementos conformamos palabras (como podra
ser 1001). Si se extraen las letras del abecedario con igual probabilidad y con
independencia entre las extracciones, Cuanto se debe esperar para que aparezca
la palabra escogida? Mas generalmente: con que probabilidad aparece la palabra
por primera vez al observar n letras? Un caso particular de este problema es cuando
la palabra tiene solo una letra (digamos p); el tiempo de aparicion de la palabra es
entonces geometrico de parametro p.
El siguiente codigo toma una muestra de tama no 10000 de la distribucion
del tiempo de aparici on de la palabra 101 cuando las letras 1 y 0 aparencen con
probabilidades 2/3 y 1/3. Se obtiene el histograma de la muestra (ver la Figura 6)
as como la media emprica, que resulto ser de 8.26.
# Obtener una muestra de tama~no 10000 del tiempo de aparici on de la palabra 101.
# 1 aparece con probabilidad 2/3
p<-2/3 #Probabilidad de que salga 1
N<-10000 #Tama\~no de muestra
llevo <-0 #Cu\antas simulaciones llevo
apariciones <-c() #En que tiempos aparecen las palabras
while(llevo <N){ #Mientras no lleve N simulaciones
llevo <-llevo+1 #Realizo una mas
n<-0 #Inicializando a $n$ en cero
palabraAleatoria <-c() #Con un nuevo repositorio de letras
aux <-0 #Y una variable que indica si ya he visto la palabra
while(aux ==0){ #Mientras no haya visto la palabra
n<-n+1 #Espero una unidad de tiempo
palabraAleatoria <-c(palabraAleatoria ,rbinom(1,size=1,prob=2/3)) #Obtengo
una letra nueva
if(n>2){if(palabraAleatoria[n -2]==1 & palabraAleatoria[n -1]==0 &
palabraAleatoria[n]==1){ aux <-1 }}
} #Si he visto la palabra , la variable aux nos sacar\a del ciclo
apariciones <-c(apariciones ,n) #Agrego el nuevo tiempo de aparici\on
}
hist(apariciones)
mean(apariciones)
Listing 2.8. Palabra.R
Consideremos otro problema similar: para el laberinto de la Figura 1, si la rata
comienza su trayectoria en el cuarto i, Cual es la cantidad de tiempo esperada
para que llegue a la celda 9? Estas preguntas pueden responderse con la teora de
cadenas de Markov absorbentes. Ya hemos discutido por que el segundo problema
est a relacionado con cadenas de Markov, en particular con una cadena de Markov
en la que el estado 9 es absorbente. El primero parecera no estarlo. Sin embargo,
asociemos una cadena de Markov a nuestro ejemplo particular.
El espacio de estados es 0, 1, 2, 3, 4 donde el estado i representa que han
aparecido i letras correctas de la palabra 1001. El estado 4 sera absorbente y
nos se nalara que ya ha aparecido por primera vez la palabra. Si p representa la
probabilidad de que la enesima letra sea 1 y q = 1 p, la matriz de transicion de
la cadena sera
P =
_
_
_
_
_
_
q p 0 0 0
p 0 q 0 0
p 0 0 q 0
q 0 0 0 p
0 0 0 0 1
_
_
_
_
_
_
Si por ejemplo tuvieramos la palabra 11011, la matriz de transicion sera
_
_
_
_
_
_
_
_
q p 0 0 0 0
q 0 p 0 0 0
0 0 p q 0 0
q 0 0 0 p 0
q 0 0 0 0 p
0 0 0 0 0 1
_
_
_
_
_
_
_
_
puesto que si tengo 2 letras correctas es por que estoy viendo la palabra 11; si sale
1 seguire observando 11 mientras que si sale 0, observare 110.
Ahora interpretemos una entrada particular de la matriz de transicion: P
n
0,4
,
para la palabra 1001. Es la probabilidad de que la cadena se encuentre en el estado
al tiempo n, que equivale a que la cadena se haya absorbido en 4 antes del tiempo
n, que signica a su vez que haya aparecido la palabra a lo mas en la enesima
extraccion.
Pasemos a la abstraccion com un de ambos problemas.
Definici
on. Una cadena absorbente es una cadena absorbente con espacio

de estados nito, que tiene al menos un estado absorbente y que desde cualquier
estado se puede acceder a un estado absorbente.
Los estados de una cadena absorbente los podemos dividir en no-absorbentes
(T, pues son transitorios) y absorbentes (A). Si los enumeramos del 1 al n y
ponemos al nal a los absorbentes, la matriz de transicion tomara la forma
P =
_
Q R
0 I
_
,
donde Q es una matriz de tama no mm (m < n) en donde se encuentran las prob-
abilidades de transici on entre estados no-absorbentes, R es una matriz de tama no
mn correspondiente a las probabilidades de transicion de estados no-absorbentes
a absorbentes, mientras que I es la matriz identidad de tama no (n m)(n m).
Si i es no-absorbente y j es absorbente, la entrada P
n
i,j
representa la probabilidad
de que comenzando en i la cadena se haya absorbido por el estado j antes del
instante n, mientras que
jm
Q
n
i,j
representa la probabilidad de que comenzando
en i, la cadena todava no se haya absorbido en el instante n. Es usual escribir
jm
Q
n
i,j
= Q
n
1
donde 1 es un vector columna de longitud m y entradas iguales a 1.
Proposici
on 2.11. Sea
T =
_
n 0 : X
n
A =
min n 0 : X
n
A en otro caso
el tiempo de absorcion de una cadena absorbente. Entonces P
i
(T < ) = 1 para
toda i E y lim
n
Q
n
= 0.
En el enunciado anterior, 0 es una matriz de mm cuyas entradas son iguales
a cero.
Demostraci
on. En la Proposicion 2.10 hemos probado que P

i
(T < ) = 1
puesto que T es una clase abierta y nita. Por otra parte, si i, j m:
0 = P
i
(T = ) = lim
n
P
i
(T n) lim
n
P
i
(, X
n
= j, T n) = lim
n
Q
n
i,j
.
Ahora mostraremos un resultado que nos permite encontrar la cantidad esper-

ada de visitas a los diversos estados absorbentes.
Proposici
on 2.12. La matriz I Q es invertible. Si M = (I Q)

1
entonces
M
i,j
= I +Q+Q
2
+Q
3
+ = E
i
_

n=0
1
X
n
=j
_
.
Si t
i
= E
i
(
n=0
1
X
n
T
) entonces
t = M1.
Si B
i,j
= P
i
(X
T
= j) entonces
B = MR.
Demostraci
on. Debemos mostrar que si (I Q) x = 0 entonces x = 0. Sin

embargo, si x = Qx entonces x = Q
n
x 0, por lo que x = 0. Por otra parte,
puesto que
(I Q)
_
1 +Q+Q
2
+ +Q
n
_
= I Q
n+1
,
al multiplicar por M = (I Q)
1
vemos que
1 +Q+Q
2
+ +Q
n
= M
_
I Q
n+1
_
y al tomar el lmite conforme n , vemos que
M
i,j
= I +Q+Q
2
+Q
3
+ .
Al utilizar el teorema de convergencia dominada, vemos que
n
Q
n
i,j
=
n
E
x
(1
X
n
=j
) = E
x
_
n
1
X
n
=j
_
.
Notemos que
jT
n
1
X
n
=j
=
n
1
X
n
T
es la cantidad de veces que X esta en el conjunto T, que es igual al tiempo de
absorcion. Al sacar esperanza, vemos que
t
i
= E
i
(T) =
j
M
i,j
= M1.
Finalmente, notemos que
P
i
(X
T
= j) =
jT
P
i
(X
T
= j, T = n, X
n1
= z)
=
kT
P
n1
i,k
P
k,j
=
kT
M
i,k
P
k,j
.
Apliquemos ahora la proposicion anterior al tiempo de aparicion de la palabra
101 cuando p = 2/3. La matriz de transicion y la matriz Q asociadas son:
P =
_
_
_
_
1/3 2/3 0 0
0 2/3 1/3 0
1/3 0 0 2/3
0 0 0 1
_
_
_
_
y Q =
_
_
1/3 2/3 0
0 2/3 1/3
1/3 0 0
_
_
.
El siguiente codigo nos permite calcular numericamente la matriz fundamental, la
matriz B y el vector t.
P=matrix (0,4,4)
P[c(1,3,10)]<-1/3
P[c(5,6,15)]<-2/3
P[4,4] <-1
Q=P[1:3 ,1:3]
R=P[1:3 ,4]
I=diag (1,3,3)
M=solve(I-Q)
uno=matrix (1,3,1)
t=M%*%uno
B=M%*%R
Listing 2.9. PalabraFundamental.R
Se obtiene
M =
_
_
2.25 4.50 1.50
0.75 4.50 1.50
0.75 1.50 1.50
_
_
y t =
_
_
8.25
6.26
3.75
_
_
,
mientras que la matriz B tiene obviamente las entradas iguales a 1. Notemos que
el tiempo esperado para la aparicion de la palabra coincide (a nivel numerico) con
el obtenido por simulacion con el codigo Palabra.R.
En el caso de la rata y el laberinto de la Figura 1, se utilizo el codigo siguiente
para determinar la matriz fundamental M y al vector t.
P=t(matrix(c(0,1/2,0,1/2,0,0,0,0,0,1/3,0,1/3,0,1/3,0,0,0,0,0,1/2,0,0,0,1/
2,0,0,0,1/3,0,0,0,1/3,0,1/3,0,0,0,1/4,0,1/4,0,1/4,0,1/4,0,0,0,1/3,0,1/
3,0,0,0,1/3,0,0,0,1/2,0,0,0,1/2,0,0,0,0,0,1/3,0,1/3,0,1/3,0,0,0,0,0,1/2,0,1
/2,0) ,9) )
P[9,6] <-0
P[9,8] <-0
P[9,9] <-1 # Genera la matriz de transici\on (absorbente) para la rata en un
laberinto
Q=P[1:8 ,1:8]
I=diag (1,8,8)
M=solve(I-Q)
uno=matrix (1,8,1)
t=M%*%uno
Listing 2.10. LaberintoFundamental.R
Se obtuvieron los siguientes resultados numericos:
M =
_
_
_
_
_
_
_
_
_
_
_
_
3.00 3.00 1.50 3.00 3.00 1.50 1.50 1.50
2.00 3.62 1.75 2.37 3.00 1.62 1.25 1.37
1.50 2.62 2.50 1.87 2.50 1.87 1.00 1.12
2.00 2.37 1.25 3.62 3.00 1.37 1.75 1.62
1.50 2.25 1.25 2.25 3.50 1.50 1.25 1.50
1.00 1.62 1.25 1.37 2.00 2.12 0.75 0.87
1.50 1.87 1.00 2.62 2.50 1.12 2.50 1.87
1.00 1.37 0.75 1.62 2.00 0.87 1.25 2.12
_
_
_
_
_
_
_
_
_
_
_
_
y t =
_
_
_
_
_
_
_
_
_
_
_
_
18.00
17.00
15.00
17.00
15.00
11.00
15.00
11.00
_
_
_
_
_
_
_
_
_
_
_
_
CAP
ITULO 3
Procesos de renovacion
Retomaremos el ejemplo de conteos aleatorios del Captulo 1 (Ejemplo 1.3).
Consideremos variables aleatorias independientes e identicamente distribuidas
S
1
, S
2
, . . . con valores estrctamente postivos. Podemos pensar en que S
i
es el
tiempo de vida de un componente crucial para el funcionamiento de cierto sistema
y que al fallar se debe reemplazar. Los tiempo de reemplazo seran
T
0
= 0, T
1
= S
1
, T
2
= S
1
+S
2
, . . . .
Por otra parte la cantidad de componentes que han fallado hasta el tiempo t sera
N
t
= min n : T
n
> t =
n=0
n1
T
n
t<T
n+1
.
A este modelo general se le llama modelo de renovacion. La sucesion S sera la
sucesi on de tiempos de vida, la sucesion T la de tiempos de renovacion y
la sucesion N sera el proceso de conteo asociado.
Hay un par de procesos adicionales que son utiles e interesantes: el proceso de
tiempo residual (hasta el proximo reemplazo) es
R
t
= T
N
t
+1
t,
el proceso de edad es
A
t
= t T
N
t
.
Su suma es el proceso de tiempos totales
L
t
= S
N
t
+1
.
En la Figura 1 se ilustran las deniciones asociadas a los procesos de renovacion.
Imaginemos ahora que en vez de cambiar al componente crucial en cuanto falla,
se realiza una revision diaria en la que se ve si se cambia o no. Entonces es mas
conveniente medir el tiempo en das en vez de continuamente. En terminos del
modelo, se puede imponer simplemente que el tiempo de vida S
i
sea una variable
aleatoria con valores en 1, 2, . . . y las deniciones tienen sentido como las hemos
puesto, salvo que R
n
, A
n
y L
n
, con n N, toman valores en N y determinan a los
procesos R, A y L. En este caso hablamos de un proceso de renovacion aritmetico.
51
52
0
1
2
3
4
T
1
T
2
T
3
T
4
t
A
t
R
t
L
t
N
t
Figura 1. Ilustracion de las deniciones de proceso de renovacion
En este captulo se hara una introduccion a los procesos de renovacion. Se
enunciaran los resultados tanto en el caso general como en el aritmetico, pero las
justicaciones se haran en general en el caso aritmetico.
Ejemplo 3.1. Imaginemos la trayectoria de la rata en el laberinto de la Figura
1, que hemos modelado mediante una cadena de Markov. Supongamos que inicial-
mente le damos de comer a la rata en la casilla central y que, al terminar, la rata
se va a dar un paseo aleatorio. Cuando regresa a la casilla central, encontrara la
comida de nuevo dispuesta. En este caso, nuestros tiempos entre sucesos S
i
seran
la cantidad de pasos entre dos comidas de la rata y nuestros tiempos de reemplazo
(o de renovacion) seran los instantes de las visitas sucesivas de la rata a la casilla
central. La variable R
n
se puede interpretar como la cantidad de tiempo que le
falta a la rata, despues de n pasos, para volver a comer. La variable A
n
es la
cantidad de tiempo que lleva la rata sin comer al paso n mientras que L
n
es la
cantidad total de pasos que pasara la rata sin comer desde la ultima vez que comio
anterior al paso n, hasta la siguiente vez que lo hara. No es completamente trivial
vericar que la situacion descrita corresponde a un fenomeno de renovacion, pues
no hemos discutido por que los tiempos entre las visitas sucesivas de la rata a la
casilla central conforman una sucesion de variables independientes e identicamente
distribuidas. Sin embargo, la propiedad de Markov fuerte nos permite ver que as
es.
53
El tipo de preguntas a las que responde la teora de renovacion en este contexto
son las siguientes: Al instante n: cuantas veces ha comido la rata? Que pasa
conforme n ? Que pasa en promedio? Cu al es la distribucion del tiempo
que le falta para volver a comer (R
n
)? Que le pasa a esta distribucion conforme
n ? Cual es la probabilidad de que al paso n la rata coma? Que pasa con
dicha probabilidad conforme n ?
El ejemplo anterior es caso particular de uno mucho mas general: si 0 = T
0
<
T
1
< son los instantes sucesivos en que una cadena de Markov recurrente visita
a su estado inicial, que jamos igual a x, entonces las variables T
i
T
i1
son
independientes e identicamente distribuidas por lo que conforman un fenomeno
de renovacion. Si X
0
= y ,= x, entonces la distribucion de S
1
es distinta a la
de S
2
, S
3
, . . ., aunque a un as son iid. En este caso hablamos de un proceso de
renovacion demorado.
Ejemplo 3.2 (El proceso Bernoulli). Se trata de un proceso de renovacion
aritmetico en el cual los tiempos entre sucesos tienen distribucion geometrica:
P(S
i
= k) = p (1 p)
k1
para k = 1, 2, . . .. En este caso particular se pueden calcular las distribuciones de los
procesos asociados al fenomeno de renovacion. Ademas, admite una interpretacion
adicional: sean B
1
, B
2
, . . . variables aleatorias Bernoulli de parametro p y sean
T
0
= 0 y T
n+1
= min i > T
n
: B
i
= 1 .
Entonces T es un proceso Bernoulli en el sentido de que la sucesion (T
n+1
T
n
)
es iid con distribucion geometrica (concentrada en 1, 2, . . .) de parametro p.
Comencemos con la distribucion de T
n
: de acuerdo a nuestra interpretacion,
T
n
es el tiempo en el que ocurre el enesimo exito de la sucesion Bernoulli B, por
lo que T
n
es binomial negativa de parametros n y p con valores en n, n + 1, ,
es decir:
P(T
n
= k) =
_
k 1
k n
_
p
k
(1 p)
kn
.
Al proceso de conteo asociado tambien se le puede calcular la distribucion
exacta: notemos que N
n
es la cantidad de unos en la sucesion B
1
, . . . , B
n
, y como
estas variables toman los valores cero y uno, pues N
n
=
n
i=1
B
i
. As, N
n
tiene
distribucion binomial de parametros n y p. Esto ademas implica que E(N
n
) = p/n
y por lo tanto E(N
n
/n) p conforme n , que es un caso particular del
teorema de renovacion elemental que demostraremos mas adelante.
Respecto al proceso de tiempos resiguales, notemos que
R
n
= k = B
n+1
= 0, . . . , B
n+k1
= 0, B
n+k
= 1
de donde concluimos que
P(R
n
= k) = p (1 p)
k1
k = 1, 2, . . . .
54
En otras palabras, R
n
es geometrica de parametro p con valores en 1, 2, . . ..
Un argumento similar funciona para el proceso de edad pues
A
n
= k = B
n
= 0, B
n1
= 0, . . . , B
nk+1
= 0, B
nk
= 1
por lo que
P(A
n
= k) = p (1 p)
k
k = 0, 1, . . . .
En otras palabras, A
n
es geometrica de parametro p con valores 0, 1, 2, . . ..
De hecho, las variables A
n
y R
n
son independientes pues al ser las B
i
indepen-
dientes vemos que
P(A
n
= j, R
n
= k)
= P(B
n
= 0, . . . , B
nj1
= 0, B
nj
= 1, B
n+1
= 0, . . . , B
n+k1
= 0, B
n+k
= 1)
= P(B
n
= 0, . . . , B
nj1
= 0, B
nj
= 1) P(B
n+1
= 0, . . . , B
n+k1
= 0, B
n+k
= 1)
= P(A
n
= j) P(R
n
= k)
Finalmente, la distribucion del proceso de tiempos totales se puede entonces
calcular; recordemos que la suma de dos geometricas independientes es binomial
negativa. Solo hay que tener cuidado pues este calculo asume que ambas variables
geometricas toman valores en el mismo conjunto. El resultado es que
P(L
n
= m) = mp
2
(1 p)
m1
. m = 1, 2, . . .
A continuacion exploraremos otra liga entre cadenas de Markov y procesos de
renovacion.
Proposici
on 3.1. En procesos de renovacion aritmeticos, el proceso de tiem-

pos residuales es una cadena de Markov. Si M es el supremo del soporte de la
distribucion de S
1
, la matriz de transici on de R es irreducible en i N : i M.
R es aperiodica si n 1 : P(S
1
= n) > 0 , hN para toda h 2.
Un proceso de renovacion aritmetico aperiodico es aquel para el cual se satisface
la anterior condicion para que R sea aperiodica.
Demostraci
on. Consideremos a la funcion

f(i, r) =
_
i 1 i > 1
r i = 1
.
Al denir a la sucesion

R medante
R
0
= 1 y

R
n+1
= f
_
R
n
, S
n+1
_
,
vemos que

R es una cadena de Markov con matriz de transicion
P
i,j
=
_
1 i > 1, j = i 1
P(S
1
= j) i = 1
.
55
Sin embargo, puesto que la sucesion S es iid, R y

R tienen la mismas distribuciones
nito-dimensionales en el sentido siguiente:
P(R
0
= i
0
, . . . , R
n
= i
n
) = P
_
R
0
= i
0
, . . . ,

R
n
= i
n
_
.
En efecto, si i
0
, . . . , i
n
1, 2, . . . e i
l
= 1 si y solo si l I 0, . . . , n e
i
l
= i
l1
1 si l , I y digamos que I = l
1
, . . . , l
m
entonces
P
_
R
0
= i
0
, . . . ,

R
n
= i
n
_
= P
_
S
i
l
k
= i
l
k
, k m
_
= P(S
k
= i
l
k
, k m)
= P(R
0
= i
0
, . . . , R
n
= i
n
) .
Esto prueba que R es una cadena de Markov con matriz de transicion P.
Si M es el supremo del soporte de la distribucion de S
1
y M < , entonces
P(S
1
= M) > 0 y P(S
1
= n) = 0 para toda n M. Entonces de 1 se accede a
M, a partir del cualse accede a M 1, . . . , 1, por lo que 0, . . . , M es una clase
de comunicacion, que de hecho es cerrada pues P(S
1
= n) = 0 para toda n M.
Esto hace que la cadena en 1, . . . , M sea irreducible. Si M = , entonces para
toda M existe n M tal que P(S
1
= n) > 0, por lo que 0 se comunica con M va
n. Es decir, la cadena es irreducible en 0, 1, . . ..
Si n 1 : P(S
1
= n) > 0 , hN para h 2 entonces existen n
1
, n
2
, k
1
y k
2
naturales tal que n
1
k
1
= 1 +n
2
k
2
y tales que P(S
1
= n
1
) , P(S
1
= n
2
) > 0. Vemos
entonces que es posible ir de cero a cero en n
1
k
1
= n
2
k
2
+1 pasos y en n
2
k
2
pasos,
por lo que el periodo de 1 es 1 y por lo tanto la cadena es aperiodica.
La respuesta a cuantas veces a comido la rata al paso n se puede interpretar
en terminos de N
n
en el caso de procesos de renovacion aritmeticos o de N
t
en el
caso general. Los siguientes dos resultados nos permiten dar una posible respuesta:
para tiempos grandes, la variable N
t
se puede predecir determinsticamente.
Proposici
on 3.2 (Ley fuerte de los grandes n umeros). Si = E(S

i
) <
entonces N
t
/t 1/ casi seguramente
Demostraci
on. Por la ley fuerte de los grandes n umeros, sabemos que T

n
/n
casi seguramente. Notemos que si t [T
n
, T
n+1
) entonces
T
n
n
n
n + 1

t
N
t
T
n+1
n + 1
n + 1
n
.
Los extremos de la desigualdad convergen al mismo lmite, , conforme n de
manera casi segura. Por lo tanto N
t
/t 1/.
Nuestro siguiente resultado involucra a la llamada funcion de renovacion. Es
la funci on m : [0, ) [0, ) dada por m(t) = E(N
t
).
Proposici
on 3.3 (Teorema de renovacion elemental). Si = E(S

1
) <
entonces m(t) /t 1/.
56
La demostracion utilizara un resultado sobre camintas aleatorias conocido
como la identidad de Wald y que se prueba como una aplicacion de la teora de
martingalas. Se trata de una generalizacion de la formula E(T
n
) = nE(T
1
) al caso
en que n ya no es una cantidad ja sino aleatoria. En nuestro contexto, veremos
que
(4) E(T
N
t
+1
) = E(N
t
+ 1) E(T
1
) = E(N
t
+ 1) .
La demostracion en este caso particular es la siguiente: notamos que
N
t
+ 1 = n = N
t
= n 1 = T
n1
t < T
n
.
Se sigue que N
t
+ 1 > n pertenece a la -algebra generada por S
1
, . . . S
n
y es
por lo tanto independiente de S
n+1
. Al aplicar el teorema de Tonelli (dos veces):
E(T
N
t
+1
) = E
_
i
1
i=N
t
+1
T
i
_
= E
_
_
ji
1
i=N
t
+1
S
j
_
_
= E
_
_
ij
1
i=N
t
+1
S
j
_
_
= E
_
_
j
1
N
t
+1j
S
j
_
_
=
j
E(S
j
) P(N
t
+ 1 j)
=
j
P(N
t
+ 1 j)
= E(N
t
+ 1) .
Prueba del teorema de renovaci
on elemental. Ocupemonos primero de

obtener una cota inferior. A partir de la identidad de Wald, vemos que
t E(T
N
t
+1
) E(N
t
+ 1) .
Por lo tanto
1

1
t

E(N
t
)
t
.
Notemos que
lim
t
1

1
t
=
1
.
1. La medida de renovacion en el caso aritmetico 57
Para obtener una cota superior, denimos a

S
i
= S
i
b. Con la notacion obvia,
notemos que

T
i
T
i
y que por lo tanto N
t

N
t
. Ademas,
E
_
S
1
b
_
E(N
t
+ 1) = E
_
N
t
+1
_
t +b,
por lo que
E(N
t
)
t

t +b
tE(S
1
b)
.
Al utilizar b =
t, el teorema de convergencia monotona nos dice que

E
_
S
1

t
_
,
por lo que
lim
t
t +
t
tE
_
S
1

t
_ =
1
.
Podemos entonces deducir que
lim
t
E(N
t
)
t
=
1
.
1. La medida de renovacion en el caso aritmetico
Continuaremos el estudio de procesos de renovacion al introducir a la medida
de renovacion. En realidad se introducira a partir de la funcion u dada por
u
n
= P(m, T
m
= n) =
m
P(T
m
= n) .
En terminos de la rata en el laberinto, u
n
es la probabilidad de que la rata coma
al instante n. El comportamiento asintotico de u
n
se conoce y es el objeto del
teorema de renovacion para procesos de renovacion aritmeticos de Erdos, Feller y
Pollard.
Teorema 3.1. Para un proceso de renovacion aritmetico, aperiodico y con
media nita:
lim
n
u
n

1
.
Demostraci
on. Primero probemos que el proceso de tiempos residuales R

tiene una distribucion invariante. En efecto, sean
i
= P(S
1
i) /
2. La medida de renovacion en el caso continuo 58
y P la matriz de transicion de R. Entonces
(P)
j
=
i
P
i,j
=
j+1
P
j+1,j
+
1
P
1,j
=
P(S
1
j + 1)
P
j+1,j
+
1
P(S
1
= j)
=
P(S
1
j)
=
j
.
Al ser la cadena irreducible y aperiodica y con una distribucion invariante, es
positivo recurrente y se puede aplicar el teorema fundamental de convergencia
para concluir que
lim
n
P
n
i,1
=
1
.
Por otra parte, podemos calcular explcitamente P
n
1,1
pues
P
n
1,1
= P(R
n
= 1) = P(n = T
m
para alguna m) = u
n
.
As, vemos que u
n
1/ conforme n .
2. La medida de renovacion en el caso continuo
Ahora presentaremos el resultado analogo al teorema de renovacion aritmeticos
en el caso de procesos no aritmeticos. No se abordara la prueba pues depende de
resultados analogos al teorema fundamental de convergencia pero para cadenas de
Markov a tiempo discreto y espacio continuo (en este caso, el espacio de estados
del proceso de tiempos residuales es (0, )).
Sea S un proceso de renovacion no-aritmetico, es decir una sucesion de variables
aleatorias independientes e identicamente distribuidas con valores en (0, ) y tal
que no toman valores en N. Se puede pensar que S
i
es una variable aleatoria con
densidad. Sea T la sucesion de tiempos entre sucesos y N el proceso de conteo
asociado.
Definici
on. La medida de renovacion es la medida U en [0, ) tal que

U([0, t]) = E(N
t
) =
n=1
P(T
n
t) .
Se utilizara la notacion U
t
para U([0, t]). En general, para procesos de reno-
vaci on no aritmeticos, la cantidad P(nT
n
= t) es cero para casi toda t. Es por eso
que se utiliza la medida de renovacion en vez de la funcion de renovacion del caso
aritmetico. En efecto, si [a, b] es un intervalo muy peque no, puede que haya un
punto T
n
en dicho intervalo, pero sera raro que hubiera mas de uno. Por lo tanto
U([a, b]) P(n, T
n
[a, b]). El siguiente teorema puede entonces interepretarse
como es una extension del teorema de renovacion para procesos aritmeticos.
3. La ecuacion de renovacion 59
Teorema 3.2 (Teorema de renovacion de Blackwell). Para todo h > 0:
lim
t
U
t+h
U
t
=
h
.
3. La ecuacion de renovacion
La ecuacion de renovacion aparece en el calculo de algunas cantidades de la
teora de renovacion. En general se trata de un analisis al primero instante de ren-
ovaci on al notar que el proceso T
dado por 0, T
2
T
1
, T
3
T
1
, es un proceso de
renovacion identico en distribucion a T
0
, T
1
, T
2
, e independiente de T
1
. Ejem-
plos de su utilidad es que nos permite estudiar el comportamiento asintotico de
las distribuciones de los procesos de tiempo residual, de edad o de tiempos totales.
Sin embargo, tambien se puede entender como una relacion de recurrencia para
cantidades de interes en teora de renovacion. Nos concentraremos en el caso ar-
itmetico, al ser tecnicamente menos complicado, al comenzar con algunos ejemplos.
Escribiremos
p
k
= p(k) = P(S
1
= k) .
Ejemplo 3.3. Sea u
k
la densidad de renovacion para un proceso de renovacion
aritmetico:
u
k
= P(n 0 tal que T
n
= k) .
Escribiremos a dicha cantidad como u(k) cuando la tipografa lo requiera.
Notemos que u
0
= 1, mientras que para k 1, claramente P(T
0
= k) = 0 y
por lo tanto:
u
k
= P(n 1 tal que T
n
= k)
=
k
j=1
P(S
1
= j, n 0 tal que T
n
j = k j)
=
k
j=1
P(S
1
= j, n 0 tal que T
n
= k j)
=
k
j=1
p
j
P(n 0 tal que T
n
= k j)
=
k
j=1
p
j
u
kj
= E(u(k S
1
)) ,
donde por supuesto se utiliza el hecho que por denicion u
j
= 0 si j < 0.
La ecuacion
u
k
=
0
(k) +E(u(k S
1
))
que tambien se escribe
u
k
=
0
(k) +
p
j
u
kj
es la llamada ecuacion de renovacion para la densidad de renovacion.
Ejemplo 3.4. Sea L
n
, n 0 el proceso de tiempos totales de un proceso de
renovacion aritmetico. Para r 0, sea z(n) = P(L
n
= r) para n 0 y z(n) = 0 si
n < 0. Notemos que si n r entonces
z(n) = P(S
1
= r) = p
r
.
Por otra parte, si n > r, nos jamos en la primera renovacion T
1
= S
1
, que si
L
n
= r es necesariamente es mas chica que n. Entonces se obtiene:
z(n) =
jn
P(S
1
= j, L
nj
(T
) = r) =
jn
p
j
z(n j) .
La ecuacion de renovacion resultante es
z(n) = 1
nr
p
r
+
j
p
j
z(n j) .
Ejemplo 3.5. Sea R
n
el proceso de tiempos residuales de un proceso de ren-
ovaci on aritmetico. Sea z(n) = P(R
n
= r) si n 0 y z(n) = 0 si n < 0. El calculo
de R
n
se puede dividir en dos casos, dependiendo de si S
1
n o no:
z(n) = P(R
n
= r) = p
n+r
+
n
j=1
P(S
1
= r) z(n r) .
En general, la ecuacion de renovacion es la siguiente: dada una funcion b (tal
que b
n
= 0 si n < 0) se busca una funcion z tal que z(n) = 0 si n < 0 y
z(n) = b(n) +
jn
p
k
z(n j) .
La solucion se puede encontrar al iterar la ecuacion de renovacion para escribir:
z(n) = b(n) +E(z(n S
1
))
= b(n) +E(b(n S
1
)) +E(b(n S
1
S
2
))
= b(n) +E(b(n S
1
)) +E(b(n S
1
S
2
)) +E(b(n S
1
S
2
S
3
)) = .
Puesto que b(n T
m
) = 0 si m n, vemos que
z(n) =
m
E(b(n T
m
))
y al sumar sobre los posibles valores de T
m
, se obtiene
z(n) =
x
b(n x) P(T
n
= x) =
x
u
x
b
nx
.
Una vez establecida la relacion entre soluciones a la ecuacion de renovacion y
la densidad de renovacion, se tienen los elementos clave para probar el siguiente
resultado.
Teorema 3.3 (Teorema clave de renovacion en el caso discreto). Si z es
solucion a la ecuacion de renovacion
z(n) = b(n) +
jn
p
k
z(n j) .
y b es sumable entonces z esta dada por z(n) =
x
b(x) u(n x) y z(n)
x
b(x) / conforme n .
Demostraci
on. Solo hace falta vericar el comportamiento asintotico de z.

Sin embargo, si b es sumable, puesto que u
n
es una probabilidad, se tiene la cota
x
b(x) u(n x)
x
b(x) <
y por lo tanto el teorema de convergencia dominada y el teorema de renovacion de
Erdos-Feller-Pollard (EFP) nos dicen que
lim
n
z(n) = lim
n
x
b(x) u(n x) =
x
b(x) /.
Veamos ahora algunas aplicaciones del teorema de renovacion clave. En el caso

del tiempo total asint otico, vemos que
lim
n
P(R
n
= r) =
x
p
r+x
/ = P(S
1
r) /,
aunque en realidad esto ya lo sabamos y lo utilizamos en la prueba del teorema
de renovacion de EFP.
Un ejemplo mas interesante es el del tiempo total:
lim
n
P(L
n
= r) =
xr
p
x
/ = rp
r
/.
CAP
ITULO 4
Procesos de Poisson
Imaginemos la siguiente situacion: al tiempo cero (inicial) una serie de personas
contratan un seguro por el que pagan una prima. La compa nia de seguros tienen
entonces la obligacion de dar una compensacion economica a los contratantes en
caso de que suceda un cierto evento llamado siniestro. En muchos casos, el monto
que debe pagar la compa na por el siniestro tambien es aleatorio.
El modelo matematico se realiza en dos etapas: primero nos enfocamos en los
instantes en que suceden los siniestros y luego en sus montos. Si 0 = T
0
< T
1
<
T
2
< son los instantes en que acaecen los siniestros, se introduce al proceso de
conteo asociado N = (N
t
, t 0), donde N
t
nos dice cuantos siniestros han sucedido
al instante t, mismo que esta caracterizado por satisfacer las identidades
N
t
=
n
n1
T
n
t<T
n+1
,
N
t
= n = T
n
t < T
n+1
y
N
t
n = T
n
t .
En general, un proceso de conteo es un proceso con trayectorias constantes
por pedazos que toma valores enteros y va incrementando de uno en uno. A
S
i
= T
i
T
i1
se le llama i-esimo tiempo interarribo. Es mas natural imponer
supuestos sobre N que sobre los tiempos T
i
. Los supuestos se pueden traducir
como sigue:
Incrementos estacionarios: La distribucion de N
t+s
N
t
solo depende
de s (en otras palabras, si los siniestros se presentan homogeneamente
en el tiempo, se tiene la igualdad en distribucion; en particular no hay
fenomenos estacionales).
Incrementos independientes: Si 0 = t
0
t
1
t
n
, las variables
N
t
1
N
t
0
, . . . , N
t
n
N
t
n1
son independientes. (As, el que ocurran
siniestros por la ma nana no afecta lo que ocurre por la tarde.
Definici
on. Un proceso de Poisson es un proceso de conteo con incremen-

tos independientes y estacionarios.
62
63
Esta denicion captura la idea de que el riesgo de que ocurra un siniestro se dis-
tribuye homogeneamente tanto en el tiempo como en la poblacion. El primer
objetivo de este captulo es mostrar como una tal denicion tiene implicaciones
practicas y teoricas que hacen que podamos hacer calculos con el proceso de Pois-
son que no es posible hacer explcitamente con otros modelos. En efecto, hay
una denicion alternativa de proceso Poisson que automaticamente nos deja hacer
c alculos.
Teorema 4.1. Un proceso de conteo N es de Poisson si y solo si existe
> 0 tal que los tiempos interarribo son variables exponenciales independientes
de parametro .
Al parametro se le conoce como intensidad del proceso de Poisson. Antes de
probar el teorema, ve amos algunas de sus consecuencias. La primera es que N
t
es
el proceso de conteo asociado a un proceso de renovacion con tiempos interarribo
exponenciales. Por lo tanto, se satisface la ley fuerte de los grandes n umeros en
particular. Ademas, se pueden calcular explcitamente las distribuciones al tiempo
t del proceso de edad, de tiempos residuales y de tiempos totales, a un en el contexto
de procesos a tiempo continuo.
Una segunda consecuencia es que se conoce la distribucion exacta del proceso
de conteo.
Proposici
on 4.1. Sea N un proceso de Poisson de parametro . Entonces N

t
tiene distribucion Poisson de parametro t.
Demostraci
on. Puesto que los tiempos interarribo son exponenciales inde-

pendientes de parametro , entonces T
n
tiene distribucion de parametros y n
y es independiente de S
n+1
. As, vemos que la densidad conjunta de (T
n
, S
n+1
)
est a dada por
f
T
n
,S
n+1
(t, s) =

n
t
n1
e
t
n 1!
e
s
.
Por lo tanto:
P(N
t
= n) = P(T
n
t < T
n
+S
n+1
)
=
_
t
0
_

tt
1
f
T
n
,S
n+1
(t
1
, s) ds dt
1
=
_
t
0
_

tt
1
n
t
n1
1
e
t
1
n 1!
e
s
. ds dt
1
=
_
t
0
n
t
n1
1
e
t
1
n 1!
e
(tt
1
)
= e
t
(t)
n
n!
64
Como corolario, podemos calcular las distribuciones nito dimensionales de N:
sean 0 = t
0
< t
1
< < t
m
y n
0
= 0 n
1
n
m
por lo que
P(N
t
1
= n
1
, . . . , N
t
m
= n
m
)
= P
_
N
t
1
N
t
0
= n
1
n
0
, . . . , N
t
m
N
t
m1
= n
m
n
m1
_
y al utilizar la independencia de incrementos
=
m
i=1
P
_
N
t
i
N
t
i1
= n
i
n
i1
_
as como su estacionariedad
=
m
i=1
P
_
N
t
i
t
i1
= n
i
n
i1
_
=
m
i=1
e
(t
i
t
i1
)
((t
i
t
i1
))
n
i
n
i1
(n
i
n
i1
)!
.
Ya con esto, podemos hacer un primer codigo para simular al proceso de Pois-
son. De hecho se trata simplemente del codigo Poisson.R que ya se haba intro-
ducido: se trata de generar variables exponenciales e irlas sumando hasta que se
sobrepase el tiempo t:
lambda =10 # Intensidad
xi=rexp(1,lambda) # xi representa el tiempo del primer siniestro
T=c(0,xi) # El vector T ira acumulando los tiempos en que van
ocurriendo siniestros
N=0 # N nos dira cuantos siniestros ocurren hasta el tiempo 1
while(xi <1){ # Mientras no se haya sobrepasado el instante 1
N<-N+1 # Aumentamos el numero de siniestros
xi<-xi+rexp(1,lambda) # Vemos el tiempo en el que ocurre el siguiente
siniestro
T=c(T,xi) # Aumentamos un evento temporal
}
plot(T,c(1:(N+2)))
Listing 4.1. Poisson2.R
Para ver otro esquema de simulacion para el proceso de Poisson, en el que el
ciclo while se substituye por un ciclo for, haremos algunos calculos adicionales. La
primera pregunta es: si sabemos que han ocurrido n siniestros en [0, t], en donde
han caido estos saltos? Para responder a dicha pregunta, calcularemos la densidad
65
conjunta de T
1
, . . . , T
n
dado que N
t
= n. Puesto que
P(T
1
dt
1
, . . . , T
n
dt
n
, N
t
= n) = P(T
1
dt
1
, . . . , T
n
dt
n
, t
n
t t
n
+S
n+1
)
=
n
i=1
e
(t
i
t
i1
)
e
(tt
n
)
vemos que la densidad condicional buscada es:
f
T
1
,...,T
n
|N
t
=n
(t
1
, . . . , t
n
) =
n
i=1
e
(t
i
t
i1
)
e
(tt
n
)
n!
(t)
n
e
t
=
n!
t
n
.
Se concluye que condicionalmente a N
t
= n, las variables T
1
, . . . , T
n
los valores
ordenados de n uniformes independientes en [0, t]. Por lo tanto, hay otra manera
de simular la trayectoria de un proceso de Poisson en el intervalo de tiempo [0, t]:
l<-10 % Intensidad
t<-3 % Umbral de tiempo
N<-rpois(1,l*t) % Cantidad de siniestros
u<-runif(N)*t % Tiempos en que ocurren (desordenados)
u<-sort(u) % Tiempos de siniestros ordenados
plot(u)
Listing 4.2. PoissonConUniformes.R
Antes de continuar con el modelo completo de reclamaciones en una compa na de
seguros, veremos algunos procesos estocasticos importantes asociados al proceso
de Poisson. Se denira a
F
t
= (X
s
: s t) .
Ejemplo 4.1 (El proceso de Poisson compensado). El proceso de Poisson com-
pensado es el proceso M
t
= N
t
t. Este proceso satisface la siguiente propiedad:
si s t
E( M
t
[ F
s
) = M
s
.
En efecto, al notar que M
t
= M
t
M
s
+M
s
vemos que
E( M
t
[ F
s
) = E( M
t
M
s
[ F
s
) +E( M
s
[ F
s
) = E(M
t
M
s
) +M
s
= M
s
puesto que M
t
M
s
tiene media cero y es independiente de F
s
.
La propiedad anterior nos dice que M es una martingala. Las martingalas son
fundamentales en el desarrollo de la probabilidad moderna.
Ejemplo 4.2 (La martingala exponencial). Consideremos al proceso
E
t
= e
qN
t
+t
(
1e
q
)
.
66
Este proceso tambien es una martingala. Para vericarlo, primero calculemos
E
_
e
qN
t
_
=
n=0
e
qn
e
t
(t)
n
n!
= e
t
e
te
q
= e
t
(
1e
q
)
.
Luego utilizamos la independencia entre N
t
N
s
y F
s
para obtener:
E( E
t
[ F
s
) = e
t
(
1e
q
)
e
qN
s
E
_
e
q(N
t
N
s
)
F
s
_
= e
t
(
1e
q
)
e
qN
s
e
(ts)
(
1e
q
)
= E
s
.
Una consecuencia del calculo de la transformada de Laplace de N
t
es que
podemos calcular la esperanza y la varianza de N
t
: si denimos
t
(q) = E
_
e
qN
t
_
= e
t
(
1e
q
)
,
y derivamos bajo el signo integral cuando q > 0, se obtiene
t
(q)
_
te
q
_
=

t
(q)
q
= E
_
N
t
e
qN
t
_
.
Luego el teorema de convergencia monotona nos permite ver que
t = E(N
t
) .
Al derivar dos veces se tiene que para q > 0:
t
(q)
_
te
q
_
2
+
t
(q) te
q
=

t
(q)
q
= E
_
N
2
t
e
qN
t
_
,
por lo que el teorema de convergencia monotona nos dice que
E
_
N
2
t
_
= (t)
2
+t.
Finalmente, se obtiene
Var(N
t
) = t.
Continuaremos ahora con el modelo de las reclamaciones en una compa na de
seguros: es natural que los montos de los siniestros son independientes entre si y de
los tiempos en que acontecen. Por lo tanto se plantea el siguiente modelo completo:
(1) Los tiempos en que acontecen los siniestros tienen como proceso de conteo
asociado a un proceso de Poisson N. Sea su intensidad.
(2) Los montos de los siniestros son variables aleatorias independientes e
identicamente distribuidas
1
,
2
, . . ..
Sea S
n
=
1
+ +
n
la sucesion de sumas parciales asociada a los montos de
los siniestros. Entonces, al tiempo t, el monto total que ha sido reclamado a la
compa na de seguros es
X
t
= S
N
t
=
iN
t
i
.
67
Al proceso X se le conoce con el nombre de proceso de Poisson compuesto. A
la distribucion de
i
se le conoce como distribucion de salto de X y al parametro
de N se le conoce como intensidad de X. El siguiente codigo permite simular al
proceso de Poisson compuesto cuando la distribucion de salto es la de 100,000 veces
una Beta de parametros 1/2 y 1/2. La idea es modelar una situacion en la que es
mas probable que los montos de los siniestros sean o muy peque nos o muy grandes
(hasta el tope de 100,000 que podra ser la suma asegurada). El resultado se puede
apreciar en la Figura 1
lambda <-10 # Intensidad
s<-rexp(1,lambda) # s representa el tiempo del primer siniestro
x<-100000*rbeta(1,1/2,1/2) # x representa el monto del primer siniestro
T<-c(0,s) # El vector T ira acumulando los tiempos en que van
ocurriendo siniestros
X<-c(0,x) # X ira acumulando los montos de los siniestros
N<-0 # N nos dir a cuantos siniestros ocurren hasta el tiempo
1
while(s<1){ # Mientras no se haya sobrepasado el instante 1
N<-N+1 # Aumentamos el numero de siniestros
s<-s+rexp(1,lambda) # Vemos el tiempo en el que ocurre el siguiente
siniestro
x<-100000*rbeta(1,1/2,1/2) # Calculamos su monto
T<-c(T,s) # Aumentamos un evento temporal
X<-c(X,tail(X,1)+x) # Agregamos el monto de la reclamacion
}
plot(T,X)
Listing 4.3. PoissonCompuesto.R
Se pueden hacer calculos paralelos a los del proceso de Poisson en el caso Poisson
compuesto. Por ejemplo, calculemos la media y varianza de X
t
: si = E(S
1
) y
2
= Var(S
1
) son nitas entonces
E
_
X
2
t
_
=
n=0
E
_
S
2
n
1
(N
t
=n)
_
=
n=0
_
n
2
+n
2
2
_
P(N
t
= n) = E
_
2
N
t
+
2
N
2
t
_
< ,
ya que las variables Poisson tienen momentos de cualquier orden. La media esta
dada por
E(X
t
) =
n=0
E
_
S
2
n
1
(N
t
=n)
_
=
n=0
nP(N
t
= n) = t = E(N
t
) E(S
1
) .
As, tambien se tiene que
Var(X
t
) = E
_
E
_
(S
N
t
t)
2
N
t
__
= E
_
E
_
(S
N
t
N
t
)
2
+ (N
t
t)
2
N
t
__
= E
_
N
t
2
+
2
(N
t
t)
2
_
=
2
t +
2
t.
68
0.0 0.2 0.4 0.6 0.8 1.0
0
5
0
0
0
0
1
0
0
0
0
0
1
5
0
0
0
0
2
0
0
0
0
0
2
5
0
0
0
0
T
X
Figura 1. Trayectoria de un proceso de Poisson compuesto
Las igualdades anteriores tambien se pueden interpretar como un caso partic-
ular de las identidades de Wald.
Continuaremos ahora con un analisis del Teorema 4.1. Primero probaremos
que un proceso de conteo con tiempos interarribo independientes y exponenciales
de par ametro tiene incrementos independientes y estacionarios.
Sean S
1
, S
2
, . . . exponenciales independientes de parametro , T las sumas
parciales asociadas dadas por T
0
= 0, T
n
= S
1
+ + S
n
y N = (N
t
, t 0) el
proceso de conteo asociado dado por
N
t
=
n1
T
n
t<T
n+1
.
Consideremos al proceso N
t
dado por N
t
s
= N
t+s
N
t
. Este proceso es un proceso
de conteo. Sus tiempos interarribo son
S
t
1
= T
N
t
+1
t, S
t
2
= S
N
t
+2
, S
t
3
= S
N
t
+3
, . . . .
69
Al descomponer respecto al valor de N
t
vemos que
P
_
S
t
1
> t
1
, S
t
2
> t
2
, . . . , S
t
n
> t
n
_
=
m
P(N
t
= m, S
m+1
t > t
1
, S
m+2
> t
2
, . . . , S
m+n
> t
n
)
=
m
P(T
m
t < T
m
+S
m+1
, T
m
+S
m+1
t > t
1
, S
m+2
> t
2
, . . . , S
m+n
> t
n
)
=
m
P(T
m
t < T
m
+S
m+1
, T
m
+S
m+1
t > t
1
) P(S
m+2
> t
2
, . . . , S
m+n
> t
n
) .
Al condicionar sobre el valor de T
m
, su independencia con S
m+1
y utilizar la
propiedad de perdida de memoria para S
1
, vemos que
P(T
m
t < T
m
+S
m+1
, S
m+1
t > t
1
)
= E
_
E
_
1
T
m
t<T
m
+S
m+1
1
T
m
+S
m+1
t>t
1
T
1
__
= E
_
1
T
m
t
e
(tT
n
)
_
e
t
1
.
Sin embargo, al utilizar t
1
= 0, nos damos cuenta de que
P(N
t
= m) = P(T
m
t < T
m
+S
m+1
) = E
_
1
T
m
t
e
(tT
n
)
_
,
por lo cual se deduce que
P
_
S
t
1
> t
1
, S
t
2
> t
2
, . . . , S
t
n
> t
n
_
=
m
P(N
t
= m) e
t
1
e
t
2
e
t
n
.
Se deduce que los tiempos de salto de N
t
son exponenciales independientes de
par ametro . Se puede concluir que N
t
tiene las mismas distribuciones nito-
dimensionales que N, es decir, que si 0 = t
0
t
1
entonces
P(N
t
1
= m
1
, . . . , N
t
n
= m
n
) = P
_
N
t
t
1
= m
1
, . . . , N
t
t
n
= m
n
_
.
(Esto se verica al expresar los eventos anteriores en terminos de los tiempos in-
terarribo.) En particular, N
t
tiene incrementos estacionarios. Ahora veamos que
N
t
tiene incrementos independientes. Para esto, consideremos al evento
A = N
s
1
= k
1
, . . . , N
s
m
= k
m
,
donde s
1
, . . . , s
n
t. Al descomponer sobre el valor de N
t
se obtiene
P
_
A, N
t
= m, S
t
1
> t
1
, S
t
2
> t
2
, . . . , S
t
n
> t
n
_
=
m
P(A, T
m
t < T
m
+S
m+1
, T
m
+S
m+1
t > t
1
) P(S
m+2
> t
2
, . . . , S
m+n
> t
n
) .
Sin embargo, como el conjunto AN
t
= m se escribe en terminos de S
1
, . . . , S
m
y de N
t
= m, podemos repetir el argumento anterior para vericar que
P(A, T
m
t < T
m
+S
m+1
, T
m
+S
m+1
t > t
1
) = P(A N
t
= m) e
t
1
.
70
Por lo tanto,
P
_
A, N
t
= m, S
t
1
> t
1
, S
t
2
> t
2
, . . . , S
t
n
> t
n
_
= P(A, N
t
= m) P
_
S
t
1
> t
1
, S
t
2
> t
2
, . . . , S
t
n
> t
n
_
.
Lo anterior implica que N
t
s
es independiente de N
s
1
, . . . , N
s
m
si s
1
, . . . , s
m
t, y
por induccion se puede probar entonces que N tiene incrementos independientes.
As, N es un proceso de conteo con incrementos independientes y estacionarios.
Consideremos ahora un proceso de conteo con incrementos independientes y
estacionarios y veamos que se trata de un proceso de renovacion con tiempos inter-
arribo exponenciales. De la propiedad de incrementos independientes y estacionar-
ios, podemos inmediatamente vericar que T
1
tiene una distribucion exponencial.
En efecto, notemos que
P(T
1
> t +s) = P(N
t
= 0, N
t+s
N
t
= 0)
= P(N
t
= 0) P(N
s
= 0) = P(T
1
> t) P(T
1
> s)
As, o T
1
es innito casi seguramente, lo cual dice que N es identicamente cero, o
es exponencial de alg un parametro > 0.
Ahora solo debemos ver la razon por la que los tiempos interarribo son inde-
pendientes y con la misma distribucion que el primero. Para esto, analizaremos
dos implicaciones de nuestras hipotesis conocidas como la propiedad de Markov y
de Markov fuerte.
Proposici
on 4.2 (Propiedad de Markov del proceso de Poisson). El proceso

N
t
dado por N
t
s
= N
t+s
N
t
es un proceso de Poisson con las mismas distribu-
ciones nito-dimensionales que N y es independiente de F
t
.
Demostraci
on. Lo primero es notar que N

t
es un proceso de Levy y de
conteo. Para ver que tiene las mismas distribuciones nito-dimensionales que N,
notamos que
_
N
t
t
1
, N
t
t
2
N
t
t
1
, . . . , N
t
t
n
N
t
t
n1
_
=
_
N
t+t
1
N
t
, N
t+t
2
N
t+t
1
, . . . , N
t+t
n
N
t+t
n1
_
d
=
_
N
t
1
, N
t
2
N
t
1
, . . . , N
t
n
N
t
n1
_
.
Al considerar f(x
1
, . . . , x
n
) = (x
1
, x
1
+x
2
, . . . , x
1
+ +x
n
), vemos que entonces
_
N
t
t
1
, N
t
t
2
, . . . , N
t
t
n
_
= f
_
N
t
t
1
, N
t
t
2
N
t
t
1
, . . . , N
t
t
n
N
t
t
n1
_
d
= f
_
N
t
1
, N
t
2
N
t
1
, . . . , N
t
n
N
t
n1
_
= (N
t
1
, N
t
2
, . . . , N
t
n
) .
71
Ahora solo se debe probar que N
t
es independiente de F
t
. Sin embargo, si
0 = s
0
s
1
s
m
t = t
0
t
1
t
n
entonces las variables
_
N
s
1
N
s
0
, . . . , N
s
m
N
s
m1
_
y
_
N
t
1
N
t
0
, . . . , N
t
m
N
t
m1
_
=
_
N
t
t
1
, . . . , N
t
t
m
t
N
t
t
m1
t
_
son independientes. Eso implica que
(N
s
1
, . . . , N
s
m
) y
_
N
t
t
1
, . . . , N
t
t
m
t
N
t
t
m1
t
_
son independientes y que por lo tanto, si denimos a los -sistemas
C
1
= N
s
1
A
1
, . . . , N
s
m
A
m
y
C
2
=
_
N
t
t
1
B
1
, . . . , N
t
t
n
B
n
_
se sigue que
M
1
= A F
t
: AB para todo B C
2
contiene a C
1
. Puesto que M
1
es un -sistema y (C
1
) = F
s
entonces
F
s
M
1
.
Por lo tanto el -sistema
M
2
= B F
t
: AB para todo A F
s
contiene al -sistema C
2
. Esto implica que (N
t
s
: s 0) M
2
y que por lo tanto
N
t
es independiente de F
t
.
Ahora, haremos una extension adicional de la propiedad anterior.
Proposici
on 4.3 (Propiedad de Markov fuerte). Si T : [0, ) es una

variable aleatoria tal que T t F
t
para toda t 0 y
F
T
= A F : A T t F
t
t
entonces el proceso N
T
dado por N
T
t
= N
T+t
N
T
es un proceso de Levy y de
conteo con las mismas distribuciones nito-dimensionales que N e independiente
de F
T
.
Veamos como se aplica la propiedad de Markov fuerte: puesto que los tiempos
interarribo de N
T
n
son T
n+1
T
n
, T
n+2
T
n+1
, . . . y son independientes de F
T
n
, se
deduce que T
n+1
T
n
es exponencial e independiente de T
1
, T
2
T
1
, . . . , T
n
T
n1
.
Esto termina la prueba de que un proceso de conteo y de Levy es el proceso de
conteo asociado a un proceso de renovacion exponencial.
72
Prueba de la propiedad de Markov fuerte. Para cada n 1, deni-
mos T
n
igual a (k + 1)/2
n
si T [k/2
n
, (k + 1)/2
n
). Formalmente, podemos
escribir
T
n
= ,2
n
T|/2
n
.
Entonces T
n
es una sucesion de variables aleatorias que decrecen hacia T. Ademas,
notemos que
T
n
= k + 1/2
n
= k/2
n
T < (k + 1) /2
n
= T < (k + 1) /2
n
T < k/2
n
F
(k+1)/2
n.
Por el mismo argumento, si A F
T
entonces
A T
n
= k/2
n
F
(k+1)/2
n.
As, por la propiedad de Markov, vemos que
P
_
A, T
n
= k + 1/2
n
, N
T
n
t
1
= k
1
, . . . , N
T
m
t
n
= k
m
_
= P(A, T
n
= k + 1/2
n
) P(N
t
1
= k
1
, . . . , N
t
m
= k
m
) .
Al sumar sobre k, vemos que
P
_
A, N
T
n
t
1
= k
1
, . . . , N
T
n
t
m
= k
m
_
= P(A) P(N
t
1
= k
1
, . . . , N
t
m
= k
m
) .
Como N es continuo por la derecha y T
n
decrece a T, vemos que confome n :
P
_
A, N
T
t
1
= k
1
, . . . , N
T
t
m
= k
m
_
=P(A)P(N
t
1
= k
1
, . . . , N
t
m
= k
m
). Se concluye que
N
T
es un proceso de conteo y de Levy con las mismas distribuciones nito-
dimensionales que N. Por lo tanto, sus tiempos interarribo tienen la mismas
distribuciones conjuntas, pues si

S son los tiempos interarribo de N
T
entonces
P
_
S
1
> s
1
,

S
2
> s
2
, . . . ,

S
n
> s
n
_
= P
_
T
1
> s
1
,

T
2
> s
1
+s
2
, . . . ,

T
n
> s
1
+ +s
n
_
= P
_
N
T
s
1
0, N
T
s
1
+s
2
1, . . . , N
T
s
1
++s
n
n 1
_
= P(N
s
1
0, N
s
1
+s
2
1, . . . , N
s
1
++s
n
n 1)
= P(S
1
> s
1
, S
2
> s
2
, . . . , S
n
> s
n
) .
Proposici
on 4.4. El proceso de Poisson compuesto es un proceso de Levy

y satisface la propiedad de Markov siguiente: si F
X
t
= (X
r
: r t) entonces el
proceso X
t
dado por X
t
s
= X
t+s
X
t
es un proceso de Poisson compuesto con la
misma intensidad y distribucion de salto que X y es independiente de F
X
t
.
Demostraci
on. El proceso X comienza en cero y tiene trayectorias que son

constantes por pedazos, en particular, continuas por la derecha y con lmites por
la izquierda.
73
Para ver que X tiene incrementos independientes y estacionarios, notemos que
si 0 = t
0
t
1
t
n
y A
i
B
R
para i = 1, . . . , n, entonces
P
_
X
t
i
X
t
i1
A
i
, i = 1, . . . , n
_
=
0=k
0
k
1
k
n
P
_
S
k
i
S
k
i1
A
i
, N
t
i
= k
i
, i = 1, . . . , n
_
=
0=k
0
k
1
k
n
n
i=1
P
_
S
k
i
S
k
i1
A
i
_
P(N
t
i
= k
i
, i = 1, . . . , n) ,
puesto que las variables S
i
: i = 0, 1, y N
t
: t 0 son independientes. Si
k
2
k
1
, entonces S
k
2
S
k
1
tiene la misma distribucion que S
k
1
k
2
, entonces
0=k
0
k
1
k
n
n
i=1
P
_
S
k
i
S
k
i1
A
i
_
P(N
t
i
= k
i
, i = 1, . . . , n)
=
0=k
0
k
1
k
n
n
i=1
P
_
S
k
i
k
i1
A
i
_
n
i=1
P
_
N
t
i
N
t
i1
= k
i
k
i1
_
=
0j
1
,...,j
n
n
i=1
P
_
S
j
i
A
i
, N
t
i
t
i1
= j
i
_
=
n
i=1
P
_
X
t
i
t
i1
A
i
_
.
Si utilizamos el caso n = 2, con A
1
= R, podemos concluir que X
t
2
X
t
1
y X
t
2
t
1
tienen la misma distribucion, de donde la igualdad
P
_
X
t
i
X
t
i1
A
i
, i = 1, . . . , n
_
=
n
i=1
P
_
X
t
i
t
i1
A
i
_
nos permite concluir la independencia de los incrementos y por lo tanto, que el
proceso Poisson compuesto es un proceso de Levy.
La propiedad de Markov es valida mas generalmente para procesos de Levy y
tiene una demostracion muy similar a la del proceso de Poisson.
Veamos una aplicacion adicional del Teorema 4.1.
Proposici
on 4.5. Si N
1
y N
2
son dos procesos de Poisson independientes
de intensidad
1
y
2
entonces N
1
+ N
2
es un proceso de Poisson de intensidad
1
+
2
.
En efecto, N
1
+N
2
es un proceso de conteo y de Levy y su primer salto, que
es igual a S
1
1
S
1
2
, tiene distribucion exponencial de parametro
1
+
2
.
CAP
ITULO 5
Procesos de Markov constantes por pedazos
En este captulo analizaremos una clase de procesos estocasticos que generaliza
al proceso de Poisson y tiene similitudes con las cadenas de Markov: los procesos
de Markov a tiempo continuo con valores en un conjunto a lo mas numerable E.
Comenzaremos con un estudio del proceso de Poisson, al expresar su propiedad
de Markov de forma que se parezca a la de las cadenas de Markov. Luego, se in-
troducira un segundo ejemplo, el de los procesos de nacimiento puro. Finalmente,
comenzaremos el estudio de procesos con trayectorias constantes por pedazos y
daremos una descripcion probabilstica de estos al introducir parametros que de-
terminan a un proceso de Markov: la distribucion inicial y la matriz innitesimal.
Luego, estudiaremos sus probabilidades de transicion mediante unas ecuaciones
diferenciales que satisfacen y que estan ligadas con su matriz innitesimal: las
ecuaciones backward y forward de Kolmogorov. Finalmente, veremos como las
ecuaciones backward nos permiten estudiar a las distribuciones invariantes de los
procesos de Markov a tiempo continuo.
1. El proceso de Poisson como proceso de Markov
El proceso de Poisson toma valores en los naturales. Como lo hemos denido,
siempre comienza en cero, a diferencia de las cadenas de Markov que podemos
comenzar en cualquier parte de su espacio de estados. Recordemos que si N es un
proceso de Poisson de parametro , al tener incrementos independientes y esta-
cionarios, podemos escribir, para = t
0
< t
1
< t
2
< < t
n
P(N
t
1
= k
1
, N
t
2
= k
2
, . . . , N
t
n
= k
n
)
= P(N
t
1
= k
1
) P(N
t
2
t
2
= k
2
k
1
) P
_
N
t
n
N
t
n1
= k
n
k
n1
_
.
Por lo tanto, si denimos
P
t
(i, j) = P(N
t
= j i) = e
t
(t)
n
n!
,
vemos que
P(N
t
1
= k
1
, N
t
2
= k
2
, . . . , N
t
n
= k
n
) = P
t
1
(0, k
1
) P
t
2
t
1
(k
1
, k
2
) P
t
n
(k
n1
, k
n
) .
La expresion anterior ya es muy paralela a la que vemos en cadenas de Markov; la
entrada i, j de la matriz (innita) P
t
se puede interpretar como la probabilidad de
74
1. El proceso de Poisson como proceso de Markov 75
ir de i a j en t unidades de tiempo. Esto ademas nos dice como podramos denir
a un proceso estocastico que fuera como el proceso de Poisson pero que comenzara
en k: simplemente substituimos P
t
1
(0, k
1
) por P
t
1
(k, k
1
). Sin embargo, no tenemos
un proceso estocastico que satisfaga lo anterior; demos una construccion de el.
Sea N un proceso de Poisson de parametro . Si t > 0, hemos visto que el
proceso N
t
dado por N
t
s
= N
t+s
N
t
es un proceso de Poisson independiente de
N
t
. Por lo tanto:
P(N
t+s
1
= k
1
, . . . , N
t+s
n
= k
n
[N
t
= k)
=
P(N
t+s
1
= k
1
, . . . , N
t+s
n
= k
n
, N
t
= k)
P(N
t
= k)
=
P(N
s
1
= k
1
k, . . . , N
s
n
= k
n
k) P(N
t
= k)
P(N
t
= k)
= P(N
s
1
+k = k
1
, . . . , N
s
n
+k = k
n
) .
Vemos entonces que, la distribucion condicional del proceso de Poisson en tiempos
posteriores a t condicionalmente a N
t
= k es la misma que la del proceso k + N.
As, es natural denir al proceso de Poisson que comienza en k como k +N, pues
este proceso tiene trayectorias como las del proceso de Poisson (aumenta de uno
en uno en ciertos tiempos aleatorios) pero comienza en k. Ademas:
P(N
t+s
1
= k
1
, . . . , N
t+s
n
= k
n
[N
t
= k) = P
t
1
(k, k
1
) P
t
2
t
1
(k
1
, k
2
) P
t
n
(k
n1
, k
n
)
Recordemos que en el caso de cadenas de Markov, se satisfacen las ecuaciones
de Chapman-Kolmogorov. En este contexto, las ecuaciones se pueden expresar
como sigue:
P
t+s
(i, k) =
j
P
s
(i, j) P
t
(j, k) .
Ejercicio 5.1. Al utilizar el teorema del biniomio, pruebe directamente que
la ecuacion anterior se satisface. De ademas un argumento probabilstico, basado
en condicionar con lo que sucede al tiempo s, para probar dicha ecuacion.
La diferencia con las cadenas de Markov y el proceso de Poisson es que, al ser el
segundo un proceso de Markov a tiempo continuo, en lugar de tener una sola matriz
cuyas potencias nos permiten describir al proceso, tenemos toda una coleccion de
matrices (P
t
, t 0). Uno de los objetivos de este captulo es mostrar como, con
una denicion adecuada, podemos generar a todas las matrices (P
t
, t 0) mediante
una sola matriz, la llamada matriz innitesimal o matriz de tasas de transicion. La
idea es la siguiente: si x es un n umero, podemos interpolar a la sucesion x
n
, n N
mediante la funcion exponencial: x
n
= e
nlog x
. El lado derecho ya tiene sentido si
n 0 y no solo si n R. En cierto sentido, si P
t
= e
tQ
, podramos interpretar a Q
como el logaritmo de P
1
. Para ver como podramos obtener a Q, notemos que para
1. El proceso de Poisson como proceso de Markov 76
obtener a log x si conocemos a f(t) = e
t log x
, simplemente calculamos log x = f
(0)
y ademas f
(t) = f
(0) f(t). En el caso de nuestra matriz P

t
, vemos que
d
dt
P
t
(i, j) =
d
dt
e
t
(t)
ji
(j i)!
=
1
(j i)!
_
e
t
(j i) t
ji1
ji
1
ji+1
e
t
(t)
ji
_
por lo que al evaluar en cero se obtiene:
d
dt
t=0
P
t
(i, j) =
_
_
j = i
j = i + 1
0 j ,= i, i + 1
.
Ejercicio 5.2. Sea
Q(i, j) =
_
_
j = i
j = i + 1
0 j ,= i, i + 1
.
Pruebe directamente que
(5)
d
dt
P
t
(i, j) = QP
t
(i, j) = P
t
Q(i, j) ,
donde QP
t
es el producto de las matrices Q y P
t
.
A las ecuaciones (diferenciales) (5) se les conoce como ecuaciones de Kol-
mogorov. Esbocemos una interpretacion y deduccion probabilstica de dichas
ecuaciones. Para calcular P
t+h
(0, j), podemos descomponer respecto del valor de
N
h
para obtener
P
t+h
(i, j) = P(N
t+h
= j) = P(N
h
= i) P(N
t
= j i) .
Por otra parte, al utilizar explcitamente la distribucion Poisson, vemos que
lim
h0
1 P(N
h
= 0)
h
= lim
h0
P(N
h
= 1)
h
= lim
h0
P(N
h
2)
h
= 0.
La interpretacion es que es muy probable que haya cero saltos en un intervalo de
longitud h, hay probabilidad proporcional al tama no del intervalo de que haya un
s olo salto, y muy improbable que haya mas de dos saltos. Se concluye que
P
t
(i, k)
t
= lim
h0
P
h
(i, i) P
t
(i, k) P
t
(i, k)
h
+ lim
h0
P
h
(i, i + 1) P
t
(i + 1, k)
h
= P
t
(i + 1, k) P
t
(i, j) = P
t
Q(i, k)
A esta ecuacion se le denomina ecuacion hacia atras de Kolmogorov (tambien
llamada, a un en espa nol, ecuacion backward) y fue obtenida al descomponer a
2. El proceso de nacimiento puro 77
N
t+h
respecto del valor de N
h
.

Esta implica automaticamente la ecuacion hacia
adelante de Kolmogorov
P
t
(i, k)
t
= QP
t
(i, k)
al utilizar la relacion P
t
(i + 1, j) = P
t
(i, j 1).
2. El proceso de nacimiento puro
El proceso de nacimiento puro es una generalizacion del proceso de Poisson que
puede presentar un fenomeno interesante: la explosi on. Daremos una denicion de
dicho proceso paralela a la del proceso de Poisson.
Definici
on. Sean q
0
, q
1
, . . . (0, ). Un proceso de nacimiento puro es
el proceso de conteo cuyos tiempos interarribo conforman una sucesion de variables
exponenciales independientes S
1
, S
2
, . . . de parametros
0
,
1
, . . ..
La interpretacion del proceso de nacimiento puro es que
i
representa la tasa a
la que un nuevo individuo se agrega a una poblacion cuando esta tiene i elementos.
As, el proceso de nacimiento puro se construye al denir a los tiempos de salto
0 = T
0
T
n
= S
1
+ +S
n
T
n=0
S
i
y al proceso de conteo asociado
N
t
=
nN
n1
T
n
t<T
n+1
.
Claramente, cuando q
i
= para toda i el proceso que hemos construido es el
proceso de Poisson. Sin embargo, cuando tenemos q
i
dependientes de i se presenta
un nuevo fenomeno. En efecto, en el caso del proceso de Poisson, sabemos que
T
n
/n 1/ = E(S
1
) > 0 por la ley fuerte de los grandes n umeros y por lo tanto
T
= casi seguramente. Sin embargo, en el caso del proceso de nacimiento puro

puede suceder que T
< , en cuyo caso:

lim
tT
N
t
= .
Decimos entonces que ha ocurrido la explosion (en este caso demograca) del pro-
ceso de nacimiento puro y es natural denir
N
t
= 1
T
t
+
nN
n1
T
n
t<T
n+1
pues con la denicion anterior el proceso se vuelve cero despues de que la poblacion
haya explotado.
Puesto que el proceso de nacimiento puro admite una construccion sencilla,
se puede dar un criterio explcito para la explosion, el cual ademas prueba que la
explosi on se da o con probabilidad cero o con probabilidad uno.
Proposici
on 5.1. T
= casi seguramente si E(T
) =
i
1/q
i
= . Si
i
1/q
i
< entonces T
< casi seguramente.

Demostraci
on. Si
i
1/q
i
< entonces podemos aplicar el teorema de
convergencia monotona a la sucesion T
n
para deducir que
E(T
) = lim
n
E(T
n
) = lim
n
mn
1/q
m
=
n
1/q
n
< ,
por lo que T
< casi seguramente.

Por otra parte, si
i
1/q
i
= , entonces podemos aplicar el teorema de con-
vergencia acotada para ver que
E
_
e
T
_
= lim
n
E
_
e
T
n
_
= lim
n
n
i=1
q
i
1 +q
i
.
Ahora dividiremos en dos partes nuestro analisis: si existe > 0 tal que q
i

para una cantidad innita de ndices i entonces
n
i=1
q
i
1 +q
i
_
1
1 + 1/
_
n
0
conforme n . Si por otra parte q
i
entonces utilizamos el hecho de que
q
i
log (1 + 1/q
i
) 1 conforme n y por lo tanto
n
i=1
q
i
1 +q
i
= e
n
i=1
log(1+1/q
i
)
e
C
n
i=1
1/q
i
0.
Vemos que en cualquier caso
E
_
e
T
_
= 0,
lo cual nos dice que T
= casi seguramente.
Para analizar la propiedad de Markov del proceso de nacimiento puro, nece-
sitamos denirlo cuando comienza en i N. Una denicion posible es que se
trata del proceso (N
T
i
+t
, t 0). Este proceso va tomando los valores sucesivos
i, i + 1, i + 2, . . . y los tiempos que permanece en cada uno de los estados son
S
i
, S
i+1
, . . . ,. Pues este proceso tiene la misma estructura probabilstica que i mas
un proceso de conteo cuyos tiempos interarribo son exponenciales independientes
de par ametros
i
,
i+1
, . . ., o sea, que una denici on equivalente es que un pro-
ceso de nacimiento puro con parametros
0
,
1
, . . . que comienza en i es i mas un
proceso de nacimiento puro con parametros
i
,
i+1
, . . .. Con estos preliminares
podemos enunciar la propiedad de Markov del proceso de nacimiento puro.
Proposici
on 5.2. Sean N un proceso de nacimiento puro de parametros

0
,
1
, . . .
y s 0. Condicionalmente a N
s
= i, el proceso estocastico (N
t+s
i, t 0) es
un proceso de nacimiento puro de parametros
i
,
i+1
, . . . y es condicionalmente
independiente de F
s
= (N
r
: r t) dado N
s
= i.
En otras palabras, condicionalmente a N
s
= i, el proceso N
t+s
, t 0 es un
proceso de nacimiento puro que comienza en i.
Demostraci
on. El proceso N
t+s
i, t 0 es un proceso de conteo cuyos tiem-
pos interarribo son T
N
s
+1
s, S
N
s
+2
, S
N
s
+3
, . . .. Denotemoslos como S
s
0
, S
s
1
, . . ..
Debemos ver que condicionalmente a N
s
= i, estos tiempos interarribo son expo-
nenciales, independientes y de parametros
i
,
i+1
, . . .. En efecto:
P(N
s
= i, S
s
0
> s
0
, , S
s
n
> s
n
)
= P(T
i
s < T
i
+S
i
, s
0
+s < T
i
+S
i
, s
1
< S
i+1
, . . . , s
n
< S
i+n
) .
Al condicionar por T
i
, utilizar la independencia de las variables T
i,
S
i
, . . . , S
i+n
y
la propiedad de perdida de memoria de la distribucion exponencial vemos que
P(T
i
s < T
i
+S
i
, s
0
+s < T
i
+S
i
, s
1
< S
i+1
, . . . , s
n
< S
i+n
) .
= E
_
1
T
i
s
e
i
(s T
i
)
_
e
i
s
1
e
i+n
s
n
.
Sin embargo, al poner s
0
= = s
n
= 0, vemos que
E
_
1
T
i
s
e
i
(s T
i
)
_
= P(N
s
= i)
y por lo tanto, al condicional por N
s
= i, vemos que N
s
es un proceso de nacimiento
puro que comienza en i.
Falta demostrar que N
s
es condicionalmente independiente de F
s
dado que
N
s
= i, esto es, que para todo A F
s
, se tiene que
P
_
N
s
t
1
= k
1
, . . . , N
s
t
n
= k
n
, A[N
s
= i
_
= P
_
N
s
t
1
= k
1
, . . . , N
s
t
n
= k
n
[N
s
= i
_
P(A[N
s
= i) .
Por clases monotonas, basta vericarlo cuando A = N
s
1
= j
1
, . . . , N
s
m
= j
m
con
s
1
s
m
t y j
1
j
m
i. Para esto, seguimos el mismo razonamiento
anterior al notar que
A N
s
= i = T
j
1
s
1
< T
j
1
+1
, , T
j
m
s < T
j
m
+1
T
i
s < T
i+1
.
Ejercicio 5.3. Haga un programa en R que simule al proceso de nacimiento

puro que comienza en 1 si
i
= i para alg un > 0. Este proceso explota? Haga
otro programa que simule el caso
i
= i
2
y diga si ocurre explosion o no.
La propiedad de Markov se puede interpretar de manera similar a la del proceso
de Poisson. Dados los parametros q = (
0
,
1
, . . .), sea P
t
(i, j) la probabilidad de
que un proceso de nacimiento puro de parametro q que comienza en i se encuentre
en j al tiempo t. Entonces:
P(N
s+t
1
= k
1
, . . . , N
s+t
n
= k
n
[N
s
= k)
= P
t
1
(k, k
1
) P
t
2
t
1
(k
1
, k
2
) P
t
n
t
n1
(k
n1
, k
n
) .
3. Matrices innitesimales y construccion de procesos de Markov 80
Aqu es mas difcil obtener una expresion explcita para P
t
(i, j).

Esto se puede
lograr cuando por ejemplo
i
= i para alguna > 0 (que es el caso del Proceso
de Yule, basico en la teora de procesos de ramicacion a tiempo continuo). Sin
embargo, podemos argumentar por que son validas las ecuaciones hacia atras de
Kolmogorov: Si h es peque no y nuestro proceso de nacimiento puro comienza en
i, sera raro que haya mas de dos saltos en un intervalo de tiempo peque no. Lo que
se arma es que, exactamente como en el caso de procesos de Poisson,
lim
h0
1 P
h
(i, i)
h
=
i
lim
h0
P
h
(i, i + 1)
h
=
i
lim
h0
j2
P
h
(i, j)
h
= 0.
Por lo tanto, las ecuaciones hacia atras de Kolmogorov seran
t
P
t
(i, j) =
i
P
t
(i + 1, j)
i
P
t
(i, j) .
Vemos entonces que la matriz innitesimal o de tasas de transicion estara dada
por
Q(i, j) =
_
i
i = j
i
j = i + 1
0 en otro caso
y que las ecuaciones hacia atras se pueden escribir como
t
P
t
(i, j) = QP
t
(i, j) .
3. Matrices innitesimales y construccion de procesos de Markov
Comenzaremos por describir a un tercer ejemplo de proceso de Markov a
tiempo continuo. Este ejemplo se basa en calcular el mnimo de variables ex-
ponenciales independientes.
Comenzaremos con un ejemplo con espacio de estados E nito. Para cada
x, y E con x ,= y sea
x,y
0. Sean E
i,x,y
, 1, x, y E, x ,= y variables
aleatorias exponenciales independientes, tal queE
i,x,y
tiene parametro
x,y
. A
x,y
lo interpretaremos como la tasa a la que dejo el estado x para acceder al estado y
y supondremos que para cada x E existe y E distinta de x tal que
x,y
> 0.
Si x E, denamos a
T
1
= min
y=x
E
1,x,y
donde T
1
= E
1,x,X
1
.
Recursivamente, deniremos a
T
n+1
= min
y=X
n
E
n+1,X
n
,y
donde T
n+1
= E
1,X
n
,X
n+1
.
Denamos nalmente, al proceso a tiempo continuo de interes:
Z
t
= X
n
si t [T
n
, T
n+1
).
Hagamos un ejemplo en R para ilustrar la denicion. Comencemos con E =
1, 2, por lo que necesitamos denir a dos cantidades positivas
1,2
(que deno-
taremos por
1
y digamos que es igual a 2) y
2,1
(denotada
2
y digamos igual
a 1). Si queremos comenzar nuestra construccion con x = 1, podemos utilizar el
siguiente codigo.
# Simulemos una cadena de Markov en tiempo continuo en $E={1 ,2}$
# l(1) es la tasa a la que dejo $1$ (para ir a 2) y viceversa
l=c(2,1);
# x es el estado actual , comenzamos en
x=1;
X=c(x);
# T contendr\a los tiempos en que cambia la cadena
T=0
# n es la cantidad de pasos
n=20;
for(i in 1:n)
{
#Cambio de estado
x=3-x;
#Agrego el nuevo estado
X=c(X,x)
# Simulo la exponencial de la tasa adecuada y la agrego a mis tiempos
T=c(T,tail(T,1)+rexp(1,l[x]));
}
# Grafico la trayectoria
plot(T,X,type="s")
Listing 5.1. QCadena2Estados.R
Una exponencial de parametro tiene la misma distribucion que una exponen-
cial de parametro 1 dividida entre , por lo cual en el ciclo es equivalente utilizar
el comando T=c(T,tail(T,1)+rexp(1)/l[x]);.
Un ejemplo un poco mas complicado lo obtenemos si E = 1, 2, 3 y ponemos
las tasas de transicion
1,2
= 2,
2,1
=
2,3
= 1,
3,1
= 1/3 y todas las demas
igual a cero. En este caso, nuestro primer impulso podra ser el utilizar el siguiente
c odigo:
# Simulemos una cadena de Markov en tiempo continuo en $E={1,2,3}$
# La matriz de tasas de transici\on
L=matrix (0,3,3)
L[1 ,2]=2
L[2 ,1]=1
L[2 ,3]=1
L[3 ,1]=1/3
# Estado inicial
x=1
# Vector de estados
X=c(x)
# Vector de tiempos
T=c(0)
# N\umero de pasos
n=20
for(i in 1:20)
{
# Genero las exponenciales
e=rexp (3)/L[x,]
# El nuevo tiempo de salto
t=min(e)
T=c(T,tail(T,1)+t)
# El nuevo estado
x=which.min(e)
X=c(X,x)
}
plot(T,X,type="s")
Listing 5.2. QCadena3Estados.R
Hay una manera de realizar la simulacion anterior con menos variables aleato-
rias. En vez de las 3 exponenciales, podemos utilizar una exponencial y una uni-
forme. La idea es utilizar la proposicion siguiente para ver que el mnimo de
variables exponenciales es exponencial.
Proposici
on 5.3. Sean T
1
, . . . , T
n
variables exponenciales independientes de
parametros respectivos
1
, . . . ,
n
. Sea T = min
i
T
i
. Entonces, con probabilidad
1, existe un unico ndice K tal que T = T
K
. T y K son independientes, T tiene
distribucion exponencial de parametro =
1
+ +
n
y P(K = k) =
k
/.
Demostraci
on. Calculemos:
P(T t, T
j
> T
k
para toda j ,= k) = P(T
k
t, T
j
> T
k
para toda j ,= k)
= E
_
_
1
T
k
t
j=k
e
k
T
k
_
_
=
_

t
k
e
k
s
j=k
e
j
s
ds
=

k
e
t
.
Al evaluar en t = 0 vemos que
P(T
j
> T
k
para toda j ,= k) =

k
por lo que al utilizar que los eventos anteriores son ajenos conforme variamos a k
y su union es la probabilidad de que el mnimo de T
1
, . . . , T
n
se alcance para un
s olo ndice, vemos que
P(Existe un unico k 1, . . . , n tal que T = T
k
) =
= 1.
Al sumar sobre k, vemos que
P(T t) = e
t
,
lo cual implica que T es exponencial de parametro
Puesto que con probabilidad 1 hay un unico ndice (aleatorio) en el que se
alcanza el mnimo, digamos K tal que T
K
= T, vemos que
P(K = k, T t) =

k
e
t
= P(K = k) P(T t) .
As, nuestro proceso a tiempo continuo se puede simular tambien mediante el
siguiente codigo.
# Simulemos una cadena de Markov en tiempo continuo en $E={1,2,3}$
# La matriz de tasas de transici\on
L=matrix (0,3,3)
L[1 ,2]=2
L[2 ,1]=1
L[2 ,3]=1
L[3 ,1]=1/3
# Tasas totales de salto
l=rowSums(L)
# Matriz de transici\on
P=L/rowSums(L)
# Estado inicial
x=1
# Vector de estados
X=c(x)
# Vector de tiempos
T=c(0)
# N\umero de pasos
n=20
for(i in 1:20)
{
# Genero la exponencial
e=rexp(1,l[x])
# El nuevo tiempo de salto
T=c(T,tail(T,1)+e)
# El nuevo estado
x=sample(3,1,prob=P[x,])
X=c(X,x)
}
plot(T,X,type="s")
Listing 5.3. QCadena3EstadosConMinimo.R
Continuemos con el analisis de la cadena general. A partir del codigo, vemos
que los parametros se pueden reducir a una matriz de transicion P con ceros en la
diagonal y un vector l de tasas totales de salto. Explcitamente,
l(x) =
x,y
y P
x,y
=

x,y
l(x)
.
Ademas, es posible construir nuestra cadena mediante una sucesion de variables
exponenciales estandar independientes
1
,
2
, . . . entre s y de una sucesion iid
U
1
, U
2
, . . . de variables uniformes. En efecto, podemos denir a X
0
= x, T
0
= x
y a T
1
= S
1
=
1
/l(X
0
). Luego, utilizamos a la variable uniforme U
1
para es-
coger a un elemento aleatorio X
1
de E tal que P(X
1
= y) = P
X
0
,y
. Finalmente,
continuamos este procedimiento de manera recursiva: si ya tenemos denidos a
X
0
, . . . , X
n
y a T
0
, . . . , T
n
en terminos de S
1
, . . . , S
n
y U
1
, . . . , U
n
entonces den-
imos S
n+1
=
n+1
/l(X
n
), T
n+1
= T
n
+ S
n+1
y utilizamos a las variables U
n+1
y
X
n
para construir a X
n+1
de tal manera que P(X
n+1
= y [X
n
= x) = P
x,y
. Fi-
nalmente, recordemos que Z
t
= X
n
si T
n
t < T
n+1
. Resulta ser que Z es un
proceso de Markov a tiempo continuo. Formalmente, sea P
t
(x, y) la probabilidad
de que Z
t
= y cuando Z
0
= x y probemos que
P
x
0
(X
t
1
= x
1
, . . . , X
t
n
= y
n
)
= P
t
1
t
0
(x
0
, x
1
) P
t
2
t
1
(x
1
, x
2
) P
t
n
t
n1
(x
n1
, x
n
)
donde P
x
es la medida de probabilidad que rige a Z cuando comienza en x y
0 = t
0
< t
1
< < t
n
. El argumento es parecido a cuando probamos que el
proceso de Poisson (o mas generalmente el de nacimiento y muerte) es un proceso
de Markov, se basa en notar que el proceso posterior a s, condicionalmente a
Z
s
= x tiene la misma construccion probabilstica que Z comenzando en x. Esto
es, que sus tiempos y lugares de salto se pueden obtener a partir de una sucesion
de variables uniformes y exponenciales estandar independientes. Concentremonos
mejor en las aplicaciones de este hecho.
La primera aplicacion es a la obtencion de las ecuaciones de Chapman-Kolmo-
gorov. En efecto, vemos que
P
t+s
(x, z) = P
x
(Z
t+s
= z)
=
y
P
x
(Z
s
= y, Z
t+s
= z)
=
y
P
s
(x, y) P
t
(y, z) .
Seguido de esto, obtendremos las ecuaciones de Kolmogorov como en el caso
de procesos de procesos de Poisson. Se arma que
lim
h0
1 P
x
(N
h
= 0)
h
= l(x) , lim
h0
P
x
(N
h
= 1) , Z
t
= y
h
= l(x) P
x,y
y
lim
h0
P
x
(N
h
2)
h
= 0.
En efecto, puesto que bajo P
x
el primer salto de N ocurre en una variable expo-
nencial de parametro l(x), entonces
lim
h0
1 P
x
(N
h
= 0)
h
= lim
h0
1 e
l(x)h
h
= l(x) .
Por otra parte, vemos que
N
h
2 = S
1
+S
2
h
=
_

1
l(X
0
)
+

2
l(X
1
)
h
_
+

2
h
_
.
El ultimo evento corresponde a que un proceso de Poisson de parametro , digamos
N
tenga mas de dos saltos en el intervalo [0, t], que ya hemos estimado. Se concluye
que
0 limsup
h0
P
x
(N
h
2)
h
lim
h0
P
x
_
N
h
2
_
h
= 0.
Finalmente, veamos c omo ocuparnos de P
x
(N
h
, X
h
= y) = 1. Puesto que U
1
es
independiente de
1
,
2
, entonces
1
h
P
x
(N
h
= 1, Z
h
= y) =
1
h
P
x
_

1
l(x)
h <

1
l(x)
+

2
l(y)
_
P
x,y
= P
x,y
1
h
P
x
_

1
l(x)
h <

1
l(x)
+

2
_
= P
x,y
1
h
_
h
0
l(x) e
l(x)s
e
l(y)(hs)
ds
= P
x,y
l(x) e
l(y)h
1
h
_
h
0
e
s[l(y)l(x)]
ds
h0
l(x) P
x,y
.
Podemos entonces deducir que
lim
h0
P
h
(x, x) 1
h
= l(x) y para y ,= x lim
h0
P
h
(x, y)
h
= P
x,y
l(x) .
Llamemosle Q a la matriz
Q
x,y
=
_
l(x) y = x
l(x) P
x,y
y ,= x
.
A esta matriz se le conoce como matriz innitesimal del proceso de Markov Z.
4. Descripcion probabilstica de procesos de Markov constantes por pedazos 86
Al utilizar la nitud de E para intercambiar derivadas y sumas y las ecuaciones
de Chapman-Kolmogorov se obtiene
d
dt
P
t
(x, z) = lim
h0
P
t+h
(x, z) P
t
(x, z)
h
= lim
h0
P
t
(x, z)
P
h
(z, z) 1
h
+
y=z
P
t
(x, y) lim
h0
1
h
P
h
(y, z)
=
y=z
P
t
(x, y) l(y) P
y,z
P
t
(x, y) l(y)
= (P
t
Q)
x,y
.
Estas son las ecuaciones forward de Kolmogorov. De igual manera, al utilizar
la nitud de E se obtienen las ecuaciones backward de Kolmogorov
d
dt
P
t
(x, z) = (QP
t
)
x,y
.
Como ya se ha comentado, la anterior ecuacion diferencial matricial es parecida
a la ecuacion diferencial f
(t) = f(t) (con f(t) = P

t
y = Q) cuya unica solucion
es f(t) = e
t
. A un en el caso matricial se le puede dar sentido a esta ecuacion
diferencial al denir la exponencial de la matriz tQ por medio de
e
tQ
=
n
t
n
Q
n
n!
.
Entonces, se deduce que
P
t
= e
tQ
.
La pregunta que sigue es si es posible realizar la construccion que acabamos de
explorar en espacio de estados numerable. La respuesta es basicamente que s, salvo
que se debe prestar atencion al fenomeno de explosion. Otra pregunta importante
es si cualquier cadena de Markov a tiempo continuo se puede construir como lo
acabamos de hacer. La respuesta es basicamente armativa de nuevo cuidandonos
de la explosion. La siguiente seccion aborda este segundo cuestionamiento.
4. Descripcion probabilstica de procesos de Markov constantes por
pedazos
En esta seccion deniremos a las cadenas de Markov a tiempo continuo y
analizaremos su estructura y su comportamiento a tiempos grandes. Se realizara
por lo tanto un estudio paralelo al de las cadenas de Markov a tiempo discreto.
Sea E un conjunto a lo mas numerable, , E alg un punto que denominaremos
cementerio y a donde mandaremos las trayectorias de un proceso de Markov
cuando explote, y sea C el conjunto de funciones f : [0, ) E que
satisfacen:
(1) si f(t) E entonces existe > 0 tal que f(s) = f(t) para s [t, t +],
(2) si f(t) = entonces f(s) = para toda s t y
(3) si t
1
< t
2
< , t
n
t < y f(t
n+1
) ,= f(t
n
) entonces f(t) = .
Definici
on. Una cadena de Markov a tiempo continuo con espacio de

estados E es un proceso estocastico X = (X
t
, t 0) tal que
(1) X
t
toma valores en E
(2) para todo , la trayectoria t X
t
() es un elemento del conjunto
de funciones C,
(3) existe una coleccion de matrices estocasticas (P
t
, t 0) indexadas por los
elementos de E tales que si 0 = t
0
< t
1
< < t
n
entonces:
P(X
0
= x, X
t
1
= x
1
, . . . , X
t
n
= x
n
)
= P(X
0
= x) P
t
1
t
0
(x
0
, x
1
) P
t
2
t
1
(x
1
, x
2
) P
t
n
t
n1
(x
n1
, x
n
) .
Denotaremos por P
x
a P condicionada por X
0
= x. A la coleccion de matrices
estoc asticas (P
t
, t 0) les llamamos probabilidades de transicion.
Comenzamos por vericar una propiedad familiar de las probabilidades de
transicion.
Proposici
on 5.4. Las probabilidades de transicion satisfacen las ecuaciones

de Chapman-Kolmogorov
P
t+s
= P
t
P
s
.
Demostraci
on. Al descomponer P
x
(X
t+s
= z) por el valor que toma X
t
se
obtiene
P
x
(X
t+s
= z) =
y
P
x
(X
t
= y, X
t+s
= z) =
y
P
t
(x, y) P
s
(x, y) ,
de lo cual se sigue que P
t+s
es el producto de las matrices P
t
y P
s
.
Proposici
on 5.5 (Propiedad de Markov). Si X es una cadena de Markov a

tiempo continuo y X
t
s
= X
t+s
, entonces X
t
tambien es una cadena de Markov a
tiempo continuo con las mismas probabilidades de trancisi on que X. X
t
es inde-
pendiente de X
s
, s t condicionalmente a X
t
.
Demostraci
on. Sean t
1
< t
2
< . Entonces
P
x
_
X
t
0
= x
0
, X
t
t
1
= x
1
, . . . , X
t
t
n
= x
n
_
= P
x
(X
t+0
= x
0
, X
t+t
1
= x
1
, . . . , X
t+t
n
= x
n
)
P
t
(x, x
0
) P
t
1
(x
0
.x
1
) P
t
n
t
n1
x
n1
, x
n
.
Puesto que P
t
(x, x
0
) = P
x
(X
t
0
= x
0
), vemos que X
t
es una cadena de Markov a
tiempo continuo con las mismas probabilidades de transicion que X.
Para ver la independencia, hacemos un calculo similar: sean 0 < s
1
< <
s
m
t y 0 < t
1
< < t
n
. Al utilizar la denicion de cadena de Markov,
obtenemos
P
x
_
X
s
1
= x
1
, . . . , X
s
n
= x
n
, X
t
0
= y
0
, X
t
t
1
= y
1
, . . . , X
t
t
n
= y
n
_
= P
s
1
(x, x
1
) P
s
2
s
1
(x
1
, x
2
) P
s
n
s
n1
(x
n1
, x
n
)
P
ts
n
(x
n
, y
0
) P
t
1
(x
1
, y
0
) P
t
2
t
1
(y
1
, y
2
) P
t
n
t
n1
(y
n1
, y
n
) .
Al condicional por X
t
= y
0
vemos que
P
x
_
X
s
1
= x
1
, . . . , X
s
n
= x
n
, X
t
0
= y
0
, X
t
t
1
= y
1
, . . . , X
t
t
n
= y
n
X
t
= y
0
_
P
x
_
X
s
1
= x
1
, . . . , X
s
n
= x
n
X
t
0
= y
0
_
P
y
0
(X
t
1
= y
1
, . . . , X
t
n
= y
n
)
por lo que X
t
es independiente de X
s
, s t condicionalmente a X
t
.
Consideremos a los tiempos aleatorios
T
0
= 0, T
n+1
= inf t T
n
: X
t
,= X
T
n
y = lim
n
T
n
con la convencion inf = .
Proposici
on 5.6. T
n
y son tiempos de paro respecto de la ltracion canonica.
Existen tres categoras para las trayectorias en terminos de estos tiempos
aleatorios:
Absorcion: Cuando existe n tal que T
n
< = T
n+1
, en cuyo caso X
t
=
X
T
n
para toda t T
n
,
Explosion: cuando < y
Movimiento perpetuo: cuando T
n
< para toda n y = .
Proposici
on 5.7. Bajo P
x
, T
1
es exponencial de parametro c(x) [0, ). Si
c(x) > 0 entonces las variables X
T
1
y T
1
son independientes.
Demostraci
on. Al utilizar la propiedad de Markov, vemos que

P
x
(T
1
> t +s) = P
x
(T
1
> s, X
s
= x, T
1
(X
s
) > t)
= P
x
(T
1
> s) P
x
(T
1
> t)
y por lo tanto, bajo P
x
, T
1
es exponencial.
Por otra parte
P
x
(1
T
1
>t
X
T
1
= y)
= P
x
_
1
T
1
>t
, X
t
= x, X
t
T
1
(X
t
)
= y
_
= P
x
(1
T
1
>t
) P
x
(X
T
1
= y)
por lo que T
1
es independiente de X
T
1
.
A c(x) la interpretamos como la tasa a la que dejamos el estado x. Denamos
ahora
P
x,y
=
_
0 c(x) = 0
P
x
(X
T
1
= y) c(x) ,= 0
y (x, y) = c(x) P
x,y
.
A se le conoce como la matriz de tasas de transici on y la interpretacion de (x, y)
es la tasa a la que dejamos el estado x para pasar al estado y. La matriz de tasas de
transicion es el parametro que nos permitira caracterizar a la familia Markoviana.
Para vericar por que, es necesario extender la propiedad de Markov.
Teorema 5.1 (Propiedad de Markov fuerte). Sea T un tiempo de paro nito.
Entonces el proceso X
T
dado por X
T
t
= X
T+t
es una cadena de Markov con
las mismas probabilidades de transicion que X que es independiente de X
s
, s t
condicionalmente a X
T
y a T t.
La prueba es un tanto mas complicada del nivel que se quiere para este curso
y no se dara.
El teorema anterior nos permitira caracterizar a la cadena de Markov en tiempo
continuo en terminos de la matriz de tasas de transicion , o equivalentemente, de
c y P. Sea Z el proceso estocastico a tiempo discreto denido por
Z
n
= X
T
n
si T
n
< . En el caso absorbente, denimos Z
n+m
= Z
n
para toda m 1 si
T
n
< = T
n+1
.
Teorema 5.2. El proceso Z es una cadena de Markov de matriz de transicion
P que comienza en x bajo P
x
. Si c(x) > 0 para toda x E, condicionalmente a
Z, las variables S
1
, S
2
, . . . con S
i
= T
i
T
i1
son independientes y exponenciales
de parametros c(Z
0
) , c(Z
1
) , . . ..
Demostraci
on. Al utilizar el lema de clases de Dynkin, vemos que es su-

ciente vericar que
P
x
(Z
1
= x
1
, . . . , Z
n
= x
n
, S
1
> t
1
, . . . , S
n
> t
n
) (6)
= P
x,x
1
P
x
n1
,x
n
e
c(x)t
1
e
c(x
1
)t
2
e
c(x
n1
)t
n
.
Esto se sigue por induccion al utilizar la propiedad de Markov fuerte. La base
inductiva es la Proposicion 5.7. Por otra parte, si suponemos valida la ecuacion (6)
vemos que al aplicar la propiedad de Markov fuerte al instante T
n
y la Proposicion
5.7 se sigue que
P
x
(Z
1
= x
1
, . . . , Z
n+1
= x
n+1
, S
1
> t
1
, . . . , S
n+1
> t
n+1
)
= P
x
(Z
1
= x
1
, . . . , Z
n
= x
n
, S
1
> t
1
, . . . , S
n
> t
n
) e
c(x
n
)t
n+1
P
x
n
,x
n+1
puesto que Z
n+1
es el primer estado al que salta X
T
n
y S
n+1
es el tiempo que
tarda en realizar X
T
n
su primer salto.
5. Las ecuaciones backward y forward de Kolmogorov 90
Dada una funcion : E E [0, ) tal que c(x) =
y
(x, y) < ,
podemos denir a P
x,y
= (x, y) /c(x) cuando c(x) > 0 y a P
x,y
=
x,y
cuando
c(x) = 0 y preguntarnos cuando existe una cadena de Markov a tiempo continuo
cuya matriz de tasas de transicion sea . Nos abocaremos ahora a vericar que
se puede construir una cadena de Markov cuya matriz de tasas de transicion sea
. En efecto, sean

S
1
,

S
2
, . . . variables aleatorias exponenciales de parametro 1 y
Z una cadena de Markov con matriz de transicion P que comienza en X. Ahora
denamos
T
0
= 0, y T
n+1
= T
n
+

S
n
/c(Z
n
) .
Consideremos al proceso X denido mediante
X
t
= Z
n
si t [T
n
, T
n+1
).
Denimos a P
x
como P condicionada por Z
0
= x. Se arma que P
x
es una familia
Markoviana cuya matriz de tasas de transicion es . Por denicion, bajo la medida
de probabilidad P
x
es valida la ecuacion (6).
Teorema 5.3. La coleccion (P
x
)
xE
es una familia Markoviana con matriz
de tasas de transicion .
De hecho, hemos vericado este teorema en la seccion anterior y la prueba en
este caso en el que el espacio de estados es posiblemente innito es muy similar.
5. Las ecuaciones backward y forward de Kolmogorov
Tal como la propiedad de Markov y de Markov fuerte nos llevan a relaciones
de recurrencia para probabilidades que deseamos calcular, en tiempo continuo nos
llevan a ecuaciones diferenciales. Una de ellas es la ecuacion backward de Kol-
mogorov. Sea (P
x
, x E) una familia markoviana con probabilidades de tran-
sicion P
t
(x, y) = P
x
(X
t
= y). Estas probabilidades de transicion satisfacen las
ecuaciones de Chapman-Kolmogorov
P
t+s
(x, z) =
y
P
s
(x, y) P
t
(y, z) .
Teorema 5.4 (Ecuaciones backward de Kolmogorov). Para cualquier x, y
E, las probabilidades de transicion satisfacen la ecuacion backward de Kolmogorov
t
P
t
(x, y) =
zE
(x, z) P
t
(x, z) P
t
(x, y) .
Dada la matriz de tasas de transicion, deniremos a la matriz innitesimal Q
mediante:
Q
x,y
=
_
(x, y) x ,= y
c(x) x = y
.
Entonces la ecuacion backward de Kolmogorov se puede escribir como la ecuacion
diferencial para la matriz P
t
t
P
t
= QP
t
.
Esto explica la conexion con ecuaciones diferenciales: las probabilidades de tran-
sicion de una familia markoviana satisfacen una ecuacion diferencial. Veremos
que en el caso de espacio de estados nito, la teora clasica de ecuaciones diferen-
ciales lineales nos permite vericar que existe una unica solucion para la ecuacion
backward de Kolmogorov y por lo tanto nos da una manera de obtener, a ve-
ces explcitamente pero inclusive tambien numericamente, a las probabilidades de
transicion de la familia Markoviana.
Demostraci
on. Heuristicamente, la prueba es una aplicacion de la propiedad

de Markov fuerte. Sin embargo, necesitamos una verison que tambien depende del
tiempo. Especcamente, notemos que si s t
P
t
(x, y) = P
x
(X
t
= y) = E
x
(P
ts
(X
s
) y) .
Podemos por lo tanto pensar que por la propiedad de Markov fuerte aplicada al
tiempo de paro = t T
1
se satisface
(7) P
t
(x, y) = E
x
(P
t
(X
, y))
para t > 0. Esto es en efecto cierto pero no se ha demostrado y se sigue del hecho
de que podemos aproximar al tiempo de paro por
n
= ,2
n
|/2
n
y tomar el
lmite conforme n para vericar (7). Veamos como se aplica dicha ecuacion.
De (7) se deduce que:
P
t
f(x) = E
x
(P
t
f(X
)) = f(x) e
c(x)t
+
_
t
0
y
e
c(x)s
(x, y) P
ts
f(y) ds.
Al multiplicar por e
c(x)t
de ambos lados se obtiene
e
c(x)t
P
t
f(x) = f(x) +
_
t
0
e
c(x)s
y
(x, y) P
s
f(y) ds.
Finalmente, la expresion del lado derecho muestra que el lado izquierdo es derivable
y por la continuidad del integrando vemos que
t
P
t
f(x) +c(x) P
t
f(x) =
y
x, yP
t
f(y) .
Ahora recordemos que en espacio de estados nito, digamos de cardinalidad
n, estas ecuaciones backward admiten una solucion en terminos de la matriz inn-
itesimal Q y esto nos permitira introducir a las ecuaciones forward. Cuando I es
nito, debemos resolver el sistema de ecuaciones
t
P
t
= QP
t
.
Este es un sistema lineal y si Q fuera de tama no 11, tendra como unica solucion
a la funcion exponencial. Lo mismo sucede en el caso nn, si denimos a la matriz
e
tQ
=
n=0
t
n
Q
n
n!
para cualquier t R.La convergencia de la serie se sigue pues la sucesion
N
n=0
t
n
Q
n
n!
.
es de Cauchy cuando se utiliza la norma
|Q| = max |Qx| : x R
n
, |x| = 1 .
En efecto, puesto que esta norma es submultiplicativa, se sigue que:
sup
nm
|
n
k=0
t
k
Q
k
k!

m
k=0
t
k
Q
k
k!
|
k=m+1
[t[
k
|Q|
k
k!

m
0.
Ahora veremos que e
tQ
, t 0 es la unica solucion a las ecuaciones backward y
forward de Kolmogorov:
t
e
tQ
= Qe
tQ
y

t
e
tQ
= e
tQ
Q.
Ademas, satisfacen las ecuaciones de Chapman-Kolmogorov
e
(s+t)Q
= e
sQ
e
tQ
.
En efecto, Chapman-Kolmogorov se sigue de la denicion de la exponencial
de una matriz. Por otra parte, podemos derivar termino a termino la serie de
potencias (cuyo radio de convergencia, con la norma matricial, es innito) para
obtener
t
e
tQ
=
k=1
t
k1
Q
k
k!
=
k=0
t
k
Q
k+1
k!
=
_
Qe
tQ
e
tQ
Q
,
lo cual muestra que se satisfacen las ecuaciones backward y forward. Ademas e
0Q
=
Id. Para la unicidad de la solucion a estas ultimas, supongamos que P
t
, t 0 es una
colecci on de matrices en R
n
que satisface las ecuaciones backward (el argumento
para las forward es similar) y tal que P
0
= Id. Notemos que la inversa de e
tQ
es
e
tQ
. Entonces
t
e
tQ
P
t
= Qe
tQ
P
t
+e
tQ
QP
t
= Qe
tQ
P
t
+Qe
tQ
P
t
= 0.
Por lo tanto e
tQ
P
t
es constante y como la constante es P
0
= Id, vemos que
P
t
= e
tQ
.
6. Distribuciones invariantes 93
6. Distribuciones invariantes
Ahora pasaremos al estudio de las distribuciones invariantes para familias
markovianas. La liga entre el tiempo continuo y discreto nos lo proporciona el
siguiente resultado que se sigue de las ecuaciones backward de Kolmogorov.
Definici
on. Decimos que una distribucion en E (identicada con la coleccion

numerica
x
= (x)) es invariante para una familia Markoviana si
x
P
t
(x, y) =
y
.
En otras palabras, la distribucion es invariante si la distribucion de X
t
bajo
P
x
P
x
es igual a la de X
0
.
Teorema 5.5. Una medida de probabilidad tal que
x
c(x) < es in-
variante para X si y solo si c = (c
x
x
, x E)) es invariante para la cadena
asociada.
Demostraci
on. Por la ecuacion backward de Kolmogorov y el teorema de

Fubini-Tonelli se sigue que
(8)
x
P
t
(x, z) =
x
P
0
(x, z) +
_
t
0
x
(x, y) [P
s
(y, z) P(x, z)] ds.
As, es invariante si y solo si la integral del lado derecho es igual a 0 para cualquier
t. Escribamos a (x, y) = c(x) P(x, y), donde P es la matriz de transicion de la
cadena asociada. Puesto que
x
c
x
x
y t P
t
(x, y) es continua, podemos aplicar
el teorema de convergencia dominada para concluir que el integrando en el lado
derecho de (8) es continuo. Por lo tanto, es invariante si y solo si
0 =
x
(x, y) [P
0
(y, z) P
0
(x, z)]
=
x
c(x)
x
P
x,y
[1
y=z
1
x=z
] =
x
c(x)
x
P
x,z
c
z
z
En otras palabras, c es invariante para la cadena asociada.
Recordemos que en el teorema fundamental de convergencia para cadenas de
Markov (en tiempo discreto) la periodicidad juega un rol importante. Ahora vere-
mos que en tiempo continuo, en cierto sentido el proceso ya es periodico.
Proposici
on 5.8. P
t
(x, y) > 0 para alguna t > 0 si y s olo si P
t
(x, y) > 0 para
toda t > 0. En particular P
t
(x, x) > 0 para toda t 0.
Demostraci
on. El caso particular es simple:

P
t
(x, x) P
x
(T
1
> t) > 0.
Por otra parte, si y ,= x y para la cadena asociada se accede de x a y entonces
existen x
0
, . . . , x
n
E tales que x
0
= x, x
n
= y y x
k+1
,= x
k
para los cuales
P
x,x
1
P
x
n1
,y
> 0.
En particular, se tiene que c(x
i
) > 0 para i < n.
Si S
1
, . . . , S
n+1
son exponenciales de parametro 1 independientes entonces
P
t
(x, y) P
_
_
kn
S
k
c(x
k1
)
t <
kn+1
S
k
c(x
k1
)
_
_
P(x
0
, x
1
) P
x
n1
,y
> 0.
(S olo se debe tener cuidado si c(y) = 0.)
Finalmente, si de x no se accede a y para la cadena asociada Z entonces
P
x
(X
t
,= y para toda t 0) = P
x
(Z
n
,= y para toda n 0) = 1.
Una familia markoviana es irreducible si P
x
(X
t
= y) > 0 para toda t > 0 y
toda y E.
Proposici
on 5.9. Si la cadena asociada a una familia markoviana irreducible

es recurrente entonces no hay explosion.
Lo anterior nos dice que los conjuntos t 0 : X
t
= y y n N : Z
n
= y o
son ambos acotados o ambos no acotados para familias markovianas irreducibles.
En el primer caso hablamos de transitoriedad y en el segundo de recurrencia.
Demostraci
on. Solo hay que notar que si P

x
(Z
n
= x i.o. ) entonces o Z
n
se
absorbe en x (que sucede si y solo si c(x) > 0 y no es compatible con la irreducibil-
idad de la cadena) o c(x) > 0 y
n
1
c(Z
n
)
/c(x) =
P
x
-casi seguramente, en cuyo caso, al condicionar con Z, vemos que no hay ex-
plosi on. (Recordemos que si
i
son exponenciales independientes de parametro
i
entonces
i
= casi seguramente si y solo si
1/
i
= .)
Teorema 5.6. Si (P
x
) es una familia markoviana irreducible entonces son
equivalentes:
(1) Existe una unica distribucion invariante para la familia que satisface
x
> 0 para toda x E y para cualquier distribucion inicial :
lim
t
x
[P
(X
t
= y)
y
[ = 0.
(2) Para alguna h > 0, la sucesion de variables aleatorias (X
nh
, n N) es
una cadena de Markov positivo recurrente.
En caso contrario, no existe ninguna distribucion invariante y P
x
(X
t
= y) 0
conforme t .
Demostraci
on. Solo demostraremos la equivalencia. (La prueba completa

se puede vericar en el libro de Kallenberg.)
Sea h > 0. Notemos que (X
nh
, n 0) es una cadena de Markov con matriz de
transicion P
h
(x, y) , x, y E. En efecto, vemos que
P
x
(X
h
= x
1
, . . . , X
nh
= x
n
) = P
h
(x, x
1
) P
h
(x
1
, x
2
) P
h
(x
n1
, x
n
) .
Si para alguna h, dicha cadena de Markov es positivo recurrente, entonces al ser
irreducible y aperiodica, existe una unica distribucion invariante
h
. Por otra
parte, la cadena de Markov X
nh/2
n 0 debe tambien ser positivo recurrente pues
su tiempo de primer retorno esta acotado por dos veces el tiempo de primer retorno
de X
nh
, n 0, el cual es integrable. As, existe una unica distribucion invariante
para X
nh/2
, digamos
h/2
pero como esta tambien es invariante para X
nh
, vemos
que
h/2
=
h
. Escribamos por lo tanto =
h
. Generalizando, vemos que para
cualquier racional no-negativo q, la distribucion de X
qh
bajo P
es y, al aproximar
a cualquier t > 0 por la derecha por reales de la forma qh, vemos que es invariante
para la familia markoviana. Para mostrar la convergencia en variacion, notemos
que, de acuerdo al teorema fundamental de convergencia para cadenas de Markov,
se tiene que
x
[P
nh
(x, y)
y
[ 0
conforme n . Por lo tanto, al escribir a t (de manera unica) en la forma nh+r
con n N y 0 r < h, las ecuaciones de Chapman-Kolmogorov y la invariancia
de nos dicen que
x
[P
t
(x, y)
y
[
y
[P
nh
(x, z)
z
[P
r
(z, y) 0.
Por lo tanto, el teorema de convergencia dominada nos permite armar que
lim
t
x
[P
(X
t
= y)
y
[ = 0.
Por otra parte, si existe una distribucion invariante para la familia marko-
viana, entonces es una distribucion invariante para X
nh
, lo que implica que esta
es positivo recurrente para cualquier h > 0.
Finalmente, pasamos a la relacion entre el comportamiento asintotico de la
probabilidad de transicion y los tiempos medios de recurrencia. Sea
T
y
= min t > T
1
: X
t
= y .
Teorema 5.7. Si y no es absorbente entonces
lim
t
P
t
(x, y) =
P
x
(T
y
< )
c(y) E
y
_
T
y
_
.
Demostraci
on. Solo podremos probarlo en el caso transitorio y positivo re-

currente. En el caso nulo recurrente, tendremos la convergencia en el sentido de
Ces` aro.
Primero nos concentraremos en el caso x = y. Si y es transitorio entonces
E
y
(
T
y
) = y por lo tanto el enunciado es valido. Si por otra parte y es positivo
recurrente y nos concentramos en su clase de comunicacion, esta sera irreducible y
sabemos que P
t
(x, y) converge a
y
donde es la distribucion invariante unica (en
la clase de comunicacion de y). As, los tiempos medios de ocupacion
L
t
=
1
t
_
t
0
1
X
s
=y
ds
satisfacen:
E
x
(L
t
) =
1
t
_
t
0
P
x
(X
s
= y) ds =
1
t
_
t
0
P
s
(x, y) ds
t

y
.
Por otra parte, si

T
y
n
=

T
y
+

T
y
n1
(X
T
y
) representa al tiempo del enesimo
retorno de la cadena al estado y, la propiedad de Markov fuerte nos dice que

T
y
n
es una caminata aleatoria. Como

T
y
(X
T
1
) se puede acotar en terminos del tiempo
de visita a y por la cadena X
T
1
+nh
, n 0, que es nito por ser positivo recurrente,
vemos que E
x
(
T
y
) < , por lo que podemos aplicar la ley fuerte de los grandes
n umeros y deducir que bajo P
y
se tiene que

T
y
n
/n E
y
(
T
y
n
). Por esto, observamos
que
L
T
y
n
T
y
n
=

1
+ +
n
T
y
n
1
c(y) E
x
(T
y
)
donde
i
= T
1

T
y
n
son variables exponenciales de parametro c(y) (a la cuales
tambien les aplicamos la ley fuerte de los grandes n umeros). Finalmente, por
convergencia dominada vemos que
E
x
(L
t
)
1
c(y) E
x
(T
y
)
,
lo cual prueba el resultado en este caso.

CNSF

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

CNSF

Hochgeladen von

Copyright:

Verfügbare Formate

Procesos Estocasticos I

Capacitaci on tecnica especializada en el nuevo marco de Solvencia

es un intervalo de longitud 1/2

on. Debemos mostrar que para todo A

on. La funcion de cuantiles de una funcion de distribucion F es

on. Una cadena de Markov con matriz de transicion P y dis-

on. Al enumerar a los elementos de E, podemos pensar que E =

Una de las caractersticas principales de las cadenas de Markov es la propiedad

on 2.1 (Propiedad de Markov). Sea X una cadena de Markov de

on. Calculemos el lado izquierdo:

donde la union es disjunta, se sigue que

on 2.2. Sea X una cadena de Markov de distribucion inicial y

on. Al generalizar la idea de la prueba anterior, vemos que si

on 2.3. La relacion x y es una relacion de equivalencia en E.

on. Sea C un subconjunto del espacio de estados E. Decimos que C

on 2.4. Sea A cualquier subconjunto de E

on. Al descomponer al conjunto A como union de eventos ele-

Ahora vericaremos que la propiedad de Markov se extiende a ciertos tiempos

on. Un tiempo aleatorio T es un tiempo de paro si para toda n N

on 2.5. El estado x es recurrente si y s olo si

on. La armacion se sigue de notar que

on 2.6. Si x y y se comunican entre si e x es transitorio entonces

on. Sean m y n tales que P

on 2.7. Sea C E una clase abierta. Entonces C es transitoria.

on. En efecto, puesto que C es una clase abierta, existe x C,

on 2.8. Si el espacio de estados es nito, una clase es recurrente si

on. Solo hace falta vericar que si C es cerrada entonces es re-

on 2.9. Si la cadena es irreducible entonces P

on. Recordemos que P

on. Un estado x de una cadena de Markov es positivo recurrente

on. Sea x cualquier estado de la cadena. Por el teorema anterior

on. Al aplicar la invariancia de se obtiene

on. Primero probaremos que si la cadena admite una distribucion

on. Sea P una matriz de transicion. Denimos al periodo de un

on. Una cadena absorbente es una cadena absorbente con espacio

on. En la Proposicion 2.10 hemos probado que P

Ahora mostraremos un resultado que nos permite encontrar la cantidad esper-

on 2.12. La matriz I Q es invertible. Si M = (I Q)

on. Debemos mostrar que si (I Q) x = 0 entonces x = 0. Sin

on 3.1. En procesos de renovacion aritmeticos, el proceso de tiem-

on. Consideremos a la funcion

on 3.2 (Ley fuerte de los grandes n umeros). Si = E(S

on. Por la ley fuerte de los grandes n umeros, sabemos que T

on 3.3 (Teorema de renovacion elemental). Si = E(S

on elemental. Ocupemonos primero de

t, el teorema de convergencia monotona nos dice que

on. Primero probemos que el proceso de tiempos residuales R

on. La medida de renovacion es la medida U en [0, ) tal que

on. Solo hace falta vericar el comportamiento asintotico de z.

Veamos ahora algunas aplicaciones del teorema de renovacion clave. En el caso

on. Un proceso de Poisson es un proceso de conteo con incremen-

on 4.1. Sea N un proceso de Poisson de parametro . Entonces N

on. Puesto que los tiempos interarribo son exponenciales inde-

on 4.2 (Propiedad de Markov del proceso de Poisson). El proceso

on. Lo primero es notar que N

on 4.3 (Propiedad de Markov fuerte). Si T : [0, ) es una

on 4.4. El proceso de Poisson compuesto es un proceso de Levy

on. El proceso X comienza en cero y tiene trayectorias que son

(0) f(t). En el caso de nuestra matriz P

= casi seguramente. Sin embargo, en el caso del proceso de nacimiento puro

< , en cuyo caso:

= casi seguramente si E(T

< casi seguramente.

< casi seguramente.