E Studio

PROBABILIDAD Y PROCESOS ESTOCASTICOS
Juan Ferrandiz
Dept. dEstadstica i I. O.
Universitat de Val`encia
16 de julio de 2003
Indice general
4. Cadenas de Markov en tiempo discreto
4.1. Concepto de CMTD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2. Distribuciones finito-dimensionales . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.1. Conveniencia probabilstica . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.2. Finito-dimensionales cualesquiera . . . . . . . . . . . . . . . . . . . . . . . .
4.3. Probabilidades de transicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.1. Distribucion de inicio p(x0 ) . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.2. CMTD homogenea en el tiempo . . . . . . . . . . . . . . . . . . . . . . . .
4.3.3. Probabilidades de transicion . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.4. Probabilidades de transicion a m pasos . . . . . . . . . . . . . . . . . . . .
4.4. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4.1. Distribucion en el instante m . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4.2. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . .
4.5. Clasificacion de los estados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
4.5.1. Accesibilidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
4.5.2. Comunicacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
4.5.3. Clasificacion
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
4.5.4. Irreducibilidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
4.5.5. Clases cerradas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
4.6. Grafos de transicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
4.7. Periodicidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
4.7.1. Periodo de un estado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
4.7.2. Periodo de una CMTD irreducible . . . . . . . . . . . . . . . . . . . . . . .
12
5. Comportamiento a largo plazo de CMTDs
13
5.1. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
5.1.1. Tiempos de primer acceso . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
5.1.2. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
5.1.3. Recurrencia y transitoriedad . . . . . . . . . . . . . . . . . . . . . . . . . .
16
5.2. Tiempos de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
INDICE GENERAL
5.2.1. Frecuencia de visitas a un estado . . . . . . . . . . . . . . . . . . . . . . . .
17
5.2.2. Tiempos de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
5.2.3. Recurrencia y transitoriedad . . . . . . . . . . . . . . . . . . . . . . . . . .
17
5.3. Comportamiento en el futuro remoto . . . . . . . . . . . . . . . . . . . . . . . . . .
18
5.3.1. Distribucion lmite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
5.3.2. Distribucion estacionaria
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
5.3.3. Distribucion de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
5.4. Condiciones de existencia y unicidad . . . . . . . . . . . . . . . . . . . . . . . . . .
23
5.4.1. Cadenas irreducibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
5.4.2. Cadenas irreducibles aperiodicas . . . . . . . . . . . . . . . . . . . . . . . .
24
5.5. Cadenas reducibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
5.6. Ejemplos
27
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6. Proceso de Poisson
35
6.1. Tiempos entre transiciones del sistema . . . . . . . . . . . . . . . . . . . . . . . . .
35
6.1.1. Tiempos de espera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
6.1.2. Procesos de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
6.2. La distribucion exponencial como modelo de tiempo de espera . . . . . . . . . . . .
36
6.2.1. Distribuciones gamma y exponencial . . . . . . . . . . . . . . . . . . . . . .
36
6.2.2. Momentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
6.2.3. Funcion de distribucion . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
38
6.2.4. Propiedades de falta de memoria . . . . . . . . . . . . . . . . . . . . . . . .
39
6.2.5. Tasa de riesgo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
40
6.2.6. Mnimo, maximo y suma de exponenciales independientes . . . . . . . . . .
41
6.3. Proceso de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
6.3.1. Como proceso de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
6.3.2. Incrementos estacionarios independientes . . . . . . . . . . . . . . . . . . .
46
6.3.3. Distribucion condicionada al n

umero de eventos . . . . . . . . . . . . . . . .
48
7. Cadenas de Markov en tiempo continuo
51
7.1. Concepto de CMTC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
51
7.1.1. Permanencias y probabilidades de salto . . . . . . . . . . . . . . . . . . . .
51
7.1.2. Matriz de probabilidades de transicion . . . . . . . . . . . . . . . . . . . . .
53
7.1.3. Grafos de transicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
55
7.1.4. Clasificacion de los estados . . . . . . . . . . . . . . . . . . . . . . . . . . .
56
7.2. Comportamiento transitorio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
56
7.2.1. CMTD auxiliar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
56
7.2.2. Calculo de P (t) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
58
7.2.3. Tiempos de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
61
INDICE GENERAL
7.3. Distribucion en el futuro remoto . . . . . . . . . . . . . . . . . . . . . . . . . . . .
63
7.3.1. Distribucion lmite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
63
7.3.2. Distribucion estacionaria
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
64
7.3.3. Distribucion de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . .
64
INDICE GENERAL
Captulo 4
Cadenas de Markov en tiempo

discreto
4.1.
Concepto de CMTD
Proceso estocastico discreto de parametro discreto X : (, , P ) (RN , B N , PX ), que representaremos como

(
parametro n N
{Xn , n 0}
(4.1)
estados xn S = {1, 2, . . . , N }
y que cumple la propiedad de Markov
p(xn+1 | xn . . . x0 ) = p(xn+1 | xn )
(4.2)
COMENTARIOS:
1.
en (4.1) hemos tomado el conjunto de estados S finito por conveniencia para desarrollar el
curso a nivel simplificado. No es un requisito del concepto de CMTD.
2.
al tratarse de variables aleatorias discretas, podemos describir su comportamiento aleatorio

mediante funciones de masa probabilstica (pmf) como hemos hecho, por ejemplo, en la
descripcion de la propiedad Markoviana (4.2).
3.
la ecuacion (4.2) indica que la perspectiva de futuro solo depende del estado actual, y no de
como se ha llegado a el. El futuro es independiente del pasado dado el prensente.
Ejemplo 1 Cultivo celular

Cualquier caminata aleatoria es un ejemplo de CMTD. En particular, podemos considerar el n
umero de celulas vivas en un cultivo en que solo puede ocurrir como maximo un cambio entre observaciones sucesivas (o una muerte o una mitosis). Alcanzado un n
umero maximo N de celulas vivas
el cultivo no puede crecer y no se producen nuevas mitosis mientras no descienda el n
umero de
7
CAPITULO 4. CADENAS DE MARKOV EN TIEMPO DISCRETO
8
celulas vivas
o en forma mas descriptiva
S = {0, 1, . . .} = N
p
si N > i > 0, j = i + 1
q
si
N > i > 0, j = i 1
r
si N > i > 0, j = i
pij =
p
+
r
si
i = N, j = i
1
si i = 0, j = i
0
en cualquier otro caso
1 0 0
q r p
0 q r
P =
0 0 q
. . . . .
0 0 0
4.2.
4.2.1.
0
0
p
r
.
0
0 0
0
0 0
0
0 0
0
p 0
0
. . . . . . . . .
0 q p + r
Distribuciones finito-dimensionales
Conveniencia probabilstica
La distribucion conjunta de las n + 1 primeras variables puede expresarse como

p(x0 . . . xn ) = p(x0 )p(x1 | x0 ) p(xn | x0 . . . xn1 )
(4.3)
Admitiendo independencia conseguimos la maxima simplificacion de (4.3):

Y
p(xn | x0 . . . xn1 ) = p(xn ) = p(x0 . . . xn ) =
p(xi )
i
Admitiendo la propiedad de Markov se consigue tambien simplificar (4.3) mucho, aunque no tanto:
p(xn | x0 . . . xn1 ) = p(xn | xn1 ) = p(x0 . . . xn ) = p(x0 )
n
Y
p(xi | xi1 )
(4.4)
i=1
4.2.2.
Finito-dimensionales cualesquiera
A partir de las finito-dimensionales p(x0 . . . xn ) podemos obtener cualquier finito-dimensional por

marginalizacion de las variables sobrantes
X
p(x0 . . . xn ) =
p(x0 . . . xn+1 )
(4.5)
xn+1
y en general, para i, j, k n
p(xi , xj , xk ) =
p(x0 . . . xn )
(4.6)
xr :r6{i,j,k}
4.3.
4.3.1.
Probabilidades de transici
on
Distribuci
on de inicio p(x0 )
Describe los posibles estados en el instante inicial. Sus valores se recogen en el vector a, con
ai = pX0 (i) = P (X0 = i).
4.4. ECUACIONES DE CHAPMAN-KOLMOGOROV
4.3.2.
CMTD homog
enea en el tiempo
p(xh+1 | xh ) = p(x1 | x0 ) h N.
En este curso consideraremos solo CMTDs homogeneas en el tiempo
4.3.3.
on
Son las probabilidades de transicion a un paso pij = P (X1 = j | X0 = i).

Se recogen en la matriz P .
4.3.4.
on a m pasos
(m)
pij = P (Xm = j | X0 = i).

Se recogen en la matriz P (m) .
Si la cadena de Markov es homogenea en el tiempo,
(m)
pij
= P (Xm+h = j | Xh = i)
h N
(4.7)
COMENTARIOS:
1.
De (4.4) se deduce que una CMTD homogenea en el tiempo esta bien definida conociendo la
distribucion de inicio a y la matriz de probabilidades de transicion P .
4.4.
Ecuaciones de Chapman-Kolmogorov
Consecuencia del teorema de la probabilidad total son los siguientes resultados.
4.4.1.
Distribuci
on en el instante m
(m)
p(xm ). Se recoge en el vector a(m) con ai = pXm (i) = P (Xm = i).

P
Teniendo en cuenta que p(xm+n ) = xn p(xm+n | xn )p(xn ) las distribuciones marginales en los
instantes n y m + n estan relacionadas por
a(m+n) = a(n) P (m)
(4.8)
entendiendo los vectores a como vectores fila.
4.4.2.
Ecuaciones de Chapman-Kolmogorov
Relacionan las probabilidades de transicion a m y m + n pasos.

Teniendo en cuenta
P (Xm+n = j | X0 = i) =
P (Xm+n = j | Xm = r)P (Xm = r | X0 = i)
se obtiene
(m+n)
pij
X
r
(m) (n)
pir prj
(4.9)
10
o, en forma matricial,
P (m+n) = P (m) P (n)
(4.10)
COMENTARIOS:
1.
Como P = P (1) , de las ecuaciones de Chapman-Kolmogorov se deduce que P (m) = P m .
2.
Consecuencia del comentario anterior es a(m+n) = a(m) P n .
3.
Se comprende que las sucesivas potencias de la matriz de probabilidades de transicion marcaran la evolucion de a(m) y su comportamiento asintotico para m .
4.
Consecuencia de las ecuaciones de Chapman-Kolmogorov es la expresion de las pmf finitodimensionales en terminos de las probabilidades de transicion a n pasos
p(|kj|)
p(xi , xj , xk ) = p(xi )px(|ji|)
xj ,xk
i ,xj
lo que puede comprobarse facilmente a partir de (4.4) y (4.6)
4.5.
4.5.1.
Clasificaci
on de los estados
Accesibilidad
Dados dos posibles estados del sistema i, j S diremos que j es accesible desde i, y lo denotaremos
i j, si hay probabilidad positiva de que el sistema, habiendo arrancado del estado i, ocupe el
(m)
estado j en alg
un momento (m; pij > 0).
4.5.2.
Comunicaci
on
Diremos que dos estados i, j S comunican entre s, y lo denotaremos i j, si cada uno de ellos
(m)
(n)
es accesible desde el otro ( m, n; pij > 0 pji > 0). Entendemos que todo estado comunica
(0)
consigo mismo (pii = 1).
4.5.3.
Clasificaci
on
Es facil comprobar que la comunicaci

on es una relacion binaria de equivalencia en el conjunto de
estados S (reflexiva, simetrica y transitiva). La reflexividad y simetra son consecuencia inmediata
de la definicion. La transitividad se deduce de la desigualdad
(m+n)
pik
(m) (n)
(m) (n)
pir prk pij pjk > 0
(m)
siendo m y n el n
umero de pasos que garantizan la positividad de pij
que los estados de cada par comunican entre s.
(n)
y pjk ya que partimos de
Siendo la comunicacion una relacion de equivalencia, las correspondientes clases de equivalencia

constituyen una particion de S. Los estados de una misma clase comparten ciertas propiedades
interesantes que se detallaran mas adelante.

4.6. GRAFOS DE TRANSICION
4.5.4.
11
Irreducibilidad
Diremos que una cadena de Markov es irreducible si esta constituida por una sola clase de equivalencia, es decir, si todos sus estados comunican entre s. En caso contrario diremos que la cadena
de Markov es reducible.
Ejemplo 2 Cadena irreducible (modelo de difusi
on de gases)
Intercambio de bolas entre dos urnas tomando al azar una bola de cada urna. Las bolas son rojas
y blancas y se registra el n
umero de bolas rojas en la primera urna.
Ejemplo 3 Cadena reducible
N
umero de celulas vivas en un cultivo en que en cada lapso entre observaciones consecutivas solo
ocurre una muerte o una mitosis. El estado 0 no comunica mas que consigo mismo.
4.5.5.
Clases cerradas
Puesto que la relacion de comunicacion establece una particion del espacio de estados S, estados
pertenecientes a clases comunicantes distintas no comunican entre s. Pero s es posible que se
pueda acceder a uno de ellos desde el otro.
Decimos que una clase comunicante es cerrada si desde ninguno de sus estados se puede acceder a
otro estado ajeno a dicha clase.
COMENTARIOS:
1.
La u
nica clase comunicante de una CMTD irreducible sera cerrada.
2.
Si el sistema en su evolucion temporal alcanza una clase cerrada, quedara atrapado en ella.
Su evolucion posterior quedara descrita por el comportamiento de dicha clase cerrada considerada como una CMTD en s misma.
3.
Puede demostrarse que en una CMTD finita (S finito) debe existir necesariamente una clase
cerrada.
4.6.
Grafos de transici
on
La relacion de comunicacion tiene que ver con la positividad o anulacion de las probabilidades de
transicion. Una forma de representar graficamente las posibilidades de evolucion del sistema es la
confeccion de un grafo cuyos nodos son sus posibles estados, es decir, los elementos del conjunto
S. Dibujamos una flecha del nodo i al nodo j siempre que sea posible esta transicion en un paso
(pij > 0). Podemos etiquetar cada flecha con la correspondiente probabilidad.
Ejemplo 4 Grafo de transici
on
.2
0.2
P = 0.3
0
0.8
0
0
0
0.7
1
1
0.7
0.8
1
2
0.3
12
4.7.
4.7.1.
Periodicidad
Periodo de un estado
Es el maximo com
un divisor de sus posibles tiempos de retorno
(n)
di = m.c.d.{n N+ ; pii > 0}

Partiendo de un estado no se puede volver a el mas que en un n
umero de pasos que sea m
ultiplo
de su periodo. El periodo es el maximo n
umero que cumple esta condicion (la de que los tiempos
de retorno sean m
ultiplos de el).
4.7.2.
Periodo de una CMTD irreducible
Proposici
on 1 Dos estados de una misma clase comunicante tienen el mismo periodo
demostracion:
Sea di el periodo del estado i que comunica con el estado j de periodo dj . Entonces,
(m)
i j = m, n; pij
(r)
(n+m+r)
pii > 0 = pjj
(n)
> 0 pji > 0

(n) (r) (m)
pji pii pij
> 0 = m + n + r = dj
(n+m)
(n) (m)
pji pij > 0 = m + n = dj
[m + n + r = dj ] [m + n = dj ] = r = dj
pjj
(r)
[pii > 0 = r = dj ] = di = dj
(r)
ya que di es el maximo com

un divisor de {r; pii > 0} y dj es un divisor com
un a todos ellos.
Intercambiando los papeles de i y j en el razonamiento anterior llegamos a d j = di , con lo que se
obtiene di = dj .
COMENTARIOS:
1.
Todos los estados de una misma clase comunicante tienen el mismo periodo y podemos hablar
del periodo de la clase comunicante.
2.
Si la cadena de Markov es irreducible, podremos hablar de su periodo, y si este es la unidad,

diremos que la cadena es aperiodica.
Ejemplo 5 Cadena de Markov irreducible de periodo 2
0
P = 0.3
0
1
0
1
0
0.7
0
1
1
0.7
2
0.3
3
1
Ayuda: para comprobar el periodo, constr

uyase la lista de longitudes de todos los ciclos cerrados
posibles partiendo de un estado.
Captulo 5
Comportamiento a largo plazo de

CMTDs
5.1.
5.1.1.
Tiempos de retorno
Tiempos de primer acceso
En este tema seguimos considerando {Xn , n 0} una cadena de Markov en tiempo discreto,
homogenea en el tiempo, con espacio de estados S = {1 . . . N }.
Una de las formas de describir el comportamiento del sistema en su evolucion temporal consiste en
identificar los estados que el sistema ocupa regularmente, los que solo se visitan al principio, etc.
Definici
on 1 (Tiempo de primer acceso) Dado un estado i, la variable aleatoria
Ti = mn{n 1; Xn = i}
(5.1)
se denomina tiempo de primer acceso al estado i.

Debemos entender que se trata de una variable aleatoria. Si expresamos la cadena de Markov como
la aplicacion medible X : (, , P ) (RN , B N , PX ), de modo que X() representa una trayectoria,
Ti (X()) es el instante en que dicha trayectoria visita el estado i por primera vez (aparte, posiblemente, del instante inicial). Es decir, tenemos un valor entero por cada , lo que nos define
una variable aleatoria.
En algunas trayectorias puede ocurrir que el estado i no se visite nunca (aparte, posiblemente del
instante inicial). En ese caso convenimos en asignar a Ti el valor por ser un tiempo de primer
acceso mayor que ning
un otro. El suceso {Ti = } es el conjunto de dichas trayectorias, y puede
tener probabilidad positiva.
Ejemplo 6 Tiempo de primer acceso infinito
Si la cadena de Markov tiene la matriz de probabilidades de transicion
0.2 0.8
P =
0
1
las trayectorias que arrancando del estado 1 alcancen el estado 2 ya no pueden volver nunca al
estado inicial. Las que arrancan del estado 2 siempre permanecen en el. En este caso T 1 solo puede
tomar dos valores, o uno o , y P (T1 = | X0 = 1) = 0.8. En cambio T2 puede tomar cualquier
valor entero positivo, y P (T2 = k | X0 = 1) = 0.8 0.2k1 , P (T2 = 1 | X0 = 2) = 1
13
14
CAPITULO 5. COMPORTAMIENTO A LARGO PLAZO DE CMTDS
Proposici
on 2 (Distribuci
on de los tiempos de primer acceso) Si uij (n) representa la probabilidad de haber accedido al estado j por primera vez antes del (o durante el) instante n,
uij (n) = P (Tj n | X0 = i),
se verifica el siguiente sistema recurrente,
uij (0) = 0
uij (n + 1) = pij +
pir urj (n)
para n > 0
(5.2)
r:r6=j
demostracion:
Recurriendo de nuevo al teorema de la probabilidad total, utilizando la particion de los posibles
estados del sistema en el instante 1,
X
P (Tj n + 1 | X0 = i) =
P (Tj n + 1 | X1 = r, X0 = i)P (X1 = r | X0 = i)
(5.3)
r
separando el sumando r = j y considerando la propiedad de Markov,

= pij +
P (Tj n + 1 | X1 = r)pir ,
(5.4)
r:r6=j
por la homogeneidad en el tiempo tendremos

= pij +
r:r6=j
urj (n)pir
(5.5)
15
5.1. TIEMPOS DE RETORNO

COMENTARIOS:
1.
Las iteraciones (5.2) nos permiten calcular la funcion de distribucion acumulativa de T j . Si

queremos la probabilidad de un valor concreto de dicha variable, la podemos obtener por
diferencia
P (Tj = k | X0 = i) = uij (k + 1) uij (k).
2.
A partir de la pmf considerada en el comentario precedente se pueden obtener numericamente

los momentos y demas caractersticas de la variable aleatoria Tj .
Proposici
on 3 (Esperanza de tiempos de primer acceso) Si llamamos mij = E[Tj | X0 = i]
al valor esperado del tiempo de primer acceso al estado j, cuando el sistema arranca del estado i,
se verifica que
X
pir mrj
(5.6)
mij = 1 +
r:r6=j
demostracion:
Recurriendo de nuevo a condicionar a los posibles estados en el instante 1 se tiene
X
E[Tj | X0 = i, X1 = r]pir .
mij = E[Tj | X0 = i] =
r
Separando el sumando correspondiente a r = j y teniendo en cuenta la propiedad de Markov

= pij +
(1 + mrj )pir =
r:r6=j
=1+
pir +
pir mrj
r:r6=j
pir mrj
r:r6=j
COMENTARIOS:
1.
Las ecuaciones (5.6) permiten calcular las esperanzas de los tiempos de acceso a partir de la
matriz de transicion P.
2.
Existen ecuaciones
Qk1 similares para los momentos superiores. En particular, denotando con
mij (k) = E[ r=0 (Tj r) | X0 = i] al momento factorial de orden k, puede demostrarse que
X
mij (k) = kmij (k 1) +
pir mrj (k)
(5.7)
r:r6=j
A partir de los momentos factoriales se pueden conseguir los momentos centrales habituales.
En particular la varianza
V [Tj | X0 = i] = E[Tj2 | X0 = i] E[Tj | X0 = i]2 = mij (2) + mij (1) mij (1)2
5.1.2.
(5.8)
Tiempos de retorno
Normalmente interesa estudiar la distribucion del tiempo de primer acceso T i condicionando al

suceso {X0 = i}, es decir, a que el sistema arranca del mismo estado i. En ese caso tiene sentido
denominarlo tiempo de retorno pues es el tiempo que el sistema tarda en volver a dicho estado.
Cuando trabajamos con tiempos de retorno (condicionando a que i es el estado inicial) restringimos
nuestra consideracion a aquellas trayectorias que verifican este requisito (i.e., que arrancan de i).
Y entonces Ti (X()) es el instante en que el sistema vuelve al estado i por primera vez.
16
La propiedad Markoviana y la homogeneidad en el tiempo implican que cada vez que el sistema
vuelve al mismo estado se enfrenta a la misma perspectiva de futuro. Estos ciclos (porciones de
trayectoria entre dos visitas sucesivas al mismo estado) vienen a representar una suerte de muestra
aleatoria del comportamiento del sistema cuando este arranca de ese estado.
5.1.3.
Recurrencia y transitoriedad
Definici
on 2 (Estados recurrentes y transitorios) Atendiendo a su tiempo de retorno definimos un estado como recurrente cuando dicho tiempo de retorno es finito con probabilidad uno
P (Ti < | X0 = i) = 1, hecho que tambien podemos expresar diciendo que es imposible que el sistema no vuelva nunca a el (P (Ti = | X0 = i) = 0). En caso contrario (P (Ti = | X0 = i) > 0)
decimos que el estado i es transitorio.
Ejemplo 7 Tiempo de retorno infinito (cont.)
En la cadena de Markov del ejemplo 6 el estado 1 es transitorio (P (T1 = | X0 = 1) = 0.8 > 0)
mientras que el estado 2 es recurrente (P (T2 = 1 | X0 = 2) = 1 = P (T2 < | X0 = 2) = 1).
COMENTARIOS:
1.
Con estas definiciones pretendemos distinguir entre estados a los que el sistema vuelve una
y otra vez regularmente aunque en lapsos variables de tiempo y aquellos otros que el sistema
dejara de visitar a partir de un momento determinado.
2.
Puede demostrarse que la recurrencia (transitoriedad) es una propiedad compartida por todos
los estados de una misma clase comunicante. Podemos, por tanto, hablar de clases comunicantes recurrentes y transitorias. Eso tambien vale para cadenas de Markov irreducibles.
3.
Si el estado es transitorio, la esperanza del tiempo de retorno es infinita como consecuencia

de que dicho valor tiene probabilidad positiva
E[Ti | X0 = i] =
k P (Ti = k | X0 = i) + P (Ti = | X0 = i) =
k<
4.
En el caso de estados recurrentes se utiliza el convenio usual en integracion de Lebesgue para

conjuntos de medida nula ( P (Ti = | X0 = i) = 0 pues la medida del suceso {Ti = }
es nula) de modo que sus tiempos de retorno pueden tener esperanza finita o no dependiendo
de las probabilidades de sus valores finitos
E[Ti | X0 = i] =
k P (Ti = k | X0 = i)
k<
5.
Como P (Tj < | X0 = i) = lmn P (Tj n | X0 = i), estas probabilidades pueden

calcularse aproximadamente de las recurrencias (5.2) tomando un n suficientemente grande.
En particular, haciendo el paso al lmite n en (5.2) se obtiene el sistema de ecuaciones
uij = pij +
pir urj
r:r6=j
cuya resolucion nos dara las uij = P (Tj < | X0 = i).
(5.9)

5.2. TIEMPOS DE OCUPACION
5.2.
17
Tiempos de ocupaci
on
5.2.1.
Frecuencia de visitas a un estado
Ademas de los tiempos de retorno, otra forma complementaria de describir la tendencia del sistema
a recalar en un estado u otro es a traves de la frecuencia con que el sistema los visita.
Denotaremos con Nj (n) el n
umero de visitas al estado j en los n primeros pasos de la evolucion del
sistema. Como en el caso de los tiempos de retorno, se trata de una variable aleatoria que vara con
cada trayectoria. Podremos hablar de su distribucion de probabilidad as como de sus momentos
(media, varianza, etc.).
5.2.2.
Tiempos de ocupaci
on
Definici
on 3 (Tiempo de ocupaci
on) La cantidad mij (n) = E[Nj (n) | X0 = i] se denomina tiempo de ocupacion del estado j hasta el instante n partiendo del estado i.
Analogamente a la confeccion de las matrices de probabilidades de transicion, reuniremos los tiemon.
pos de ocupacion mij (n) en la matriz M (n), que denominaremos Matriz de tiempos de ocupaci
Proposici
on 4 (Matriz de tiempos de ocupaci
on) En una cadena de Markov en tiempo discreto finita (conjunto de estados finito) homogenea en el tiempo y con matriz de probabilidades de
transici
on P se verifica,
n
X
Pr
(5.10)
M (n) =
r=0
demostracion:
Sea Zj (r) la variable indicadora del suceso Xr = j (Zj (r) = 1 si Xr = j y Zj (r) = 0 si Xr 6= j).
Tendremos,
Nj (n) =
E[Nj (n) | X0 = i] =
=
n
X
r=0
n
X
r=0
n
X
Zj (r)
E[Zj (r) | X0 = i]
P (Xr = j | X0 = i) =
r=0
n
X
(r)
pij
r=0
(r)
y las pij son los elementos de la matriz P (r) = P r .
5.2.3.
Recurrencia y transitoriedad
Los conceptos de recurrencia y transitoriedad, que hemos definido en la seccion anterior en terminos
de los tiempos de retorno, tienen tambien su expresion atendiendo a los tiempos de ocupacion
Proposici
on 5 (Estado recurrente y transitorio) i S es recurrente sii m ii = lmn mii (n) =
(Es decir i S es transitorio sii mii < ).
demostracion:
P
Denotemos con Ni = lmn Ni (n) = r0 Zj (r) al n
umero total de visitas del sistema al estado
i en cada trayectoria. Como es una serie de funciones no negativas, podemos intercambiar las
operaciones de esperanza y lmite, de modo que lmn E[Ni (n)] = E[Ni ] = mii
18
Atendiendo a la particion establecida por la finitud o infinitud del tiempo de retorno al estado i
en el conjunto de trayectorias que arrancan de ese estado,
E[Ni | X0 = i] =E[Ni | X0 = i, Ti < ]P (Ti < | X0 = i)+
+ E[Ni | X0 = i, Ti = ]P (Ti = | X0 = i)
(5.11)
Ahora bien,
E[Ni | X0 = i, Ti = ] = 1
porque las trayectorias que no vuelven nunca al estado i solo tienen una visita a dicho estado
(instante inicial).
Por otra parte,
E[Ni | X0 = i, Ti < ] = 1 + E[Ni | X0 = i]
porque al condicionar a Ti < tenemos garantizado un retorno al estado i, tras el cual la perspectiva de futuro de la CMTD es la misma que cuando se inicia la trayectoria desde ese mismo
estado gracias a la propiedad de Markov y homogeneidad en el tiempo.
Llamando por comodidad f = P (Ti < | X0 = i), la expresion (5.11) deviene
(
mii = 1/(1 f ) < si f < 1 (i transitorio)
mii = (1 + mii )f + (1 f ) =
mii =
si f = 1 (i recurrente)
COMENTARIOS:
1.
La proposicion anterior establece la equivalencia entre la definicion de estado recurrente

atendiendo a los tiempos de retorno o atendiendo a los tiempos de ocupacion. Cualquiera de
las dos nos sirve como definicion y la otra se convierte entonces en una caracterizacion de
dicha propiedad.
2.
Intuitivamente se entiende bien esta equivalencia. Si un estado es recurrente estamos seguros

de que el sistema retornara a el, en cuyo caso nos encontraremos como al principio, con la
seguridad de que el sistema volvera a el de nuevo, y as sucesivamente. Eso implica un n
umero
infinito de visitas a lo largo de la trayectoria.
5.3.
Comportamiento en el futuro remoto
En este apartado pretendemos describir el comportamiento de la CMTD cuando lleva ya mucho

tiempo evolucionando. Hablamos entonces de comportamiento asintotico o lmite.
5.3.1.
Distribuci
on lmite
Recordemos la notacion a(m) = p(xm ) para la distribucion de los posibles estados del sistema en
el instante m. Nos planteamos ahora que pasa con ella cuando m . Existe una distribucion
lmite = lmm a(m) ? Si existe, como podemos calcularla?
Posponemos a la seccion 5.4 las cuestiones relativas a su existencia y dedicamos este apartado a
estudiar sus propiedades.
Definici
on 4 (Distribuci
on asint
otica) Denominamos distribucion lmite o asintotica a lm m a(m)
cuando dicho lmite existe cualquiera que sea la distribuci
on inicial a (0) .
19
5.3. COMPORTAMIENTO EN EL FUTURO REMOTO
Proposici
on 6 (Distribuci
on asint
otica) Si es una distribuci
on lmite cumple las dos condiciones siguientes,
a) la ecuacion de equilibrio
= P
(5.12)
b) la ecuacion de normalizacion
N
X
i = 1.
(5.13)
i=1
En (5.12) la distribuci
on se interpreta como vector fila.
demostracion:
Partiendo de la expresion a(m) = a(m1) P y aplicando el paso al lmite a ambos miembros de la
misma
= lm a(m) = lm a(m1) P = P
m
La expresion (5.13) surge de

N
X
i=1
(m)
ai
=1
m N =
N
X
i=1
(m)
lm ai
= lm
N
X
(m)
ai
=1
i=1
COMENTARIOS:
1.
Las condiciones (5.12) y (5.13) juegan un papel esencial en el comportamiento a largo plazo
y merecen ser destacadas con su propio nombre tal como aparece en el enunciado de la
proposicion 6
2.
La proposicion 6 nos indica como calcular la distribucion asintotica cuando existe. Bastara resolver el sistema de ecuaciones (5.12) y (5.13).
3.
En general convendremos en interpretar todo vector que premultiplica a una matriz como
vector fila y si la postmultiplica como vector columna (ej.: los vectores propios por la izquierda
los interpretamos como vectores fila y los vectores propios por la derecha como vectores
columna).
4.
Las expresiones (5.12) y (5.13) nos dicen que es el vector propio por la izquierda de P
correspondiente al valor propio = 1, normalizado para que sus componentes sumen uno.
Que = 1 es un valor propio de la matriz P es evidente sabiendo que se trata de una matriz
estocastica (P 1 = 1).
5.
Para cada , valor propio de P , el vector propio por la izquierda (yP = y) y por la derecha
(P x = x) no tienen por que coincidir ya que P no es simetrica (en general, si y es el vector
propio por la izquierda de P correspondiente a = 1, y no es proporcional al vector propio
por la derecha 1).
6.
Si representa la matriz diagonal de los valores propios de la matriz de transicion P , y

X tiene por columnas los correspondientes vectores propios por la derecha (P X = X),
entonces Y = X 1 tiene por filas los vectores propios por la izquierda (Y P = Y ) y se
verifica
N
X
P = XY =
i xi y i
i=1
20
donde xi es la i-esima columna de X e y i la i-esima fila de Y . Notese que xi y i , como

producto de un vector columna de dimension N por un vector fila de la misma dimension,
es una matriz N N .
Las sucesivas potencias de P pueden expresarse como
P m = Xm Y =
N
X
m
i xi y i .
i=1
Puede demostrarse que los valores propios i de una matriz estocastica P cumplen |i | 1, de
modo que los vectores propios correspondientes a los valores propios con | i | = 1 determinan
el comportamiento de P m cuando m pues para |i | < 1 se tendra m
i 0.
Si el u
nico valor propio con modulo unitario es i = 1 (puede haber valores propios complejos),
tendremos
lm P m = 1y
m
siendo 1 el vector propio por la derecha e y el vector propio por la izquierda correspondientes
a = 1. Es decir, P (m) se va aproximando a una matriz con todas sus filas iguales a y.
Premultiplicandola por cualquier distribucion de probabilidad obtenemos siempre y por ser
el promedio ponderado de sus filas, todas iguales a y, esto es,
lm a(m) = a(0) lm P m = y.
Ejemplo 8 Descomposici
on espectral de P
Supongamos un modelo de fallo humano en sucesivas pruebas de un concurso, en que el resultado
de una pregunta influye en el acierto de la siguiente (la confianza del concursante en s mismo
vara).
P = acierto
fallo
acierto
0.8
0.5
fallo
0.2
0.5
Esta matriz de probabilidades de transicion nos permite predecir el acierto/fallo siguiente. Pero
para predecir a mas largo plazo (dentro de n preguntas) necesitamos su n-esima potencia P n .
Siguiendo los pasos del comentario 6
1.
2.
3.
4.
1 0
valores propios: 1 = 1, 2 = 0.3, =
0 0.3
0.7071 0.3714
vectores propios por la derecha: X =
0.7071 0.9285
1.1837 0.4663
1
vectores propios por la izquierda: Y = X =
0.4663 1.1837
descomposicion espectral: P = XY
P n = Xn Y ,

1.1837
0.7071 0.3714 1 0
0.8 0.2
=
0 0.3 0.4663
0.7071 0.9285
0.5 0.5
0.7071
P n = 1n
1.1837 0.4663 +
0.7071
0.3714
+ 0.3n
0.4663 1.1837
0.9285
0.7143 0.2857
0.2857 0.2857
= 1n
+ 0.3n
0.7143 0.2857
0.7143 0.7143
P =
0.4663
1.1837
21
5.3. COMPORTAMIENTO EN EL FUTURO REMOTO

5.
Distribucion asintotica:
0.7143
lm P n =
0.7143
n
0.2857
0.2857
(0)
(0)
(0)
(0)
lm a(n) = a(0) lm P n = [a1 0.7143 + a2 0.7143, a1 0.2857 + a2 0.2857]
= [0.7143, 0.2857]
siempre la misma sea cual sea la distribucion inicial a(0) .
5.3.2.
Distribuci
on estacionaria
Es habitual que al observar un sistema que lleva mucho tiempo funcionando la perspectiva para
instantes futuros proximos entre s difiera poco (p(xn ) p(xn+1 )). La distribucion de los posibles
estados del sistema es aproximadamente la misma cualquiera que sea el instante que consideremos.
Se suele decir que el sistema ha alcanzado un regimen estacionario o estable porque el sistema
manifiesta un comportamiento aleatorio regular a lo largo del tiempo. Esta idea da pie a la siguiente
definicion.
Definici
on 5 (Distribuci
on estacionaria) Una distribuci
on de probabilidad sobre los posibles
estados del sistema = (1 , . . . , N

) se dice que es estacionaria sii
a(0) = = a(n) = n 0.
Proposici
on 7 (Distribuci
on estacionaria) La distribuci
on es estacionaria sii verifica las
ecuaciones de equilibrio y de normalizaci
on
= P
N
X
i = 1
(5.14)
(5.15)
i=1
demostracion:
1. [Condicion necesaria] ( estacionaria implica (5.14) y (5.15))
Como a(m+1) = a(m) P , si = a(m+1) = a(m) obtenemos la ecuacion de equilibrio (5.14). La
ecuacion de normalizacion (5.15) es consecuencia de ser una distribucion de probabilidad.
2. [Condicion suficiente] ((5.14)) y (5.15) implican estacionaria)
[a(0) = ] [a(m) = a(m1) P ] [ P = ] = [a(m) = m 0]
22
COMENTARIOS:
1.
Puesto que las condiciones (5.14) y (5.15) son las mismas que (5.12) y (5.13), se deduce que
la distribucion lmite, cuando existe, es tambien estacionaria.
2.
El comentario anterior significa que cuando estamos haciendo una prediccion en el futuro
remoto, si existe la distribucion asintotica no importa casi el momento exacto que queremos
predecir pues las predicciones varan poco de uno a otro (a(m+1) a(m) ).
5.3.3.
Distribuci
on de ocupaci
on
Ya vimos en la seccion 5.2 la conveniencia de considerar la frecuencia con que el sistema visita
los posibles estados. Ademas de la frecuencia absoluta Nj (n) de visitas al estado j en los n primeros pasos de evolucion, podemos considerar la frecuencia relativa de veces que el sistema ha
ocupado dicho estado Nj (n)/(n + 1), que refleja la intensidad del visiteo. Cuando consideramos
porciones mayores de cada trayectoria (n ), cabe preguntarse por el valor al que tienden dichas
intensidades.
Definici
on 6 (Ocupaci
on del sistema) Denominamos ocupacion del estado i a la cantidad
j = lmn E[Nj (n)]/(n + 1) cuando existe.

= {
El conjunto de valores
i ; i S} se denomina distribucion de ocupacion del sistema y lo
representaremos como vector fila.
es distribuci
Proposici
on 8 (Distribuci
on de ocupaci
on) Si
on de ocupaci
on satisface las
ecuaciones
= P
a) de equilibrio
b) de normalizaci
on
N
X
(5.16)
i = 1.
(5.17)
i=1
demostracion:
Llamando Zj (r) aPla variable indicadora del suceso Xr = j como hicimos en la proposicion 4,
n
tenemos Nj (n) = r=0 Zj (r). Entonces,
n
n
n N
E[Nj (n)]
1 X
1 X (r)
1 X X (r1)
a
pij
=
E[Zj (r)] =
aj =
n+1
n + 1 r=0
n + 1 r=0
n + 1 r=0 i=1 i
n
!
N
N
n X 1 X (r1)
n X E[Ni (n 1)]
pij
=
ai
pij =
n + 1 i=1 n r=0
n + 1 i=1
n
Pasando al lmite n ambos miembros de la igualdad y teniendo en cuenta que el lmite de la

suma es la suma de los lmites obtenemos
j =
N
X
i=1
que en forma matricial es la expresion (5.16)
i pij ,
23
5.4. CONDICIONES DE EXISTENCIA Y UNICIDAD

La condicion (5.17) es consecuencia de
N
X
Nj (n) = n + 1 n 0 =
N
X
E[Nj (n)] = E
j=1
j=1
N
X
j=1
N
X
N
hX
j=1
i
Nj (n) = n + 1 n 0
E[Nj (n)]
= 1 n 0
n+1
E[Nj (n)]
=1
n
n+1
j=1
lm
Proposici
on 9 (Estacionaria implica de ocupaci
on)
estacionaria = de ocupaci
on
demostracion:
1
1 X
1 X
E[Nj (n)] =
E[Zj (r)] =
j = j
n+1
n + 1 r=0
n + 1 r=0
y siendo esto cierto n 0
1
E[Nj (n)] = j
n n + 1
lm
COMENTARIOS:
1.
Se comprueba, pues, que las ecuaciones que cumple la distribucion de ocupacion cuando
existe son las mismas que las de las distribuciones asintotica y estacionaria.
2.
Merece destacarse el hecho de que la distribucion estacionaria coincida con la distribucion de

ocupacion. Si queremos estimar la probabilidad de que el sistema ocupe cada estado una vez
alcanzado su regimen estacionario y contamos con la observacion de una trayectoria, podemos
utilizar la proporcion del tiempo empleado por el sistema en cada estado como estimacion
de las probabilidades estacionarias i =
i Ni (n)/(n + 1) para n grande.
5.4.
Condiciones de existencia y unicidad
En la seccion precedente se han delimitado los conceptos descriptivos del comportamiento a largo
plazo: distribucion lmite, distribucion estacionaria y distribucion de ocupacion.
Todas estas distribuciones deben verificar las ecuaciones de equilibrio y normalizacion. La existencia
y unicidad de estas distribuciones notables ira ligada a la existencia y unicidad de las soluciones
de estas ecuaciones.
En este apartado revisamos las condiciones para la existencia y unicidad de la solucion a las ecuaciones de equilibrio y normalizacion y su relacion con la existencia y unicidad de las distribuciones
notables indicadas. La demostracion exhaustiva de las proposiciones correspondientes excede el
nivel que se pretende en este curso. Nos limitaremos a enunciarlas y explicar el alcance de sus
contenidos.
24
5.4.1.
Cadenas irreducibles
Recordemos que irreducibles son las cadenas constituidas por una sola clase comunicante, es decir,
aquellas en que todos sus estados comunican entre s.
Proposici
on 10 (Distribuci
on estacionaria u
nica) Toda cadena de Markov finita irreducible
tiene una u
nica distribuci
on estacionaria, es decir, tiene una u
nica soluci
on normalizada a la
ecuaci
on de equilibrio.
Proposici
on 11 (Distribuci
on de ocupaci
on u
nica) En toda cadena de Markov finita irreducible existe una y s
olo una distribuci
on de ocupaci
on que coincide con la distribuci
on estacionaria.
Ejemplo 9 Distribuci
on estacionaria y de ocupaci
on pero no asint
otica
Es facil comprobar que la CMTD con matriz de transicion
0 1 0
P = 0 0 1
1 0 0
es irreducible y admite = (1/3, 1/3, 1/3) como solucion normalizada de la ecuacion de equilibrio.
Es evidente tambien que este vector representa la frecuencia de visitas a sus tres estados puesto
que solo hay tres trayectorias posibles:
trayectoria 1: 1,2,3,1,2,3,1,2,3,. . .
trayectoria 2: 2,3,1,2,3,1,2,3,1,. . .
trayectoria 3: 3,1,2,3,1,2,3,1,2,. . .
y en cualquiera de ellas se cumplen dichas proporciones de ocupacion.
Sin embargo, a(0) = (a1 , a2 , a3 ) =
a(1) = (a3 , a1 , a2 )
a(2) = (a2 , a3 , a1 )
a(3) = (a1 , a2 , a3 )
...
a(3m) = (a1 , a2 , a3 )
a(3m+1) = (a3 , a1 , a2 )
a(3m+2) = (a2 , a3 , a1 )
...
y, salvo que a1 = a2 = a3 , no existe lmm a(m) .
5.4.2.
Cadenas irreducibles aperi

odicas
Recordemos que en una cadena de Markov irreducible todos sus estados tienen el mismo periodo
al estar constituida por una sola clase comunicante. Y decimos que la cadena es aperiodica si este
periodo es la unidad. La cadena considerada en el ejemplo 9 es periodica con periodo 3 y para ella
no existe distribucion lmite.
Proposici
on 12 (Distribuci
on asint
otica u
nica) En toda cadena de Markov finita, irreducible
y aperi
odica existe una u
nica distribuci
on asint
otica.
COMENTARIOS:
1.
Como consecuencia de la proposicion 6, la distribucion asintotica que nos garantiza la proposicion anterior tendra que coincidir con la distribucion estacionaria y de ocupacion de las
proposiciones 10 y 11.
25
5.5. CADENAS REDUCIBLES
5.5.
Cadenas reducibles
Las cadenas reducibles se componen de varias clases comunicantes que denotaremos C r r = 1, . . . , k

y constituyen una particion del espacio de estados S.
Ordenando adecuadamente las filas y columnas de la matriz de transicion P para que los estados
de una misma clase aparezcan contiguos, esta matriz se puede representar
P11 P12 P1k

P21 P22 P2k
P =
. . . . . . . . . . . . . . . . . . . .
Pk1 Pk2 Pkk
donde Pij es la matriz de probabilidades de transicion de los estados de la clase C i a los estados
de la clase Cj .
Cuando el sistema entra en una clase cerrada Ci , ya no sale de ella porque ninguno de sus estados
comunica con otro exterior. Tenemos Pij = 0 si j 6= i. La evolucion del sistema a partir de
entonces es el de la cadena de Markov con matriz de transicion Pii , que sera una cadena de
Markov irreducible.
Si el sistema arranca de un estado perteneciente a una clase no cerrada, eventualmente abandonara esta clase y recorrera otras clases no cerradas (incluyendo posibles retornos a la primera)
hasta que recale en una clase cerrada, en la que quedara atrapado y su comportamiento asintotico
vendra determinado por las propiedades de este subsistema. Puede demostrarse que esto ocurre
con probabilidad uno. En consecuencia, desde el punto de vista del comportamiento a largo plazo,
las propiedades esenciales son las que corresponden a cadenas irreducibles que ya hemos planteado
en la seccion precedente.
Si hay varias clases cerradas tiene interes conocer la probabilidad de que el sistema acabe en una
u otra, es decir, la probabilidad de que su comportamiento a largo plazo sea el de una u otra de
las subcadenas irreducibles.
Proposici
on 13 (Acceso a clases cerradas) Si denotamos con
(n)
ir = P ( m n; Xm Cr | X0 = i)
la probabilidad de acceder a la clase Cr desde el estado i en n o menos pasos, se verifica la
recurrencia
(0)
ir = ICr (i)
X
X
(n+1)
(n)
ir
=
pij +
pij jr
jCr
n0
(5.18)
jT
donde T es la uni
on de las clases no cerradas.
demostracion:
La demostracion es similar a la de la proposicion 2 al condicionar el suceso
An = ( m n; Xm Cr )
a los posibles valores de X1
(n+1)
ir
P (An+1 | X1 = j, X0 = i)P (X1 = j | X0 = i).
(5.19)
jS
Separando los sumandos seg

un las distintas clases cerradas Cs y el resto T , y teniendo en cuenta
la propiedad de Markov y que P (An+1 | X1 = j, X0 = i) = 1 si j Cr y Prs = 0 si Cs =
6 Cr ,
26
tendremos
(n+1)
ir
pij +
pij +
jCr
P (An+1 | X1 = j)pij +
P (An+1 | X1 = j)pij
jT
Cs :Cs 6=Cr jCs

Cs cerrada
jCr
P (An+1 | X1 = j)pij
jT
(n)
Por la homogeneidad en el tiempo P (An+1 | X1 = j) = jr , con lo que se obtiene (5.18).
COMENTARIOS:
1.
Las ecuaciones de recurrencia (5.18) nos permiten calcular la probabilidad de acceso a la

clase Cr en sucesivos horizontes temporales como hacamos con los tiempos de primer acceso
de la proposicion 5.2.
2.
Al igual que con los tiempos de primer acceso, si llamamos jr a la probabilidad de que el
sistema alcance eventualmente la clase Cr ,
ir = P ( m 0; Xm Cr | X0 = i),
(n)
teniendo en cuenta que jr = lmn jr , por paso al lmite de las ecuaciones (5.18) obtenemos el sistema
X
X
pij +
pij jr
(5.20)
ir =
jCr
jT
cuya resolucion nos proporcionara dichas probabilidades.
Ejemplo 10 Cadena reducible

Sea la cadena de Markov con matriz de
1/2
1/2
0
P =
0
0
1/6
transicion
1/2
1/2
0
0
0
1/6
0
0
0
0
0
0
1/3 2/3
0
2/3 1/3
0
0
0
1
1/6 1/6 1/6
0
0
0
1/6
Es facil detectar que hay cuatro clases comunicantes que, atendiendo a la notacion empleada en
esta seccion designaremos como C1 = {1, 2}, C2 = {3, 4}, C3 = {5}, T = {6}.
Para describir el comportamiento a largo plazo de la cadena comenzaremos calculando la probabilidad de que el sistema alcance cada una de las clases cerradas C1 , C2 y C3 .
Si el estado inicial es uno perteneciente a una de esas tres clases, el sistema se queda en ella. La
u
nica incertidumbre aparece si el estado inicial es el 6, en cuyo caso tendremos las ecuaciones
61 = 1/6 + 1/6 + 1/6 61 = 61 = 2/5
62 = 1/6 + 1/6 + 1/6 62 = 62 = 2/5
63 = 1/6 + 1/6 63 = 63 = 1/5
como indica la expresion (5.20).
Si el sistema alcanza eventualmente la clase C1 , evolucionara a partir de entonces conforme a una
cadena de Markov con matriz de transicion
1/2 1/2
P =
1/2 1/2
27
5.6. EJEMPLOS
que tiene como solucion normalizada de la ecuacion de equilibrio = (1/2, 1/2), es decir, a largo
plazo el sistema reparte su tiempo entre el estado 1 y el 2 por mitad (distribucion de ocupacion).
Tambien podemos decir que una vez se alcanza la clase C1 (lo que ocurrira con probabilidad 2/5)
la prediccion a largo plazo es que el sistema ocupara el estado 1 con probabilidad 1/2, la misma
que para el estado 2 (distribucion asintotica).
El analisis para la clase C2 es similar, pero con matriz de transicion
1/3 2/3
P =
2/3 1/3
Los resultados son analogos (probabilidad 2/5 de alcanzar dicha clase y, una vez en ella, una
distribucion asintotica (1/2, 1/2), igual a la de ocupacion).
La probabilidad de alcanzar la clase C3 es 1/5. Si el sistema entra en ella ocupara permanentemente
el estado 5 a partir de entonces.
5.6.
Ejemplos
Ejemplo 11 Ilustraci
on del c
alculo de la distribuci
on de los tiempos de acceso
En este ejemplo se quiere ilustrar el calculo de la distribuciones uij (n) = P (Ti n | X0 = i)
mediante un sencillo programa en R que procesa el sistema de recurrencias (5.2)
DTacceso<-function(np,P){
U<-P
for (i in 2:np){
M<-U
diag(M)<-1
U<-P%*%M
}
U
}
Se van a utilizar tres matrices de transicion. La primera, P es una CMTD irreducible aperiodica.
La segunda, P1, tiene un estado absorbente y la tercera, P2, tiene dos estados absorbentes.
> P
[1,]
[2,]
[3,]
[4,]
[,1] [,2] [,3] [,4]

0.1 0.2 0.3 0.4
0.2 0.2 0.3 0.3
0.5 0.0 0.5 0.0
0.6 0.2 0.1 0.1
> DTacceso(10,P)
[,1]
[,2]
[1,] 0.9974124 0.7602878
[2,] 0.9976844 0.7587619
[3,] 0.9990234 0.6814845
[4,] 0.9986190 0.7737034
> DTacceso(2,P)
[,1] [,2] [,3]
[1,] 0.53 0.30 0.43
[2,] 0.57 0.30 0.45
[3,] 0.75 0.10 0.65
[4,] 0.75 0.34 0.35
[,3]
0.9308881
0.9325690
0.9551266
0.9179814
[,4]
0.9084292
0.8971164
0.8520406
0.8884235
[,4]
0.50
0.44
0.20
0.40
> DTacceso(100,P)
[,1]
[,2] [,3] [,4]
[1,]
1 0.9999984
1
1
[2,]
1 0.9999983
1
1
[3,]
1 0.9999978
1
1
[4,]
1 0.9999984
1
1
Se observa que todos los uij (n) tienden a la unidad como consecuencia de la comunicacion de los
estados entre s.
28
> P1
[1,]
[2,]
[3,]
[4,]
[,1] [,2] [,3] [,4]

1.0 0.0 0.0 0.0
0.2 0.2 0.3 0.3
0.5 0.0 0.5 0.0
0.6 0.2 0.1 0.1
> DTacceso(10,P1)
[,1]
[,2]
[1,] 1.0000000 0.0000000
[2,] 0.9976844 0.2666667
[3,] 0.9990234 0.0000000
[4,] 0.9986190 0.2222222
> DTacceso(2,P1)
[,1] [,2] [,3]
[1,] 1.00 0.00 0.00
[2,] 0.57 0.26 0.39
[3,] 0.75 0.00 0.50
[4,] 0.75 0.22 0.17
[,3]
0.0000000
0.4545035
0.5000000
0.2120933
[,4]
0.0000000
0.3750000
0.0000000
0.1750000
[,4]
0.00
0.36
0.00
0.16
> DTacceso(100,P1)
[,1]
[,2]
[1,]
1 0.0000000
[2,]
1 0.2666667
[3,]
1 0.0000000
[4,]
1 0.2222222
[,3]
0.0000000
0.4545455
0.5000000
0.2121212
[,4]
0.000
0.375
0.000
0.175
En este caso hay probabilidades uij (n) que no crecen hasta la unidad como ocurra con la matriz
P. Por ejemplo u22 (100) = 0.27, o u23 (100) = 0.45. Ello es debido a que es imposible alcanzar el
estado receptor de estas expresiones cuando el sistema recala en el estado absorbente. Dicho estado
tiene, en cambio, su columna ui1 (100) = 1. Es decir, con seguridad el sistema acaba atrapado en
el.
> P2
[1,]
[2,]
[3,]
[4,]
[,1] [,2] [,3] [,4]

1.0 0.0 0.0 0.0
0.2 0.2 0.3 0.3
0.5 0.0 0.5 0.0
0.0 0.0 0.0 1.0
> DTacceso(10,P2)
[,1] [,2]
[1,] 1.0000000 0.0
[2,] 0.6240235 0.2
[3,] 0.9990234 0.0
[4,] 0.0000000 0.0
[,3]
0.0000000
0.3750000
0.5000000
0.0000000
> DTacceso(2,P2)
[,1] [,2] [,3]
[1,] 1.00 0.0 0.00
[2,] 0.39 0.2 0.36
[3,] 0.75 0.0 0.50
[4,] 0.00 0.0 0.00
[,4]
0.00
0.36
0.00
1.00
> DTacceso(100,P2)
[,1] [,2] [,3]
[1,] 1.000 0.0 0.000
[2,] 0.625 0.2 0.375
[3,] 1.000 0.0 0.500
[4,] 0.000 0.0 0.000
[,4]
0.0000000
0.3750000
0.0000000
1.0000000
[,4]
0.000
0.375
0.000
1.000
En este caso, ademas de que hay elementos cuyo lmite es inferior a la unidad como consecuencia
de la existencia de estados absorbentes, las columnas de estos estados absorbentes ya no tienen
todos sus elementos tendiendo a la unidad. Esto es debido a la posibilidad de que, partiendo de
los estados no absorbentes el sistema visite al otro estado absorbente.
Ejemplo 12 Ilustraci
on del c
alculo de probabilidades de acceso en tiempo finito
En este ejemplo queremos mostrar como utilizar las ecuaciones (5.9)
X
pir urj
uij = pij +
(5.21)
r:r6=j
para obtener las uij = P (Tj < | X0 = i), los lmites a los que tienden las uij (n) cuando n
en el ejemplo 11. A fin de poder comparar con los resultados que all se obtienen, utilizaremos las
mismas matrices de probabilidades de transicion P, P1 y P2.
De (5.21) se deduce un sistema de ecuaciones para cada estado. Para el j-esimo estado podramos
expresarlo en forma matricial como
U[,j] = P[,j] + P[,j] U[j,j] = P[,j] + Qj U[,j]
(5.22)
en donde hemos empleado los subndices de las matrices para indicar submatrices que incorporan
(subndice positivo) o eliminan (subndice negativo) determinadas filas y columnas con una sintaxis
29
5.6. EJEMPLOS
que imita el criterio del entorno R para seleccionar elementos de arrays (tablas multidimensionales).
La matriz Qj es igual a la matriz P con su j -esima columna rellena con ceros. As U[.,j] indica la
j-esima columna de la matriz U = [uij : i, j S], mientras que U[j,j] indica esa misma columna
eliminando la j-esima fila, es decir, eliminando el j-esimo elemento del vector columna U [.,j] . Vemos
pues que
P[,j] U[j,j] = Qj U[,j] .
La solucion de (5.22) sera
U[,j] = [I Qj ]1 P[,j]
siempre que la matriz I Qj sea invertible, condicion que es falsa si en las matrices anteriores
aparecen estados absorbentes distintos del j-esimo que estamos resolviendo. En efecto, si el estado
i 6= j es absorbente, se tiene que la i-esima fila de la matriz Qj esta constituida por ceros menos un
uno en la posicion correspondiente al estado i. Al hallar la diferencia I Q j obtendremos la i-esima
fila toda de ceros imposibilitando la inversion. Si eliminamos esos estados de la matriz original
P , evitaremos ese problema. A cambio, desapareceran las incognitas {uij , i absorbente 6= j},
hecho que es irrelevante pues conocemos de antemano su valor nulo porque al ser i absorbente, la
probabilidad de acceder al j en tiempo finito desde el es nula.
Estas consideraciones nos han conducido a programar la siguiente funcion en lenguaje R:
PAccesoTFinito<-function(P){
absorbentes<-(1:ncol(P))[diag(P)==1]
U<-matrix(NA,ncol(P),ncol(P))
noabs<-setdiff(1:ncol(P),absorbentes)
for (i in 1:ncol(P)){
Q<-P
Q[,i]<-0
incluir.i<-union(noabs,i)
U[absorbentes,i]<-0
U[incluir.i,i]<-solve(diag(length(incluir.i))-Q[incluir.i,incluir.i],P[incluir.i,i])
}
U}
Ilustramos a continuacion los resultados que se obtienen con ella a comparar con los resultados
DTacceso(100,P), DTacceso(100,P1) y DTacceso(100,P2) del ejemplo 11.
> PAccesoTFinito(P)
[,1] [,2] [,3] [,4]
[1,]
1
1
1
1
[2,]
1
1
1
1
[3,]
1
1
1
1
[4,]
1
1
1
1
Mirando a los elementos de la diagonal

se comprueba que todos los estados son
recurrentes pues tienen una probabilidad de retorno en tiempo finito igual a
uno.
> round(PAccesoTFinito(P1),3)
[,1] [,2] [,3] [,4]
[1,]
1 0.000 0.000 0.000
[2,]
1 0.267 0.455 0.375
[3,]
1 0.000 0.500 0.000
[4,]
1 0.222 0.212 0.175
Solo el estado 1 es recurrente. Los

demas son transitorios por tener probabilidad de retorno en tiempo finito estrictamente inferior a uno a saber, 0.267
para el estado 2, 0.5 para el estado 3 y
0.175 para el estado 4.
> PAccesoTFinito(P2)
[,1] [,2] [,3]
[1,] 1.000 0.0 0.000
[2,] 0.625 0.2 0.375
[3,] 1.000 0.0 0.500
[4,] 0.000 0.0 0.000
Los estados 1 y 4 son recurrentes y los

estados 2 y 3 son transitorios.
[,4]
0.000
0.375
0.000
1.000
30
Ejemplo 13 Una de piratas

Tres piratas han descubierto el mapa del legendario tesoro de la isla misteriosa. Tras una larga y
accidentada navegacion, los tres barcos coinciden en la u
nica baha que permite fondear para arriar
los botes y alcanzar la playa.
Como es tradicional en toda buena historia de piratas, cada uno mira por s mismo y trata de
sacar siempre el mejor partido de la situacion. As pues, todos los barcos se aprestan a la batalla
para quedar como u
nicos supervivientes y poder disfrutar de las riquezas del tesoro sin tener que
compartirlo.
Todos tienen la misma capacidad de disparo (un disparo por minuto) pero las tripulaciones no
tienen la misma puntera. El barco A acierta con probabilidad 1/2, el B con probabilidad 1/3 y el
C con probabilidad 1/4. Como la practica hace maestros, todos saben que la mejor estrategia es
empezar disparando al enemigo mas preciso. Es decir, en el primer disparo, el A apunta al B y los
otros dos le apuntan a el.
Dado que el barco A es el mas preciso, su capitan confa plenamente en la victoria, pero su segundo,
que alla en sus tiempos mozos anduvo de criado de un loco que estudiaba los juegos de azar por ver
si consegua provecho en ello, anda caviloso porque teme la confabulacion de los otros dos barcos
contra el suyo, y trata de recordar los calculos que le ense
naba su amo jugando con dados y cartas.
La angustia se refleja en su rostro Que posibilidades tiene de salvar el pellejo? Acabaran todos
hundidos?
n
Solucio
Podemos considerar el campo de batalla como el sistema a describir, siendo sus estados los barcos
todava en batalla
S = {abc, ab, ac, bc, a, b, c, }
El calculo de las probabilidades de transicion
1
123
=
234
4
P {abc ab} = 0
1
123
=
P {abc ac} =
234
4
1
23
1
P {abc bc} = (1
)=
2
34
4
...
P {abc abc} =
nos permite confeccionar la matriz P del Cuadro 5.1 quedando patente que los estados a, b, c, son
absorbentes y los restantes son transitorios.
Por los resultados asintoticos estudiados, el sistema caera eventualmente en uno de los estados
absorbentes (al final gana un barco o estan todos hundidos, y para saber eso no haca falta tanto
trabajo).
Lo que ya no es tan obvio es la posibilidad que cada barco tiene de resultar vencedor. Si queremos
calcular estas probabilidades, de acuerdo con (5.9) habra que resolver el sistema:
(I P11 ) U = P12
donde hemos partido la matriz P en cuatro submatrices, cada una de cuatro filas y columnas.
La submatriz P11 recoge las cuatro primeras filas y columnas, P12 las cuatro primeras filas y las
columnas quinta a octava, etc. La solucion U = (I P11 )1 P12 se expone en el Cuadro 5.2, que
recoge en cada columna las probabilidades de alcanzar eventualmente el estado que la define a
partir del estado correspondiente a la fila.
31
5.6. EJEMPLOS
abc
ab
ac
bc
a
b
c
abc
ab
ac
bc
1/4
0
0
0
0
1/3
0
0
1/4
0
3/8
0
1/4
0
0
1/2
0
1/3
3/8
0
0
1/6
0
1/4
1/4
0
1/8
1/6
0
1/6
1/8
1/12
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
1
0
0
0
0
1
0
0
0
0
1
Cuadro 5.1: Matriz de probabilidades de transicion

abc
ab
ac
bc
a
0.2000
0.5000
0.6000
0
b
0.1667
0.2500
0
0.5000
c
0.5111
0
0.2000
0.3333
0.1222
0.2500
0.2000
0.1667
Cuadro 5.2: Probabilidad de acceso a los estados absorbentes (en columnas) desde los estados de inicio (en filas)
As, vemos que al principio, el barco C, con ser el mas torpe, tiene mas probabilidades de resultar
finalmente vencedor, mientras que si queda a solas con cualquiera de los otros lo tiene crudo.
Si nos preguntamos por la duracion de la batalla a partir de alcanzar cada uno de los estados
transitorios, consideraremos todos los estados absorbentes agrupados en un solo estado final de
modo que podamos recurrir a los resultados estudiados en las lecciones teoricas.
As pues, estudiaremos una CMTD equivalente en su comportamiento transitorio, con matriz de
probabilidades de transicion Q que se obtiene de orlar convenientemente la matriz P 11
abc
ab
ac
bc
{a, b, c, }
abc
ab
ac
bc
{a, b, c, }
1/4
0
0
0
0
1/3
0
0
1/4
0
3/8
0
1/4
0
0
1/2
1/4
2/3
5/8
1/2
Cuadro 5.3: Prob. de transicion unificando estados absorbentes

Para calcular las probabilidades ui (n) = P {T = n | X0 = i} de que sea n el tiempo de primer
acceso al estado absorbente partiendo del estado i-esimo, deberemos aplicar la recurrencia:
u(n + 1) = q + P11 u(n)
(5.23)
siendo q la u
ltima columna de la matriz Q quitandole el u
ltimo elemento.
Si queremos calcular la esperanza de la duracion de la batalla tendremos que resolver, conforme a
(5.6), el sistema
(I P11 ) m = 1
(en el que 1 es un vector de unos) para obtener
E[Duracion] = m = (2.5333, 1.5000, 1.6000, 2.0000)0
32
P {T n | X0 = i}
ab
ac
abc
1
2
3
4
5
6
7
8
9
10
0.2500
0.5938
0.8008
0.9058
0.9559
0.9793
0.9902
0.9953
0.9978
0.9989
0.6667
0.8889
0.9630
0.9877
0.9959
0.9986
0.9995
0.9998
0.9999
1.0000
0.6250
0.8594
0.9473
0.9802
0.9926
0.9972
0.9990
0.9996
0.9999
0.9999
bc
abc
0.5000
0.7500
0.8750
0.9375
0.9688
0.9844
0.9922
0.9961
0.9980
0.9990
0.2500
0.3438
0.2070
0.1050
0.0501
0.0234
0.0109
0.0051
0.0024
0.0012
P {T = n | X0 = i}
ab
ac
0.6667
0.2222
0.0741
0.0247
0.0082
0.0027
0.0009
0.0003
0.0001
0.0000
0.6250
0.2344
0.0879
0.0330
0.0124
0.0046
0.0017
0.0007
0.0002
0.0001
bc
0.5000
0.2500
0.1250
0.0625
0.0312
0.0156
0.0078
0.0039
0.0020
0.0010
Cuadro 5.4: Distr. de Prob. de la duracion de la batalla

As vemos que, desde el inicio de la batalla, su duracion esperada es de 2.53 minutos. Desde que
se alcanza el estado ab, la duracion esperada es de minuto y medio, etc.
Para conseguir su varianza, de acuerdo con (5.8) deberemos encontrar el momento factorial de
orden dos resolviendo:
(I P11 ) m(2) = 2m
que nos da:
m(2) = (5.5644, 2.2500, 2.5600, 4.0000)0
de modo que las correspondientes desviaciones tpicas seran:
s = (1.2961, 1.2247, 1.2649, 1.4142)0
p
en cuya obtencion hemos utilizado la expresion si = m(2)i + mi m2i que relaciona los momentos
factoriales con los centrados. En resumen,
media
d. tp.
Duracion de la batalla
abc
ab
ac
bc
2.5333 1.5000 1.6000 2.0000
1.2961 1.2247 1.2649 1.4142
Cuadro 5.5: Momentos de la duracion de la batalla

Para el calculo de las probabilidades de acceso no es imprescindible que haya un solo estado
absorbente. Podemos hacer un calculo similar al del Cuadro 5.4, pero de acceso a cada uno de los
estados absorbentes. Bastara sustituir en (5.23) el vector q por la columna de P 12 correspondiente
al estado absorbente que trabajemos. Los resultados se exponen en el Cuadro 5.6
Observese como a medida que n crece las probabilidades de acceso al estado absorbente correspondiente se aproximan a los valores lmite expuestos en el Cuadro 5.2.
En el caso de los momentos no es posible este mismo desglose por estados absorbentes, porque los
resultados que hemos visto para los momentos exigen probabilidad de absorcion uno del estado
de cuyo acceso se habla, y es el motivo de haberlos juntado en un solo estado absorbente en el
desarrollo anterior.
33
5.6. EJEMPLOS
P {T n | X0 = i}
n
abc
1
2
3
4
5
6
7
8
9
10
0
0.0938
0.1523
0.1802
0.1921
0.1969
0.1988
0.1995
0.1998
0.1999
n
1
2
3
4
5
6
7
8
9
10
abc
0.2500
0.3854
0.4518
0.4832
0.4979
0.5048
0.5081
0.5097
0.5104
0.5108
acceso al estado a
ab
ac
0.3333
0.4444
0.4815
0.4938
0.4979
0.4993
0.4998
0.4999
0.5000
0.5000
acceso al
ab
0
0
0
0
0
0
0
0
0
0
0.3750
0.5156
0.5684
0.5881
0.5956
0.5983
0.5994
0.5998
0.5999
0.6000
estado c
ac
0.1250
0.1719
0.1895
0.1960
0.1985
0.1994
0.1998
0.1999
0.2000
0.2000
bc
abc
0
0
0
0
0
0
0
0
0
0
0
0.0625
0.1094
0.1367
0.1514
0.1589
0.1628
0.1647
0.1657
0.1662
bc
0.1667
0.2500
0.2917
0.3125
0.3229
0.3281
0.3307
0.3320
0.3327
0.3330
abc
0
0.0521
0.0872
0.1056
0.1145
0.1186
0.1205
0.1214
0.1218
0.1220
acceso al estado b
ab
ac
0.1667
0.2222
0.2407
0.2469
0.2490
0.2497
0.2499
0.2500
0.2500
0.2500
acceso al
ab
0.1667
0.2222
0.2407
0.2469
0.2490
0.2497
0.2499
0.2500
0.2500
0.2500
0
0
0
0
0
0
0
0
0
0
estado
ac
0.1250
0.1719
0.1895
0.1960
0.1985
0.1994
0.1998
0.1999
0.2000
0.2000
bc
0.2500
0.3750
0.4375
0.4688
0.4844
0.4922
0.4961
0.4980
0.4990
0.4995
bc
0.0833
0.1250
0.1458
0.1562
0.1615
0.1641
0.1654
0.1660
0.1663
0.1665
Cuadro 5.6: Distr. prob. acum. de acceso a los estados absorbentes
34
Captulo 6
Proceso de Poisson
6.1.
6.1.1.
Tiempos entre transiciones del sistema

Tiempos de espera
En el tema anterior hemos estudiado la evolucion aleatoria de un sistema suponiendo que sus
cambios de estado se producen en instantes de tiempo pre-establecidos. Los hemos supuesto regularmente espaciados por comodidad de notacion.
En aquel caso nos interesaba especialmente describir las posibles transiciones entre estados del
sistema, y no tanto el lapso de tiempo que poda transcurrir entre las mismas.
En este tema se inicia el estudio de modelos que describen este nuevo origen de variabilidad, la de
los lapsos de tiempo entre transiciones sucesivas del sistema.
Comenzaremos el tema con variables aleatorias que modelizan tiempos de espera. En nuestro caso,
se trata de tiempos de espera entre sucesivas transiciones del sistema, pero en su concepcion mas
general, estos modelos sirven para cualquier situacion en que la variabilidad relevante es la duracion
desde un origen temporal hasta que ocurre un acontecimiento interesante.
Dos grandes campos de aplicacion son el analisis de supervivencia en Medicina, y el analisis de
fiabilidad en ingeniera. El primero estudia el tiempo de vida de las personas tras determinados
sucesos importantes (nacimiento, operacion quir
urgica, tratamiento,. . . ). El segundo se refiere a
la duracion de piezas de aparatos que son imprescindibles para su funcionamiento. Ambos dejan
traza de su vocabulario especfico en los modelos probabilsticos que vamos a considerar.
6.1.2.
Procesos de conteo
La observacion continuada del sistema en evolucion nos proporciona sucesivas observaciones de

los tiempos de espera aludidos en la seccion precedente. Por ejemplo, en el seguimiento de las
sucesivas recadas de un paciente, la duracion de los sucesivos estados constituyen una muestra
de tales tiempos. Tambien, en un aparato cuyas piezas se reponen cada vez que se estropean, los
tiempos entre fallos sucesivos constituyen una muestra de tiempos de espera.
El modelo probabilstico mas sencillo para esta situacion parte de considerar los tiempos entre
acontecimientos sucesivos como una muestra de variables aleatorias independientes e identicamente
distribuidas.
Definici
on 7 (Proceso de conteo) Sea {Xi , i 0} una sucesi
on de variables aleatorias positivas (P (Xi > 0) = 1), absolutamente continuas, independientes e identicamente distribuidas, y
35
CAPITULO 6. PROCESO DE POISSON
36
definamos los tiempos hasta el n-esimo acontecimiento
S0 = 0
X
Sn =
Xi
n > 0,
(6.1)
in
de modo que N (t) = max{n 0; Sn t} representa el n

umero de acontecimientos registrados
hasta el instante t (incluido el u
ltimo acontecimiento si este se produce en dicho instante). Entonces
decimos que el proceso {N (t), t 0} es un proceso de conteo.
COMENTARIOS:
1.
N (t) es el n
umero de acontecimientos en el intervalo (0,t]
2.
Un proceso de conteo es un proceso discreto de parametro continuo.
3.
Las trayectorias de un proceso de conteo son crecientes, escalonadas, con saltos de altura uno en los instantes en
que se producen los acontecimientos y
continuas por la derecha. La anchura
de los escalones es aleatoria de acuerdo con la distribucion de los intervalos
entre acontecimientos.
X4
N (t)
X3
X2
X1
S0
6.2.
6.2.1.
S1
S2
S3
La distribuci
on exponencial como modelo de tiempo de
espera
Distribuciones gamma y exponencial
Los tiempos de espera entre acontecimientos de un proceso de conteo son magnitudes positivas y
continuas a las que no sabemos establecer una cota superior precisa. El modelo probabilstico mas
sencillo verificando estas condiciones es la distribucion exponencial, que es un caso particular de
la distribucion gamma.
Definici
on 8 (Distribuci
on Gamma) Diremos que la variable aleatoria X sigue una distribucion Gamma de par
ametros y (X Ga(, )) sii su densidad de probabilidad verifica
f (x) = I(0,+) (x)
(1) x
x
e
()
(6.2)
donde I(0,+) (x) es la funci

on indicatriz o caracterstica del intervalo (0, +).
Definici
on 9 (Distribuci
on exponencial) Diremos que la variable aleatoria X sigue una distribucion exponencial de par
ametro (hecho que denotaremos como X Exp()) sii X Ga(1, ).
COMENTARIOS:
1.
La densidad de la distribucion exponencial es f (x) = I(0,+) (x)ex , en consonancia con

el nombre que recibe.
EXPONENCIAL COMO MODELO DE TIEMPO DE ESPERA

6.2. LA DISTRIBUCION
2.
37
Sabiendo que se trata de una densidad de probabilidad, la expresion (6.2) nos recuerda que
Z
()
x(1) ex dx = .
(6.3)
0
En particular, para = 1 recuperamos la definicion de la funcion Gamma de Euler que
generaliza el concepto de factorial a argumentos reales
Z
() =
x1 ex dx = ( 1)( 1) = ( 2)( 1)( 2) = . . .
0
R
R
como puede comprobarse al integrar por partes ( u dv = u v v du). Cuando N se
tiene () = ( 1)!.
3.
La distribucion exponencial corresponde al logaritmo neperiano cambiado de signo de una

variable uniforme en el intervalo [0,1]. Esta es la mejor forma de simularla (generar la uniforme
y aplicar el logaritmo). Expresandolo con mayor precision
1
[X Unif(0, 1)] [Y = log X] = Y Exp()
6.2.2.
Momentos
Proposici
on 14 (Funci
on generatriz de momentos)
X Exp() = MX (z) = E[ezx ] =

z
X Ga(, ) = MX (z) = E[ezx ] =
(6.4)
(6.5)
demostracion:
Teniendo en cuenta (6.3)
MX (z) = E[e ] =
()
zx
1 (z)x
()
dx =
=
() ( z)
La expresion (6.5) se obtiene al poner = 1, = .
Proposici
on 15 (Momentos de orden k)
( + k)
k ()
k!
X Exp() = E[xk ] = k
X Ga(, ) = E[xk ] =
(6.6)
(6.7)
demostracion:
Los momentos de orden k se pueden obtener evaluando en z = 0 la derivada k-esima de la funcion generatriz de momentos. Sin embargo, en el caso de la distribucion Gamma es mas sencillo
obtenerlos directamente,
Z
( + k)
( + k)
k
E[x ] =
= k
x+k1 ex dx =
() 0
() +k
()
La distribucion exponencial es el caso particular con = 1 y = .
COMENTARIOS:
38
1.
La varianza de ambas distribuciones se deduce de los momentos. As, V [X] = E[X 2 ] E[X]2
vale / 2 en el caso de la distribucion gamma y 1/2 en el caso de la exponencial.
2.
La media de la exponencial es 1/. Cuanto mayor es este parametro menor es la media, es

decir, conforme crece obtenemos tiempos de espera menores en promedio.
6.2.3.
Funci
on de distribuci
on
Cuando hablamos de la duracion de un tiempo de espera, sobre todo en supervivencia o fiabilidad,

resulta mas comodo trabajar con el complemento a uno de la funcion de distribucion
F c (x) = 1 F (x) = P (X > x).
Resulta muy natural preguntarnos por la probabilidad de superar un umbral determinado de
tiempo, por ejemplo que probabilidad hay de llegar a cumplir 90 a
nos, o con que probabilidad un
aparato funcionara mas de dos meses seguidos. Ademas, en el caso de la exponencial, tiene una
expresion mas directa que la propia funcion de distribucion. En cualquier caso, es trivial pasar de
una a otra.
Proposici
on 16 (Funci
on de distribuci
on) Si denotamos con F c (x) = P (X > x) se tiene,
X Exp() = F c (x) = ex
(6.8)
X Ga(n, ) con n N+ = F c (x) = ex
n1
X
r=0
(x)r
r!
(6.9)
demostracion:
Para el caso exponencial
F c (x) =
et dt = et x = ex
Mientras que para el caso gamma de parametro = n entero

Z
n
tn1 et dt
F c (x) =
(n 1)! x
Integrando por partes con u = tn1 y dv = et dt

n1 t Z
n
(n 1)tn2 et
t
e
F c (x) =
dt
(n 1)!
x
x
n1 Z
n1 x
(x)
e
+
=
tn2 et dt
(n 1)!
(n 2)! x
(6.10)
(6.11)
(6.12)
Observando que la u
ltima integral de (6.12) es del mismo tipo que la de (6.11), haciendo de nuevo
una integracion por partes se obtiene
Z
(x)n2 ex
n2
(x)n1 ex
+
+
tn3 et dt
F c (x) =
(n 1)!
(n 2)!
(n 3)! x
Procediendo de la misma forma hasta
c
F (x) =
n1
X
j=1
y aplicando (6.10) se obtiene (6.9).
(x)nj ex
+
(n j)!
et dt
x

6.2.4.
39
Propiedades de falta de memoria
Ya vimos en el tema 5 que la falta de memoria de una cadena de Markov es una propiedad
importante. El hecho de que la informacion relevante para predecir el futuro sea solo el presente
simplifica notablemente el calculo de probabilidades. La contrapartida es que limita el campo de
aplicacion restringiendolo a aquellas situaciones en que esta condicion es adecuada.
Algo similar ocurre con la distribucion exponencial cuando queremos describir con ella el comportamiento de un tiempo de espera aleatorio. La distribucion exponencial tiene una propiedad
curiosa: sea cual sea el tiempo que hayamos estado esperando, la perspectiva probabilstica de la
espera que a
un nos queda sigue siendo la misma. Si estamos describiendo la vida u
til de una pieza
de un aparato, esto es tanto como decir que dicha pieza no tiene desgaste, que la vida u
til que le
queda tiene siempre la misma distribucion de probabilidad.
Proposici
on 17 (Propiedad d
ebil de falta de memoria) Si X Exp() se verifica
P (X s > t | X > s) = P (X > t)
(6.13)
demostracion:
P (X > t + s | X > s) =
=
P (X > t + s, X > s)
P (X > s)
e(t+s)
P (X > t + s)
= et = P (X > t)
=
P (X > s)
es
Proposici
on 18 (Propiedad fuerte de falta de memoria) Sean Xi Exp(i ), i = 1, 2 sendos tiempos de espera exponenciales independientes entre s. Se verifica,
P (X2 X1 > t | X2 > X1 ) = P (X2 > t).
(6.14)
demostracion:
P (X2 X1 > t | X2 > X1 ) =
P (X2 > X1 + t)
P (X2 > X1 + t, X2 > X1 )
=
P (X2 > X1 )
P (X2 > X1 )
Recurriendo al teorema de la probabilidad total

Z
P (X2 > X1 + t | X1 = x)fX1 (x)dx
P (X2 > X1 + t) =
Z0
=
P (X2 > x + t)fX1 (x)dx
Z0
e2 (t+x) 1 e1 x dx
=
0
Z
1 e2 t
2 t
= 1 e
e(1 +2 )x =
1 + 2
0
(6.15)
(6.16)
Repitiendo el mismo razonamiento pero con t = 0 se obtiene,

P (X2 > X1 ) =
1
1 + 2
(6.17)
Realizando el cociente (6.15) con (6.16) y (6.17) obtenemos P (X2 > X1 + t | X2 > X1 ) = e2 t ,
que es lo mismo que (6.14).
COMENTARIOS:
40
1.
En ambos enunciados de propiedad de falta de memoria se describe la invariabilidad de la

perspectiva de la espera conforme avanza el tiempo sin que ocurra el evento que marca el
final de dicha espera. En el caso de la propiedad debil el instante en que se replantea dicha
perspectiva es un instante prefijado, mientras que en el enunciado de la propiedad fuerte este
instante es aleatorio.
La diferencia puede ilustrarse en el ejemplo de fiabilidad. La propiedad debil se refiere al
suceso de que una pieza A dure t meses mas sabiendo que sigue activa al cabo de s meses.
La propiedad fuerte se refiere al suceso de que dicha pieza A dure t meses mas que otra B,
admitiendo que A dure mas que B.
6.2.5.
Tasa de riesgo
La propiedad de falta de memoria equivale a suponer que el mecanismo cuyo fallo marca el tiempo
de espera no se desgasta nunca. Si hablamos de supervivencia sera tanto como suponer la eterna
juventud, que las personas de cuyos tiempos de vida hablamos no envejecen nunca. Esta es una
propiedad que, si bien muy conveniente para los calculos matematicos, es poco realista.
Todos tenemos la intuicion de que la esperanza de vida no es la misma para el recien operado de
cancer que para el que lleva unos meses estabilizado tras la operacion. Tambien que si un recien
nacido sobrevive a las primeras horas, su perspectiva de alcanzar la edad adulta se incrementa.
En supervivencia y fiabilidad se utiliza directamente una descripcion del cambio de la perspectiva
de espera conforme transcurre dicho tiempo. Se denomina tasa de riesgo. Pasamos a definirla a
continuacion.
Definici
on 10 (Tasa de riesgo) Si X es una variable aleatoria que representa un tiempo de
espera (P (X > 0) = 1 y absolutamente continua), definimos su tasa de riesgo como el cociente de
su densidad de probabilidad al complemento a uno de su funci
on de distribuci
on
r(x) =
f (x)
F c (x)
(6.18)
Proposici
on 19 (Tasa de riesgo y funci
on de distribuci
on) Si X es una variable aleatoria
que representa un tiempo de espera con tasa de fallo r(x), su funci
on de distribuci
on se puede
obtener como
Rx
F c (x) = e 0 r(t)dt
(6.19)
demostracion:
r(x) =
y c = 0 viene determinada por
Rx
d
log F c (x) = F c (x) = e 0 r(t)dt+c
dx
1 = F c (0) = ec = c = 0.
Ejemplo 14 Se nos dice que la tasa de riesgo de un filtro en un proceso industrial es

r(x) = 0.5 xI[0,2] (x) + I(2,) (x) midiendo el tiempo en horas. Cu
al es la probabilidad de que dure
m
as de 30 minutos?
F (t) =
con lo que P (T > 0.5) = F c (0.5) = 0.9394.

COMENTARIOS:
et /4
2
et /4(t2)
t [0, 2]
t>2

1.
41
La tasa de fallo viene a medir la probabilidad instantanea de fallo en un instante x si el

mecanismo esta a
un activo en dicho instante
lm
4x0
1
1 f (x)4x
P (x < X < x + 4x | X > x) = lm
4x0 4x F c (x)
4x
Dicho de otra forma, para intervalos con 4x peque

no
P (x < X < x + 4x | X > x) r(x)4x.
2.
3.
En la mayora de situaciones practicas, la

tasa de fallo tiene forma de U alterada.
Los organismos vivos son mas debiles al
principio y al final de su vida (pensemos
en la mayor fragilidad de ni
nos y ancianos frente a enfermedades infecciosas). Y
lo mismo ocurre con sistemas en los que se
requiere una cierta adaptacion al ambiente de trabajo o de unas piezas con otras.
Al principio el sistema es debil por falta de
adaptacion y al final por envejecimiento.
r(x)
La tasa de fallo de la exponencial es constante ya que,

X Exp() = r(x) =
ex
=
ex
Es otra forma de expresar la propiedad de falta de memoria y la posible inadecuacion de este

modelo a determinadas situaciones practicas.
4.
Si queriendo ser mas realistas modelizamos directamente la tasa de fallo r(x), siempre podemos encontrar la distribucion correspondiente mediante (6.19).
Ejemplo 15 Al comparar la distribuci

on de probabilidad del tiempo hasta el fallo de dos m
aquinas
alternativas para una misma funci
on, el tecnico nos da la diferencia q(t) = r 1 (t) r2 (t) entre las
tasas de riesgo de una y otra. Con esa sola informaci
on, podramos averiguar cu
antas veces m
as
probable es la duraci
on de una frente a la otra en cada plazo temporal t que nos queramos plantear?
F c (t)
P {t1 > t}
= 1c
P {t2 > t}
F2 (t)
Z t
Z t
r1 (x)dx}
r2 (x)dx
= exp{
0
0
Z t
q(x)dx}
= exp{
0
6.2.6.
Mnimo, m
aximo y suma de exponenciales independientes
Cuando estudiamos mecanismos con varias piezas ensambladas de modo que el mecanismo funciona
mientras lo hagan todas y cada una de las piezas (piezas montadas en serie), la duracion de la
actividad del mecanismo corresponde al mnimo de las duraciones de sus piezas.
Si el mecanismo funciona siempre que lo haga al menos una de sus piezas (piezas montadas en
paralelo), su duracion corresponde al maximo de las duraciones de sus piezas.
Por u
ltimo, si un mecanismo esta compuesto de una sola pieza que cuando falla se repone, la
duracion del mecanismo sera la suma de las duraciones de las piezas repuestas.
Estas situaciones motivan el interes de los siguientes resultados.
42
ind
Proposici
on 20 (Mnimo de exponenciales independientes) Si X i Exp(i ), i = 1 . . . n
y denominamos Z al mnimo de las mismas y N al subndice de aquella en que se alcanza ese
mnimo, se tiene entonces que
P
Z Exp( i i )
(6.20)
j
(6.21)
P (N = j) = P
i i
y adem
as, Z y N son estoc
asticamente independientes.
demostracion:
(6.20) surge de FZc (z) = P (Z > z) = P (Xi > z i) =
c
FX
(z) = exp (z
i
i )
Para la demostracion de (6.21) recurriremos a la induccion comenzando con i = 2, es decir, con

dos variables exponenciales.
Z
P (N = 1, Z > z) = P (z < X1 < X2 ) =
P (z < X1 < X2 | X1 = x)fX1 (x)dx
0
Z
P (z < X1 < X2 | X1 = x)fX1 (x)dx
=
Zz
=
P (x < X2 )fX1 (x)dx
Zz
1
=
e2 x 1 e1 x dx =
e(1 +2 )z
(6.22)
1 + 2
z
De (6.17) en la pagina 39, y (6.20) que ya ha sido probada, reconocemos que (6.22) es el producto
P (N = 1)P (Z > z).
Repitiendo el razonamiento para N = 2 obtenemos un producto analogo, implicando la independencia de las variables Z y N .
Para extender el resultado a mas de dos variables por induccion, bastara reconocer la relacion
o
n
mn{X1 , . . . , Xn } = mn mn{X1 , . . . , Xn1 }, Xn
y aplicar los resultados demostrados para dos variables.
ind
Proposici
on 21 (M
aximo de exponenciales independientes) Si Xi Exp(i ), i = 1 . . . n
y denominamos Z al m
aximo de las mismas, se tiene entonces que
Q
(6.23)
FZ (z) = i [1 ei z ]
y si adem
as todos los par
ametros son iguales (i = , i),
n
X
1
E[Z] =
k
(6.24)
k=1
demostracion:
(6.23) surge de P (Z z) = P (Xi z i) =
FXi (z) =
i [1
ei z ]
Demostraremos (6.24) ilustrando el uso de la propiedad fuerte de falta de memoria.

A partir de las n exponenciales del enunciado {Xi , i = 1, . . . , n}, al producirse el primer fallo
(1)
Z1 = mn{Xi , i = 1, . . . , n} denotaremos con {Xi , i = 1, . . . , n 1} los tiempos de espera
activos restantes contados a partir de ese momento. Por la propiedad fuerte de falta de memoria
seran variables aleatorias exponenciales de parametro independientes entre s.

43
A partir del instante Z2 del segundo fallo denotaremos los tiempos de espera a
un activos como
(2)
{Xi , i = 1, . . . , n 2} contados a partir de ese instante, y as sucesivamente.
La propiedad fuerte de falta de memoria y la proposicion 20 implican que
Z0 = 0
Z1 = mn{Xi , i = 1, . . . , n} Exp(n)
(1)
Z2 Z1 = mn{Xi , i = 1, . . . , n 1} Exp((n 1))

...
(n1)
Zn Zn1 = X1
Exp()
Como
Zn = max{Xi , i = 1, . . . , n},
n
n
X
X
E[Zi Zi1 ],
(Zi Zi1 ) = E[Zn ] =
Zn =
i=1
i=1
1
Y Exp(k) = E[Y ] =
,
k
se obtiene (6.24)
Ejemplo 16 Supongamos que hay tres estudiantes en un curso, Antonio, Boro y Carlos, y que el
tiempo que les cuesta realizar un examen tipo se ajusta a sendas distribuciones Exponenciales de
medias 2, 2.5 y 3 horas respectivamente, y que el tiempo que necesita cada alumno es independiente
del que emplean sus compa
neros (es mucho suponer...).
a) Supongamos que se van a presentar los tres al examen y que hay reserva de aula para cuatro
horas. Que probabilidad hay de que les de tiempo a todos a acabar?
b) Si no hubiera lmite temporal para entregar el examen, con que probabilidad acabara Carlos
el primero?.
c) En las condiciones de no haber lmite temporal y suponiendo que fueran 20 los examinandos
y que el tiempo que tarda cada uno fuese un tiempo exponencial de esperanza 2 horas, cu
al
es la duraci
on esperada del examen?, cu
al es el tiempo esperado entre el primero que entrega
y el u
ltimo?
a) Llamemos Xi , i = 1, 2, 3 a los tiempos de los 3 estudiantes, y Z = max{Xi , i = 1, 2, 3}. La
funcion de distribucion de Z, por ser un maximo de una muestra aleatoria, sera:
FZ (t) =
FXi (t).
Q
En particular FZ (4) = i (1 exp[4i ]) = 0.5082 donde los i son los inversos de los
tiempos esperados para cada uno de ellos: 1 = 0.5, 2 = 0.4, 3 = 1/3. El resultado ilustra
por que los estudiantes se quejan con mucha frecuencia de falta de tiempo. A pesar de que
la reserva de aula supera con creces el tiempo medio de cada alumno, la probabilidad de que
todo el mundo acabe a gusto es solo 0.5 (y eso que solo son tres).
b) En este caso se trata de averiguar la probabilidad de que el tiempo mnimo sea el de Carlos
P (Carlos acabe el primero) =
1/3
= 0.27.
0.5 + 0.4 + 1/3
44
c) Si llamamos U al maximo de los tiempos de realizacion de los 20 examenes,

E[U ] =
20
X
2
= 7.195 horas.
k
k=1
Esto refuerza la impresion del comentario en el apartado a). El promedio del maximo es
mucho mayor que el de cualquier alumno tomado aisladamente.
Si llamamos V a su mnimo, se nos pregunta por la esperanza E[U V ] = E[U ] E[V ]. La de
U acabamos de calcularla. La de V corresponde a una exponencial de parametro 20 1/2 = 10
y valdra 0.1 horas. La contestacion a la pregunta es 7.195 0.1 = 6.195 horas. Hay mucha
diferencia entre el alumno mas rapido y el mas lento. El resultado no parece muy realista.
Sera que los tiempos no son exponenciales o que no son independientes? La pregunta merece
una reflexion mas profunda.
Proposici
on 22 (Suma de exponenciales iid)
iid
Xi Exp(), i = 1, . . . , n = Z =
demostracion:
MZ (t) =
i MXi (t) =
=
i
t
i Xi
Ga(n, )
(6.25)
que es la funcion generatriz de momentos correspondiente a una distribucion Gamma de parametros

n y como se expresa en el enunciado.
La proposicion 22 se refiere al tiempo de actividad de un mecanismo cuyas piezas se reponen
conforme se van estropeando, de modo que su periodo de actividad es la suma de los tiempos de
duracion de las reposiciones.
En otras situaciones el fallo de una pieza no siempre invalida el mecanismo, sino que provoca el
colapso solo con cierta probabilidad p.
Por ejemplo, los golpes que recibe un aparato electronico en su transporte no siempre producen una
rotura fatal. Solo una proporcion p de ellos lo hace. Otro ejemplo sera el efecto de sucesivos cortes
repentinos de suministro electrico a un ordenador que esta permanentemente encendido. Con cierta
probabilidad p la interrupcion brusca de las tareas del microprocesador provoca la corrupcion del
sistema de ficheros impidiendo el correcto restablecimiento del entorno de trabajo.
La proposicion 23 actualiza el enunciado de la proposicion 22 para esta nueva situacion. Recordemos
que la distribucion geometrica corresponde al n
umero de pruebas de Bernoulli hasta conseguir el
primer exito (en este caso no muy exitoso porque estamos hablando del golpe o corte de suministro
fatal para el ordenador).
iid
Proposici
on 23 (Suma aleatoria de exponenciales iid) Sea Xi Exp(), i = 1, 2, . . . una
colecci
on de variables
aleatorias exponenciales independientes identicamente distribuidas y denotePN
mos con Z = i=1 Xi la suma de sus N primeros elementos siendo N aleatoria con distribuci
on
geometrica de par
ametro p. Entonces
Z Exp(p)
(6.26)
demostracion:
Condicionando al n
umero de sumandos,
tz
MZ (t) = E[e ] = E E[e
tz
| N] = E
"
N #
45
6.3. PROCESO DE POISSON
ya que por (6.25) sabemos que la suma de exponenciales iid es una gamma y (6.4) nos porporciona
la expresion de su funcion generatriz de momentos. Ademas como P (N = r) = (1 p) r1 p
r
X r
p X (1 p)
r1
(1 p) p =
(6.27)
MZ (t) =
t
t
t
r0
r1
de modo que
MZ (t) =
p
p
1
=
t 1 (1p)
p t
(6.28)
al sumar la progresion geometrica de (6.27). La funcion generatriz de momentos (6.28) corresponde

a una Exp(p).
6.3.
Proceso de Poisson
Al proceso de Poisson, como modelo estocastico de proceso le ocurre igual que a la distribucion
normal en el contexto de las variables aleatorias, que resulta paradigmatico porque sus propiedades
son muy sugerentes y fecundas a la hora de concebir generalizaciones adecuadas a contextos mas
complejos.
Si solo por eso ya vale la pena considerarlo con alg
un detalle, su estudio tiene el valor a
nadido,
como se vera mas adelante en el tema 7, de ser un modelo clave en la construccion de cadenas de
Markov en tiempo continuo.
6.3.1.
Como proceso de conteo
Ya se introdujo en la seccion 6.1.2 las lneas directrices para extender las cadenas de Markov en
tiempo discreto a parametro continuo. Se definio el concepto de proceso de conteo y aqu definimos
el proceso de Poisson como un proceso de conteo especial, aquel cuyos tiempos de espera siguen la
distribucion exponencial.
Definici
on 11 (Proceso de Poisson) Sea {N (t), t 0} un proceso de conteo construido a
iid
partir de los tiempos de espera {Xi , i 0}. Diremos que es un proceso de Poisson sii Xi Exp().
Denotaremos este hecho con {N (t), t 0} P P () y denominaremos intensidad del proceso al
par
ametro .
Comenzamos ahora el estudio del comportamiento transitorio del proceso de Poisson. En primer
lugar las distribuciones marginales, esto es, la distribucion de cada una de las variables aleatorias
indicadas por el parametro t.
Proposici
on 24 (Distribuciones marginales) Si {N (t), t 0} P P (), entonces el n
umero
de acontecimientos hasta el instante t es una variable aleatoria Poisson de par
ametro t.
{N (t), t 0} P P () = N (t) Po(t) t > 0
(6.29)
demostracion:
Siguiendo la notacion establecida en la definicion 7 de proceso de conteo, el suceso (N (t) n) es
Pn+1
el mismo que (Sn+1 > t). La variable Sn+1 = i=1 Xi es la suma de n + 1 exponenciales iid de
parametro . La proposicion 22 indica que tendra una distribucion Ga(n + 1, ). La proposicion
16 permite calcular las probabilidades de estos sucesos como
FN (t) (n) = P (N (t) n) = P (Sn+1 > t) = FScn+1 (t) = et
n
X
(t)r
r=0
r!
46
que es la funcion de distribucion de una distribucion de Poisson de parametro t.
COMENTARIOS:
1.
El enunciado de la proposicion 24 justifica claramente el nombre otorgado al Proceso de

Poisson ya que las variables que lo componen siguen esta distribucion.
2.
(6.29) implica que E[N (t)] = V [N (t)] = t. Ambas son linealmente crecientes con t.
3.
El n
umero esperado de acontecimientos por unidad de tiempo E[N (t)]/t = . De ah que a
se le llame intensidad del proceso. Cuanto mayor intensidad mas cortos tienden a ser los
intervalos entre acontecimientos.
Ejemplo 17 (Estrellas fugaces) Se estima que los meteoros que entran en la atm
osfera terrestre
sobre una regi
on determinada siguen un proceso de Poisson de intensidad = 100 si medimos el
tiempo en horas. S
olo un 1 % de ellos son visibles a simple vista, y entonces los denominamos
estrellas fugaces.
1.
Que tiempo esperado hay entre dos estrellas fugaces? Cu

al es la varianza de ese tiempo?
2.
Que probabilidad hay de ver dos estrellas fugaces en media hora?Y m

as de dos?
a) Puesto que las entradas de meteoritos en la atmosfera siguen un proceso de Poisson, los tiempos
Xi entre llegadas seran una muestra aleatoria de Exp(100). La probabilidad P
de ver uno de esos
n
meteoritos es del 1 %, por lo que el tiempo entre dos estrellas fugaces Z = i=1 Xi es una suma de variables exponenciales independientes e identicamente distribuidas con n
umero aleatorio
n de sumandos. En la proposicion 23 se comprueba que la distribucion de dicha suma es tambien
exponencial con intensidad p . As pues, la distribucion del tiempo entre estrellas fugaces sera exponencial con intensidad p = 0.01 100 = 1. En consecuencia, la esperanza es una estrella fugaz
por hora con una varianza tambien de uno.
b) Como ademas los tiempos entre sucesivas estrellas fugaces corresponden a situaciones experimentales similares e independientes, los avistamientos de estrellas fugaces seguiran un proceso de
Poisson de intensidad 1. En consecuencia,
(i) P {N (1/2) = 2} = e1/2 (1/2)2 /(2!) = 0.0758
(ii) P {N (1/2) > 2} = 1 e1/2 [1 + 1/2 + 1/8] = 0.0144
6.3.2.
Incrementos estacionarios independientes
La propiedad de falta de memoria de la exponencial tiene su consecuencia en el proceso de Poisson,

no en balde los tiempos entre acontecimientos siguen esta distribucion.
La idea subyacente es la misma. Supongamos el proceso {N (t), t 0} en marcha y que en el
instante s decidimos comenzar a contar de nuevo los acontecimientos que se van produciendo a
partir de entonces. Que perspectiva probabilstica tenemos del futuro? La respuesta viene en la
proxima proposicion pero antes conviene establecer un poco de notacion clarificadora.
Denotaremos con Ns (t) = N (t + s) N (s) el incremento experimentado por el proceso original
durante un tiempo t a partir del instante s. Evidentemente {Ns (t), t 0} es tambien un proceso
de conteo puesto que el mecanismo de los tiempos de espera sigue funcionando como antes.
Proposici
on 25 (Proceso de incrementos de P P ()) Si {N (t), t 0} es un proceso de
Poisson de intensidad , el proceso de incrementos {Ns (t), t 0} es tambien un proceso de
47
Poisson con la misma intensidad y es independiente de la historia del proceso original hasta el
instante s. En forma simb
olica,
{N (t), t 0} P P () = {Ns (t), t 0} P P ()
{N (u), 0 u s}
(6.30)
donde
representa independencia estoc
astica.
demostracion:
El resultado es consecuencia directa de la propiedad de falta de memoria de la exponencial. Sea
cual sea el tiempo de espera activo en el momento s de reinicio del computo, la duracion hasta
el proximo acontecimiento sigue siendo una variable Exp(). Los futuros acontecimientos desde el
instante s resultan as de la coleccion de tiempos de espera iid Exp(), tal como corresponde a un
proceso de Poisson de intensidad .
El hecho de que esto sea as cualquiera que fuera el tiempo de espera activo en el momento s es la
razon de que el nuevo proceso sea independiente de la historia pasada.
Definici
on 12 (Proceso de incrementos estacionarios independientes) Dado un proceso estoc
astico {X(t), t 0} decimos que tiene incrementos estacionarios independientes sii se cumplen
las dos condiciones
a) independencia de incrementos: s1 + t1 s2 = Xs1 (t1 )
Xs2 (t2 ),
b) estacionaridad de incrementos: la distribuci
on de Xs (t) es identica s (s
olo depende de t).
Observemos que la independencia de incrementos viene a decir que sucesos relativos a intervalos
de tiempo no solapados son estocasticamente independientes. Esta es una propiedad muy comoda
para calcular probabilidades de sucesos que puedan representarse en funcion de colecciones de
intervalos temporales disjuntos, porque lo que ocurra en cada intervalo es independiente de lo que
ocurra en los demas.
Proposici
on 26 (Incrementos estacionarios independientes)
Todo proceso de Poisson es de incrementos estacionarios independientes.
demostracion:
La proposicion 25 implica la independencia de los incrementos de un proceso de Poisson. La proposicion 24 a
nade que Ns (t) Po(t) para cualquier incremento del proceso, distribucion que no
depende de s, estableciendose as la estacionaridad de los incrementos.
Una de las consecuencias inmediatas de la recien mencionada propiedad es el calculo de las distribuciones finito-dimensionales del proceso de Poisson.
Proposici
on 27 (Finito-dimensionales de P P ()) Si {N (t), t 0} P P () se verifica,
P (N (t1 ) = k1 , N (t2 ) = k2 , . . . , N (tn ) = kn ) =
= etn
((tn tn1 ))kn kn1

(t1 )k1 ((t2 t1 ))k2 k1
k1 !
(k2 k1 )!
(kn kn1 )!
demostracion:
El suceso
(N (t1 ) = k1 , N (t2 ) = k2 , . . . , N (tn ) = kn )
(6.31)
48
se puede expresar en terminos de incrementos sucesivos como

(N (t1 ) = k1 , Nt1 (t2 t1 ) = k2 k1 , . . . , Ntn1 (tn tn1 ) = kn kn1 ).
Estos incrementos son independientes y distribuidos conforme a (6.29). Calculando las probabilidades de los sucesivos incrementos de acuerdo con
P (Ns (t) = k) = et
(t)k
,
k!
multiplicandolas y ordenando convenientemente los terminos, se obtiene (6.31).
COMENTARIOS:
1.
Puede demostrarse un enunciado casi recproco al de la proposicion26: todo proceso de incrementos estacionarios independientes cuyos incrementos se distribuyen conforme a N s (t) Po(t)
es un proceso de Poisson de intensidad .
De hecho esta es una definicion alternativa del proceso de Poisson que permite trasladar este
concepto a situaciones en que el parametro t es de mayor complejidad que la escala temporal,
por ejemplo, la escala espacial (t R2 ).
Sera el caso del proceso puntual de Poisson en el plano eucldeo. Con el se describe el
comportamiento de configuraciones aleatorias de puntos en el plano. El n
umero de puntos
en regiones disjuntas del plano son variables aleatorias independientes y cada una sigue una
distribucion de Poisson con esperanza proporcional al area de la region.
6.3.3.
Distribuci
on condicionada al n
umero de eventos
En la proposicion 24 nos preguntabamos por la distribucion de probabilidad del n

umero de acontecimientos acaecidos hasta un instante fijo t. Podemos plantearnos la pregunta en orden inverso:
sabiendo que ha ocurrido un n
umero determinado de eventos en el intervalo (0,t] en que momentos
se han producido?
Proposici
on 28 (Distribuci
on condicionada al n
umero de eventos)
Sea {N (t), t 0} P P () y denotemos por Si el instante del i-esimo evento. Entonces, condicionado a que han ocurrido n eventos en el intervalo (0,t], la distribuci
on conjunta de los n instantes
en que se han producido dichos eventos es la misma que la de una muestra ordenada de variables
aleatorias iid con distribuci
on uniforme en (0,t]. Simb
olicamente
(S1 , . . . , Sn ) | N (t) = n (U(1) , U(2) , . . . , U(n) ),
(6.32)
donde (U(1) , U(2) , . . . , U(n) ) representa una muestra aleatoria ordenada de la distribuci
on uniforme
en (0,t].
demostracion:
Comencemos recordando la distribucion de una muestra aleatoria ordenada.
iid
Si Xi F (x), i = 1, . . . , n representa una muestra aleatoria de la distribucion cuya funcion

de distribucion es F (x), y denotamos su densidad de probabilidad con f (x), la densidad de la
distribucion conjunta de la muestra ordenada (X(1) , X(2) , . . . , X(n) ) es
Y
f (x1 , . . . , xn ) = n!
f (xi )
(6.33)
i
La razon es que al ordenar la muestra hacemos una aplicacion de Rn en la region

C = {x Rn ; x1 < x2 < < xn }
49

(la probabilidad de empates es cero al ser variables aleatorias absolutamente continuas).
Dada la independencia y equidistribucion de las variables involucradas

Q en la muestra aleatoria,
todas las permutaciones tienen el mismo diferencial de probabilidad
i f (xi ) dx1 dxn y las n!
permutaciones contribuyen con esa misma probabilidad al espacio probabilstico definido sobre C.
En el caso de la distribucion uniforme en (0,t], se tiene f (x) = 1/t con lo que (6.33) se hace
f (x1 , . . . , xn ) = n!/tn
(6.34)
Volviendo al proceso de Poisson y a la distribucion de los tiempos de acontecimientos S i , haciendo

t0 = 0 para poder usar la notacion que viene a continuacion, tenemos
f (t1 , . . . , tn ) dt1 dtn = P (Si (ti , ti + dti ), i = 1, . . . , n | N (t) = n)
P (Si (ti , ti + dti ), i = 1, . . . , n; Sn+1 > t)
P (N (t) = n)
P (Xi (ti ti1 , ti ti1 + dti ), i = 1, . . . , n, Xn+1 > t tn )
=
P (N (t) = n)
(tt )
Qn
(ti ti1 )
n
dti e
i=1 e
=
n
et (t)
n!
et n
et (t)
n!
dt1 dtn =
n!
dt1 dtn
tn
Ejemplo 18 Los tiempos de llegada de las urgencias a un hospital (en horas) siguen un proceso
de Poisson de intensidad 10. A las 8:00 llega una urgencia que colapsa el servicio de recepci
on
durante 10 minutos. Cuando se libera el servicio resulta que hay dos nuevas urgencias en cola, la
u
ltima de las cuales reclama, enfurecida, que lleva m
as de cinco minutos esperando. Cu
al es la
probabilidad de que sea cierto lo que dice?Y si el proceso de llegadas fuera de intensidad 20?
Vamos a exponer dos formas de resolverlo:
a) Sabiendo que el proceso de llegadas es Poisson, y que han acontecido dos llegadas en el
intervalo de 10 minutos, sea cual sea la intensidad del proceso se tiene que la distribucion
de los instantes de ocurrencia se comportan como una muestra aleatoria ordenada de una
uniforme en dicho intervalo. Nos pregunta por la observacion mayor, cuya distribucion sera la
del maximo de dos uniformes en el intervalo (0,10) (en minutos). Su funcion de distribucion
de probabilidad sera:
FZ (x) = FX (x)2 = x2 /100
La probabilidad de que ese evento haya ocurrido antes de los 5 minutos sera 5 2 /100 = 0.25.
Como se ha mencionado previamente, dicha probabilidad condicionada no depende de la
intensidad del proceso, precisamente porque esta condicionada a un n
umero determinado de
acontecimientos en el intervalo.
b) El suceso cuya probabilidad se pide puede expresarse tambien, en terminos de los incrementos
del proceso de Poisson pertinente como {N (5) = 2|N (10) = 2} (comenzando a contar en
minutos desde las 8:00). La intensidad del proceso es de 10 urgencias a la hora, es decir, 1/6
si contamos el tiempo en minutos. Tendremos
P {N (5) = 2|N (10) = 2} =
P {N (5) = 2, N5 (5) = 0}
P {N (10) = 2}
(5/6)2
exp(5/6)
2!
= (5/10)2 = 0.25
(10/6)2
exp(10/6)
2!
exp(5/6)
=
50

ya que los dos subintervalos de 5 minutos, al no solaparse, producen incrementos independientes. Se comprueba en los calculos que el resultados sera el mismo si sustituimos la intensidad
(1/6) por cualquier otro valor.
Captulo 7
Cadenas de Markov en tiempo

continuo
7.1.
7.1.1.
Concepto de CMTC
Permanencias y probabilidades de salto
Tal y como anticipamos en el tema 6, estudiaremos en este la evolucion continua de un sistema que
cambia de estado en instantes aleatorios. Seguimos considerando finito el conjunto S de estados del
sistema aunque es una restriccion innecesaria. La aceptamos solo para simplificar ciertos tecnicismos
matematicos. Es decir, consideramos procesos estocasticos {X(t), t 0} discretos (finitos) de
parametro t continuo.
El tipo de trayectoria que queremos modelizar es el que aparece en la figura 7.1. En cada uno de
los instantes Sn , n 0 el sistema cambia de estado y permanece en el hasta el siguiente cambio
que se produce en el instante Sn+1 , y as sucesivamente de modo que X(t) = X(Sn ) mientras
t [Sn , Sn+1 ). Es decir, postulamos trayectorias constantes a trozos y continuas por la derecha
(X(Sn +) = X(Sn )).
Las trayectorias quedan completamente descritas por la sucesion {(Sn , Xn ), n 0} de los pares
de valores formados por el instante de la n-esima transicion y el estado X n = X(Sn ) ocupado en
ella.
De forma equivalente, podemos utilizar el estado inicial X0 = X(S0 ) y la sucesion {(Xn , Yn ), n 0}
de los estados Xn y las permanencias Yn = Sn Sn1 , de modo que podramos simbolizar la trayectoria mediante la expresion
Y
n
2
1
Xn
X2 Xn1
X1
X0
La situacion es similar a la que encontrabamos en el proceso de Poisson, solo que entonces los
cambios siempre eran incrementos de una unidad, la trayectoria era siempre ascendente y aqu no
lo es necesariamente.
La idea de las cadenas de Markov en tiempo continuo es modelizar las permanencias Y n como
tiempos de espera exponenciales y las probabilidades de salto pij = P (Xn = j | Xn1 = i) como
probabilidades de transicion en CMTDs.
Definici
on 13 (CMTC) Un proceso estoc
astico discreto de par
ametro continuo {X(t), t 0}
diremos que es una cadena de Markov en tiempo continuo sii cambia de estado en los instantes
0 < S1 < S2 < . . . y el proceso implcito {X0 , (Xn , Yn ), n 0} de estados sucesivos y permanencias
en los mismos verifica
P (Xn+1 = j, Yn+1 > y | Xn = i, Yn , X0 , {(Xm , Ym ) : m < n}) = pij eri y
51
(7.1)
CAPITULO 7. CADENAS DE MARKOV EN TIEMPO CONTINUO
52
X(t)
X2
X0
X5
X1
X4
X3
S0
Y1
S1
Y2
S2
S3
Y3
Y4
S4
Y5
S5
Y6
Figura 7.1: Trayectoria de una cadena de Markov en tiempo continuo

La expresion (7.1) es tanto como decir que las permanencias son exponenciales independientes entre
s, de media 1/ri seg
un el estado i ocupado por el sistema y que no influyen en las transiciones
entre estados en el momento del cambio, que se producen de acuerdo con las probabilidades de
salto pij .
As pues los parametros de la CMTC son las probabilidades de salto pij y las tasas de cambio ri .
Es evidente que el proceso de estados sucesivos {Xn , n 0} constituye una CMTD con probabilidades de transicion a un paso las probabilidades de salto pij , cadena que denominaremos encajada
en la CMTC original.
Observemos que en esta situacion, a diferencia de lo que ocurra en las CMTDs en que se consideraban las transiciones en momentos prefijados, no hay transiciones de un estado a s mismo puesto
que solo se consideran transiciones los cambios de estado. Concretamente, en la CMTD encajada
{Xn , n 0}, se tiene que pii = 0 i S.
Los parametros de la CMTC se suelen recoger en la matriz R de tasas de transici
on cuyos elementos
rij = ri pij vienen a representar los parametros de los tiempos de espera exponenciales para la
transicion i j (parametro del tiempo hasta el cambio por probabilidad de que este cambio
sea hacia el estado j). Esta matriz tiene sus elementos diagonales nulos (ya que p ii = 0 como
acabamos de comentar) y la suma de la i-esima fila reproduce el parametro r i de las permanencias
en el correspondiente estado,
X
X
pij = ri .
rij = ri
j
Recprocamente, a partir de la matriz de tasas R se pueden obtener los parametros de la CMTC

X
ri =
rij
j
pij
rij /
rij
Alternativamente, en la literatura especfica se suele utilizar, por comodidad en las expresiones

matematicas del tema, la matriz generadora Q que consiste en la misma matriz de tasas R, pero
rellenando su diagonal con los parametros ri cambiados de signo,
qii
qij
=
=
ri , i S
rij , i, j S
i 6= j
Observese que la suma de cada fila de la matriz Q es nula.
53
7.1. CONCEPTO DE CMTC
Ejemplo 19 (M
aquina con dos estados) Supongamos que en un taller hay una m
aquina cuya
situaci
on relevante es si est
a operativa o no. El tiempo hasta el fallo es Exp() y la persona encargada de repararla tarda un tiempo Exp() en restablecer su funcionamiento. Queremos describir el
comportamiento aleatorio del estado de la m
aquina en cada instante.
El proceso {X(t), t 0} tiene como espacio de estados S = {0, 1} (0.- estropeada, 1.- operativa )
y matriz de tasas de transicion

0
Q =
R=

0
La tasa de transicion r01 = porque es el parametro de la exponencial que describe el tiempo hasta
la recuperacion y cuando este se produce el nuevo estado es con seguridad el 1. Analogamente pasa
con la tasa de transicion r2,1 = , solo que con ambos estados jugando el papel cambiado.
Ejemplo 20 (Taller con dos m
aquinas) Complicando un poco m
as el ejemplo 19, supongamos
un taller con dos m
aquinas del tipo descrito, que act
uan independientemente una de otra, cada una
con su propio personal para atender su reparaci
on. El tiempo que un operario tarda en la reparaci
on
se distribuye como una Exp() y es independiente del tiempo hasta el fallo previo y de los tiempos
de reparaciones anteriores. Queremos describir la evoluci
on del n
umero de m
aquinas operativas en
cada instante.
En este caso el conjunto de estados
0 2
R = 0
0 2
S = {0, 1, 2} y las matrices relevantes son
0
2
2
0
Q =
( + )

0
0
2
2
(7.2)
En efecto, partiendo del estado X(0) = 0 el cambio de estado se produce al recuperarse una de las
maquinas (como sus tiempos de reparacion son variables aleatorias independientes y absolutamente
continuas, la probabilidad de que se restauren las dos a la vez es nula). El tiempo hasta esa primera
reparacion es el mnimo de ambas esperas, dos variables Exp() independientes, es decir, Exp(2)
tal y como vimos en el tema 6.
En el momento de ese cambio, la transicion es al estado X(t) = 1 con certeza, es decir, p 0,1 = 1 y
p0,2 = 0, lo que nos conduce a la primera fila de la matriz R expuesta en (7.2).
Partiendo del estado X(0) = 1, el cambio puede provenir de la reparacion de la maquina estropeada,
o del fallo de la maquina operativa. Ambos tiempos de espera son exponenciales e independientes
uno del otro. Descartamos tambien aqu, pues, la posibilidad de la coincidencia de ambos sucesos.
En consecuencia, el tiempo hasta el cambio sera el mnimo de ambos tiempos de espera, que se
distribuye conforme a Exp( + ). Que ese tiempo mnimo corresponda al fallo de la maquina
operativa tiene probabilidad /( + ), mientras que puede ser el de la reparacion de la maquina
estropeada con la probabilidad complementaria /( + ) tal como vimos en el tema 6 al estudiar
la distribucion del mnimo de exponenciales independientes. De aqu se deduce la segunda fila de
la matriz R de (7.2).
La tercera fila de R corresponde a las transiciones desde X(t) = 2. Estando las dos maquinas
activas, el u
nico cambio posible es el fallo de una de ellas (descartamos la coincidencia de los dos
fallos por las mismas razones que en los casos analogos). El tiempo de espera hasta esa transicion
corresponde al mnimo de dos Exp() independientes.
7.1.2.
Matriz de probabilidades de transici

on
La caracterstica primordial de las cadenas de Markov es su falta de memoria. Para la prediccion

del futuro solo es relevante el presente, pues conocido este, no necesitamos considerar como se ha
llegado a el.
54
Proposici
on 29 (Propiedad de Markov) Toda cadena de Markov en tiempo continuo verifica
la propiedad de Markov en todo instante, esto es,
P (X(s + t) = j | X(s) = i, {X(u), 0 u s}) = P (X(s + t) = j | X(s) = i),
t, s 0, (7.3)
y adem
as es homogenea en el tiempo
P (X(t + s) = j | X(s) = i) = P (X(t) = j | X(0) = i)
s 0, i, j S
(7.4)
demostracion:
Supongamos que el sistema ha ocupado el estado i en el instante v y que nos hallamos en la
correspondiente permanencia en el instante s > v. La permanencia es mayor que s v y es
Exp(ri ). Por la propiedad de falta de memoria de la exponencial tendremos que la permanencia
a
un restante desde s, condicionado a que Y > s v sigue siendo Exp(ri ), es decir, solo depende
de i y no de la historia pasada (los valores de v y s).
Ademas, el estado que vaya a ocupar en el futuro tras esta permanencia solo depende del estado
actual i a traves de las probabilidades de salto.
Como consecuencia de la proposicion 29, analogamente a las cadenas de Markov en tiempo discreto,
las finito-dimensionales podran expresarse como
P (X(t1 ) = i1 , . . . X(tn ) = in ) = P (X(t1 ) = i1 )
n1
Y
P (X(tr+1 ) = ir+1 | X(tr ) = ir )
(7.5)
r=1
de modo que basta conocer la distribucion inicial de X(0) y las probabilidades de transicion
pij (t) = P (X(t) = j | X(0) = i)
(7.6)
para calcularlas. Convendremos tambien aqu que pij (0) = ij (1 si i = j y 0 en caso contrario).
Observemos que, a diferencia de lo que ocurra con las CMTDs, ya no distinguimos entre probabilidades de transicion a un paso o a n pasos, sino que estas probabilidades se han convertido en
funciones del tiempo en continuo, de modo que la matriz P que las aloja es una matriz P (t) funcion
del tiempo. La convencion respecto de su valor inicial se puede escribir ahora P (0) = I donde I es
la matriz identidad de orden N , el n
umero de estados en S.
Encontramos las siguientes propiedades de la matriz de probabilidades de transicion, analogas a
las que estudiamos en el tema 4 para las CMTDs.
Proposici
on 30 (Propiedades de P (t)) Si P (t) es la matriz de probabilidades de transici
on de
una CMTC, entonces verifica cada una de las condiciones
a) pij (t) 0
b)
jS pij (t)
i, j S
=1
t 0
i S
c) P (t + s) = P (t)P (s)
t 0
t, s 0
demostracion:
La no negatividad (a) de pij (t) es consecuencia de ser la probabilidad de un suceso, el suceso
{X(t) = j | X(0) = i} para ser mas concretos.
La suma normalizada (b) es consecuencia de que en el instante t, el sistema tiene que ocupar alguno
de los estados j S, con lo cual la suma de estas probabilidades corresponde a la de un suceso
cierto.
55
7.1. CONCEPTO DE CMTC
La condicion (c) es la expresion matricial de la version continua de las ecuaciones de ChapmanKolmogorov
pij (t + s) = P (X(t + s) = j | X(0) = i)

P
= rS P (X(t + s) = j | X(0) = i, X(s) = r)P (X(s) = r | X(0) = i)
P
= rS P (X(t + s) = j | X(s) = r)P (X(s) = r | X(0) = i)
P
= rS pir (s)prj (t)
7.1.3.
Grafos de transici
on
Tal y como se vio en el caso de las CMTDs, se puede representar de forma grafica las posibles
de transiciones entre estados y la probabilidad de las mismas. Construiremos un grafo con tantos
nodos como estados posibles pueda ocupar el sistema, es decir, uno por cada elemento de S.
En el caso de las CMTCs utilizaremos la matriz de tasas de transicion dibujando una flecha del
estado i al j siempre que rij > 0. Se suele etiquetar dicho arco con el propio valor de la tasa rij .
Los grafos de transicion permiten visualizar facilmente las trayectorias posibles y hacernos una idea
de su probabilidad. Ubicados en un nodo del grafo, las transiciones posibles son las indicadas por
las flechas que parten de el. Las tasas adjuntas a los arcos nos indican la propension del sistema a
dar ese paso. Recordemos que cuanto mayor es el parametro de un tiempo de espera exponencial
mas cortos tienden a ser los intervalos de espera. Ademas, de todos los pasos que el sistema pueda
dar desde un nodo, se dara el que corresponda al tiempo de espera menor, cuya distribucion es
la del mnimo de los tiempos de espera de los arcos que parten del nodo, con probabilidades
proporcionales a las tasas.
Como en las CMTCs tenemos rii = 0 i S, resulta que, a diferencia de lo que ocurra en los
grafos de transicion de las CMTDs, no puede haber bucles de un solo estado.
Ejemplo 21 (Grafo de transici
on) Sea
el
sistema descrito en el ejemplo 20 del taller
con dos m
aquinas, cuyas matrices relevantes se
muestran en (7.2).
2
0
La grafica adjunta muestra el correspondiente

grafo de transicion.
Vemos, por ejemplo, que estando en el estado X(t) = 1, el sistema puede pasar al estado 0 o al
estado 2 en el proximo cambio con probabilidades /( + ) y /( + ) respectivamente.
Ejemplo 22 (Cola de capacidad finita y un s

olo servidor) Supongamos un sistema sencillo de cola de espera en que los clientes llegan a solicitar servicio seg
un un proceso de Poisson de
intensidad . El servidor los atiende de uno en uno por turno de llegada y tarda en cumplimentar
el servicio un tiempo aleatorio distribuido conforme a una Exp() independientemente del tiempo
que lleve esperando y del n
umero de clientes en la sala de espera. En la sala de espera s
olo caben N
clientes y se rechaza a los que llegan cuando la sala est
a llena. Nos interesa describir la evoluci
on
del tama
no de la cola de espera.
56
El espacio de estados sera S = {0, . . . , N } y las matrices de tasas de transicion y generadora
0 0 ... 0 0
0
...
0
0
0 . . . 0 0
( + )
...
0
0
0 0 . . . 0 0
0
( + ) . . .
0
0
R=
. . . . . . . . . . . . . . . . . . . . Q = . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
0 0 0 . . . 0
0
0
0
. . . ( + )
0 0 0 ... 0
0
0
0
...
(7.7)
En efecto, partiendo del estado i, 0 < i < N , el n
umero de clientes en cola solo puede incrementarse
o disminuir en una unidad (la llegada simultanea de clientes esta descartada por el proceso de
Poisson, y la coincidencia de una llegada con la liberacion del servidor tambien por ser variables
independientes absolutamente continuas).
Desde la u
ltima transicion, cuando el sistema ocupo el estado i, el tiempo de espera hasta la llegada
de un nuevo cliente es Exp() por la propiedad de falta de memoria de esta distribucion. Analogamente, el tiempo hasta el proximo cumplimiento de un servicio sera Exp(). En consecuencia,
el tiempo de espera hasta el nuevo cambio, que sera el mnimo de ambos, sera Exp( + ) y las
probabilidades de salto seran pi,i1 = /( + ), pi,i+1 = /( + ).
Cuando i = 0 el cambio solo puede ser un incremento (r0 = , p01 = 1). Cuando i = N la cola
ya no puede incrementarse mas porque los nuevos clientes no son admitidos a la espera, por tanto
el proximo cambio sera una disminucion cuando el servidor acabe de atender al cliente que le
mantiene ocupado (rN = , pN,N 1 = 1).
Todas estas consideraciones conducen a las matrices R y Q de (7.7) y al grafo de transicion siguiente.
7.1.4.
N 1
Clasificaci
on de los estados
Atendiendo a la conectividad del grafo de transicion, se pueden extender sin dificultad los conceptos
relativos a clases comunicantes que se estudiaron en las CMTDs. Como all, diremos que el estado
j es accesible desde el i si pij (t) > 0 para alg
un valor de t, hecho que podemos denotar con i j.
Y diremos que ambos estados comunican entre s (i j) si cada uno de ellos es accesible desde el
otro.
Parafraseando las demostraciones correspondientes del tema 4 se llega a que la relacion de comunicacion es una relacion binaria de equivalencia como all, de modo que establece una particion del
espacio de estados S en clases comunicantes. Podremos hablar tambien aqu de clases comunicantes
cerradas como aquellas desde las que no se puede acceder a un estado ajeno a la clase. Diremos
que una CMTC es irreducible si esta constituida por una sola clase comunicante.
7.2.
7.2.1.
Comportamiento transitorio
CMTD auxiliar
Atendiendo a la descripcion de CMTC que se hizo en la seccion 7.1.1, resulta tentador hablar del
proceso de las transiciones del sistema como un proceso de conteo, combinado con la CMTD encajada, aquella que corresponde a los sucesivos estados ocupados por el sistema con probabilidades
de transicion las que all denominamos probabilidades de salto.
Sin embargo, el proceso de las transiciones no corresponde propiamente a la definicion de proceso de
conteo que se vio en el tema 6 porque los intervalos entre transiciones, si bien son estocasticamente
57
7.2. COMPORTAMIENTO TRANSITORIO
independientes, no son identicamente distribuidos en general. Recordemos que el tiempo hasta la

proxima transicion, la permanencia en el estado actual i-esimo, depende de dicho estado pues es
una exponencial de parametro ri . Si todas las tasas de transicion ri coincidieran en un mismo
valor, digamos r, s sera posible describir la CMTC como un proceso de Poisson de transiciones
de intensidad r, combinado con la CMTD encajada.
Cuando las tasas ri no coinciden podemos aproximarnos a esta descripcion llamando r = max iS ri .
El proceso {N (t), t 0} P P (r) tiende a producir intervalos entre acontecimientos mas cortos
que los que separan las transiciones de la CMTC, es decir, producira un exceso de transiciones.
Pero este exceso puede compensarse si la proporcion adecuada de esos acontecimientos no implican
cambio de estado sino repeticion del mismo. Esto correspondera a entradas positivas en la diagonal
de la matriz de probabilidades de transicion de la CMTD a combinar.
Esta es la idea basica que subyace al metodo de uniformizaci
on con el que se consiguen algoritmos
estables para el calculo de la matriz de probabilidades de transicion P (t), a la vez que resulta un
recurso accesible que facilita la demostracion de resultados relativos al comportamiento de CMTCs.
Definici
on 14 (CMTD auxiliar) Sea {X(t), t 0} una CMTC con espacio de estados S y con
matriz R de tasas de transici
on, y sea r maxiS ri . Llamaremos CMTD auxiliar de intensidad
n , n 0} con el mismo espacio de estados S y con matriz de
r de dicha CMTC a la CMTD {X
probabilidades de transici
on P de elementos
pii
pij
= 1 ri /r, i S
= rij /r, i, j S,
i 6= j
(7.8)
(7.9)
COMENTARIOS:
1.
Tal como se ha construido, es facil comprobar que P es una matriz estocastica.

P
a) 0 pij 1 porque las tasas rij 0, y j rij = ri r.
P
P
P
ij = 1 ya que ri = j rij = j:j6=i rij por ser R una matriz de tasas de transicion,
b)
jp
de modo que
X
ri
1 X
ri
ri
pij = 1 +
rij = 1 +
r
r
r
r
j
j:j6=i
2.
Para i 6= j se tiene que pij = pij , es decir, la probabilidad de transicion de la cadena auxiliar
coincide con la correspondiente probabilidad de salto de la CMTC.
3.
Cuando i = j, 0 pii 6= pii = 0 ya que la probabilidad de salto es nula tal como se comento en
la seccion 7.1.1, a diferencia de lo que ocurre con la probabilidad de transicion del estado i
en s mismo de la CMTD auxiliar, que puede ser positivo si ri < r.
4.
Observemos que (7.8) representa la correccion del exceso de intensidad r respecto del
parametro ri de la permanencia en el estado i-esimo. Cuando el sistema este en ese estado y el proceso {N (t), t 0} P P (r) motive una transicion, con probabilidad 1 r i /r esta
se resuelve en permanencia.
n , n 0} la CMTD auxiliar de intensidad r de una

Proposici
on 31 (CMTD auxiliar) Sea {X
CMTC com matriz de tasas R y sea {N (t), t 0} P P (r) independiente de dicha CMTD. Defina N (t) . Entonces se tiene que {X(t), t 0}
mos el proceso estoc
astico {X(t), t 0} mediante X(t) = X
es una CMTC de matriz R de tasas de transici
on.
demostracion:
Recordando la definicion 13 nos fijamos en el proceso implcito de estados y permanencias y vamos
a calcular
P (Xn+1 = j, Yn+1 > y | Xn = i, Yn , X0 , {(Xm , Ym ) : m < n})
(7.10)
58
Sean {Sn , n 0} los instantes de los acontecimientos del proceso N (t). En cada uno de ellos se
n conforme a las probabilidades pij .
produce una transicion de X
Cada vez que esta transicion produce un cambio de estado (j 6= i) culmina la correspondiente
permanencia del proceso X(t). Cuando la transicion repite estado (i = j), la correspondiente
permanencia de X(t) contin
ua. Es decir, la permanencia de X(t) corresponde al tiempo de espera
n que es la suma de Exp(r) independientes con n
hasta el proximo cambio de X
umero de sumandos
n
aleatorio Geom(ri /r) ya que, solo con probabilidad 1 pii = 1 (1 ri /r) la transicion de X
produce un autentico cambio. Tal y como vimos en el tema 6, este tiempo de espera corresponde
a una exponencial de parametro r ri /r = ri .
La independencia de los intervalos entre acontecimientos del proceso N (t) y su independencia
n conlleva la de las permanencias del proceso X(t)
respecto de las transiciones del proceso X
entre s y con las transiciones i j. Si ademas tenemos en cuenta la propiedad de incrementos
independientes de N (t) que hace que la perspectiva futura de acontecimientos S no dependa del
pasado, llegamos a
(7.10) = pij eri y
que corresponde al enunciado de la proposicion.
7.2.2.
C
alculo de P (t)
Puede demostrarse que en una CMTC de matriz generadora Q la derivada de la matriz de probabilidades de transicion P (t) respecto del tiempo verifica
d
P (t) = P (t)Q = QP (t)
dt
Esta ecuacion diferencial admite como u
nica solucion
X (Qt)n
P (t) = exp(Qt) = I +
.
n!
(7.11)
(7.12)
n1
Podra pensarse que sumando suficientes terminos de la serie (7.12) se obtiene una buena aproximacion de P (t). Sin embargo, al tener Q elementos negativos, el calculo de sus potencias sucesivas
resulta inestable, y por eso se recurre al metodo de uniformizaci
on aludido en la seccion precedente
y que consiste en el recurso a la CMTD auxiliar.
Proposici
on 32 (Matriz P (t)) Sea {X(t), t 0} una CMTC de matriz R de tasas de transi n , n 0} la CMTD auxiliar de intensidad r y matriz de probabilidades de transici
ci
on y sea {X
on
P . La matriz P (t) de probabilidades de transici
on de la CMTC viene dada por
P (t) =
ert
k0
(rt)k k
P
k!
(7.13)
demostracion:
n con el proceso de Poisson N (t) de intensidad r tal y como
Complementando la CMTD auxiliar X
N (t) es una CMTC con la misma distribucion de
se expone en la proposicion 31, el proceso X
probabilidad que la original X(t), y pasamos a calcular la matriz P (t) com
un a ambas.
X
P (X(t) = j | N (t) = k, X0 = i)P (N (t) = k)
pij (t) = P (X(t) = j | X(0) = i) =
k0
k0
k = j | X
0 = i) ert (rt) =
P (X
k!
k0
ert
(rt)k (k)
p
k! ij
La expresion (7.13) se obtiene al considerar que P (k) = P k por tratarse de una CMTD homogenea
en el tiempo.
59
Ejemplo 23 (M
aquina con dos estados) Con el mismo enunciado del ejemplo 19, vamos a
calcular la matriz P (t)
A partir de la matriz de tasas de transicion y tomando por conveniencia r = + max{, },
R=
1 /r
P =
/r
/r
= +
1 /r
+
+

+
Es facil comprobar por induccion que P k = P y teniendo en cuenta que P 0 = I, a partir de (7.13)
(rt) + +
1 0
+
P (t) = ert
ert

0 1
k!
k1
+ +
1 0
+
+ 1 ert +
= ert

0 1
+ +
+ + +
(+)t
+
= +
+
+
+ +
COMENTARIOS:
1.
La expresion (7.13) expresa P (t) como una combinacion convexa de las sucesivas potencias
P k . Los pesos son las probabilidades correspondientes a k Poisson(rt), de modo que las
matrices relevantes seran aquellas en torno a la moda de k.
2.
Abundando en el comentario anterior, una expresion alternativa a (7.13) es P (t) = E[ P k ]

para k Poisson(rt).
3.
La expresion (7.13) sugiere el calculo aproximado de P (t) mediante la suma acumulada de

suficientes terminos, pongamos m.
P (t) =
m
X
ert
k=0
(rt)k k
P
k!
En este caso es facil acotar el error cometido en dicho procedimiento pues, al ser los elementos
de P k probabilidades, acotadas por tanto en modulo por la unidad, tendremos
|
pij (t) pij (t)|
k>m
ert
X
(rt)k
(rt)k
=1
ert
k!
k!
km
por tratarse de valores de la pmf de una Poisson(rt). Esta u

ltima suma se puede obtener de
paso en el calculo de P (t)

olo servidor) Ilustraci
on del c
alculo aproximado de la matriz P (t) mediante la suma parcial de (7.13).
Con el enunciado del ejemplo 22, supongamos que la capacidad de la sala de espera es de 5 personas,
que los clientes llegan a un ritmo de 10 personas por hora en promedio y que el servidor es capaz
de realizar una media de 15 servicios por hora.
60
Pdt<-function(hP,r,tiempo,error){
c<-exp(-r*tiempo)
A<-hP
B<-c*diag(ncol(hP))
sum<-c
i<-0
while(error<(1-sum)){
i<-i+1
c<-c*r*tiempo/i
B<-B+c*A
A<-A%*%hP
sum=sum+c
}
B
}
> R
[,1] [,2] [,3] [,4] [,5] [,6]
[1,]
0
10
0
0
0
0
[2,]
15
0
10
0
0
0
[3,]
0
15
0
10
0
0
[4,]
0
0
15
0
10
0
[5,]
0
0
0
15
0
10
[6,]
0
0
0
0
15
0
Este programa en R ejecuta la suma parcial de

(7.13) hasta alcanzar un umbral de error especificado
> hP
Tomando intensidad r = + = 25 en la CMTD

auxiliar, resulta esta matriz de probabilidades de
transicion P para dicha CMTD auxiliar,
[1,]
[2,]
[3,]
[4,]
[5,]
[6,]
[,1] [,2] [,3] [,4] [,5] [,6]

0.6 0.4 0.0 0.0 0.0 0.0
0.6 0.0 0.4 0.0 0.0 0.0
0.0 0.6 0.0 0.4 0.0 0.0
0.0 0.0 0.6 0.0 0.4 0.0
0.0 0.0 0.0 0.6 0.0 0.4
0.0 0.0 0.0 0.0 0.6 0.4
Seg
un el enunciado tenemos N = 5, = 10 y
= 15 que lleva a esta matriz R de tasas de
transicion.
> round(Pdt(hP,25,0.25,1e-5),4)
[,1]
[,2]
[,3]
[,4]
[1,] 0.4591 0.2772 0.1487 0.0707
[2,] 0.4158 0.2664 0.1602 0.0885
[3,] 0.3346 0.2403 0.1761 0.1222
[4,] 0.2386 0.1991 0.1833 0.1607
[5,] 0.1546 0.1531 0.1761 0.1905
[6,] 0.1037 0.1201 0.1640 0.2054
[,5]
0.0305
0.0454
0.0783
0.1270
0.1802
0.2181
[,6]
0.0137
0.0237
0.0486
0.0913
0.1454
0.1887
> round(Pdt(hP,25,0.5,1e-5),4)
[,1]
[,2]
[,3]
[,4]
[1,] 0.3989 0.2573 0.1595 0.0951
[2,] 0.3859 0.2522 0.1608 0.1003
[3,] 0.3588 0.2412 0.1634 0.1110
[4,] 0.3211 0.2256 0.1664 0.1257
[5,] 0.2820 0.2090 0.1690 0.1408
[6,] 0.2547 0.1971 0.1705 0.1513
[,5]
0.0557
0.0619
0.0751
0.0939
0.1139
0.1280
[,6]
0.0335
0.0389
0.0505
0.0673
0.0853
0.0983
> round(Pdt(hP,25,1,1e-5),4)
[,1]
[,2]
[,3]
[,4]
[1,] 0.3704 0.2457 0.1620 0.1063
[2,] 0.3685 0.2449 0.1622 0.1071
[3,] 0.3645 0.2432 0.1625 0.1086
[4,] 0.3588 0.2409 0.1629 0.1108
[5,] 0.3528 0.2384 0.1634 0.1132
[6,] 0.3486 0.2366 0.1638 0.1148
[,5]
0.0697
0.0706
0.0726
0.0755
0.0785
0.0806
[,6]
0.0459
0.0467
0.0485
0.0510
0.0537
0.0556
y esta matriz P (0.25) de probabilidades de transicion a un cuarto de hora

para la CMTC. Partiendo de la cola
vaca, hay una probabilidad 0.4591 de
que tambien este vaca al cabo de un
cuarto de hora (aunque puede haber sufrido variaciones entretanto), 0.2772 de
que haya un paciente esperando, etc.
A la media hora,
a la hora,
61

> round(Pdt(hP,25,5,1e-5),4)
[,1]
[,2]
[,3]
[,4]
[1,] 0.3654 0.2436 0.1624 0.1083
[2,] 0.3654 0.2436 0.1624 0.1083
[3,] 0.3654 0.2436 0.1624 0.1083
[4,] 0.3654 0.2436 0.1624 0.1083
[5,] 0.3654 0.2436 0.1624 0.1083
[6,] 0.3654 0.2436 0.1624 0.1083
7.2.3.
[,5]
0.0722
0.0722
0.0722
0.0722
0.0722
0.0722
[,6]
0.0481
0.0481
0.0481
0.0481
0.0481
0.0481
y a las 5 horas, en que parece que ya

se ha alcanzado practicamente el lmite para t pues todas las filas son
iguales entre s.
Tiempos de ocupaci
on
Una de las caractersticas interesantes de la evolucion del sistema descrito por una CMTC es la
cantidad de tiempo que el sistema pasa en cada estado. En el caso de las CMTDs hablabamos de
la frecuencia de visitas Nj (n) al estado j-esimo en los n primeros pasos de evolucion. Para estudiar
su comportamiento P
aleatorio definamos las variables indicadoras Zj (r) de los sucesos {Xr = j} de
n
modo que Nj (n) = r=0 Zj (r).
Trabajando con CMTCs el parametro temporal es continuo. La herramienta matematica debe
adaptarse a este hecho pero la idea subyacente es la misma. Designaremos con Z j (t) la funcion
indicadora del suceso X(t) = j. As el tiempo que el sistema pasa en el estado j durante el intervalo
temporal [0, T ] podra expresarse como
Nj (T ) =
Zj (t) dt
(7.14)
Definici
on 15 (Tiempo de ocupaci
on) Sea {X(t), t 0} una CMTC. Llamaremos tiempo de
ocupaci
on del estado j-esimo en el periodo [0, T ] partiendo del estado i-esimo a
mij (T ) = E[Nj (T ) | X(0) = i],
valor esperado de Nj (T ) condicionado a que el sistema arranca del estado i. De acuerdo con sus
subndices, los tiempos de ocupaci
on mij (T ) se recogen en la correspondiente matriz M (T ).
Proposici
on 33 (Tiempos de ocupaci
on) De acuerdo con la definici
on 15, los tiempos de ocupaci
on pueden expresarse como
Z T
mij (T ) =
pij (t) dt
(7.15)
0
demostracion:
mij (T ) = E
"Z
Zj (t) dt | X(0) = i =
0
E [Zj (t) | X(0) = i] dt =

0
pij (t) dt
0
Ejemplo 25 (M
aquina con dos estados) Continuando con los ejemplos 19 y 23, supongamos
que el tiempo hasta el fallo de la m
aquina tiene una media de 10 das y las reparaciones tienen
una duraci
on media de 1 da. Calc
ulese el valor esperado del tiempo de actividad de la m
aquina
durante el mes de enero (31 das) sabiendo que est
a activa a comienzo del a
no.
Si contamos el tiempo en das, tenemos = 0.1, = 1. A partir de (7.15)
m11 (31) =
31
p11 (t) dt =
0
31
0
0.1 1.1t
1
+
e
1.1 1.1
dt =
31
0.1
+
(1 e34.1 ) = 28.26 das
1.1 1.12
62
n , n 0} la CMTD auxiliar de intensidad r y matriz

Proposici
on 34 (Matriz M (T )) Sea {X
de probabilidades de transici
on P de la CMTC {X(t), t 0}. Sea Y Poisson(rT ) independiente
de los procesos aludidos. La matriz de tiempos de ocupaci
on de {X(t), t 0} puede expresarse
como
1X
M (T ) =
P (Y > k)P k
(7.16)
r
k0
demostracion:
Aplicando (7.15) a la proposicion 32 se tiene
mij (T )
pij (t)dt =
0
XZ
k0
ert
0
T
0
k
k0
k
(rt)
[P k ]ij dt
ert
k!
(rt) k
[P ]ij dt
k!
(7.17)
(rt)k
y dv = ert dt se
Por otro lado, integrando por partes reiteradamente comenzando con u =
k!
llega a
!
Z T
k
k
m
X
1
1
rt (rt)
rT (rT )
e
1
= P (Y > k)
dt =
(7.18)
e
k!
r
m!
r
o
m=0
Substituyendo (7.18) en (7.17) se obtiene (7.16).
COMENTARIOS:
1.
Analogamente a como planteamos el calculo aproximado de P (t), se puede acometer aqu el

calculo aproximado de M (T ) mediante la suma parcial de (7.16) hasta un n
umero m de
sumandos que garanticen un margen de
error
espec
fico.
Un
razonamiento
an
a
logo
al que se
P
hizo all conduce a acotar el error por k=m+1 P (Y > k)

olo servidor) Ilustraci
on del c
alculo de M (T )
mediante la suma parcial de (7.16) con el enunciado del ejemplo 24.
MdT<-function(hP,r,tiempo,error){
yek<-exp(-r*tiempo)
ygk<-1-yek
A<-hP
B<-ygk*diag(ncol(hP))
sum<-ygk
i<-0
while (error<tiempo-sum/r){
i<-i+1
yek<-yek*r*tiempo/i
ygk<-ygk-yek
B<-B+ygk*A
A<-A%*%hP
sum=sum+ygk
}
B/r
}
Este programa en R ejecuta la suma parcial de

(7.16) hasta un umbral de error especificado. Sus
argumentos son la matriz P de probabilidades de
transicion de la CMTD auxiliar, la intensidad r
de esta, el horizonte temporal T al que queremos
hacer las previsiones, y la cota de error que
estamos dispuestos a tolerar.
Para la ilustracion numerica que sigue hemos usado las matrices R y P del ejemplo 24.
EN EL FUTURO REMOTO
7.3. DISTRIBUCION
> round(MdT(hP,25,1,1e-5),4)
[,1]
[,2]
[,3]
[,4]
[1,] 0.4451 0.2548 0.1442 0.0814
[2,] 0.3821 0.2793 0.1604 0.0920
[3,] 0.3246 0.2407 0.2010 0.1187
[4,] 0.2746 0.2070 0.1780 0.1695
[5,] 0.2356 0.1806 0.1598 0.1569
[6,] 0.2124 0.1648 0.1489 0.1492
7.3.
[,5]
0.0465
0.0535
0.0710
0.1046
0.1624
0.1571
[,6]
0.0280
0.0326
0.0441
0.0663
0.1047
0.1677
63
Comenzando a contar cuando la sala
de espera esta vaca, los tiempos esperados de ocupacion de la sala estan
en la primera fila. Durante la primera hora de funcionamiento cabe esperar 0.4451 horas (26.71 minutos) de cola
vaca, 0.2548 horas (15.29 minutos) con
un paciente en la sala de espera, etc.
Distribuci
on en el futuro remoto
Siguiendo la pauta iniciada en este tema, continuamos revisando el entramado conceptual de las cadenas de Markov en tiempo discreto, adaptandolo a la naturaleza continua del parametro temporal
de las CMTCs.
As, nos planteamos la existencia y propiedades de una distribuci
on asint
otica lm t P (X(t)),
de una distribuci
on estacionaria P (X(t)) invariante con t, y de una distribuci
on de ocupaci
on
lmT E[Nj (T )]/T que refleje la proporcion del tiempo que el sistema dedica a cada estado.
7.3.1.
Distribuci
on lmite
Como en el tema 5, abordamos aqu la existencia de un lmt P (X(t)) que sea independiente
de la distribucion de inicio P (X(0). Cuando existe tal distribucion la denominaremos asint
otica o
lmite.
Proposici
on 35 (Distribuci
on asint
otica) Si {X(t), t 0} es una CMTC irreducible con
matriz de tasas de transici
on R, entonces tiene una u
nica distribuci
on asint
otica que es soluci
on
del sistema de ecuaciones
X
i r i =
j rji i S
(7.19)
jS
i = 1
(7.20)
iS
demostracion:
Si la CMTC {X(t), t 0} es irreducible, la CMTD auxiliar para cualquier intensidad r > max iS ri
tambien lo es puesto que
(N (t))
t 0; pij (t) > 0 = pij
>0
y los estados que comunican entre s en la CMTC tambien lo hacen en la CMTD auxiliar.
Ademas, como pii = 1 ri /r > 0, la CMTD auxiliar es aperiodica. De acuerdo con los resultados
del tema 5 existe una u
nica distribucion asintotica para esta CMTD, digamos , verificando el
sistema
= P
X
i = 1
(7.21)
iS
Ademas, como N (t) cuando t ,

N (t) = j) = lm P (X
n = j) = j .
lm P (X(t) = j) = lm P (X
Luego es distribucion asintotica de la CMTC original.
64
Atendiendo a la definicion de P en terminos de las tasas de transicion rij , el sistema (7.21) se

convierte en
X rji
X
X
j
j rji
j pji = i (1 ri /r) +
= i ri =
i =
r
i
i
j:j6=i
para cada i S ya que rii = 0 por construccion.
7.3.2.
Distribuci
on estacionaria
Tal como se comento en el caso de las CMTDs, la caracterstica especfica de una distribucion
estacionaria es su invariancia en el tiempo como distribucion marginal P (X(t)). Parafraseando la
definicion que all se vio
Definici
on 16 (Distribuci
on = (1 , . . . , N ) es estacionaria
para la CMTC con espacio de estados S = {1, . . . , N } sii
P (X(0) = j) = j j S = P (X(t) = j) = j j S, t 0
Proposici
on 36 (Distribuci
on asint
otica de una CMTC irreducible es estacionaria.
demostracion:
Recurriendo a una CMTD auxiliar con r > maxi ri tal y como se hizo en la demostracion de la
proposicion 35, y con la misma notacion que all para el vector , cualquiera que sea t 0 tenemos
X
P (X(t) = j | X(0) = i)P (X(0) = i)
P (X(t) = j) =
iS
(rt) X
k = j | X
0 = i)
ert
P (X
k!
ert
P (X(0) = i)
iS
k0
k0
k
ert
iS
k0
7.3.3.
(rt)k k
[P ]ij
k!
X
(rt)
(rt)k
k = j) = j
ert
P (X
= j
k!
k!
k0
Distribuci
on de ocupaci
on
Tal y como se justifico en el tema 5, puesto que el tiempo de ocupacion E[Nj (T )] crece indefinidamente con T en estados recurrentes, resulta mas interesante una medida relativa de la intensidad
con que el sistema visita cada estado, a saber, la la ocupaci
on, que definimos para el estado j-esimo
como lmT E[Nj (T )]/T .
Proposici
on 37 (Distribuci
on de ocupaci
on) La distribuci
on asint
otica de una CMTC irreducible es tambien su distribuci
on de ocupaci
on porque se cumple
lm
demostracion:
E[Nj (T ) | X(0) = i]
= j
T
(7.22)
EN EL FUTURO REMOTO
7.3. DISTRIBUCION
65
De acuerdo con la proposicion 34

M (T ) =
1X
P (Y > k)P k
r
(7.23)
k0
Llamemos am = P (Y = m) = erT (rT )m /m! de modo que P (Y > k) =

notacion
M (T ) =
m>k
am . Con esta
1XX
am P k
r
k0 m>k
m1
1 X X
am P k
r m>0
k=0
m1
1 X rT (rT )m1 rT X k
e
P
=
r m>0
(m 1)! m
k=0
De modo que
M (T )
1XX
am P k
=
T
r
k0 m>k
erT
m>0
m1
(rT )m1 1 X k
P
(m 1)! m
k=0
m1
1 X k
(rT )
P
(m)! m + 1
m=0
k=0
N (T )
X
1
P k
=E
N (T ) + 1
erT
k=0
donde N (t) representa el proceso de transiciones de intensidad r asociado a la CMTD auxiliar. Como la CMTC del enunciado es irreducible, tambien lo es la CMTD auxiliar, como ya se comento en
la demostracion de la proposicion 35. En el tema 5 se comprobo que en tal caso, la distribucion de
ocupacion de la CMTD coincide con su distribucion asintotica, as que
n
1 X k
[P ]ij = j
n n + 1
lm
k=0
Ademas, atendiendo a proceso de Poisson N (t) asociado, N (T ) conforme T . Juntando

ambos resultados se obtiene la expresion (7.23) del enunciado
N (T )
n
X
mij (T )
1
1 X k
lm
= lm E
P k = lm
[P ]ij = j
T
T
n n + 1
T
N (T ) + 1
k=0
k=0
A partir de (7.23)
E[Nj (T )]
1X
E[Nj (T ) | X(0) = i]P (X(0) = i)
= lm
T
T T
T
iS
X
1
lm E[Nj (T ) | X(0) = i]P (X(0) = i)
=
T T
iS
X
j P (X(0) = i) = j
=
lm
iS
66
Ejemplo 27 (C
alculo de la distribuci
on asint
otica) Con los datos del enunciado del ejemplo
24 ilustraremos el uso de las ecuaciones de la proposici
on 35.
DAsint<-function(R){
Rri<-diag(apply(R,1,sum))
Q<-Rri-R
nf<-nrow(Q)
Q[,nf]<-1
solve(t(Q),c(rep(0,nf-1),1))
}
> R
[,1] [,2] [,3] [,4] [,5] [,6]
[1,]
0
10
0
0
0
0
[2,]
15
0
10
0
0
0
[3,]
0
15
0
10
0
0
[4,]
0
0
15
0
10
0
[5,]
0
0
0
15
0
10
[6,]
0
0
0
0
15
0
Este programa en R resuelve el sistema de ecuaciones de la proposicion 35.
Para la ilustracion numerica que sigue hemos utilizado la matriz R del ejemplo 26.
> round(DAsint(R),4)
[1] 0.3654 0.2436 0.1624 0.1083 0.0722 0.0481
> round(MdT(hP,25,1,1e-5),4)
[,1]
[,2]
[,3]
[,4]
[1,] 0.4451 0.2548 0.1442 0.0814
[2,] 0.3821 0.2793 0.1604 0.0920
[3,] 0.3246 0.2407 0.2010 0.1187
[4,] 0.2746 0.2070 0.1780 0.1695
[5,] 0.2356 0.1806 0.1598 0.1569
[6,] 0.2124 0.1648 0.1489 0.1492
[,5]
0.0465
0.0535
0.0710
0.1046
0.1624
0.1571
[,6]
0.0280
0.0326
0.0441
0.0663
0.1047
0.1677
> round(MdT(hP,25,5,1e-5)/5,4)
[,1]
[,2]
[,3]
[,4]
[1,] 0.3816 0.2459 0.1588 0.1028
[2,] 0.3689 0.2508 0.1620 0.1050
[3,] 0.3572 0.2430 0.1701 0.1104
[4,] 0.3469 0.2361 0.1655 0.1207
[5,] 0.3388 0.2307 0.1619 0.1182
[6,] 0.3339 0.2275 0.1598 0.1168
[,5]
0.0669
0.0684
0.0720
0.0788
0.0906
0.0896
[,6]
0.0440
0.0449
0.0473
0.0519
0.0597
0.0724
> round(MdT(hP,25,1000,1e-5)/1000,4)
[,1]
[,2]
[,3]
[,4]
[,5]
[1,] 0.3655 0.2436 0.1624 0.1082 0.0722
[2,] 0.3654 0.2436 0.1624 0.1083 0.0722
[3,] 0.3654 0.2436 0.1624 0.1083 0.0722
[4,] 0.3653 0.2436 0.1624 0.1083 0.0722
[5,] 0.3653 0.2435 0.1624 0.1083 0.0723
[6,] 0.3653 0.2435 0.1624 0.1083 0.0723
[,6]
0.0481
0.0481
0.0481
0.0481
0.0482
0.0482
Podemos comprobar que se obtiene como distribucion lmite la que apareca

all en las filas de P (5), horizonte temporal al que pareca haberse alcanzado
el comportamiento asintotico pues todas las filas de la matriz eran ya practicamente iguales.
Comprobaremos ahora como se aproxima lmT M (T )/T a esta misma distribucion.
Comenzamos con T = 1,
aqu tenemos M (5)/5,
y M (1000)/1000, en que ya se manifiesta claramente la tendencia de esta secuencia de matrices de tiempos de ocupacion, confirmando que la distribucion
asintotica es tambien de ocupacion.

E Studio

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

E Studio

Hochgeladen von

Copyright:

Verfügbare Formate

PROBABILIDAD Y PROCESOS ESTOCASTICOS

4.1. Concepto de CMTD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.2. Distribuciones finito-dimensionales . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.2.1. Conveniencia probabilstica . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.2.2. Finito-dimensionales cualesquiera . . . . . . . . . . . . . . . . . . . . . . . .

4.3. Probabilidades de transicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.3.1. Distribucion de inicio p(x0 ) . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.3.2. CMTD homogenea en el tiempo . . . . . . . . . . . . . . . . . . . . . . . .

4.3.3. Probabilidades de transicion . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.3.4. Probabilidades de transicion a m pasos . . . . . . . . . . . . . . . . . . . .

4.4. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . . .

4.4.1. Distribucion en el instante m . . . . . . . . . . . . . . . . . . . . . . . . . .

4.4.2. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . .

4.5. Clasificacion de los estados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.5.5. Clases cerradas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.6. Grafos de transicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.7.1. Periodo de un estado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.7.2. Periodo de una CMTD irreducible . . . . . . . . . . . . . . . . . . . . . . .

5. Comportamiento a largo plazo de CMTDs

5.1. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.1.1. Tiempos de primer acceso . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.1.2. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.1.3. Recurrencia y transitoriedad . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2. Tiempos de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2.1. Frecuencia de visitas a un estado . . . . . . . . . . . . . . . . . . . . . . . .

5.2.2. Tiempos de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2.3. Recurrencia y transitoriedad . . . . . . . . . . . . . . . . . . . . . . . . . .

5.3. Comportamiento en el futuro remoto . . . . . . . . . . . . . . . . . . . . . . . . . .

5.3.1. Distribucion lmite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.3.2. Distribucion estacionaria

5.3.3. Distribucion de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4. Condiciones de existencia y unicidad . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.1. Cadenas irreducibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.2. Cadenas irreducibles aperiodicas . . . . . . . . . . . . . . . . . . . . . . . .

5.5. Cadenas reducibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.1. Tiempos entre transiciones del sistema . . . . . . . . . . . . . . . . . . . . . . . . .

6.1.1. Tiempos de espera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.1.2. Procesos de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.2. La distribucion exponencial como modelo de tiempo de espera . . . . . . . . . . . .

6.2.1. Distribuciones gamma y exponencial . . . . . . . . . . . . . . . . . . . . . .

6.2.3. Funcion de distribucion . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.2.4. Propiedades de falta de memoria . . . . . . . . . . . . . . . . . . . . . . . .

6.2.5. Tasa de riesgo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.2.6. Mnimo, maximo y suma de exponenciales independientes . . . . . . . . . .

6.3. Proceso de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.3.1. Como proceso de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.3.2. Incrementos estacionarios independientes . . . . . . . . . . . . . . . . . . .

6.3.3. Distribucion condicionada al n

7. Cadenas de Markov en tiempo continuo

7.1. Concepto de CMTC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.1.1. Permanencias y probabilidades de salto . . . . . . . . . . . . . . . . . . . .

7.1.2. Matriz de probabilidades de transicion . . . . . . . . . . . . . . . . . . . . .

7.1.3. Grafos de transicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.1.4. Clasificacion de los estados . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.2. Comportamiento transitorio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.2.1. CMTD auxiliar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.2.2. Calculo de P (t) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.2.3. Tiempos de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.3. Distribucion en el futuro remoto . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.3.1. Distribucion lmite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.3.2. Distribucion estacionaria

7.3.3. Distribucion de ocupacion . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Cadenas de Markov en tiempo