Cadenas de Markov

Los modelos de procesos de Markov son tiles para estudiar la evolucin de sistemas
a lo largo de ensayos repetidos los que, a menudo, son perodos sucesivos donde el
estado del sistema en cualquier perodo en particular no puede determinarse con
certeza. Por ello, para describir la forma en que el sistema cambia de un perodo a
otro consecutivo se emplean probabilidades de transicin. Por tanto se est interesado
en la probabilidad de que el sistema est en un estado particular en un perodo dado.
Estos modelos tienen mltiples aplicaciones, puede usarse para describir la
probabilidad de que una mquina que est funcionando en un perodo
continuar funcionando en el siguiente. Tambin pueden usarse los modelos para
describir la probabilidad de que un consumidor que compra la marca A en
un perodo la siga comprando en el siguiente o se pase a una marca B.

Andri Mrkov (1856 - 1922) matemtico ruso conocido por sus trabajos en la teora de los
nmeros y de probabilidades.

CADENAS DE MARKOV DE PRIMER ORDEN

Las cadenas de Markov de primer orden pueden usarse como modelo de procesos
que tengan las siguientes propiedades:
1) El conjunto de sucesos posibles es finito.
2) La probabilidad del siguiente suceso depende solamente
inmediatamente anterior.
3) Estas probabilidades permanecen constantes con el tiempo.

del

suceso

Cada suceso individual se denomina un estado. en el desarrollo del

tema, S denotar los estados de un total de m estados posibles, donde m ser finito,
mayor o igual a 2. Cada vez que se produce un nuevo resultado o suceso se dice que
el proceso ha avanzado o que se incrementa en un paso. Esto puede repetirse tantas
veces como se desee. Un paso representa un perodo de tiempo o cualquier
otra condicin que pueda conducir a otro suceso posible, n simboliza el nmero de
pasos o incrementos; por lo tanto, n= 0 es el presente, n= 1 es el suceso posible en la
siguiente ocasin y n= 2 es el suceso en una ocasin despus de la siguiente.
Ejemplo 1: Un cliente puede comprar un auto de marca Renault, Chevrolet o Mazda.
Se supone que esta situacin cubre todas las posibilidades. Su siguiente compra eta
controlada por el auto que posee actualmente. Cada vez que compra un nuevo carro
ocurre un paso. Hay m= 3 estados posibles.

Notacin del estado

S1
S2
S3

Descripcin
El cliente compra un Renault
El cliente compra un Chevrolet
El cliente compra un Mazda

En el presente n= 0, S1,S2, o S3 representan el estado presente, es decir, la clase de

auto que posee actualmente el cliente. En n=1, en la siguiente ocasin, S1,S2,
o S3 representan todos los resultados posibles de su siguiente compra.
Formulacin de un proceso como una cadena de Markov de primer orden
Se tiene la siguiente informacin acerca de la compra de autos:

Compra actual
(n=0)
Renault
Chevrolet
Mazda

% que compra
Renault
40
20
25

Sgte. compra (n=1)

% que compra
Chevrolet
30
50
25

% que compra
Mazda
30
30
50

La tabla presenta la probabilidad de que un cliente que ahora posee un Renault

(S1) n=0, pueda comprar un Renault, Chevrolet, o Mazda en la siguiente ocasin, n=1.
Se tiene la informacin para todos los posibles estados. Si indica que que el proceso
est ahora en el i-simo estado y Sj indica que en algn paso posterior (generalmente
en la siguiente ocasin) el proceso estara en el j-simo estado.
Cuando la informacin se escribe en forma de tabla de probabilidades, se
denomina matriz de transicin y se designa como P.

Cada elemento de esta tabla representa la probabilidad de desplazarse desde un

estado hasta otro. Un elemento de una matriz de transicin se designa por pij, esta es

la probabilidad condicional de que si el proceso est ahora en el estado i, en el

siguiente paso podr estar en el estado j.
Ejemplo 2: Cul es la probabilidad de que un propietario de Mazda compre un
Renault en la siguiente ocasin?
En n=0, el estado es S3 (Mazda), y en n=1, el estado es S1 (Renault), por lo tanto la
probabilidad esp31=0.25.
Una matriz de transicin debe cumplir las siguientes condiciones:
1) Cada elemento es una probabilidad, por lo tanto debe tener un valor entre 1 y 0.
2) Cada fila debe sumar exactamente 1.
3) La matriz debe ser cuadrada.
La siguiente es la notacin general:

Una matriz de transicin P est compuesta por filas de vectores de probabilidad Vi.
Anlisis de probabilidad por medio de cadenas de Markov de primer orden
Para determinar la probabilidad de un evento despus de n pasos, dado algn estado
inicial especfico Si, se utiliza la matriz de transicin.
Ejemplo 3: Si un cliente acaba de comprar un auto Renault, Si= S1 en n= 0, Cul es
la probabilidad de que l pueda comprar un Chevrolet en la siguiente ocasin, Sj=
S2 en n= 2?
La matriz de transicin es:

Para el estado S1, V1= 0.4, 0.3, 0.3. Esto quiere decir que si el estado presente es S1,
la probabilidad de que el siguiente estado sea S1 es p11=0.4, S2 es p12=0.3
y S3 es p13= 0.3, por tanto el vector da las pribabilidades de los sucesos para el
siguiente paso, a partir de un estado presente. Sea Vi^n el vector de probabilidades
que describe las probabilidades de los posibles sucesos en n pasos si el estado
presente es Si. Para responder la pregunta en consideracin, se hace entonces V1^2.
Esta expresin da las probabilidades de todas las compras dos pasos a partir de
ahora, ya que el cliente en el presente posee un Renault, S1 en n=0. Esto se obtiene a
partir del producto de V1^2 y P.

Esto significa que si el estado presente es S1 en n=0, la probabilidad de estar en el

estado S1 dos pasos despus (n=2) es p12= 0.295, en el estado S2 es p12= 0.345, y
en el estado S3 es p13=0.360.
Se ha demostrado entonces que:

Por lo tanto, las probabilidades de los sucesos despus de n pasos a partir de ahora
pueden obtenerse utilizando el vector de probabilidad Vi y alguna potencia de la
matriz P.
Cadenas de Markov ergdicas
Si el sistema o proceso que se modela con Markov tiene ciertas propiedades, es
posible determinar las probabilidades de los sucesos despus de alcanzar condiciones
de estado estable. Luego de un largo tiempo de funcionamiento del proceso, un evento
dado puede presentarse durante un porcentaje x del tiempo. Se desea estar en
capacidad de determinar estos porcentajes. Lo que los detractores sealan en este
punto es la condicin de que la matriz de transicin contenga probabilidades que
permanezcan constantes con el tiempo.
Para asegurar la condicin de estado estable, la cadena debe ser ergdica (algunas
veces denominada cadena irreductible).
Una cadena ergdica describe de forma matemtica un proceso en el cual es posible
avanzar desde un estado hasta cualquier otro estado, no es necesario que esto se
d en un slo paso, pero debe ser posible para que cualquier resultado sea logrado
independientemente del estado presente.
Ejemplo 4: Jazmn conduce una moto por un sector cuyas calles estn trazadas como
se indica a continuacin:

Cada vez que Jazmn llega a un esquina puede dar vuelta o seguir derecho con igual
probabilidad. es decir, que si ella est en la esquina 2, ella puede avanzar a 1, 3, o 5
con una probabilidad de 1/3, y de igual modo partiendo de las otras esquinas.
Un estado describe la esquina en la cual est Jazmn cuando toma su decisin. Por
tanto hay 9 estados posibles. La matriz de transicin es:

1
2
3
4
5
6
7
8
9

1
0
1/3
0
1/3
0
0
0
0
0

2
1/2
0
1/2
0
1/4
0
0
0
0

3
0
1/3
0
0
0
1/3
0
0
0

4
1/2
0
0
0
1/4
0
1/2
0
0

5
0
1/3
0
1/3
0
1/3
0
1/3
0

6
0
0
1/2
0
1/4
0
0
0
1/2

7
0
0
0
1/3
0
0
0
1/3
0

8
0
0
0
0
1/4
0
1/2
0
1/2

9
0
0
0
0
0
1/3
0
1/3
0

Jazmn puede eventualmente llegar a cualquier localizacin dada (estado) a partir de

cualquier localizacin presente (estado). Por tanto esta es una cadena ergdica.
Se efecta una prueba sencilla para determinar la posibilidad de llegar a todos los
estados a partir de cualquier estado inicial. Considerar la matriz de transicin:

1
2
3
4
5

1
X
0
0
X
X

2
X
X
0
0
X

3
0
X
0
X
0

4
X
0
X
0
0

5
X
X
X
X
0

Sea X igual a cualquier valor positivo de pij. Es posible ir directamente desde el 1

hacia cada estado excepto al 3. Sin embargo es posible ir desde 1 hasta 2 y luego
hacia 3. Con esto es posible ir desde el estado 1 hacia cualquier otro. Ahora se
comprueban
los dems estados:

Estado
2:
ir
hasta
5,
luego
desde
5
hacia
1.
E
3=
ir hasta 5,
luego
de
5
hacia
1.
E
4=
ir
hasta
1.
E
5=
ir
hasta
1.
Se puede decir entonces que esta es la matriz de transicin de una cadena ergdica.
Un caso mas especifico de cadena ergdica, es una cadena regular. Una cadena
regular es definida como una cadena que tiene una matriz de transicin P la cual para
alguna potencia de Ptiene nicamente elementos positivos de probabilidad (diferente
de 0). La forma ms sencilla de verificar si una cadena es regular consiste en elevar
sucesivamente al cuadrado la matriz hasta que todos los valores sean mayores de 0 o
hasta que se desarrolle un patrn que demuestre que por lo menos un 0
nunca podr eliminarse. Todas las cadenas regulares pueden ser ergdicas pero lo
contrario no es necesariamente lo cierto, no todas las cadenas ergdicas son
regulares.
Ejemplo

1
2
3
4
5

5: Se

tiene

la

siguiente

matriz,

comprobar

si

es

regular:

1
X
0
0
X
X

2
X
X
0
0
X

3
0
X
0
X
0

4
X
0
X
0
0

5
X
X
X
X
0

1
X
X
X
X
X

2
X
X
X
X
X

3
X
X
X
X
X

4
X
X
0
X
X

5
X
X
X
X
X

1
X
X
X
X
X

2
X
X
X
X
X

3
X
X
X
X
X

4
X
X
X
X
X

5
X
X
X
X
X

P ^2=

1
2
3
4
5
P ^4=

1
2
3
4
5

Determinacin de

las

condiciones

de

estado

estable

La existencia de condiciones de estado estable en una cadena ergdica regular puede

demostrarse de una manera sencilla calculando P ^n para diversos valores de
n. A continuacin se presentan los valores de P ^n del ejemplo del comprador de autos
para valores de n=1 hasta 8.

A medida que aumenta el valor de n, los valores pij tienden hacia un lmite fijo y cada
vector de probabilidad Vi^n tiende a hacer igual para todos los valores de i. Esto lleva
a
que:
1) Para un valor de n suficientemente grande, el vector de probabilidad Vi^n se hace
igual para todas las i y no cambia para valores grandes de n.
2) Puesto que Vi^n+1= Vi^n P y Vi^n+1=Vi^n, existe un vector V* tal que V*=V*P.
El vector V* contiene las probabilidades que existen en condiciones de estado estable.
Sea vj el j-simo elemento del vector probabilidad V*. Puesto que V* todava es un
vector
probabilidad,
aun
debe
existir
la
siguiente condicin:

Si se expande este producto de matrices se obtienen m ecuaciones, se agrega el

requerimiento de que la suma de las probabilidades es igual a 1, hay

entonces m+1 ecuaciones

y m incgnitas.
Estas
pueden
resolverse
para
las m incgnitas quitando cualquiera de las ecuaciones, excepto la ecuacin:

Puesto que las restantes m ecuaciones pueden satisfacerse si todas las vj=0.
Ejemplo 6: Para el ejemplo de la compra del auto, se determinan las probabilidades
de estado estable del comprador.

Se

Se

elimina

la ltima ecuacin y

puede

se

despejan

las

restantes:

interpretar as:

1) A la larga, 27.3% de los clientes compran Renault, 35.2% compran Chevrolet, y

37.5%
compran
Mazda.
2) Con el tiempo, la probabilidad de que un determinado cliente compre un Chevrolet
es
de 35.2%,
etc.
Cuando la cadena no es regular, el mtodo de anlisis es el mismo pero
la interpretacin es ms restrictiva. Por ejemplo, la matriz de transicin puede ser tal
que no sea posible alcanzar un estado dado en un nmero impar (par) de pasos
numerados. En este caso, la interpretacin 2 no tiene significado, pero aun
es vlida la interpretacin 1, y el vector V* indica la frecuencia relativa del proceso en
cada
estado
posible.

Cadenas

de

Markov

absorbentes

Para describir procesos o sistemas que cesan (o vuelven a comenzar) despus de

alcanzar determinadas condiciones se utiliza un caso especial de cadenas de Markov.
Por ejemplo, despus de hallar un nmero predeterminado de partes defectuosas o
aceptables, se suspende una inspeccin; despus de un tiempo una cuenta se vuelve
incobrable o pagada, etc. Esos procesos pueden modelarse como una cadena de
Markov
absorbente.
Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual
a cero, es decir que, una vez comenzado es imposible salir de l, y el proceso o se
detiene completamente o se detiene para luego comenzar a partir de algn otro
estado.
Una
cadena
de
Markov
es
absorbente
si:
1)
Tiene
por
lo
menos
un
estado
absorbente.
2) Es posible ir desde cada estado no absorbente hasta por lo menos un estado
absorbente, no es necesario que esto se d en un paso, ni es necesario que exista la
posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no
absorbente.
Ejemplo 7: Se inspeccionan partes de acuerdo al siguiente plan de inspeccion
secuencial: seleccionar e inspeccionar articulo por artculo hasta llegar a encontrar un
defecto (rechazo) o hasta encontrar 5 partes satisfactorias (aceptables).
Estos
son
los
estados
posibles:

Estado
S1(0,0)
S2(1,0)
S3(2,0)
S4(3,0)
S5(4,0)
S6(5,0)
S7(0,1)
S8(1,1)
S9(2,1)
S10(3,1)
S11(4,1)

Descripcin fsica
No. de partes
No. de
buenas
defectuosas
0
0
1
0
2
0
3
0
4
0
5
0
0
1
1
1
2
1
3
1
4
1

PRECISAMENTE
AL COMENZAR

ABSORBENTE

Si se espera que el 90% de las unidades sean aceptables, la matriz de transicin es:

S1
S1
S2
S3
S4
S5
S6
S7
S8
S9
S10
S11

S2
0,9

S3

S4

S5

S6

S7
0,1

0,9

S8

S9

S10

S11

0,1
0,9

0,1
0,9

0,1
0,9
1

0,1
1
1
1
1
1

Una vez alcanzados los estados S6 hasta S11 la probabilidad de que el proceso
permanezca en el respectivo estado es 1. Por lo tanto no se puede ir desde cualquiera
de estos estados hasta cualquier otro (probabilidad 0). Esto de debe a que el
inspector podr tomar una decisin de aceptacin y/o rechazo en ese momento y con
esto
terminar
la inspeccin.
A partir del anlisis de esta clase de cadena pueden obtenerse varias informaciones,
es posible determinar el nmero esperado de pasos antes de que el proceso sea
absorbido, el nmero esperado de veces que el proceso est en cualquiera de los
estados no absorbentes y la probabilidad de ser absorbido por cualquier estado
absorbente
dado.
El primer paso es reagrupar la matriz de transicin de esta manera:

Estas matrices pequeas contienen elementos de probabilidad pero si se consideran

individualmente no constituyen una matriz de transicin. Hay a estados
absorbentes, n estados no absorbentes, ya+n=m estados totales. Las matrices
contienen
la
siguiente informacin:
I: Matriz identidad a x a representa las probabilidades de permanecer dentro de un
estad
absorbente.
0: Matriz cero a x n indica las probabilidades de ir desde un estado absorbente hasta
un
estado
no
absorbente.
A: Matriz n x a contiene las probabilidades de ir desde cualquier estado no absorbente
hasta
un
estado
absorbente.
N: Matriz n x n contiene las probabilidades de ir desde cualquier estado
no absorbente hasta cualquier otro estado no absorbente en un paso exactamente.
La

matriz

de transicin reordenada

es:

S6
S7
S8
S9
S10
S11
S1
S2
S3
S4
S5

S6
1

S7

S8

S9

S10

S11

1
1
1
1
0
0
0
0

0,1
0
0
0

0
0,1
0
0

0
0
0,1
0

0
0
0
0,1

1
0
0
0
0

0,1

S1
0
0
0
0
0
0
0
0
0
0

S2
0
0
0
0
0
0
0,9
0
0
0

S3
0
0
0
0
0
0
0
0,9
0
0

S4
0
0
0
0
0
0
0
0
0,9
0

S5
0
0
0
0
0
0
0
0
0
0,
9
0

N^2 da las probabilidades de ir desde cualquier estado no absorbente hasta otro

estado
no absorbente en
dos
pasos
exactamente, N^n da
esta
misma informacin para n pasos exactamente y N^0 puede representar la probabilidad
de estar en un estado justo ahora. Puesto que esta informacin se conoce y como el
estado no puede dejarse en cero pasos, N^0 realmente es una matriz identidad
de n x n.
Si este problema se resuelve segn la probabilidad clsica, una manera de hallar
el nmero esperado de pasos antes de que el proceso sea absorbido consiste en
calcular el nmero esperado de veces en que el proceso puede estar en cada estado
no absorbente y sumarlas. Esto dara el total de pasos antes de que el proceso fuera
detenido y por consiguiente el numero esperado de pasos hacia la absorcin.
El nmero esperado de veces que el proceso pueda estar en une estado no
absorbente
j
es
la
suma
de
los
siguientes trminos:
Numero esperado de veces en j= 1x probabilidad de estar en j al comienzo + 1x
probabilidad
de
estar
en j despus de
1
paso+...
=
1N^0
+
1N^1
+....
= 1N^0
+ N^1
+N^2....
La matriz N se compone de fracciones decimales pij, donde 0<= pij <= 1. Por lo tanto,
a medida que aumenta la potencia n, N^n tiende a 0. Esta serie de matrices se
comporta como una serie de potencias, y el lmite de su suma es:
N^0 + N^1 +N^2+N^3+...=(I-N)^-1
I es una matriz identidad n x n. Esto es anlogo a la serie algebraica de potencias:
1+ x + x^2+x^3+...=1/1-x donde |x|<1

Entonces, para un estado inicial dado, la matriz (I-N)^-1 da el nmero esperado de

veces que un proceso est en cada estado no absorbente antes de la absorcin.
Ejemplo

8: Para

el

ejemplo

del

plan

de inspeccin se

tiene:

Se invierte esta matriz para obtener (I-N)^-1.

Se comienza desde el principio del proceso de inspeccin, S1; el nmero esperado de

veces en este estado es 1, en el estado 2 (1 bueno, 0 malo) es 0.9, en el estado 3 es
0.81, etc. El nmero esperado de pasos antes de la absorcin es la suma de las veces
que
el
proceso
est en
cada
estado
no
absorbente.

Estado inicial

Pasos esperados antes de la absorcin

1+0.9+0.81+0.729+0.6561=4.0951
1+0.9+0.81+0.729=3.439
1+0.9+0.81=2.71
1+0.9=1.9
1

S1
S2
S3
S4
S5

Para hallar la probabilidad de absorcin por cualquier estado absorbente dado:

Sea j el smbolo que representa un estado absorbente dado; sea i el smbolo que
representa algn estado no absorbente especfico; y sea k cualquier estado no
absorbente.
Probabilidad de terminar en j= probabilidad de ir de i hasta j en 1 paso + probabilidad
de ir de i hasta jen 2 pasos + probabilidad de ir de i hasta j en 3 pasos + ...
Probabilidad

de

ir

desde i hasta j en

paso= A.

Probabilidad de ir desde i hasta j en 2 pasos= probabilidad de ir de i hasta k en 1 paso

X probabilidad de ir desde k hasta j en 1 paso, sumada para todos los valores
de k = NA.
Probabilidad de ir desde i hasta j en 3 pasos= probabilidad de ir de i hasta k en 2 paso
X probabilidad de ir desde k hasta j en 1 paso, sumada para todos los valores de k =
(N^2)(A).
Probabilidad de ir desde i hasta j en 4 pasos= (N^3)(A).
Probabilidad de ir desde i hasta j en n pasos = (N^n-1)(A).
Ejemplo 9: Tomando el ejemplo del plan de inspeccin se tiene, calcular la
probabilidad de que el proceso pueda terminar con la aceptacin del lote como bueno
la probabilidad de que pueda terminar con el rechazo.
La probabilidad a hallar es la de ser absorbido en el estado S6 (5 partes buenas)

La probabilidad de absorcin en el estado S6 cuando el estado incial es S1 es 0.59,

por lo tanto la probabilidad de que el lote sea aceptado es 0,59. La probabilidad de que
sea rechazado es la suma de las probabilidades de absorcin por los estados de
rechazo S7, S8, S9, S10 Y S11. Por lo tanto, probabilidad de rechazo cuando se
comienza en S1= 0.1 + 0.09+ 0.08 + 0.07 +0.066 = 0.41.
Es tambin interesante determinar el numero esperado de pasos antes de que el
proceso que comienza en el estado i alcance el estado no absorbente j. Esto
es anlogo a la absorcin, por lo tanto, para determinar el nmero de pasos antes de
alcanzar por primera vez un estado especifico j, simplemente se modifica la matriz
de transicin de manera que el estado j aparezca como estado absorbente y se utiliza
el mtodo desarrollado
anteriormente.
Ejemplo 10: Usando el ejemplo del comprador de autos, se determina el numero
esperado de compras antes de que el ahora dueo de un Renault (S1) compre un
Mazda (S3). La matriz se modifica para convertir al estado S3 en un estado
absorbente:

El nmero de ocasiones antes de que el dueo de un Renault compre por primera vez
un Mazda es 2.08+1.25=3.33.