Taller No.

1 tercer corte

1.
2.
3.
4.
5.

Que es una cadena de markov?

Tipos de cadenas de markov
Caractersticas de cadenas de markov
Estados de una cadena de markov
Carateristicas de cada estado
Solucin

1. Una cadena de Markov es una sucesin de ensayos similares u

observaciones en la cual cada ensayo tiene el mismo nmero finito de
resultados posibles y en donde la probabilidad de cada resultado para un
ensayo dado depende slo del resultado del ensayo inmediatamente
precedente y no de cualquier resultado previo.
2.

Cadenas irreducibles
Cadenas positivo-recurrentes
Cadenas regulares
Cadenas absorbentes
Cadenas de Mrkov en tiempo continuo

3.
a. Cadenas irreducibles
Una cadena de Mrkov se dice irreducible si se cumple cualquiera de las
siguientes condiciones (equivalentes entre s):
1.

Desde cualquier estado de E se puede acceder a cualquier otro.

2.

Todos los estados se comunican entre s.

3.

C(x)=E para algn xE.

4.

C(x)=E para todo xE.

5.

El nico conjunto cerrado es el total.

La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son

ejemplos de cadenas de Mrkov irreducibles.

b. Cadenas positivo-recurrentes
Una cadena de Mrkov se dice positivo-recurrente si todos sus estados son
positivo-recurrentes. Si la cadena es adems irreducible es posible demostrar
que existe un nico vector de probabilidad invariante y est dado por:

c. Cadenas regulares
Una cadena de Mrkov se dice regular (tambin primitiva o ergdica) si existe
alguna potencia positiva de la matriz de transicin cuyas entradas sean todas
estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transicin de
la cadena se tiene que:

donde W es una matriz con todos

sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el

vector de probabilidad invariante de la cadena. En el caso de cadenas
regulares, ste vector invariante es nico.

d. Cadenas absorbentes
Una cadena de Mrkov con espacio de estados finito se dice absorbente si se
cumplen las dos condiciones siguientes:
1.

La cadena tiene al menos un estado absorbente.

2.

De cualquier estado no absorbente se accede a algn estado

absorbente.

Si denotamos como A al conjunto de todos los estados absorbentes y a su

complemento como D, tenemos los siguientes resultados:

Su matriz de transicin siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del

conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna
submatriz.

Esto es, no importa en donde se encuentre

la cadena, eventualmente terminar en un estado absorbente.

e. Cadenas de Mrkov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado
en el conjunto

de nmeros naturales, se consideran las variables

aleatorias Xt con t que vara en un intervalo continuo del conjunto

de

nmeros reales, tendremos una cadena en tiempo continuo. Para este tipo de
cadenas en tiempo continuo la propiedad de Mrkovse expresa de la siguiente
manera:

Para una cadena de Mrkov continua con un nmero finito de estados puede
definirse

una

matriz

estocstica

dada

La cadena se denomina homognea si

por:

. Para una

cadena de Mrkov en tiempo continuo homognea y con un nmero finito de

estados puede definirse el llamado generador infinitesimal como:

Y puede demostrarse que la matriz estocstica viene dada por:

4.