Trabajo Modelos Estocásticos, Markov

Discreto

Integrantes: Marissel Briones Vargas

Fabián Troncoso Montes
Profesor: Luis Yáñez Sandivari
Ayudante: Luckas Heydel González
Fecha de entrega: 28 de Mayo del 2020
Ejercicios
Sea ( X n) CDMD con estados I ={1,2,3,4,5,6 } y con la siguiente matriz de
transición.

a) Haga un grafo de la Cadena de Markov y determine clases de

comunicación.

Figura 1. Grafo de la primera Cadena de Markov.

Esta Cadena de Markov posee dos clases, las cuales son las siguientes:
C 1={ 1,2,3 }

C 2={4,5,6 }

b) Determine la recurrencia y periodicidad de los estados.

Cadena no irreducible

Estado 1: Transciente, aperiódico

Estado 2: Transciente, aperiódico
 Estado 3: Transciente, aperiódico
Estado 4: Recurrente positivo, periódico
Estado 5: Recurrente positivo, periódico
Estado 6: Recurrente positivo, periódico

c) Calcule P( X 5=3∨ X 3=1 , X 0=3) y Calcule P( X 11=4∨X 7 ≠1 , X 6 =2)

Nos piden calcular la probabilidad de que en un quinto movimiento el
estado sea 3, considerando de que en el movimiento 3 el estado sea 1 y
en el inicio el estado sea 3, lo que se escribe de esta manera:
F 5=F3 · P t2 , siendo Pt la matriz transpuesta .
o también F 5=F 4 · P t .

Esto expresado queda así:

Figura 2. Desarrollo del problema c.

Al ser X 3 =1 se dan dos opciones, que luego pase al estado 2 o 3 con
diferentes probabilidades, estas probabilidades luego son multiplicadas por la
matriz transpuesta, lo que da las probabilidades de llegar a cada estado en F 5
pero claramente como dice la pregunta solo nos interesa la probabilidad de que
llegue al estado 3, por lo que se dice que la probabilidad de que se llegue al
estado 3 luego de 5 movimientos, con condición de que en el tercer movimiento
el estado sea 1, es de un 72%.
Para poder calcular P( X 11=4∨X 7 ≠1 , X 6 =2) es el mismo concepto, pero se
escribe de la siguiente manera:

F 11=F 7 · Pt 4 , siendo Pt la matriz transpuesta .

Esto expresado queda de la siguiente manera:

 Figura 3. Desarrollo del problema c, parte 2.
Se parte sabiendo que X 6 =2 y X 7 ≠ 1, con esta información se sabe que en el
estado 2 que es donde partimos, puede moverse hacia dos estados, hacia el
estado 1 con un 20% de probabilidades o hacia el estado 3 con un 80% de
probabilidades, pero dado la condición del ejercicio, al séptimo movimiento se
sabe que es diferente al estado 1, por lo que por descarte si o si va hacia el
estado 3 con un 100% de probabilidades, sabiendo esto se puede aplicar la
fórmula mencionada anteriormente, ya que tenemos los valores de F 7 por lo
que tan sólo queda elevar la matriz a 4 y luego transponerla para poder obtener
los valores de F 11 como se ve en la figura 3. De los resultados solo nos interesa
la probabilidad de que X 11 =4 lo cual ya lo obtuvimos y con esto se puede decir
que la probabilidad de que al cabo de 11 movimientos el estado sea 4, con
condición de que al sexto movimiento el estado sea 2 y de que al séptimo
movimiento el estado sea diferente a 1, es de un 15,04%.
d) Si la cadena comienza en 3, calcule el número de visitas esperado para
dicho estado (contando el inicio).

e) Determine, en caso de existir, las probabilidades estacionarias de la

CDMD.

Hay estados de absorción ya que si yo comienzo en el estado 6 no hay

forma de llegar al estado 1,2,3, por lo tanto, es una cadena no
irreducible y para poder calcular las probabilidades estacionarias la
cadena debe ser irreductible y los estados deben ser recurrentes
positivos, por lo mismo solo se tomará la clase 2 para calcular las
probabilidades estacionarias.

Por lo tanto, se puede observar que D = F = E y al ser iguales la

probabilidad será de un tercio.
f) Analice cada una de estas cadenas, indicando propiedades de estados y
clases.

C1: {1,2,3}
C2: {4,5}

Es una cadena NO irreducible

Estado 1: Recurrente positivo, aperiódico

Estado 2: Recurrente positivo, aperiódico
Estado 3: Transciente, aperiódico, absorbente
Estado 4: Recurrente positivo, aperiódico, transitorio
Estado 5: Recurrente positivo, aperiódico

Cadena irreducible finita

Estado 1: Recurrente positivo, aperiódico

Estado 2: Recurrente positivo, aperiódico
Estado 3: Recurrente positivo, aperiódico
Estado 4: Recurrente positivo, aperiódico

Por lo tanto, es Ergodica

C1: {1,2}
C2: {3,4}
C3: {5}

Cadena NO irreducible

Estado 1: Recurrente positivo, aperiódico

Estado 2: Transciente, aperiódico
Estado 3: Recurrente positivo, aperiódico
Estado 4: Recurrente positivo, aperiódico
Estado 5: Transciente, aperiódico

Cadena irreducible finita

Estado 1: Recurrente positivo, periódico

Estado 2: Recurrente positivo, periódico
Estado 3: Recurrente positivo, periódico
Estado 4: Recurrente positivo, periódico