Beruflich Dokumente
Kultur Dokumente
TEMA 3
Introduccin a las cadenas de Markov de primer orden
1. Definicin de cadenas de Markov 2. Tipos de estados y de cadenas de Markov. Propiedades 3. Comportamiento a largo plazo de cadenas de Markov. Aplicaciones 4. Comportamiento a corto plazo de cadenas de Markov. Tiempos y probabilidades del primer paso 5. El caso particular de las cadenas absorbentes. Aplicaciones 6. Estudio de casos reales de aplicacin. Los procesos de markov en los anlisis coste-efectividad
Beatriz Gonzalez Lopez-Valcarcel
Introduccin
Las cadenas de markov son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas para decidir poltica de mantenimiento; evolucin de una enfermedad,
Una Cadena de Markov (CM) es: Un proceso estocstico Con un nmero finito de estados (M) Con probabilidades de transicin estacionarias Que tiene la propiedad markoviana
Proceso estocstico:
Es un conjunto o sucesin de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad. Normalmente el ndice t representa un tiempo y X(t) el estado del proceso estocstico en el instante t. El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si el proceso es de tiempo discreto, usamos enteros para representar el ndice: {X1, X2, ...}
1. Serie mensual de ventas de un producto 2. Estado de una mquina al final de cada semana (funciona/averiada) 3. N de clientes esperando en una cola cada 30 segundos 4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se supone que existen 7 marcas diferentes 5. N de unidades en almacn al finalizar la semana
Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad) Ciclo de markov (paso) : periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes) Probabilidades de transicin entre estados, en un ciclo (matriz P) Distribucin inicial del sistema entre los M estados posibles
PROPIEDAD MARKOVIANA
Un proceso estocstico tiene la propiedad markoviana si las probabilidades de transicin en un paso slo dependen del estado del sistema en el perodo anterior (memoria limitada)
PROPIEDAD MARKOVIANA
PROPIEDAD MARKOVIANA
PROPIEDAD MARKOVIANA
LAS CADENAS DE MARKOV SON UN CASO PARTICULAR DE MODELOS DE MARKOV Tipos de modelos de Markov: Procesos de Markov (Modelos semimarkovianos): Las probabilidades de transicin entre estados pueden variar a medida que transcurren ms ciclos
Ejemplo: para modelizar la esperanza de vida, el riesgo de muerte aumenta con la edad
Cadenas de Markov: Las probabilidades de transicin se suponen constantes a lo largo del tiempo
1
Ejemplos:
PROPIEDAD MARKOVIANA
Comportamiento (sube/baja) del precio de las acciones hoy depende de lo ocurrido ayer
Ejercicio 1: Tres agencias de viaje disponen de informacin respecto de los desplazamientos en vacaciones de semana santa. 1 Estado futuro n=1 Estado actual n=0 No viajar V. entre islas V. fuera
No viajar
V. entre islas V. fuera
40
50 10
20
10 70
40
40 20
a) Supuestos necesarios para considerar esta situacin como cadena de Markov de primer orden b) Calcular la probabilidad de que los clientes que no han viajado estas vacaciones lo hagan fuera de las islas dentro de 2 aos.
Ejercicio 2: La carrera de diplomado en CCEE tiene 3 cursos. A partir de los datos facilitados por el decanato del centro se sabe que el 35% y el 26% de los alumnos de primero y segundo abandonarn los estudios. El 28% de los alumnos de primero repiten curso, siendo este porcentaje del 20% y 30% para los alumnos de segundo y tercero respectivamente.
1
EJEMPLO 1: EL REPARTO DEL MERCADO A LARGO PLAZO EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo (mismo conjunto homogneo en la orden de precios de referencia). Hoy sus cuotas de mercado son 30%, 20% y 50% respectivamente
Ciclo: Mes
EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS PACIENTES CON VLVULA CARDIACA SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIEN
CON SECUELAS
MUERTO
Ciclo=mes Utilidades = Nivel salud Distribucin inicial de la cohorte (N=10.000): todos bien
EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS PACIENTES CON VLVULA CARDIACA SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIEN
CON SECUELAS
MUERTO
Ciclo=mes Utilidades = Nivel salud Distribucin inicial de la cohorte (N=10.000): todos bien
EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS PACIENTES CON VLVULA CARDIACA SOMETIDOS A TRATAMIENTO ANTICOAGULANTE 0.6 BIEN 0.2 0.6 CON SECUELAS
0.2
MUERTO
Ciclo=mes Utilidades = Nivel salud Distribucin inicial de la cohorte (N=10.000): todos bien
1
EJEMPLO 1: EL REPARTO DEL MERCADO A LARGO PLAZO EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo (mismo conjunto homogneo en la orden de precios de referencia). Hoy sus cuotas de mercado son 30%, 20% y 50% respectivamente
1
EJEMPLO 1: EL REPARTO DEL MERCADO A LARGO PLAZO EN UN OLIGOPOLIO
Este es un ejemplo de cadena de Markov irreductible y ergdica. Todos los estados son recurrentes y estn comunicados entre s, formando una sola clase.Hay solucin de estado estable (reparto del mercado a largo plazo, independiente de la situacin inicial) 1 mes.....P1= [0.3350 0.2540 0.4110] 2 meses ....p2 =[ 0.3595 0.2911 0.3494] 6 meses ...... p6 =[ 0.4030 0.3543 0.2427] 1 ao ....... p12 = [ 0.4150 0.3704 0.2146] 2 aos ...... p24 =[ 0.4165 0.3722 0.2113]
0.3722 0.21131]
5 estados (1 transitorio, 4 recurrentes) Ciclo= un ao Distribucin inicial de la cohorte (N=1.340): (0.58 0.28 0.05 0.03 0.06)
Para clasificar los estados y las CM tenemos que definir algunos conceptos: Tiempos del primer paso y de recurrencia Accesibilidad y comunicacin entre estados
Tiempos del primer paso/recurrencia (Corto plazo) 2 Con lo visto hasta el momento podemos calcular la probabilidad, dado que el proceso se encuentra en el estado i, de que el proceso se encuentre en el estado j despus de n periodos Pij(n).
2 EJEMPLO: Un vendedor de cmaras fotogrficas lleva acabo la siguiente poltica de inventario. Mantiene durante la semana de trabajo hasta un mximo de 3 cmaras en el almacn para su venta. Si al final de la semana le quedan en el almacn alguna cmara entonces no pide ninguna al fabricante. De partida en el almacn hay 3 cmaras (x0=3). a) Comenta el contenido de la matriz de transicin P facilitada por el comercio. b) Sabiendo que hay dos cmaras al final de la primera semana (x1=2), (x2=1), (x3=0), (x4=3) y (x5=1). Obtener el tiempo de primera pasada para ir del estado 3 al 1, y el tiempo de recurrencia del estado 3.
2 En general podemos considerar a los tiempos de primera pasada como variables aleatorias, por tanto con una distribucin de probabilidad asociada a ellos. Dichas distribuciones de probabilidad dependern de las probabilidades de transicin del proceso.
2 Como generalmente es bastante engorroso calcular las fij(n) para todas las n, se suele optar por obtener el tiempo esperado de primera pasada del estado i al estado j
2 Podemos considerar fij(n) para (n=1,2,..) como la funcin de probabilidad de la variable aleatoria tiempo de primera pasada
(n)
(n)
Una vez que el proceso se encuentra en el estado i existe una prob.>0 de no regresar
0 1 2 3 4
Comportamiento a largo plazo de las Cadenas de Markov: el caso de las cadenas absorbentes
CM absorbente:
Tiene al menos un estado absorbente Desde cualquier estado no absorbente se puede acceder a algn estado absorbente
Comportamiento a largo plazo de las Cadenas de Markov: el caso de las cadenas absorbentes
EJEMPLO 1: LA EVOLUCIN CLNICA DE LOS PACIENTES CON VLVULA CARDIACA SOMETIDOS A TRATAMIENTO ANTICOAGULANTE Complicando el modelo para hacerlo ms realista BIEN CON SECUELAS
MUERTO
EJEMPLO 1: LA EVOLUCIN CLNICA DE LOS PACIENTES CON VLVULA CARDIACA SOMETIDOS A TRATAMIENTO ANTICOAGULANTE Complicando el modelo para hacerlo ms realista BIEN
ACCIDENTE CEREBRAL VASCULAR
CON SECUELAS
MUERTO
Estado transitorio ACV: para un suceso que tiene solo efectos a corto plazo Dos usos: 1) 2) Incorporar un valor especfico de la utilidad (o coste) Asignar temporalmente diferentes probabilidades de transicin
Esta limitacin generalmente puede resolverse definiendo Ingredientes de una cadena de markov: para estados distintos Conjunto de K estados exhaustivos y mutuamente excluyentes pacientes con distintos definen las posibles situaciones (ej. antecedentes Bien-discapacitado-muerto) Ciclo: periodo de tiempo en el que ocurren transiciones entre estados (ej: un mes) Probabilidades de transicin entre estados en un ciclo
Se suponen constantes en el tiempo, e
CONCEPTOS BSICOS
idnticas para
Software y bibliografa
Usaremos QSB Un excelente texto para este tema es el de Hillier y Lieberman (est referenciado en el programa)