REPBLICA BOLIVARIANA DE VENEZUELA

MINISTERIO DEL PODER POPULAR PARA LA EDUCACIN

SUPERIOR
INSTITUTO UNIVERSITARIO DE TECNOLOGIA INDUSTRIAL
RODOLFO LOERO ARISMENDI
EXTENSION CUMAN

PROCESOS MARKOVIANOS

Realizado por:
Eliseo Parra
C.I. 19.538.478
Cumana, julio de 2013

INTRODUCCION
En las ltimas dcadas, los modelos matemticos de
toma de decisiones han experimentado una serie de
cambios y transformaciones profundas. Estos cambios han
abierto nuevos paradigmas que resaltan la exposicin de
los agentes a diferentes tipos de riesgos.
Esto, por supuesto, es una necesidad irremisible para
modelar apropiadamente la realidad contingente y no slo
una sofisticacin ms en el tratamiento matemtico. En
este sentido, los procesos markovianos permiten una mejor
comprensin de qu hacen y por qu lo hacen los agentes
al

tomar

decisiones

en

ambientes

de

riesgo

incertidumbre.
En este contexto, los procesos markovianos ocupan un
lugar privilegiado, ya sea por sus bondades tcnicas en el
modelado del proceso de toma de decisiones o bien por su
potencial riqueza en diversas aplicaciones.

LOS PROCESOS MARKOVIANOS

Es un proceso estocstico con un nmero finitos de
estados

(M)

con

probabilidades

de

transicin

estacionaria que tiene la propiedad Markoviana. Entindase

por un proceso estocstico como un conjunto o sucesin de

{ X ( t)CG }

variables aleatorias

definidas en un mismo

espacio de probabilidad.
Normalmente el ndice
X (t )

representa un tiempo

el estado del proceso estocstico en el instante

y
t

Este proceso puede ser de tiempo discreto o continuo si G

es discreto o continuo.
PRINCIPIO DE MARKOV
Cuando

una

probabilidad

condicional

depende

nicamente

del

suceso

inmediatamente

anterior,

cumple con el Principio de Markov de Primer Orden, es

decir:
X ( t +1= j| X ( t ) =i ) = p
P ( X ( t+1 ) = j X ( 0 )=K 0 , X ( 1 )=K 1, . , X ( t )=i )=P

PROPIEDADES DE LAS CADENAS DE MARKOV

1. Las probabilidades de estados deben ser igual a uno, es decir:
S 1 ( t ) +S 2 (t ) + S3 ( t ) + ,+ S n ( t )=1

para n estados.

2. Para cada fila de matriz

se cumple:

Pi 1+ Pi 2 + ,+ P =1

para

todo i=1,2, , n3
3. Las transiciones de un perodo al siguiente se obtienen de la
t
siguiente ecuacin: S ( t )=S (t1) P por lo tanto S ( t )=S ( 0 ) P .

4. S ( t+1 )=S (t)

para t K , Entonces se dice que el sistema

se estabiliza o que los estados son estacionarios o

estables. Esto implica que

S=S . P

, es decir. El vector

de estado estacionario sigue siendo igual despus de

la transicin t .

CARACTERSTICAS DE LOS PROCESOS DE MARKOV DE

PRIMER ORDEN
Se pueden usar como modelo de un proceso fsico
econmico que tenga las siguientes propiedades:
a) Que la probabilidad cumpla con el principio de Markov.
b) Existencia de un nmero finito de estados.
c) Las Pij son constante con respecto al tiempo perodo.
d) Ensayos en perodos iguales.
Si un suceso depende de otro adems del inmediatamente
anterior, este es un proceso de Markov de mayor orden.
ELEMENTOS DE LOS PROCESOS DE MARKOV
a) Estados: Las condiciones en las cuales se encuentra un
ente o sucesos posibles.
b) Ensayos: Las ocurrencias repetidas de un evento que se
estudia.

c) Probabilidad de Transicin: La probabilidad de pasar

de un estado actual al siguiente en un perodo tiempo,
y se denota por
i

al estado

Pij

( la probabilidad de pasar del estado

en una transicin perodo)

ALGORITMOS DE MARKOV
Uno de los ms reciente procedimientos para abordar
la resolucin de problemas fue propuesto por matemtico
ruso A. A. Markov en los primeros aos de la dcada de los
50 con lo que l llamaba algoritmos normales, y que
nosotros llamaremos algoritmo de Markov. El tipo general
de problema de Markov atac es el de la transformacin de
A

cadenas de smbolos: dada una sucesin

, transformarla

en una sucesin B de un modo mecnico. Este problema es

una abstraccin de muchos de nuestros problemas ms
comunes. Por ejemplo, el problema de sumar dos nmeros
a y b puede considerarse como el problema de transformar
la sucesin
suma

de a

informacin

a+b

en una sucesin " c " que representa la

b

puede

El

problema

pensarse

como

de
el

adquisicin

de

problema

de

transformar sucesiones que representen lo requerido y el

conjunto de documentos, en sucesiones que representen

los documentos que satisface lo requerido.
Al transformar una sucesin, no necesitaremos, en
general, operar sobre toda la sucesin (que puede ser
arbitrariamente larga) de una vez, sino slo sobre una
pequea parte contigua de ella. Supondremos pues que el
dispositivo que tiene que utilizar estos algoritmos es capaz
de reconocer las apariciones de una sucesin dada dentro
de una sucesin dada. Estas apariciones pueden ser varias
y, en realidad, puede ser que incluso se traslapen. Si
deseamos distinguir de una aparicin particular de un
subanillo, podemos marcarla con asteriscos.
Ejemplo.
ratatattat contiene tres apariciones de la

La palabra
sucesin

tat,

saber

ra*tat*attat,

rata*tat*tat,

ratatat*tat*. De estas apariciones, las dos primeras tienen

un traslape de una letra.
ANLISIS PERSONAL
Los autores hacen nfasis en el uso de la cadena de
Markov

como

determinar

la

herramienta
ocurrencia

estadstica
de

un

que

evento

permite

futuro

en

dependencia de la ocurrencia del evento inmediatamente

anterior, y tiene como bondades que permite encontrar la
probabilidad de que un sistema se encuentre en un estado
particular en un momento dado y ms importante an, el
promedio a la larga o las probabilidades de estado estable

para cada estado analizado, prediciendo el comportamiento

del sistema a travs del tiempo.
Dicha herramienta de anlisis a pesar de haber surgido
a principios del siglo pasado es una tcnica novedosa, de
gran utilidad y rigor cientfico que sirve tanto para
economistas, socilogos, fsicos, y otros investigadores que
analicen un proceso dado bajo ciertas circunstancias
probabilsticas.

CONCLUSIN
Un proceso de decisin markoviano (MDP) es un
problema de aprendizaje de refuerzo que cumple la
propiedad markoviana, es decir, que el estado futuro del
proceso es independiente de los estados pasados y
solamente depende del estado presente. Viene definido por
un conjunto de estados, un conjunto de acciones posibles,
un modelo del entorno (opcional) y una funcin de

recompensas, que sirve como medio de interaccin entre el

entorno y el agente.
El agente o tomador de decisiones puede influenciar el
estado del sistema realizando una secuencia de acciones
que logran que el sistema optimice su desempeo de
acuerdo a algn criterio. El agente observa el estado del
sistema en momentos especficos y rene la informacin
necesaria

para

tomar

acciones,

donde

cada

accin

realizada por el agente tiene un costo o una recompensa.

Las acciones afectan el estado del sistema e influyen
entonces en decisiones futuras.
En conclusin, al realizar una accin, el agente incurre
en un costo inmediato y el sistema cambia de estado de
acuerdo a una distribucin de probabilidades de transicin
entre estados. El costo inmediato depende del estado y de
la accin seleccionada.

REFERENCIAS BIBLIOGRAFICAS
1. Procesos de Markov http://bit.ly/12HvetB
2. Belaustegui, Carlos. Cadenas de Markov y Teoria de
3.

Colas. http://bit.ly/11UmRRy
Delgado, Maira. Procesos de Decisin Markovianos
http://bit.ly/15Dfz1A