Introduccin

Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana

Introduccin
Ms Carlos Lpez de Castilla Vsquez
Universidad Nacional Agraria La Molina

2016-1

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Introduccin

Introduccin

La estadstica Bayesiana le debe su nombre al trabajo pionero

del reverendo Thomas Bayes titulado: An Essay towards solving
a Problem in the Doctrine of Chances publicado en 1764.
El artculo fue enviado a la Real Sociedad de Londres por
Richard Price en 1763 quin escribi: Yo ahora le mando un
ensayo que he encontrado entre los papeles de nuestro
fallecido amigo Thomas Bayes y el cual, en mi opinin, tiene

...
Aunque la obra de Thomas Bayes data ya de ms de dos siglos
la estadstica Bayesiana es relativamente nueva y actualmente
ostenta un gran desarrollo aunque no ajena tambin a grandes
controversias.

un gran mrito y bien merece ser preservado

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Introduccin

Introduccin

El marco terico sobre el cual se desarrolla la inferencia

Bayesiana es idntico al de la teora clsica.
Se tiene un parmetro sobre el cual se desea realizar el
proceso de inferencia y un modelo de probabilidad f (y |).
Un punto importante en la denicin clsica de inferencia es
que el parmetro es tratado como constante lo cual conduce
a ciertos problemas de interpretacin.
Sin embargo la diferencia fundamental entre la teora clsica y
la Bayesiana est en que es considerado una variable
aleatoria.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Introduccin

Introduccin

El proceso de inferencia Bayesiana se basa en f (|y ) conocida

como la distribucin posterior para el parmetro luego de
observados los datos.
Se requiere especicar una distribucin a priori f () que
representa el conocimiento que se tiene sobre antes de
observar los datos.
La distribucin a priori constituye el centro del pensamiento
Bayesiano y, dependiendo de si se es un defensor o un opositor
a esta metodologa, su principal ventaja sobre la teora clsica
o su mayor vulnerabilidad.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Teorema de Bayes

Teorema de Bayes

Sean A y B dos eventos con Pr (A) > 0, entonces:

Pr (B|A) =

Pr (A|B) Pr (B)
Pr (A)

Si se tiene k eventos B1 , , Bk , los cuales constituyen una

particin del espacio muestral :
Pr (Bi |A) =

Pr (A|Bi ) Pr (Bi )
Pr (A|Bi ) Pr (Bi )
= Pk
Pr (A)
j=1 Pr (A|Bj ) Pr (Bj )

donde Pr (A) se le conoce como

Ms Carlos Lpez de Castilla Vsquez

probabilidad total

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Teorema de Bayes

Ejemplo: Transmicin de seales

Un transmisor est enviando un mensaje mediante un cdigo

binario con seales de 0 y 1.
Cada seal transmitida debe pasar por dos relevadores antes
de llegar nalmente al receptor.
En cada relevador, la probabilidad de que la seal enviada sea
diferente de la seal recibida (inversin de la seal) es de 0,10.
Los relevadores funcionan independientemente uno de otro.
El 60 % de todas las seales enviadas desde el emisor son 1.
Si un 1 es recibido por el receptor cul es la probabilidad de
que se haya sido enviado realmente un 1?

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

Estadstica Bayesiana

Desde el punto de vista Bayesiano, el objetivo es relacionar

probabilsticamente al parmetro con los datos y .
El teorema de Bayes, denido anteriormente usando eventos,
puede presentarse en trminos de funciones de probabilidad:
f (|y ) =

f (y |) f ()
f (y )

donde f (y ) se puede obtener de la siguiente manera:

(P
f (y |) f ()
f (y ) =
f (y |) f () d

Ms Carlos Lpez de Castilla Vsquez

si es discreta
si es continua

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

Estadstica Bayesiana

La funcin f () representa lo que es conocido de antes de

observar los datos y es llamada la distribucin a priori de .
La funcin f (|y ) representa lo que se conoce de despus de
observar los datos y es llamada la distribucin posterior de
dado y .
La funcin f (y |) es la distribucin fundamental e incorpora al
modelo la informacin muestral proporcionada por los datos.
Luego de observar los datos a f (y |) tambin se le denomina
funcin de verosimilitud y se denota por l (|y1 , , yn ).

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

Estadstica Bayesiana

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

Estadstica Bayesiana

Se puede presentar f (|y ) de forma equivalente omitiendo la

distribucin marginal f (y ) ya que no depende de y puede ser
considerada como una constante:
f (|y ) f (y |) f ()

Lo que se obtiene al lado derecho se conoce como la

distribucin posterior no normalizada y constituye el ncleo de
la distribucin posterior.
El ncleo permite muchas veces determinar la distribucin
posterior sin necesidad de hallar previamente f (y ).

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

Ejemplos

Suponga que la distribucin fundamental es:

y | E ()

y que G (, ). Hallar la distribucin marginal f (y ) y la

distribucin posterior para .
Suponga que se tiene una muestra:
y1 , , yn P ()

y que la distribucin a priori para E (). Hallar la

distribucin posterior para .

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

Distribucin predictiva

La distribucin marginal de y es llamada la

predictiva a priori:

distribucin

f (y |) f () d

f (y ) =

La distribucin de los y luego de observar los datos y es

llamada la distribucin predictiva posterior:

f (
y |y ) =

f (
y , |y ) d

f (
y |) f (|y ) d

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

Ejemplos

Suponga que se tiene una muestra:

y1 , , yn B ()

y que la distribucin a priori es BE (, ). Hallar la

distribucin predictiva posterior para una nueva observacion y.
Suponga que se tiene una muestra:
y1 , , yn B ()

y que la distribucin a priori es uniforme. Hallar la distribucin

predictiva posterior para una nueva observacion y.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

La naturaleza secuencial

Suponga que una mujer cree que se encuentra embarazada

despus de un encuentro sexual pero no esta del todo segura.
Ella decide tomar una prueba de embarazo que sabe es 90 %
segura y la prueba resulta ser positiva.
Tambin se sabe que la prueba da falsos positivos el 50 % de
las veces.
Se podra considerar que sin ninguna informacin adicional la
probabilidad de concepcin es aproximadamente 15 % para un
encuentro sexual.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

La naturaleza secuencial

Usando el teorema de Bayes se obtiene que la probabilidad que

la mujer se encuentre embarazada dado que la prueba result
positiva es 0.241.
Usando la terminologa Bayesiana la probabilidad anterior es
llamada probabilidad posterior ya que es obtenida luego de
observar el resultado de la prueba.
Suponga que la mujer decide volverse a hacer la prueba de
embarazo. Se puede utilizar la probabilidad calculada en la
primera prueba como probabilidad a priori para calcular la
probabilidad posterior actualizada.

Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana

Introduccin
Teorema de Bayes
Estadstica Bayesiana

Estadstica Bayesiana
Distribucin predictiva
La naturaleza secuencial del teorema de Bayes

La naturaleza secuencial

Si la segunda prueba result positiva entonces la nueva

probabilidad posterior es 0.364.
Si el resultado anterior no es convincente para ella, puede
volver a repetir la prueba y de obtener nuevamente un
resultado positivo su probabilidad se incrementa a 0,507.
Si el proceso nuevamente se repite con el mismo resultado se
tendria: prueba 4 = 0.649, prueba 5 = 0.769, prueba 6 =
0.857, prueba 7 = 0.915, prueba 8 = 0.951, prueba 9 = 0.972
y prueba 10 = 0.984.
Este proceso de repetir la prueba y recalcular la probabilidad
de inters es el proceso bsico en la estadstica Bayesiana.
Ms Carlos Lpez de Castilla Vsquez

Estadstica Bayesiana