Razonamiento con Incertidumbre

L. Enrique Sucar
ITESM Cuernavaca

Sesin 2: Teora de Probabilidad

Considero que la probabilidad representa
el estado de la mente con respecto a una
afirmacin, evento u otra cosa para las que
no existe conocimiento absoluto
[August De Morgan, 1838]
 Conceptos de Probabilidad
Interpretaciones
Definicin y axiomas
Probabilidad condicional
Teorema de Bayes
Independencia e independencia condicional
Variables aleatorias y distribuciones bsicas
Teora de informacin
Incertidumbre, E. Sucar: 2 2
Probabilidad
Qu es probabilidad?
Interpretaciones
Definicin matemtica

Incertidumbre, E. Sucar: 2 3
Probabilidad
 Interpretaciones
Clsica eventos equiprobables
Lgica medida de grado de creencia
racional (inferencia respecto a evidencia)
Subjetiva medida del grado de creencia
personal (factor de apuesta)
Frecuencia medida del nmero de
ocurrencias con muchas repeticiones
Propensin medida del nmero de
ocurrencias bajo condiciones repetibles
Incertidumbre, E. Sucar: 2 4
Probabilidad
 Interpretaciones
Dos principales enfoques:
Objetiva (clsica, frecuencia, propensin)
las probabilidades existen y se pueden
medir en el mundo real
Epistemolgica (lgica, subjetiva) las
probabilidades tienen que ver con el
conocimiento humano, medida de creencia

Incertidumbre, E. Sucar: 2 5
Probabilidad
 Definicin
Dado un experimento E y el espacio de
muestreo S, a cada evento A le asociamos
un nmero real P(A), el cual es la
probabilidad de A y satisface los siguientes
axiomas

A
Incertidumbre, E. Sucar: 2 6
Probabilidad
 Axiomas
0 P(A) 1
P(S) = 1
P(A B) = P(A) + P(B),
A y B mutuamente exclusivas

Incertidumbre, E. Sucar: 2 7
Probabilidad
 Justificaciones de Probabilidad
Argumento del libro holands
Deduccin de Cox

Incertidumbre, E. Sucar: 2 8
Probabilidad
 Teoremas
P (0) = 0
P (A) = 1 P(A)
P(A B) = P(A) + P(B) P(A B)

Incertidumbre, E. Sucar: 2 9
Probabilidad
 Probabilidad Condicional
P(A | B) = P(A B) / P(B)

Probabilidad de que ocurra un evento dado

que ocurri otro:
Dado que el dado cay par, cul es probabilidad
de que sea un nmero primo?
Dado que tiene catarro, cul es la probabilidad
de que tenga gripe?
Incertidumbre, E. Sucar: 2 10
Probabilidad
 Regla de Bayes
De la definicin de probabilidad condicional
se puede deducir:
P(B | A) = P(B) P(A | B) / P(A), dado P(A) > 0
Esto permite invertir las probabilidades,
por ejemplo obtener la P de una enfermedad
dado un sntoma, con conocimiento de la P
de los sntomas dado que alguien tiene cierta
enfermedad
Incertidumbre, E. Sucar: 2 11
Probabilidad
 Probabilidad Total
Dada una particin, B, de S, la probabilidad
de un evento A se puede obtener como:
P(A) = i P(A | Bi ) P(Bi)

B1 B3 B4

B2 A
B5
Incertidumbre, E. Sucar: 2 12
Probabilidad
 Teorema de Bayes
Con la definicin de probabilidad total, el
teorema de Bayes se puede escribir como:

P(B | A) = P(B) P(A | B) / i P(A | Bi ) P(Bi)

Incertidumbre, E. Sucar: 2 13
Probabilidad
 Eventos independientes
Dos eventos son independientes si la
ocurrencia de uno no altera la probabilidad
de ocurrencia del otro:
P(A | B) = P(A)
P(B | A) = P(B)
Lo que es equivalente a:
P(A B) = P(A) P(B)
Independientes mutuamente exclusivos
Incertidumbre, E. Sucar: 2 14
Probabilidad
 Independencia condicional
A es condicionalmente independiente de B
dado C, si el conocer C hace que A y B sean
independientes:
P(A | B,C) = P(A | C)
Ejemplo:
A regar el jardn
B prediccin del clima
C - lluvia
Incertidumbre, E. Sucar: 2 15
Probabilidad
 Regla de la Cadena
De la definicin de probabilidad condicional,
se puede evaluar la probabilidad de
A1 A2 A3 ... AN (probabilidad
conjunta) como:

P(A1, A2, ..., AN ) =

P(A1 | A2, ..., AN ) P(A2 | A3, ..., AN ) ... P(AN )
Incertidumbre, E. Sucar: 2 16
Probabilidad
 Variables Aleatorias
A cada evento A se le asigna un valor
numrico X(A) = k, de forma que a cada
valor le corresponde una probabilidad
P(X = k)
X es una variable aleatoria
Ejemplos:
X = Nmero de guilas en N lanzamientos
Y = Nmero del dado al lanzarlo
Z = Nmero de fallas antes de darle a un blanco
Incertidumbre, E. Sucar: 2 17
Probabilidad
 Tipos de Variables Aleatorias
Discretas: el nmero de valores de X
(rango) es finito o contablemente finito
Continua: puede asumir todos los posibles
valores en cierto intervalo a b , ejemplos:
X = temperatura ambiente
Y = tiempo en el que falle cierto dispositivo
Z = distancia del robot a la pared

Incertidumbre, E. Sucar: 2 18
Probabilidad
 Distribucin de probabilidad
Variables discretas: p(X):
p(X) 0
p(X) = 1
Variables continuas: f(x):
f(x) 0
f(x) = 1
Incertidumbre, E. Sucar: 2 19
Probabilidad
 Funcin acumulativa
Probabilidad de que la variable X tome un valor
menor a x
Discretas: P(X) = x p(X)
Continuas: F(X) = x f(X)
Propiedades:
0 F(X) 1
F(X1) F(X2) , si X1 X2
F(-) = 0
F(+) = 1
Incertidumbre, E. Sucar: 2 20
Probabilidad
 Estadsticas
Moda: valor de mayor probabilidad
Mediana: valor medio (divide el rea en 2)
Promedio: valor esperado:
E(X) = x X p(X)
Varianza: dispersin
2(X) = x (X E(X))2 p(X)
Desviacin estandar
(X) = 2
Incertidumbre, E. Sucar: 2 21
Probabilidad
 Variables aleatorias en 2-D
X y Y son dos funciones que asignan nmeros reales
a los eventos en S, entonces (X, Y) es una variable
aleatoria en dos dimensiones
Propiedades
p(X,Y) 0
p(X,Y) = 1
Ejemplos:
Nmero de artculos terminados en dos lneas de
produccin
Nmero de pacientes con cncer y nmero que fuma
Incertidumbre, E. Sucar: 2 22
Probabilidad
Probabilidad conjunta, marginal,
y condicional
Probabilidad conjunta:
p(X,Y)
Probabilidad marginal:
p(X) = Y p(X,Y)
Probabilidad condicional:
p(X | Y) = p(X,Y) / p(Y)
Incertidumbre, E. Sucar: 2 23
Probabilidad
 Independencia y Correlacin
Dos variables aleatorias son independientes si su
probabilidad conjunta es el producto de las
marginales:
p(X,Y) = p(X) p(Y)
Correlacin: grado de relacin lineal entre dos
variables aleatorias (diferente independencia):
(X,Y) = E{[(X E(X)][Y E(Y)]}/ x Y,,
[-1, 1]
Incertidumbre, E. Sucar: 2 24
Probabilidad
 Distribuciones bsicas
Uniforme
Binomial
Gaussiana o normal

Histograma de una variable aleatoria

Incertidumbre, E. Sucar: 2 25
Probabilidad
 Uniforme
Todos los valores en el rango son
equiprobables

Incertidumbre, E. Sucar: 2 26
Probabilidad
 Binomial
X es el nmero de valores verdaderos en N
repeticiones de un proceso de Bernoulli con
probabilidad P de verdadero (xito)
P(X=k) = (n k) pk (1-p)n-k

Incertidumbre, E. Sucar: 2 27
Probabilidad
 Gaussiana
Aproximacin a la binomial con p=0.5 y N
muy grande (corresponde a la suma de
muchas variables aleatorias independientes)
f(x) = 1/(2)1/2 exp[-1/2 ((x-)/)2 ]

Incertidumbre, E. Sucar: 2 28
Probabilidad
 Histograma
Muestra el nmero de datos por intervalo en
forma absoluta o relativa

Incertidumbre, E. Sucar: 2 29
Probabilidad
 Referencias
[Neapolitan] Cap. 2
[Notas] Appendix Mathematical
Foundations
[Notas] Rice Mathematical Statistics
(gua ilustrada)
Libros bsicos de probabilidad, por ej.:
Meyer, Introductory Probability and Statistical
Applications
Waserman, All of statistics
Incertidumbre, E. Sucar: 2 30
Probabilidad
 Actividades
Leer captulo 1 de Pearl y 2 de Neapolitan
Hacer ejercicios de probabilidad en la
pgina del curso (no entregar)
Obtener licencia de MatLab (informtica) y
leer el tutorial en la pgina

Incertidumbre, E. Sucar: 2 31
Probabilidad