4o Ingeniera de Telecomunicacion

Binaria
Tema 2: Deteccion
I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Indice

Introduccion

Neyman-Pearson

Min Pe

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Ideas Generales

Detectar o clasificar forma parte de multitud de

problemas/aplicaciones:
1
2
3

Radar: El eco recibido indica la presencia de un avion?

Biomedicina: El tumor es benigno o maligno?

Toma de decisiones: Le concedemos el credito?

como problemas de tratamiento estadstico de

Formulacion

es la probabilidad de mis observaciones x dadas

senales:
Cual

cada una de las hipotesis

= VEROSIMILITUD
Consideraremos dos tipos de problemas
binaria Test de hipotesis

Deteccion
binario: H0 vs. H1
Test de hipotesis

Clasificacion
multiple:
elegir una entre varias

(H1 ,. . . ,HM )

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

El problema de deteccion

Definimos dos sucesos o hipotesis:

H1 = { El evento que deseamos detectar ha sucedido }
H0 = { El evento no ha sucedido }

y H0 hipotesis

A veces a H1 se conoce como hipotesis

de senal
de ruido
Dado un test cualquiera, denotamos P (Hi |Hj ) como la
probabilidad de decidir Hi supuesto (condicionado) que ha
sucedido Hj
las siguientes cantidades
Son de interes
1
2
3

Pd = P (H1 |H1 )
Probabilidad de deteccion:
Probabilidad de falsa alarma: Pf a = P (H1 |H0 )
Probabilidad de error: Pe = P (H0 |H1 )P (H1 ) + P (H1 |H0 )P (H0 )

del problema nos interesara optimizar alguna de ellas

En funcion

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Criterios de deteccion
Criterio de Neyman-Pearson
maximizar Pd sujeto a Pf a =
Lo empleamos cuando la probabilidades a priori P (H1 ), P (H0 )

son desconocidas, o cuando P (H1 ) es muy pequena

Criterio de mnima probabilidad de error:

minimizar Pe
Tenemos que conocer las probabilidades a priori

LOS DOS CRITERIOS CONDUCEN AL MISMO TEST

COCIENTE DE VEROSIMILITUDES :

f (x|H1 ) H1

f (x|H0 ) H0

el umbral, , depende del criterio !!

Solo
Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Indice

Introduccion

Neyman-Pearson

Min Pe

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Neyman-Pearson
x que
Supongamos que disponemos de una unica
observacion

bajo H1 esta distribuida como f (x|H1 ) y bajo H0 como f (x|H0 )

un testTque decide HS
Consideramos tambien
1 cuando x R1 y
decide H0 cuando x R0 (R0 R1 = y R0 R1 = R)
El criterio de Neyman-Pearson es
maximizar Pd sujeto a Pf a =
es:
La probabilidad de deteccion
Z
Pd =
f (x|H1 )dx
R1

Entonces
Z
1 Pd = 1
R1
Binaria
Tema 2: Deteccion

Z
f (x|H1 )dx =

f (x|H1 )dx
R0
I. Santamara


Introduccion

Neyman-Pearson

Min Pe

aplicamos el metodo

Para resolver el problema de optimizacion

de los multiplicadores de Lagrange
minimizar J = (1 Pd ) + (Pf a )
donde > 0 es el multiplicador de Lagrange
a minimizar la podemos escribir como
La funcion
Z

Z
J=

f (x|H0 )dx =


Z
f (x|H1 )dx + 1
f (x|H0 )dx

f (x|H1 )dx +
R0

R1

Z
=
R0

R0

Agrupando las dos integrales tenemos que hay que minimizar

Z
J = (1 ) +
(f (x|H1 ) f (x|H0 )) dx
R0

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Para minimizar J es necesario, por tanto, hacer la integral

Z
(f (x|H1 ) f (x|H0 )) dx
R0

negativa posible
lo mas
que cumpla: f (x|H0 ) > f (x|H1 )
Elegiremos H0 en la region
f (x|H0 ) < f (x|H1 )
Y H1 en la region:
Neyman-Pearson
f (x|H1 ) H1

f (x|H0 ) H0
Y el umbral se elige para que se cumpla
Z
Pf a =
f (x|H0 )dx =
R1

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Ejemplo I

Consideramos el siguiente test binario de hipotesis

H1 :
H0 :

x = A + r,
x = r.

A > 0 es una constante determinista y r N (0, 2 )

de acuerdo al criterio
Problema: encontrar el test de deteccion
de Neyman-Pearson para una Pf a =

Lo primero que debemos preguntarnos es: Como

bajo ambas hipotesis?

esta distribuida la observacion

f (x|Hi )?

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

f (x|H0 ) =
f (x|H1 ) =

Min Pe

1
x2
exp 2
2
2

1
(x A)2
exp
2 2
2

Calculamos el cociente de verosimilitudes

2

exp (xA)
f (x|H1 )
1
2 2
=
= exp 2 A2 2Ax
2
x
f (x|H0 )
2
exp 22
es
Por lo tanto, el test de deteccion
exp

H1
1
A2 2Ax
2
2
H0

monotona

Tomando logaritmos neperianos (ln(x) es una funcion

creciente)

H1
1
2 A2 2Ax ln()
2
H0
Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Definiendo =

A
2

2 2 ln()
,
A

Min Pe

queda
el test de deteccion

Test de deteccion
H1

x
H0

Para terminar de resolver el problema bajo el criterio de

Neyman-Pearson hay que encontrar el umbral para una
Pf a =

f ( x | H1 )

f ( x | H0 )

0
Binaria
Tema 2: Deteccion

A
I. Santamara


Introduccion

Neyman-Pearson

Min Pe

La probabilidad de falsa alarma es

Z
Z
x2
1

exp 2 =
Pf a =
f (x|H0 )dx =
2
2
R1

Q(x)
Podemos expresarla en terminos
de la funcion
 

Pf a = Q
= = = Q1 ()

Por ejemplo, si = 1e 3 Q(0.001) = 3.1

= 3.1

En Matlab: Q1 (x) = 2 erf inv(1 2 )

es
La probabilidad de deteccion


A
Pd = Q

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Indice

Introduccion

Neyman-Pearson

Min Pe

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Min Pe
Si conocemos las probabilidades a priori podemos calcular la
probabilidad de error
Pe = P (H0 |H1 )P (H1 ) + P (H1 |H0 )P (H0 )

Conocidas las verosimilitudes, para un test cualquiera la funcion

a minimizar resulta
Z
Z
Pe = P (H1 )
f (x|H1 )dx + P (H0 )
f (x|H0 )dx =
R0
R1
Z
= P (H1 ) +
(P (H0 )f (x|H0 ) P (H1 )f (x|H1 )) dx
R1

Decidimos H1 cuando
P (H0 )f (x|H0 ) P (H1 )f (x|H1 ) < 0
En caso contrario decidimos H1
Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Min Pe
f (x|H1 ) H1 P (H0 )

f (x|H0 ) H0 P (H1 )
El test vuelve a ser el mismo que con Neyman-Pearson
(cociente de verosimilitudes), pero el umbral viene ahora dado
por el cociente de probabilidades de a priori
podemos reescribirlo como:
El test de deteccion
P (H1 )f (x|H1 ) H1 P (H0 )f (x|H0 )

f (x)
f (x)
H0
que es equivalente a
H1

P (H1 |x) P (H0 |x)

H0

Eligimos la hipotesis
cuya probabilidad a posteriori es maxima:

Maximo
a Posteriori o MAP = Min Pe
Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Ejemplo II

Consideramos el siguiente test binario de hipotesis

H1 :
H0 :

x[n] = A + r[n],
x[n] = r[n],

n = 0, , N 1,
n = 0, , N 1,

A > 0 es una constante determinista

N (0, 2 )
r[n] es un ruido AWGN con distribucion
P (H1 ) = P (H0 ) = 1/2
de acuerdo al criterio
Problema: encontrar el test de deteccion
de Min Pe
Nuevamente, lo primero que debemos calcular son las
verosimilitudes f (x|H1 ), donde en este caso x es un vector que
T
agrupa las N observaciones: x = (x[0], . . . , x[N 1])

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

El ruido es blanco (v.a. independientes), por lo tanto la

verosimilitud bajo H0 viene dada por
f (x|H0 ) =

N
1
Y

f (x[n]|H0 ) =

n=0

N
1
Y

x[n]2
1
exp
=
2 2
2
n=0
PN 1
2
1
n=0 x[n]
=

N exp
2 2
2

De igual manera la verosimilitud bajo H1 queda

f (x|H1 ) =

Binaria
Tema 2: Deteccion

PN 1

1
2

N

exp

n=0

(x[n] A)2
2 2

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

El cociente de verosimilitudes queda

f (x|H1 )
= exp
f (x|H0 )

PN 1
n=0

f (x|H1 )
= exp
f (x|H0 )

(x[n] A)2 x[n]2

2 2

PN 1
n=0

(A2 2Ax[n])
2 2

El test de mnima probabilidad de error es

PN 1
exp

n=0

(A2 2Ax[n]) H1
1
2 2
H0

Tomando logaritmos neperianos

2A

N
1
X
n=0

Binaria
Tema 2: Deteccion

H1

x[n] N A2
H0

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Test de mnima probabilidad de error

N 1
H1
1 X
x[n]
N n=0
H0

El umbral es = A/2
Hay que comparar la media de las observaciones
T (x) =

N 1
1 X
x[n]
N n=0

con un umbral

T (x) es un estadstico suficiente para el problema de deteccion:

adicional sobre las
dado T (x) (un escalar), niguna informacion
observaciones x (un vector), puede ayudarnos a mejorar la

deteccion!!
Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Calculo
de Pd y Pf a
del estadstico suficiente
Necesitamos conocer la distribucion

bajo ambas hipotesis:

f (T (x)|H0 ) y f (T (x)|H1 )
Recordamos que
T (x) =

N 1
1 X
x[n]
N n=0

y
H1 :
H0 :

x[n] = A + r[n],
x[n] = r[n],

n = 0, , N 1,
n = 0, , N 1,

lineal (la media) de v.a.

Bajo H0 , x[n] es una combinacion
Gaussianas e independientes N (0, 2 ) f (T (x)|H0 ) ha de ser
Gaussiana
Para caracterizar f (T (x)|H0 ) de manera completa necesitamos
su media y su varianza
Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

E[T (x)|H0 ] =

Min Pe

N
1
X
1
E[
r[n]] = 0
N n=0

!2
N
1
X
1
E[(T (x))2 |H0 ] = 2 E
r[n] =
N
n=0
=

N 1 N 1
N 1
 2
1 X X
1 X 
E r[n]2 =
E
[r[n]r[m]]
=
2
2
N n=0 m=0
N n=0
N

Por lo tanto, T (x)|H0 N (0, 2 /N )

comprobar que
De la misma forma, es facil
T (x)|H1 N (A, 2 /N )

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

f ( T ( x ) | H1 )

f (T ( x ) | H 0 )

= A/ 2

Umbral para Min Pe

con hiptesis equiprobables

Pd = 1 Q

!
A N
Pf a = Pe = Q
2

Si P (H0 ) 6= P (H1 ) el umbral es =

!
A N
2

2 ln(P (H0 )/P (H1 ))

NA

A
2

En este caso Pf a 6= Pe
Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Criterio de Bayes
del criterio de Min Pe es el criterio de Bayes
Una generalizacion
cij > 0 es el coste
Asignamos costes distintos a cada decision:
asociado a decidir Hi cuando se produce Hj
El coste medio o coste Bayesiano se define como
R=

1
X

cij P (Hi |Hj )P (Hj )

i,j=0

que minimiza R es
El criterio de decision
Bayes
f (x|H1 ) H1 (c10 c00 )P (H0 )

f (x|H0 ) H0 (c01 c11 )P (H1 )

Si c00 = c11 = 0 y c10 = c01 Bayes = Min Pe
Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

ROC

Como
comparamos dos detectores?
Detector 1: (Pf a =0.2, Pd =0.4) o Detector 2: (Pf a =0.3, Pd =0.81)
es mejor necesitamos conocer la curva
Para saber cual
caracterstica de cada receptor (Receiver Operating
Characteristic o ROC)
ROC
1
0.9

prob deteccion

0.8

det. 2 x

0.7
0.6

det. 1

0.5

random guess

0.4
0.3
0.2
0.1
0
0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

prob falsa alarma

Binaria
Tema 2: Deteccion

I. Santamara


Introduccion

Neyman-Pearson

Min Pe

Conclusiones

Test binario de hipotesis

1
2

Neyman-Person
criterio de Bayes)
Min Pe (generalizacion:

Todos los criterios conducen al cociente de verosimilitudes

El umbral de acuerdo a cada criterio es distinto
Estadstico suficiente: si existe, tenemos que caracterizar su
bajo ambas hipotesis

distribucion
ROC: nos permite caraterizar de manera completa un detector

El area
bajo la ROC es una medida habitual de la calidad de un
detector

Binaria
Tema 2: Deteccion

I. Santamara