Beruflich Dokumente
Kultur Dokumente
Patricio Parada
Departamento de Ingeniera Elctrica Universidad de Chile
P. Parada, DIE-UCh
1/37
Contenidos de la Clase I
Introduccin Problema de Estimacin Buenos estimadores Modelos para datos Estimacin clsica Desempeo de un Estimador Introduccin Estimadores Insesgados
P. Parada, DIE-UCh EL7002, Clase No.1: Introduccin 2/37
Contenidos de la Clase II
Distribucin de un Estimador
Resumen y Lecturas
P. Parada, DIE-UCh
3/37
P. Parada, DIE-UCh
4/37
P. Parada, DIE-UCh
4/37
la extraccin de informacin de seales, posiblemente ruidosas. la deteccin de seales - determinsticas o aleatorias - en presencia de ruido.
P. Parada, DIE-UCh
4/37
P. Parada, DIE-UCh
5/37
defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes
P. Parada, DIE-UCh
5/37
defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva
P. Parada, DIE-UCh
5/37
defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva comunicaciones digitales
P. Parada, DIE-UCh
5/37
defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva comunicaciones digitales control automtico
P. Parada, DIE-UCh
5/37
defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva comunicaciones digitales control automtico geofsica
P. Parada, DIE-UCh
5/37
defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva comunicaciones digitales control automtico geofsica nanzas
P. Parada, DIE-UCh
5/37
P. Parada, DIE-UCh
6/37
estimacin insesgada (mnima varianza) estimadores lineales estimacin de mxima verosimilitud estimacin bayesiana ltrado estadstico
P. Parada, DIE-UCh
6/37
P. Parada, DIE-UCh
7/37
Test de hiptesis (binario y mltiple) Deteccin de seales determinsticas en presencia de ruido Deteccin de seales aleatorias en presencia de ruido
P. Parada, DIE-UCh
7/37
Parte I Estimacin
P. Parada, DIE-UCh
8/37
P. Parada, DIE-UCh
9/37
Contexto
Antes de comenzar es importante ser precisos respecto del tipo de hiptesis que vamos a asumir ciertas para nuestro anlisis.
P. Parada, DIE-UCh
10/37
Contexto
Antes de comenzar es importante ser precisos respecto del tipo de hiptesis que vamos a asumir ciertas para nuestro anlisis. H1. Existe una variable aleatoria, vector aleatorio o proceso estocstico (de tiempo discreto o continuo) X cuya medida de probabilidad p(x; ) est parametrizada en trminos de un trmino desconocido .
P. Parada, DIE-UCh
10/37
Contexto
Antes de comenzar es importante ser precisos respecto del tipo de hiptesis que vamos a asumir ciertas para nuestro anlisis. H1. Existe una variable aleatoria, vector aleatorio o proceso estocstico (de tiempo discreto o continuo) X cuya medida de probabilidad p(x; ) est parametrizada en trminos de un trmino desconocido . H2. Tenemos acceso a realizaciones de esta variable {x[0], x[1], . . . , x[N 1]} que siguen la ley de probabilidad p(x; ).
P. Parada, DIE-UCh
10/37
El problema de estimacin
Problema de Estimacin
El problema de estimacin corresponde a construir una funcin g(x), con x RN , = g(x[0], x[1], . . . , x[N 1]) un conjunto de observaciones {x[0], x[1], . . . , x[N 1]} de proceso relacionado con el parmetro. (1)
tal que
P. Parada, DIE-UCh
11/37
P. Parada, DIE-UCh
12/37
P. Parada, DIE-UCh
12/37
xn
n=0
(2)
P. Parada, DIE-UCh
12/37
lim N =
P. Parada, DIE-UCh
13/37
lim N =
o bien
N
lim |N | = 0.
P. Parada, DIE-UCh
13/37
P. Parada, DIE-UCh
14/37
En norma p:
N
lim E[ N p ] = 0, p [1, [.
(3a)
P. Parada, DIE-UCh
14/37
En norma p:
N
lim E[ N p ] = 0, p [1, [.
(3a)
(3b)
P. Parada, DIE-UCh
14/37
En norma p:
N
lim E[ N p ] = 0, p [1, [.
(3a)
(3b)
En discriminante de Kullback-Leibler
N
(3c)
14/37
P. Parada, DIE-UCh
P. Parada, DIE-UCh
15/37
P. Parada, DIE-UCh
15/37
P. Parada, DIE-UCh
15/37
Ejemplo
p(x[0]; ) =
P. Parada, DIE-UCh
1 1 exp 2 (x[0] )2 2 2
EL7002, Clase No.1: Introduccin 15/37
10
20
30 n
40
50
60
70
Figura: Precios al cierre del da de la accin de Apple Inc., cdigo AAPL en NYS Exchange. Perodo: 01.Oct.11 - 31.Dic.11.
P. Parada, DIE-UCh
16/37
P. Parada, DIE-UCh
17/37
donde a y b son constantes (desconocidas) y {Wn } es un proceso gaussiano i.i.d. En este caso, los parmetros del modelo son = [a; b]T y 1 1 exp 2 p(x; ) = 2 )N/2 2 (2
N1 n=0
(xn a bn)2
(6)
P. Parada, DIE-UCh
17/37
P. Parada, DIE-UCh
18/37
P. Parada, DIE-UCh
18/37
Importante
El tipo de estimadores que uno desea construir es robusto, en el sentido que pequeos cambios en la f.d.p. generan pequeas degradaciones en el desempeo y no cambios abruptos.
P. Parada, DIE-UCh
18/37
P. Parada, DIE-UCh
19/37
P. Parada, DIE-UCh
19/37
P. Parada, DIE-UCh
19/37
P. Parada, DIE-UCh
19/37
P. Parada, DIE-UCh
20/37
P. Parada, DIE-UCh
20/37
(8)
P. Parada, DIE-UCh
20/37
(8)
Luego, podemos decir que un estimador es una regla que asigna un valor por cada realizacin x.
P. Parada, DIE-UCh
20/37
La calidad de un estimador es extremadamente importante para determinar el mecanismo de clculo de = g(x[0], x[1], . . . , x[N 1]), as como su calidad generalizadora. (9)
P. Parada, DIE-UCh
21/37
La calidad de un estimador es extremadamente importante para determinar el mecanismo de clculo de = g(x[0], x[1], . . . , x[N 1]), as como su calidad generalizadora. La calidad de un estimador la vamos a medir deniendo una funcin de cercana entre y , lo que nos permitir en algunos casos prcticos, establecer reglas para construir mejores estimadores. (9)
P. Parada, DIE-UCh
21/37
(10)
x[n].
n=0
(11)
P. Parada, DIE-UCh
22/37
(10)
x[n].
n=0
(11)
P. Parada, DIE-UCh
22/37
P. Parada, DIE-UCh
23/37
P. Parada, DIE-UCh
23/37
podemos calcular varias realizaciones de la secuencia {x[0], . . . , x[N 1]} y entrega, en promedio, una mejor estimacin.
P. Parada, DIE-UCh
23/37
pA1
-1
1 a
pA2
-1
1 a
Figura: Dispersin de los estimadores A1 y A2 asumiendo que w[n] N (0, 1), N = 100 y con un total de S = 100 simulaciones.
P. Parada, DIE-UCh
24/37
P. Parada, DIE-UCh
25/37
E[x[n]]
n=0 N1
(A + E[w[n]])
n=0 0
NA = N = A.
P. Parada, DIE-UCh
25/37
= A.
P. Parada, DIE-UCh
26/37
P. Parada, DIE-UCh
26/37
= A. Ambos estimadores se dicen que son insesgados. Qu hay de sus varianzas?: Var(A1 ) = Var( 2 = N
P. Parada, DIE-UCh EL7002, Clase No.1: Introduccin 26/37
1 N
N1
x[n]) =
n=0
1 N2
N1
Var(x[n])
n=0
P. Parada, DIE-UCh
27/37
P. Parada, DIE-UCh
27/37
P. Parada, DIE-UCh
28/37
Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y tcnicas para determinar buenos estimadores de un parmetro (o conjunto de ellos) que son desconocidos.
P. Parada, DIE-UCh
29/37
Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y tcnicas para determinar buenos estimadores de un parmetro (o conjunto de ellos) que son desconocidos. El criterio que veremos en esta clase se denomina de varianza mnima, ya que utiliza como funcin discriminadora la varianza del estimador bajo estudio.
P. Parada, DIE-UCh
29/37
Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y tcnicas para determinar buenos estimadores de un parmetro (o conjunto de ellos) que son desconocidos. El criterio que veremos en esta clase se denomina de varianza mnima, ya que utiliza como funcin discriminadora la varianza del estimador bajo estudio. Vamos a considerar una clase particular de estimadores denominados insesgados, que tienen un buen desempeo y son realizables (causales).
P. Parada, DIE-UCh
29/37
P. Parada, DIE-UCh
30/37
P. Parada, DIE-UCh
30/37
Ejemplo 1: consideremos el problema de estimar un parmetro desconocido A R a partir del modelo donde {w[n]} es i.i.d. N (0, 1).
P. Parada, DIE-UCh EL7002, Clase No.1: Introduccin 30/37
x[n] = A + w[n]
(14)
x[n]
n=0
(15)
E[x[n]]
n=0 N1
A
n=0
= A.
P. Parada, DIE-UCh
31/37
x2 [N]
n=0
(16)
E[x2 [N]]
n=0
= .
P. Parada, DIE-UCh
32/37
Figura: Distribucin emprica (histograma) de los estimadores A y 2 producidos via simulacin con N = 1000 y 500 simulaciones; los parmetros reales son A = 0 y 2 = 1.
P. Parada, DIE-UCh
pA
33/37
P. Parada, DIE-UCh
34/37
P. Parada, DIE-UCh
34/37
(17)
(18)
P. Parada, DIE-UCh
34/37
p2
p2
4 2
10 12
Figura: Distribucin emprica (histograma) de los estimadores 2 y 2 producidos via simulacin con N = 1000 y 500 simulaciones; los parmetros reales son A = 0 y 2 = 1.
P. Parada, DIE-UCh
35/37
Un estimador es una variable aleatoria. Ello requiere que utilicemos mediciones estadsticas de desempeo.
P. Parada, DIE-UCh
36/37
Un estimador es una variable aleatoria. Ello requiere que utilicemos mediciones estadsticas de desempeo. Aunque el uso de simulacin computacional resulta muy til al momento de calcular el desempeo de un estimador, en muchos casos no es sufciente.
P. Parada, DIE-UCh
36/37
Un estimador es una variable aleatoria. Ello requiere que utilicemos mediciones estadsticas de desempeo. Aunque el uso de simulacin computacional resulta muy til al momento de calcular el desempeo de un estimador, en muchos casos no es sufciente. La complejidad computacional asociada al clculo de un determinado estimador puede ser un factor en contra que uno debe tomar en cuenta al momento de seleccionar una determinada funcin.
P. Parada, DIE-UCh
36/37
Lecturas
Steven M. Kay. Fundamentals of Statistical Signal Processing: Volume 1 Estimation Theory, Captulo 1.
P. Parada, DIE-UCh
37/37