Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

Mnimos Quadrados
Em 1809, Carl Friedrich Gauss (1777-1855) publicou um artigo no Werke, 4, 1-93, demonstrando que a melhor maneira de determinar um parmetro desconhecido de uma equao de condies minimizando a soma dos quadrados dos resduos, mais tarde chamado de Mnimos Quadrados por Adrien-Marie Legendre (1752-1833). Em abril de 1810, Pierre-Simon Laplace (1749-1827) apresenta no memoir da Academia de Paris, ["Mmoire sur les approximations des formules qui sont fonctions de trs-grands nombres, et sur leur application aux probabilits (suite)". Mmoires l'Institut 1809 (1810), 353-415, 559-565. Oeuvres 12 p.301-345, p.349-353] a generalizao a problemas com vrios parmetros desconhecidos. Um programa de mnimos quadrados sempre comea com a minimizao da soma:

(1)

onde chamamos de y oi = valores observados de y y i = valores calculados de y ou seja, mnimos quadrados implica em minimizar os quadrados dos resduos.

Por que este critrio considerado um bom critrio e no simplismente minimizar os resduos ou o cubo dos resduos? A resposta formal que os mnimos quadrados so corretos se os resduos tiverem uma distribuio gaussiana (normal).

1 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

Distribuio gaussiana (normal) para uma varivel x, com mdia m e desvio padro s. simples notar que se minimizarmos os resduos diretamente, um grande resduo negativo pode ser anulado por um grande resduo positivo, enquanto que com o quadrado minimizamos os mdulos das diferenas. Suponhamos que temos um conjunto de dados y com uma distribuio normal:

P(y) =

exp

y-

onde P(y) = probabilidade de obter o valor y y = quantidade a ser observada = valor mdio de y = desvio padro de y Por exemplo, a probabilidade de se encontrar uma medida entre a probabilidade de se encontrar uma medida entre -1,5 a probabilidade de se encontrar uma medida entre -2 a probabilidade de se encontrar uma medida entre -2,5 a probabilidade de se encontrar uma medida entre e+ de 68,3%, de 86,6%, de 95,4%, de 98,76%,

e +1,5 e +2 e +2,5 e +3

de 99,74%.

Suponhamos que medimos o valor de y vrias vezes, obtendo uma srie de valores {y i}. A probabilidade de observar este conjunto dada por

y 1, y 2, y 3,..., y N

exp

y1 -

exp

y2 -

...

...

exp

yN -

2 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

exp

yi -

Queremos agora saber qual o melhor valor de

, o valor mdio. O melhor valor ser aquele que maximiza a probabilidade de obtido colocando a derivada da probabilidade como nula:

obter os valores observados {y i}, ou seja, o melhor valor de

y 1, y 2, y 3,..., y N

=0

Ou seja

exp

yi -

=0

exp

yi -

yi -

=0

Como o termo exp[...] no pode ser nulo, obtemos

yi -

=0

ou na nossa notao

S=

yi -

Continuando com a derivao, obtemos:

0=

yi -

-2

yi -

3 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

yi -

yi

yi

que a mdia simples, como queramos. O prximo passo simplesmente reconhecer que y pode ser uma funo, por exemplo: yi = a + b xi de modo que

S=

y oi - a - b x oi

Minimizando S em relao a a e b, obtemos:

-2

y oi - a - b x oi

=0

- 2x io

y oi - a - b x oi

=0

ou as duas condies:

y io - Na - b

x io = 0

x ioy io - a

x io - b

x io

=0

Em notao matricial podemos escrever as duas condies como:

4 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

Para simplificar a notao, vamos definir os colchetes:

xi

[x]

1=N

[1]

desta forma, nossa equao matricial se escreve como:

Estas equaes so chamadas de equaes normais. Elas podem ser resolvidas com a matriz inversa:

Mnimos quadrados lineares

Os mnimos quadrados so lineares quando podemos resolver as equaes normais usando lgebra linear. O exemplo dado acima um mnimo quadrado linear, pois podemos resolver as equaes para a e b exatamente.

Mnimos quadrados no lineares

Muitos problemas interessantes no podem ser resolvidos linearmente. Por exemplo, qual o melhor valor de y = exp(Pela nossa definio de S: x) em

S=

y io - exp

xi

e quando minimizamos S:

0=

y io - exp

xi

-exp

xi

- xi

ou seja

5 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

0=

y iox iexp

xi

x iexp

-2

xi

Que podemos escrever, na notao de colchetes, como: 0= xy exp x x exp -2 x

Esta equao no pode ser resolvida usando-se lgebra linear. Precisamos utilizar tcnicas diferentes. A tcnica mais empregada e, de fato, a tcnica que se utiliza quando chamamos de mnimos quadrados no lineares, a linearizao do problema. A idia, aplicada ao problema acima, : y = exp(x)

Escolhemos um valor inicial de

, chamado

, e definimos:

= Definindo

y 0 = exp(Em primeira ordem, isto , linear:

x)

y = y0 +

y = exp

- x exp

Agora y linear em

e podemos usar os mnimos quadrados lineares para encontrar a correo

y oi - y i

que se torna

y oi - y 0, i -

que minimizando

0=

-2

y oi - y 0, i -

6 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

0=

y oi

- y 0, i

ou, na notao dos colchetes:

0=

yo

y0

Que podemos resolver para

e finalmente obter o valor revisado de

: = +

Note entretanto que o valor revisado de ocorre porque valor revisado de

no o melhor valor de

, mas somente uma melhor aproximao do que

. Isto

a soluo do problema linearizado e no do problema real. Portanto, precisamos iterar, isto , utilizar este como um novo e obter um novo valor revisado.

Formulao Geral
Se a funo y for uma funo de k parmetros que queremos ajustar: yi = y colocamos x i, a1, a2,..., ak

com a hiptese de que Ento podemos linearizar

ai

ai, 0.

yi = y

x i, a1, 0, a2, 0,..., ak, 0

a1 +

a2 + ...

7 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

+ ... +

ak

notando que as derivadas so calculadas para todos an = an, 0. Chamando y i, 0 = y e x i, a1, 0, a2, 0,..., ak, 0

aj =

aj

podemos escrever

y i = y i, 0 +

aj

onde o subscrito i significa calculado no ponto x i. Podemos agora calcular S:

y oi - y i

y oi - y i, 0 -

aj

que minimizando com respeito a

am :

0=

y oi - y i, 0 -

aj

0=

y oi - y i, 0

aj

que na notao dos colchetes pode ser escrita como:

0=

yo - y0

aj

8 de 16

18-06-2009 18:41

Minimos Quadrados
Ou, em notao matricial

http://astro.if.ufrgs.br/minq/minq.htm

Esta equao matricial pode agora ser revolvida por lgebra matricial para encontrar as correes

am .

Determinao das incertezas

A maneira correta de determinar as incertezas nos parmetros calculando a variana de um parmetro qualquer z: ( z)2

onde o quadrado necessrio pelas mesmas consideraes do valor de S,

significa a mdia e onde

z = z calculado - z observado Agora suponhamos que z seja uma funo de duas variveis x e y, z = z(x, y). Podemos expandir por srie de Taylor [Brook Taylor (1685-1731), Methodus incrementorum directa et inversa (1715)]:

z=

x+

de onde obtemos: ( z)2 x+ y

+2

y+

Se as variveis x e y so separveis, podemos reduzir a equao acima a

+2

e, por definio: ( x)2

9 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

y)2

de modo que

+2

E como obtemos

? Definindo a matriz covariana.

Matrix Covariana
Definimos a matriz covariana como

COV =

De modo que, se a equao normal matricial que usamos para achar os coeficientes escrita como

de modo que a soluo dada por

onde

a matriz inversa da matriz

, vemos que a matriz covariana dada por

onde

Desta maneira muito fcil calcular as incertezas nos parmetros, pois somente precisamos multiplar a matriz inversa que usamos para obter os valores dos parmetros, por , obtendo a matriz covariana.

Mas o que fazemos se a funo a ser fitada no analtica, como por exemplo, um espectro resultante de um modelo de atmosferas? Er-Ho Zhang, Edward L. Robinson e R. Edward Nather (1986, Astrophysical Journal, 305, 740) demonstraram que no caso medirmos vrios parmetros simultaneamente, onde a mudana de alguns pode gerar mudanas significativas, enquanto que a mudana de outros parmetros gera pequenas diferenas e, ainda, que os parmetros no so independentes, isto , esto correlacionados, precisamos maximizar a probabilidade (likelihood) de que os parmetros x 1,..., x k sejam medidos pelos valores

10 de 16

18-06-2009 18:41

Minimos Quadrados
x 1o,..., x k o, definindo incertezas = x io - x i,

http://astro.if.ufrgs.br/minq/minq.htm

f(

,...,

)=

exp

+ ... +

e, portanto, maximizarmos a probabilidade equivalente a minimizarmos

Note que o valor de

tem normalizao diferente da de S definido na equao (1).

Se medimos os valores I oi, por exemplo, o espectro, e calculamos I i com os parmetros x 1,..., x k , se assumirmos que a distribuio = = ... = = W), obtemos de erros normal e que todas as varianas so iguais (

de modo que, se

o valor mnimo de

, e se mudarmos o valor do parmetro i por um delta d, mantendo todos os outros

parmetros constantes, obteremos um novo valor de = + d2/

e, portanto,

(2)

Portanto podemos obter a incerteza em cada parmetro minimizando

com todos os parmetros livres, para obter

, fixando o

valor do parmetro x i para o valor que minimizou fixo, obtendo um novo parmetros.

mais um delta, digamos 5%, e minimizando novamente

com este valor de x i

. Com a equao (2) podemos ento estimar o valor de sua incerteza, e repetir o processo para os outros

Podemos encontrar o termo de correlao usando uma transformao de variveis

com

. Pela propagao de erros,

11 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

de modo que

Se normalizao no for unitria, devemos usar:

(1)

onde n o nmero de pontos, k o nmero de parmetros fitados, e o +1 porque um dos parmetros foi mantido fixo, reduzindo o nmero de graus de liberdade. A distribuio de probabilidades para k graus de liberdade dada por

Note que o valor mdio de seja 1:

para k graus de liberdade k. Algumas vezes se usa um

reduzido de modo que sua mdia

12 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

Sabemos que o teorema do limite central garante que a distribuio gaussiana para grandes valores de k. Esta aproximao boa para k>30.

para k graus de liberdade se aproxima da distribuio

Estimativa Robusta
O grande problema do mtodo de mnimos quadrados a grande influncia de pontos com resduo muito grande, os outliers. Para se reduzir a influncia destes resduos muito grandes, pode-se minimizar funes que no crescem to rapidamente quanto S2, como por exemplo, mimizando a funo discrepncia, definida como:

onde c uma constante.

Probabilidade
A funo normal, centrada em x=0 e com largura em 1/e em x=1 e x=-1, definida como

13 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

e sua integral a distribuio normal

Com esta definio

Se tivermos uma distribuio centrada em

, e de largura

O valor da integral de x at infinito, centrada em 0 e com desvio padro 1,

14 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

Se a distribuio discreta, com N valores:

de modo que precisamos normalizar nossas probabilidades

Distribuio Binominal
Seja um problema que s admite duas solues, como ao jogarmos uma moeda. Chamemos de b(k;n,p) a probabilidade que n tentativas com probabilidade intrnseca de sucesso p, e q=1-p a probabilidade intrnseca de insucesso, resulte em k sucessos e n-k insucessos. Esta probabilidade dada pela distribuio binominal

Distribuio gaussiana (normal) para duas variveis no correlacionadas. Para duas variveis correlacionadas, x 1 medida a partir de 1 e x 2 medida a partir de 2:

onde

15 de 16

18-06-2009 18:41

Minimos Quadrados

http://astro.if.ufrgs.br/minq/minq.htm

Variana da mdia Pesos nas medidas Clculo de Distribuio Normal Outras Distribuies No Excel, mnimos quadrados lineares so fitados em Tools-Data Analysis-Regression. Se este pacote no estiver instalado, ele pode ser adicionado com Tools-Add Ins-Analysis Tool Pack e Solver. O OpenOffice Calc tambm pode ser usado. Com uma subrotina em Fortran de inverso de matrizes, se pode facilmente implementar um algoritmo de mnimos quadrados. Volta: Astronomia e Astrofisica Kepler de Souza Oliveira Filho Modificada em 16 abril 2007

16 de 16

18-06-2009 18:41