Mtodos Numricos C. Balsa & A.

Santos
Captulo 3 Mnimos quadrados 50
CAPTULO III

Aproximao de funes pelo mtodo dos Mnimos Quadrados


1. Alguns conceitos fundamentais de lgebra Linear

Relembramos nesta seco alguns conceitos importantes da lgebra Linear que utilizaremos no
contexto do mtodo dos mnimos quadrados.

Espao gerado por uma matriz.

Considerando a matriz
m n
A

, o subespao gerado pelos vectores coluna desta matriz
representado por ( ) span A e corresponde ao conjunto de todos os vectores que so combinao
linear de dos vectores coluna de A. Simbolicamente:


{ }
( ) : com
m n
span A y y Ax x = .
Produto escalar.

Considerando dois vectores (matrizes coluna)
1
v e
2
v
m
, o produto escalar de destes dois
vectores um escalar que resulta de
( )
2 1 1 2
2 2
cos
T
v v v v = ,
Sendo ngulo entre
1
v e
2
v .

Vectores ortogonais.

Em consequncia da definio anterior dois vectores no nulos
1
v e
2
v
m
so ortogonais
(perpendiculares ou normais) se o respectivo produto escalar for nulo, isto se
1 2 2 1
0
T T
v v v v = = .

Consequentemente, se um vector u for ortogonal a um conjunto de vectores
1 2
, , ,
n
v v v que
constituem as colunas de uma matriz
m n
A

ento 0
T
u A = , pois

[ ]
1 2
00 0
T T T T
n
u A u v u v u v = =

.

Por outro lado tambm se verifica que 0
T
A u = , pois

1
2
0
0
0
T
T
T
T
n
v u
v u
A u
v u



= =





.


Captulo 4 Mnimos Quadrados
Mtodos Numricos 51

2. Formulao do problema.

Dada uma funo (sob a forma de tabela com m pontos)

( ), 1,2, ,
i i
y f x i m = =

Queremos encontrar um polinmio de grau 1 n


2 1
0 1 2 1
( )
n
n
P x c c x c x c x
+

= + + + +

Para um determinado n m < . Este polinmio ajusta os dados no sentido dos mnimos quadrados
se minimizar a soma dos quadrados dos desvios em relao aos dados, isto ,
( ) ( )
2
1
.
n
i i
i
S y P x
=
=

Minimizar S o mesmo minimizar o quadrado da norma do resduo do sistema


( )
( )
( )
2 1
1 1 0 1 1 2 1 1 1 1
2 1
2 2 0 1 2 2 2 1 2 2
2 1
0 1 2 1
n
n
n
n
n
m m m m n m m
P x y c c x c x c x y
P x y c c x c x c x y
P x y c c x c x c x y

= + + + + =

= + + + + =

= + + + + =

,

Que na sua forma matricial representado por


2 1
0 1 1 1 1
2 1
1 2 2 2 2
2 1
2 3 3 3 3
2 1
1
1
1
. 1
1
n
n
n
n
n m m m m
c y x x x
c y x x x
c y Ac y x x x
c y x x x

= =

O vector resduo deste sistema r y Ac = e a sua norma dois

( )
2
2
1
( )
m
i i
i
r y P x
=
=

,
Pelo que o quadrado desta norma
2
2
r S = .

O problema dos mnimos quadrados reduz-se assim resoluo do sistema Ac y = . Contudo o
problema no to simples quanto parece pois como temos m n > (mais equaes do que
incgnitas) o sistema sobredeterminado. Na maior parte dos casos estes sistemas no admitem
soluo pois y no combinao linear dos vectores coluna da matriz A ( ( ) y span A ). Para
que ( ) y span A a matriz A teria de possuir m vectores coluna linearmente independentes.


Captulo 4 Mnimos Quadrados
Mtodos Numricos 52



3. Mtodo da equao normal

O facto do sistema no admitir soluo exacta no grave no contexto dos mnimos quadrados
pois ns apenas estamos interessados em resolver aproximadamente um sistema Ax b = de
maneira a encontrar o vector x que minimiza o resduo r b Ax = .



Figura 1 Descrio geomtrica do problema dos mnimos quadrados. O paralelogramo
representa o subespao ( ) span A (gerado pelos vectores coluna de A), ao qual o vector b
geralmente no pertence.


Dados uma matriz
m n
A

(com m n > ) e um vector
m
b , procuramos um vector
n
x tal
que a norma de (cumprimento de) r b Ax = seja mnima. Tal como se pode visualizar na figura
1 o cumprimento do vector resduo r mnimo quando ( ) r span A , isto

( )
0
0
T
T
T T
A r
A b Ax
A Ax A b
=
=
=


Esta ltima equao designada por equao normal do sistema. O sistema resultante da
equao normal um sistema possvel e determinado. A soluo deste sistema a soluo
aproximada do sistema original ( Ax b = ) que minimiza o resduo r b Ax = .

Aplicando agora este resultado ao problema original. Dados os pontos ( ) ,
i i
x y para 1,2, , i m = ,
para calcular o vector, c dos coeficientes do polinmio de ordem 1 n , que melhor aproxima os
dados no sentido dos mnimos quadrados temos de resolver o sistema


T T
A Ac A y = .
Esta o mtodo tradicionalmente usado para resolver o problema dos mnimos quadrados. Tem
no entanto a desvantagem de implicar a resoluo de um sistema mal condicionado, pois
medida que o grau do polinmio aumenta as colunas de A aproximam-se cada vez mais da
dependncia linear. E o mau condicionamento de
T
A A proporcional ao quadrado do
condicionamento de A. Pelo que a resoluo do sistema normal dever ser efectuado com todos
os cuidados de maneira a minimizar a introduo de erros.




Captulo 4 Mnimos Quadrados
Mtodos Numricos 53


Exemplo:

Considerando os dados da seguinte tabela

x 0 1 2 3 4 5
y 1.0 2.7 5.8 6.6 7.5 9.9

determine o polinmio de grau 4 que melhor ajusta os dados no sentido dos mnimos quadrados.

O polinmio de grau quatro ter a seguinte estrutura


2 3 4
4 0 1 2 3 4
( ) P x c c x c x c x c x = + + + + .
A determinao dos coeficientes deste polinmio implica a resoluo do sistema

T T
A Ac A y =
em que a matriz A igual a
2 3 4
1 1 1 1
2 3 4
2 2 2 2
2 3 4
3 3 3 3
2 3 4
4 4 4 4
2 3 4
5 5 5 5
2 3 4
6 6 6 6
1 0 0 0 0 1
1 1 1 1 1 1
1 2 4 8 16 1
1 3 9 27 81 1
1 4 16 64 256 1
1 5 25 125 625 1
x x x x
x x x x
x x x x
A
x x x x
x x x x
x x x x




= =






.

A resoluo do sistema
0
1
2
3
4
5 15 55 225 979 33.50
15 55 225 979 4425 113.60
. 55 225 979 4425 20515 452.80
225 979 4425 20515 96825 1944.80
979 4425 20515 96825 462979 8737.60
T T
c
c
A Ac A y c
c
c



= =





conduz a

0.97183
0.11997
2.63403
-0.99120
0.10625
c



=




.
O polinmio de grau quatro que melhor aproxima os dados no sentido dos mnimos quadrados


2 3 4
4
( ) 0.97183 0.11997 2.63403 -0.99120 0.10625 P x x x x x = + + +



Hoje em dia, para problemas de grande dimenso, usam-se mtodos alternativos muito mais
eficientes do ponto de vista computacional. Para mais informaes sobre estes mtodos
recomenda-se a consulta da bibliografia do captulo.

Captulo 4 Mnimos Quadrados
Mtodos Numricos 54


4. Problemas Propostos

1. Considere a seguinte funo ( ) y t x = , dada sob a forma da seguinte tabela:

i
x -8 -4 -2 -1 0 1 2 4 6 9 11
( )
i i
y t x = -785 -53 13 13 7 7 25 163 517 1663 2997

a) Determine o polinmio de grau 3 que, no sentido do mtodo dos mnimos quadrados que melhor
aproxima a tabela dada. Estime: ( ) 2 t , ( ) 5 t , ( ) 10 t e ( ) 12 t .

b) Determine a combinao linear das funes ( ) ( )
{ }
2 3
1, 2 1, 2 , 1 x x x + que, no sentido do mtodo
dos mnimos quadrados, melhor aproxima a tabela dada. Estime: ( ) 2 t , ( ) 5 t , ( ) 10 t e ( ) 12 t .

2. Determine a combinao linear do seguinte conjunto de funes: ( )
{ }
1,2,3
2 1
n
n
x
=
+ que, no sentido
do mtodo dos mnimos quadrados, melhor aproxima a seguinte tabela:

x 0 1 2 4 6 10 15 20
y =f(x) 1.75 8.25 28.75 159.75 490.75 2136.75 7029.75 16471.75


3. Considere a seguinte funo (tabela):
( ) 5 0 5 10 15
3 2 1 0 1
=

i i
i
x f f
x

a) Qual o polinmio do 1 grau que, no sentido do mtodo dos mnimos quadrados, melhor
representa a funo dada.

b) Qual a combinao linear dos polinmios
{ } 4 5 , 1 2 + x x
que, no sentido do mtodo
dos mnimos quadrados, melhor representa a funo dada.


4. Considere a seguinte funo:
( ) 11 1 5 5 1 11
4 3 2 0 1 2
=

i i
i
x f f
x


a) Qual o grau do polinmio que melhor se adapta funo dada?
Defina o polinmio de regresso.

b) Qual a combinao linear dos polinmios
( ) { } 1 , 1 , 1
2 2
+ + x x x x
que, no sentido do
mtodo dos mnimos quadrados, melhor representa a funo dada.

Captulo 4 Mnimos Quadrados
Mtodos Numricos 55

5. Determine a combinao linear das funes
{ } 1, ,1 ,1 x x x +
que, no sentido do mtodo dos
mnimos quadrados, melhor representa o conjunto de pontos:
( ) 2 . 0 , 0
,
( ) 5 . 2 , 1
,
( ) 0 . 5 , 2
,
( ) 2 . 10 , 4
,
( ) 4 . 12 , 5
.


5. Bibliografia
- Michael T. Heath. Scientific Computing an Introductory Survey. McGraw-Hill, New York,
2002 (http://www.cse.uiuc.edu/heath/scicomp/).

- Lloyd N. Trefethen and David Bau, III. Numerical Linear Algebra. SIAM, Philadelphia, 1997.