Mtodo dos mnimos quadrados

: Erro - representa a variao de y que no explicada pelo modelo.

O Mtodo dos Quadrados Mnimos, ou Quadrados

Mnimos Ordinrios (MQO) ou OLS (do ingls Ordinary
Least Squares) uma tcnica de otimizao matemtica
que procura encontrar o melhor ajuste para um conjunto
de dados tentando minimizar a soma dos quadrados das
diferenas entre o valor estimado e os dados observados
(tais diferenas so chamadas resduos).[1]

Tambm temos uma base de dados com n valores observados de y e de x . Perceba que, usando a base de dados, y
e x so vetores, ou seja, representam uma lista de valores,
um para cada observao da base de dados. O mtodo dos
a forma de estimao mais amplamente utilizada na mnimos quadrados ajuda a encontrar as estimativas de
econometria. Consiste em um estimador que minimiza a e . Como o nome diz, sero somente estimativas desses
soma dos quadrados dos resduos da regresso, de forma parmetros, porque o valor real dos parmetros so desa maximizar o grau de ajuste do modelo aos dados obser- conhecidos. Portanto, ao fazer a estimativa, mudamos a
notao de algumas variveis:
vados.
Um requisito para o mtodo dos mnimos quadrados
que o fator imprevisvel (erro) seja distribudo aleatoriaa
mente, essa distribuio seja normal e independente. O
Teorema Gauss-Markov garante (embora indiretamente) b
que o estimador de mnimos quadrados o estimador e
no-enviesado de mnima varincia linear na varivel resPara ilustrar isso, Heij[5] menciona:
posta.
Outro requisito que o modelo linear nos parmetros,
ou seja, as variveis apresentam uma relao linear entre si. Caso contrrio, deveria ser usado um modelo de
regresso no-linear.

We do not know Greek but we can compute Latin

No sabemos grego, mas podemos calcular em
latim

Credita-se Carl Friedrich Gauss como o desenvolvedor

das bases fundamentais do mtodo dos mnimos quadrados, em 1795, quando Gauss tinha apenas dezoito anos. Desse modo, ao estimar o modelo usando a base de dados,
Entretanto, Adrien-Marie Legendre foi o primeiro a pu- estamos estimando, na verdade:
blicar o mtodo em 1805, em seu Nouvelles mthodes
pour la dtermination des orbites des comtes. Gauss publicou suas concluses apenas em 1809.[2][3][4]
yi = a + bxi + ei
onde i indica cada uma das n observaes da base de dados e e passa a ser chamado de resduo, ao invs de erro.
Em alguns livros, a notao para as estimativas dos paQueremos estimar valores de determinada varivel y . rmetros um pouco diferente. Ao invs de substituir a
Para isso, consideramos os valores de outra varivel x que letra, apenas adiciona-se o smbolo chapu ().
acreditamos ter poder de explicao sobre y conforme a O mtodo dos mnimos quadrados minimiza a soma dos
n
frmula:
quadrado dos resduos, ou seja, minimiza i=1 e2i .

Regresso simples

A ideia por trs dessa tcnica que, minimizando a soma

do quadrado dos resduos, encontraremos a e b que traro
a menor diferena entre a previso de y e o y realmente
observado.

y = + x + ,
onde:

Substituindo ei por yi a bxi , temos:

: Parmetro do modelo chamado de constante

(porque no depende de x ).
: Parmetro do modelo chamado de coeciente da
varivel x .

S(a, b) =

i=1

(yi a bxi )

2 REGRESSO MLTIPLA

A minimizao se d ao derivar S(a, b) em relao a a e

b e igualar a zero:
n

S
= 2
(yi a bxi ) = 0
a
i=1
n

S
= 2
xi (yi a bxi ) = 0
b
i=1

Distribuindo e dividindo a primeira expresso por 2n temos:

2

yi

i=1

0
i=1 bxi
+
+
=
2n
n 2n
n 2n
2n
n
i=1 yi
b i=1 xi
i=1 a
+
+
=0
n
n
n
y + a + b
x=0
i=1

a = y b
x
onde y a mdia amostral de y e x
a mdia amostral de
x.
Substituindo esse resultado na segunda expresso temos:

i=1
n

[xi (yi y) + xi b (
x xi )] = 0
xi (yi y) + b

i=1

2 Regresso mltipla
A regresso mltipla apresenta um funcionamento parecido com o da regresso simples, porm, leva em considerao diversas variveis explicativas x inuenciando y
ao mesmo tempo:

xi (yi y + b
x bxi ) = 0

i=1
n

Interpretao: Tirando a parte do Consumo que no

inuenciada pela Renda, o incremento de $ 1 na Renda
causa um incremento esperado de $ 0,4954 no Consumo.

xi (
x xi ) = 0

y = 0 + x1 1 + x2 2 + x3 3 + + xk k +
Ao usar a base de dados com k variveis explicativas e n
observaes, o modelo pode ser escrito na forma matricial:

i=1

n
xi (yi y)
b = ni=1
)
i=1 xi (xi x

y1
1 x11 x21 . . . xk1
e1
b
0
y2 1 x12 x22 . . . xk2
e2


Alguns livros tambm usam uma frmula diferente que y3 1 x13 x23 . . . xk3 b1 e3
=

gera o mesmo resultado:
y4 1 x14 x24 . . . xk4 b2 + e4

. . .
. . . . . . . . . . . . . . . . . .
. . .
bk
n
yn
1 x1n x2n . . . xkn
en
(xi x
) (yi y)
b = i=1
n
2
, onde xji representa o valor da j -sima varivel da i )
i=1 (xi x
sima observao. A frmula tambm pode ser escrita na
forma resumida:

1.1

Exemplo de regresso simples

Considere a seguinte base de dados:

y = Xb + e

Aplicando as frmulas acima, chega-se em:

7.764, 40
= 0, 4954
15.671, 60
a = 106, 30 0, 4954 108, 20 = 52, 69
b=

A soluo de mnimos quadrados continua sendo alcanada atravs

n da minimizao da soma do quadrado dos
resduos i=1 e2i , que pode ser reescrito como e e , onde
o apstrofe signica que a matriz foi transposta.
Substituindo e por y Xb , temos:

portanto,

Consumo = 52, 69 + 0, 4954 Renda + e

S (b) = (y Xb) (y Xb)

= y y y Xb b X y + b X Xb

3
A minimizao se d ao derivar S (b) em relao a b e
Erro tem distribuio normal: O erro distriigualar a zero. O primeiro termo no depende de b , os
budo conforme a curva de distribuio normal.
segundo e terceiro termos so iguais e o terceiro termo
uma forma quadrtica dos elementos de b .
Caso alguma dessas premissas no seja verdadeira, o mtodo pode gerar resultados sub-timos ou com vis.
S
= 2X y + 2X Xb = 0
b
X Xb = X y
1

b = (X X)

2.1

4 Coeciente de determinao R

X y

Exemplo de regresso mltipla

Considere a base de dados usada no exemplo da regresso

simples, porm, acrescente mais uma varivel explicativa
(taxa de juros):
Aplicando a frmula acima, chega-se em:
((
b=

1
1
1
139 126 90
0,115 0,12 0,105

portanto,

O Coeciente de determinao, tambm chamado de

R uma medida de qualidade do modelo em relao
sua habilidade de estimar corretamente os valores da varivel resposta y .
res
R2 = 1 SQ
SQtot , sendo SQres o Somatrio dos
Quadrados dos Resduos e SQtot o Somatrio
dos Quadrados Total

ou R ajustado:

1
1
1

) ( 122 ) ( 148,52 )
139 0,115 ))1 (
1
1
1
126 0,12
0,6136
139 126 90 114
=
86
90 0,105
0,115 0,12 0,105
1.034,41

(
)
n1
R2 = 1
1 R2
n (k + 1)

Consumo = 148, 52+0, 6136Renda1.034, 41T axa4.1

de Juros+e
Exemplo de R e R ajustado
Interpretao: Tirando a parte do Consumo que no in- Usando os dados do exemplo de regresso mltipla, pouenciada pela Taxa de Juros, o incremento de $ 1 na demos calcular:
Renda causa um incremento esperado de $ 0,6136 no
Consumo; alm disso, o incremento de 1 ponto percentual (0,01) na Taxa de Juros causa um decrscimo espe671, 54
R2 = 1
= 0, 88729
rado de $ 10,3441 no Consumo.
5.958, 10

Premissas

Isso signica que 88,729% da varincia de y explicada

pela varincia de X .

Ao usar o mtodo dos mnimos quadrados, assumimos

algumas premissas a respeito das variveis:
R2 = 1
Os regressores so xos: As variveis da matriz X
no so estocsticas.
Erro aleatrio com mdia 0: O erro aleatrio
e sua esperana E () = 0 .

10 1
(1 0, 88729) = 0, 85509
10 (2 + 1)

5 Teste de signicncia dos coecientes

Homoscedasticidade: A varincia do erro cons- Se uma varivel xj realmente possui poder explicativo
sobre y , seu coeciente bj deve ser estatsticamente difetante.
rente de zero. Ou seja, deve ser sucientemente maior ou
Sem correlao: No existe correlao entre os menor do que zero para que tenhamos conana de que
erros das observaes, ou seja, E (i j ) = 0 para a varivel realmente possui poder explicativo. Caso isso
qualquer i = j .
no seja verdade, a varivel poderia ser retirada do mo Parmetros so constantes: e so valores xos delo sem que exista grande perda da sua qualidade. Para
vericar se os coecientes so signicantes, levamos em
desconhecidos.
considerao que o estimador b tem distribuio normal
1
Modelo linear: Os dados da varivel dependente centrada em e com varincia 2 (X X) , onde 2
y foram gerados pelo processo linear y = X + . a varincia do erro . Ou seja:

8 LIGAES EXTERNAS

b N , 2 (X X)

[2] (em ingls) Indiana University Bloomington, Human Intelligence, Karl Friedrich Gauss (1777-1855), German
Mathematician

[3] Memria, Jos M. P. (2004). Breve Histria da Estatstica

(em Ingls) Embrapa Informao Tecnolgica. Visitado
em 11/05/2011.

Porm, como o erro no observado, usamos a aproximao amostral s2 :

s2 =

[4] Stigler, S. M.. The History of Statistics: The Measurement

of Uncertainty before 1900. [S.l.]: Harvard University
Press, 1986. 410 p.

ee
n (k + 1)

[5] HEIJ, Christiaan; DE BOER, Paul; FRANSES, Philip

Hans; KLOEK, Teun; VAN DIJK, Herman K. Econometric Methods with Applications in Business and Economics. OXFORD, 2004

, onde (k + 1) representa o nmero de variveis explicativas mais a constante.

Considerando que a hiptese nula a de que j = 0 ,
ento a estatstica t para a varivel j :

7 Ver tambm
bj
tj =
t (n k 1)
s ajj

Mnimos quadrados generalizados - MQG

Mxima verossimilhana

, onde ajj o j-simo elemento da diagonal de (X X)

.

Mtodo dos momentos generalizados - MMG

Aplicando o valor de tj na curva acumulada da

distribuio t de Student com n k 1 graus de liberdade, pode-se obter o nvel de conana necessrio para
que a hiptese nula seja rejeitada.

5.1

Regresso
Econometria
Decomposio em Valores Singulares - a tcnica
computacional moderna para regresso e projeo
ortogonal.

Exemplo de teste de signicncia dos

coecientes

As funcoes Scilab: svd, sva e contra-barra (backslash)

Usando os dados do exemplo de regresso mltipla, podemos calcular:

8 Ligaes externas

671,54
10(2+1)

s=

(X X)
t0 =
t1 =
t2 =

((
=

= 9, 7946
1
1
1
139 126 90
0,115 0,12 0,105

1
1
1

139 0,115 ))1

126 0,12
90 0,105

148,52

= 5, 6412
9,7946 7,2254
0,6136

= 6, 2647
9,7946 0,0001
1.034,41

= 3, 8740
9,7946 743,1920

Na distribuio t de Student com 7 (10-2-1) graus de liberdade, o valor de |tj | que garante um nvel de conana
de 95% 2,3646. Como |t0 | maior que 2,3646, a hiptese nula de que 0 = 0 rejeitada com, pelo menos 95%
de conana. O mesmo tambm ocorre para |t1 | e |t2 | .

Referncias

[1] Universidade de Berkeley, Econometrics Laboratory Software Archive. Regression Analysis (em Ingls). Visitado
em 18/05/2011.

(em ingls) - http://www.physics.csbsju.edu/stats/

(least_squares.html
)
7,2254
0,0010 68,8504
0,0001 0,0849
= (em0,0010
ingls) - http://zunzun.com
68,8504 0,0849 743,1920

(em ingls) - http://www.orbitals.com/self/least/

least.htm
(em ingls) - O operador contrabarra ou '\'
no Scilab http://help.scilab.org/docs/5.3.3/en_US/
backslash.html

Fontes, contribuidores e licenas de texto e imagem

9.1

Texto

Mtodo dos mnimos quadrados Fonte: https://pt.wikipedia.org/wiki/M%C3%A9todo_dos_m%C3%ADnimos_quadrados?oldid=

43483205 Contribuidores: Manuel Anastcio, LeonardoRob0t, Santana-freitas, Clara C., Cralize, Lijealso, YurikBot, Liberio, Gandre,
Profvalente, Salgueiro, Lgallindo, Thijs!bot, Rei-bot, Escarbot, JAnDbot, Albmont, Edson Campos, VolkovBot, SieBot, Yone Fernandes, BotMultichill, Kaktus Kid, DorganBot, Heiligenfeld, LeoBot, Robinsonhoto, JohnR, Ophantasma, Ceresta, BOTarate, Leone Melo,
Luckas-bot, LinkFA-Bot, Muro Bot, Amirobot, Mmenegali, ArthurBot, Xqbot, RibotBOT, Rbaliq, Rafael Rodrigues Troiani, Lucas Secret,
Rjbot, Alch Bot, EmausBot, ZroBot, WikitanvirBot, KLBot2, Zoldyick, Dexbot e Annimo: 27

9.2

Imagens

Ficheiro:Magnifying_glass_01.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/3/3a/Magnifying_glass_01.svg Licena:

CC0 Contribuidores: ? Artista original: ?
Ficheiro:NoFonti.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/b/b5/NoFonti.svg Licena: CC BY-SA 2.5 Contribuidores: Image:Emblem-important.svg Artista original: RaminusFalcon
Ficheiro:Nuvola_apps_edu_mathematics-p.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/c/c2/Nuvola_apps_edu_
mathematics-p.svg Licena: GPL Contribuidores: Derivative of Image:Nuvola apps edu mathematics.png created by self Artista original:
David Vignoni (original icon); Flamurai (SVG convertion)
Ficheiro:Regressao_Simples-Exemplo.gif
Fonte:
https://upload.wikimedia.org/wikipedia/commons/3/37/Regressao_
Simples-Exemplo.gif Licena: Public domain Contribuidores: Obra do prprio Artista original: Rafael Rodrigues Troiani
Ficheiro:ThreeCoins.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/2/29/ThreeCoins.svg Licena: Public domain Contribuidores: Transferido de en.wikipedia para o Commons. User:Ysangkok added shadows and silhouettes from Image:Lars_Gustaf_
Tersmeden.svg, Image:Caspar Friedrich Wol.svg and Image:Sieveking-Silhouette.svg. Artista original: Busy Stubber em Wikipdia em
ingls, eects: User:Ysangkok

9.3

Licena

Creative Commons Attribution-Share Alike 3.0