Demonstrao MQO

Khan Academy

Regresso Linear
Regresso Linear Simples
(Mtodo dos MQO):
1. Assuma uma linha reta: y = mx + b
Relao linear entre duas variveis!
2. Desenhe a linha num grfico e indique por ri
os resduos (ou desvios, ou erros) entre os
pontos observados e a linha
Por exemplo:
r1 = y1 [mx1 + b]
onde
y1 = ordenada do ponto 1
x1 = coordenada do ponto 1
b = intercepto do eixo-y para a linha
m = declividade da linha
 80

70

60
55
50 Resduo n
Resduo 2 y = mx + b
3 pontos
40 40

30

20 Resduo 1

10 10

0
0 5 10 15 20 25 30 35 40 45

Objetivo: Encontrar m e b
De forma que se Minimize a Soma dos Quadrados dos Resduos (SQR)

Resduo 1: r1 = y1 [mx1 + b]
Resduo 2: r2 = y2 [mx2 + b]

Resduo n: rn = yn [mxn + b]
Medida geral de ajuste dos pontos reta: Soma
dos Quadrados dos Resduos:
n
SQR=
i=1
ri2

n
SQR= (yi [a +bxi])2
i=1

SQR= (y1 [mx1 + b])2 + (y2 [mx2 + b])2 + + (yn [mxn + b])2

O objetivo Min SQR para encontrar m e b

Destacando que:
Min SQR = buscar o melhor ajuste da linha
SQR=(y1 [mx1 + b])2 + (y2 [mx2 + b])2 + + (yn [mxn + b])2

SQR= y12 - 2y1 (mx1 + b) + (mx1 + b)2

+

+ y22 - 2y2 (mx2 + b) + (mx2 + b)2

+

+ .

+ yn2 - 2yn (mxn + b) + (mxn + b)2

SQR= y12 - 2y1 mx1 - 2y1 b + m2x1 2+ 2mx1b +b2 +

+ y22 - 2y2 mx2 - 2y2 b + m2x2 2+ 2mx2b +b2 +

+ .

+ yn2 - 2yn mxn - 2yn b + m2xn 2+ 2mxnb +b2

Como simplificar a ltima expresso?
SQR = y12 - 2y1 mx1 - 2y1 b + m2x1 2+ 2mx1b +b2 +

+ y22 - 2y2 mx2 - 2y2 b + m2x2 2+ 2mx2b +b2 +

+ .

+ yn2 - 2yn mxn - 2yn b + m2xn 2+ 2mxnb +b2

Observe que:

(Y12 + y22 + + yn2)/n = y 2

Y12 + y22 + + yn2 = ny 2

De forma semelhante:
(y1 x1 +y2 x2 + yn xn)/n = yx

y1 x1 +y2 x2 + yn xn = nyx

Aplicando o mesmo raciocnio:

Como simplificar a ltima expresso?
SQR = y12 - 2y1 mx1 - 2y1 b + m2x1 2+ 2mx1b +b2 +

+ y22 - 2y2 mx2 - 2y2 b + m2x2 2+ 2mx2b +b2 +

+ .

+ yn2 - 2yn mxn - 2yn b + m2xn 2+ 2mxnb +b2

SQR = ny 2
2mnxy 2bny + m2nx 2
+ 2mbnx + nb2

Objetivo: Minimizar a SQR:

Variveis: m e b, restante constante; expresso
em funo de m e b

Para minimizar Para encontrar os pontos de

mnimo:
SQR/ m = 0
SQR/ b = 0
Para encontrar o ponto de mnimo:
Estas duas condies tm que ser satisfeitas simultneamente:
SQR/ m = 0
SQR/ b = 0
Como:

SQR = ny 2
2mnxy 2bny + m2nx 2
+ 2mbnx + nb2

SQR / m = 2nxy + 2mnx 2

+ 2bnx = 0

SQR / b = 2ny + 2mnx + 2bn = 0

Sistema com 2 equaes e 2 incgnitas. Simplificando e
organizando:
xy + mx 2 + bx = mx 2 + bx = xy
0
mx + b = y
y + mx + b = 0
OBS: Ponto (x, y ) pertence a reta que Min
Multiplicando a equao de baixo por x e fazendo a subtrao da
primeira pela segunda:

mx 2
+ bx = xy mx 2
+ bx = xy

mx + b = y * (x) m(x ) 2 + bx = yx

m(x 2
x 2) = xy y
x

m= ( xy y x )/ (x 2 x
2
)
Finalmente, chega-se ao valor de m que Min o SQR:
xy - y x
m=
x2 - x
Substituindo m na 2a eq do sistema, encontra-se o b
que minb=a SQR:
y mx
utra maneira de representar a mesma soluo:
n n n
1 xi yi
x y
i i - n i=1
m = i=1n i=1
n
1
xi - n i
2
2 x
i=1 i=1
n n
1 x
b= n i
1 y - mn i
i=1 i=1
Nos 2 casos, necessrio determinar estes
n n n n
valores:
xi
i=1
xi2
i=1
yi
i=1
xiyi
i=1

Essas quantidades dependem apenas de dados

observados e so facilmente calculadas
partir de algumas hipteses, chega-se a:
n

x x y
i i y
m 1 i 1
n

x x
2
i
i 1

Isto :

cov( x, y )
1
var( x)
Exemplo com 3 pontos:
(1,2); (2,1) e (3,3)
Como obter a reta que melhor se ajusta a estes 3
pontos?
(Isto , a reta que min a SQR)

Vimos que a soluo resulta na reta de intercepto b

e inclinao m calculados.

Vimos que para calcular m e b, precisamos de:

x y xy x
x = (1 + 2 + 3)/3 = 2
y = 6/3 = 2
xy = (1*2 + 2*1 + 3*3)/3 = 13/3
x = (1 + 2 + 3)/3 = 14/3
Assim: m = (13/3 2*2)/(14/3-2) =
Coeficiente de Determinao
Como est o ajuste da linha aos pontos?
% da variao total em y que explicado pela variao em x (pela
linha)?
Resduo 1: r1 = y1 [mx1 + b]
Variao Total em y (SQT): definida em relao mdia de y por:
SQT = (y1 y) + (y2 y) + + (yn y)
80

70

60
55
50 Resduo n
Resduo 2 y = mx + b
3 pontos
40 40
y
30

20 Resduo 1

10 10

0
0 5 10 15 20 25 30 35 40 45
Coeficiente de Determinao
Como est o ajuste da linha aos pontos?
% da variao total em y que explicado pela variao em x (pela
linha)?
Variao total em y dividida em 2 partes a dos resduos (no
explicada pela linha) e a explicada pela linha (SQE)
SQT = SQR + SQE
Qual o percentual da variao total no explicada pela regresso
(pela linha)?
% da variao total (SQT) no explicada pela linha = SQR/SQT
% da Variao Total Explicada pela linha = SQE/SQT = 1 SQR/SQT

Coeficiente de Determinao = r = SQE/SQT = 1 SQR/SQT

Assim:
Se SQR pequeno linha tem bom ajuste
r 1

Se SQR grande linha tem ajuste ruim

r 0
Exerccio em sala, reta de regresso e clculo do
Coeficiente de Determinao:
4 pontos:
(1,2); (4,3); (-1,-1); (-2,-3)
Determinar m e b.
Determinar o r.
Exerccio:
Soluo para o exemplo de 4 pontos:

x y
x y Y* = mx+b Erro= (Y-Y*) Erro^2 (Y-Ymdio)^2
1 2
4 3
1 2 0,73809 1,26191 1,592416 3,0625
-1 -1
-2 -3
4 3 3,666662 -0,66666 0,444438 7,5625

-1 -1 -1,21429 0,21429 0,04592 1,5625

-2 -3 -2,19048 -0,80952 0,655321 10,5625

SQR 2,738095 22,75 SQT

R^2 0,879644
Mdias

X 0,5 m 0,97619

Y 0,25 b -0,2381

Regresso
XY 5,25 no Excel, stata, etc

X^2 5,5