Metoda najmanjih kvadrata

Predpostavimo da imamo dvije veliine: x i y ( na primjer, masa i temperatura, pritisak i zapremina, prva i druga koordinata take u ravni itd.). Tada postoje dvije mogunosti. Prva je da su te veliine (u odreenim uslovima) nezavisne, a druga je da su zavisne. Nezavisnost znai da uz svaku oitanu vrijednost veliine x teoretski moemo oitati bilo koju vrijednost veliine y (takve su, na primjer, masa zlata i temperatura zlata pri uobiajenim masama i temperaturama; oitana masa zlata ne daje nam nikakvu informaciju o temperaturi). Zavisnost pak znai da oitana vrijednost veliine x potpuno odreuje (ili ograniuje) vrijednost veliine y. Na primjer, ako se taka kree po krunici u koordinatnoj ravni, onda oitana vrijednost varijable x uopteno uslovljava dvije mogue vrijednosti varijable y. Da bi bili jo konkretniji zamislimo da se taka kree po jedininoj krunici sa sreditem u ishoditu. Predpostavimo da smo oitali prvu koordinatu i da smo dobili x=0.8. Tada postoje dvije mogunosti za vrijednost veliine y: 0.6 i -0.6. Uopteno, u ovim uslovima veliina x moe poprimiti bilo koju vrijednost izmeu -1 i 1 (ukljuujui i njih). Isto je s veliinom y. Meutim, te su dvije veliine povezane relacijom: x + y2= 1 (jednaina krunice). Zato je y = 1 x pa svakoj vrijednosti veliine x odgovaraju dvije vrijednosti veliine y (osim ako je x=1 ili x=-1; tada je y=0). U inenjerstvu je vaan sluaj kad svaka vrijednost veliine x, uslovljava tano jednu vrijednost veliine y. To se krae zapisuje pomou funkcija: y = f (x) , gdje je f pravilo prema kojem y zavisi od x. Najjednostavnija pravila zavisnosti (funkcije) 1. linearna zavisnost y = ax + b (to je f(x):= ax+b, a grafiki je prikaz te zavisnosti pravac) 2. kvadratna zavisnost y = ax^2+bx+c (grafiki prikaz je parabola) . 3. kubna zavisnost y = ax^3+bx^2+cx+d 4. reciprona zavisnost (obrnuta proporcionalnost) y = a/x (grafiki prikaz je hiperbola) 4. eksponencijalna zavisnost y = aebx 5. potencijska zavisnost y=abx itd. Uoite da ima vie linearnih zavisnosti (kvadratnih zavisnosti i sl.). Linearna je zavisnost poznata (odreena) onda ako znamo realne brojeve a,b (koeficijente) itd. Da naglasimo kako linearna funkcija zavisi od svojih koeficijenata piemo: f(x,a,b):= ax + b. Slino, za kvadratnu funkciju: f(x,a,b,c):=ax^2+bx+c. Brojeve a,b odnosno a,b,c zovemo i parametrima. To je i uopteno, a ne samo za linearne ili kvadratne veze. Na primjer, f (x,a,b) := aebx
2 2

je familija funkcijskih veza (eksponencijalnog tipa) zavisna od parametara a,b.

Zamislimo eksperiment u kojem mijenjamo po volji zapreminu gasa, a pri svakoj konkretnoj vrijednosti zapremine oitavamo pritisak. Tu je uobiajeno da veliina x bude zapremina (nezavisna veliina, veliina koju po volji mijenjamo) a da veliina y bude pritisak (zavisna veliina, veliina koju dobijemo mjerenjem). Primjer 1. Predpostavimo da smo mijenjali veliinu x i pri tom mjerili odgovarajue vrijednosti veliine y. Rezultate zapiimo u obliku tablice. x y 1 2,1 2 5,1 3 8,2 4 11,0 5 14,5 6 17,4

Iz prvog pogleda na tablicu uoavamo da se poveavanjem veliine x, poveava i veliina y. Nas zanima pravilo prema kojem se to dogaa. Brzo uoavamo da smo veliinu x poveavali za jednu mjernu jedinicu. Pri tom se veliina y poveavala redom za: 3.0 pa za 3.1 pa za 2.8 pa za 2.5 pa za 2.9. (vidimo da su te promjene, iako razliite, ipak prilino bliske). Kad god pri jednakim promjenama jedne veliine uoimo odprilike jednake promjene druge veliine, moramo posumljati u linearnu vezu meu njima. Dakle: y = ax + b . Drugi nain uoavanja linearne veze je grafiki. U tu svrhu podatke zapiimo u obliku ureenih parova i ucrtajmo ih u koordinatni sistem u kojem je x horizontalna osa, a y vertikalna: (1; 2.1) , (2; 5.1), (3; 8.2), (4; 11.0), (5; 14.5), (6; 17.4)
B
18 16 14 12 10

Y
8 6 4 2 0 1 2 3 4 5 6

Uoavamo da su take odprilike na pravcu. Grafiki uvid u oblik zavisnosti moemo provesti i onda ako razmaci meu vrijednostima veliine x nisu jednaki (nisu ekvidistantni), dok je takav uvid raunanjem promjene veliine y otean (iako se i on moe provesti). Sjetite se da su za crtanje pravca potrebne samo dvije take, a mi ih imamo 6. Lako se vidi da ne postoji pravac koji prolazi kroz sve te take. Zato od svih pravaca treba izabrati onaj koji najbolje prolazi pokraj tih toaka. Kriterij odabiranja tog pravca, tj. pripadajuih koeficijenata a,b daje metoda najmanjih kvadrata. Tako je i uopsteno, samo to je onda kad uoena zavisnost odudara od linearne, oteano biranje tipa zavisnosti. esto to i nije problem. Naime tip veze je u mnogim primjerima predvien pripadajuim teorijama. Na primjer, veza izmeu zapremine i pritiska gasa pri fiksiranoj temperaturi predviena je u obliku

Van-der- Wallsove jednaine, Peng-Robinsonove jednaine i sl. (a mi samo moramo odrediti parametre koji se pojavljuju u tim jednainama). Uopteno imamo n vrijednosti veliine x i n vrijednosti zavisne veliine y. To zadajemo tablicom: x x1 x2 xn y y1 y2 yn Naelo na kojemu se zasniva metoda najmanjih kvadrata. Metoda najmanjih kvadrata zasniva se na naelu da su najbolji oni parametri a,b za koje je suma kvadrata razlika izmeu mjerenih vrijednosti yi , i=1,2,...,n i izraunatih vrijednosti f (xi , a,b) minimalna. Ima vie matematikih razloga za prihvaanje ovog naela, a tu ih neemo spominjati. Napomenimo da nije dobro razmatrati zbir razlika eksperimentalnih i teoretskih podataka jer se pozitivne i negativne razlike (odstupanja) ponitavaju. Da bi uzeli u obzir i pozitivna i negativna odstupanja, matematiari su na poetku razmatrali apsolutne vrijednosti razlika i traili da njihova suma bude minimalna. To nije lo kriterij, ali su apsolutne vrijednosti nepogodne jer se ne mogu uvijek derivirati. Taj, ali i neki drugi razlozi, prevagnuli su u korist sume kvadrata. Postupak odreivanja parametara metodom najmanjih kvadrata. Oznaimo i-to odstupanje kao Di := yi - f (xi , a, b) To je razlika izmedju mjerene (eksperimantalne) vrijednosti yi i teoretske vrijednosti f (xi , a,b), tj. vrijednosti funkcije f(x,a,b) za x=xi . Prema metodi najmanjih kvadrata, parametre odredjujemo tako da suma bude minimalna. Taj izraz zavisi od nepoznatih parametrima a, b. Zato piemo: , : , , , , ili krae, , : , ,

, ,

(F zavisi od vrijednosti xi, yi, za i=1,2,...n, meutim te su vrijednosti poznate). Funkcija F esto se naziva funkcija cilja (uopteno, funkcija cilja moe biti i neka druga pogodna funkcija, na primjer, odstupanja se mogu mnoiti nekim teinama). Treba odrediti parametre a,b u kojima funkcija cilja F postie minimum. Uslovi lokalnog ekstrema (pomou parcijalnih derivacija) za funkciju F su: 0 0 0

Dakle,

, ,

, ,

0 , , 0

Koristei osobine izvoda zbira (izvod zbira je zbir izvoda) dobijamo: , , 2 , , 0 2 , ,

Nakon sreivanja dobijamo sistem dvije jednaine sa dvije nepoznate a i b. , , , , 0 , , , , 0

Iz tog sistema odredjujemo nepoznate parametre a, b . Uopteno sistem moe imati vie rjeenja. Takoe, moe se dogoditi da neka rjeenja odgovaraju maksimumu ili sedlastoj taki, a ne minimumu. Moe se dogoditi i to da neka rjeenja nemaju fizika znaenja. Na sreu, u najvanijem sluaju, sluaju linearnih veza i njima srodnih, rjeenje tog sistema je jedinstveno, tj. parametri se mogu odrediti jednoznano. Linearna regresija. Odreivanje parametara a,b za linearnu vezu (odreivanje regresijskog pravca). Tu je f(x,a,b):=ax+b, pa je f(xi,a,b) = axi+b , , , , 1 Ako to uvrstimo u sistem (*), dobijamo 1 0 0

nakon raspisivanja dobijemo sistem dviju linearnih jednaina sa dvije nepoznate:

U tom su sistemu parametri a,b nepoznanice, a brojevi , , n, , koeficijenti sistema (oni su poznati, jer se dobiju iz mjernih podataka). Rjeavanjem tog linearnog sistema dobijemo konane formule (indekse isputamo!): Dobijeni pravac sa jednainom y = ax+b zove se regresijski pravac. Primjer 2. Procijenimo oblik veze, odredimo parametre i jednainu regresijskog pravca ako je:

x y

0 6

1 3

2 1

3 -2

4 -3

Take (0,6), (1,3), (2,1), (3,-2), (4,-3) predstavimo u koordinatnom sistemu. Vidimo da su take priblino na pravcu, pa traimo linearnu vezu, tj. vezu oblika y=ax+b. Unaprijed vidimo da je a<0 i da je b 6. Da bismo lake raunali a,b iz (**), izradimo ovakvu tablicu (u posljednjoj su koloni zbirovi elemenata u odgovarajuem redu): 0 6 0 0 Tu je jos n=5, pa iz (**) dobijemo: 5 1 3 1 3 13 5 30 2 1 4 2 3 -2 9 -6 10 5 10 4 -3 16 -12 2,3 10 5 30 -13

30 5 10 13 5,6 5 30 10 Dakle, traena je linearna veza: y = -2.3 x+ 5.6 (to je jednaina regresijskog pravca). Napomena. Za veliki broj podataka provoenje metode najmanjih kvadrata moe biti mukotrpno. Zato je dobro nauiti primjenu grafikog kalkulatora ili nekog dostupnog kompjutorskog programa. Na primjer, naredba LinReg na grafikom kalkulatoru, za podatke iz Primjera 1. daje nam (zaokrueno na tri decimale) a=3.071 i b = -1.033. Dobijena linearna veza moe nam posluiti za procjenu (priblino odreivanje) vrijednosti veliine y za vrijednosti x unutar podruja mjerenja (interpolacija) ili izvan njega (ekstrapolacija) Veze koje se svode na linearne. U primjeni se esto pojavljuju nelinearne veze medju dvjema veliinama koje se, promjenom mjerne skale, svode na linearne, na primjer: 1. y = axb, je nelinearna veza, a svodi se na linearnu logaritmiranjem: log y= b log x+ log a (tu su log x i log y linearno povezane), 2. y = abx , svodi se na linearnu log y= log b x+ log a (tu su x i log y linearno povezane), 3. svodi se na linearni preko , tj. (tu su y i x linearno povezani), itd.