Sie sind auf Seite 1von 44

6. Sch¨atzung station¨arer ARMA-Modelle

Problemstellung:

Statistische Anpassung eines station¨aren ARMA(p, q)-Prozes-

ses an eine Stichprobe von gen

t = 1,

, T Prozessbeobachtun-

Es bezeichne x 1 ,

,x T die

realisierte Stichprobe (Trajekto-

T (Prozess-

rie, Zeitreihe) der zuf¨alligen Stichprobe X 1 ,

variablen) (vgl. Kapitel 4)

,X

181

6.1 Die Box-Jenkins Methodologie

Vorwissen:

Jeder datenerzeugende station¨are Prozess kann beliebig genau durch einen ARMA(p, q)-Prozess approximiert werden (vgl. Kapitel 3, Folie 42)

Zu kl¨arende Aspekte:

Wahl der Prozessordnungen p und q

Sch¨atzung aller Prozessparameter

182

Box-Jenkins Methodologie:

(vgl. Box & Jenkins, 1976)

1. Modellidentifikation

2. Parametersch¨atzung

3. Modelldiagnose

4. Prognose

183

1. Modellidentifikation: (I)

¨

Uberpr¨ufung der Zeitreihe x 1 ,

,x T auf Stationarit¨at

Visuelle Inspektion der Daten der Daten

Anwendung statistischer Stationarit¨atstests (vgl. Kapitel 7) statistischer Stationarit¨atstests (vgl. Kapitel 7)

Ggf. Datentransformation zur Erreichung der Stationarit¨at 1. Differenzen: Datentransformation zur Erreichung der Stationarit¨at 1. Differenzen:

x t x t = (1 L)x t = x t x t1

1. Differenzen der logarithmierten Daten:

x t ∆ log(x t ) = log(x t ) log(x t1 ) = log

t

x t1

x

184

1. Modellidentifikation: (II)

Bestimmung der Ordnungen p und q

Berechnung der gesch¨atzten ACF/PACF gesch¨atzten ACF/PACF

Visueller Vergleich der gesch¨atzten ACF/PACF mit poten- ziellen theoretischen ACF/PACF (vgl. Tabelle auf Folie 175; Abb. auf Folien gesch¨atzten ACF/PACF mit poten- ziellen theoretischen ACF/PACF (vgl. Tabelle auf Folie 175; Abb. auf Folien 178-180)

Statistische Selektionsverfahren f¨ur p und q (vgl. Abschnitt 6.3) f¨ur p und q (vgl. Abschnitt 6.3)

185

2. Parametersch¨atzung:

KQ-Sch¨atzung, Maximum-Likelihood Sch¨atzung (vgl. Abschnitt 6.2)

3. Modelldiagnose:

¨

Uberpr¨ufung, ob Autokorrelation in den Residuen des gesch¨atz-

ten Modells vorliegt (Anwendung des Ljung-Box Tests, vgl. Folie 164-165)

Autokorrelationsfreie Residuen Residuen

−→ Gut spezifiziertes Modell (Analyse der Parametersignifikanzen) −→ Autokorrelierte Residuen Autokorrelierte Residuen

−→ Respezifikation des Modells (iteratives Vorgehen)

186

4. Prognose:

Benutzung der gesch¨atzten Parameterwerte des gut spezi- fizierten Modells zur Prognose zuk¨unftiger Prozesswerte (kein Gegenstand der VL)

187

6.2 Die Sch¨atzung eines ARMA(p, q)-Modells

Jetzt:

Sch¨atzung der Parameter c, φ 1 , station¨aren ARMA(p, q)-Prozesses

p 1 ,

q und σ 2 eines

X t = c + φ 1 X t1 +

+ φ p X tp + t + θ 1 t1 +

θ

q tq

Bemerkungen:

Es gibt verschiedene Sch¨atztechniken (KQ-, ML-Sch¨atzung; vgl. VL FS)

F¨ur einen AR(p)-Prozess gibt es den Yule-Walker-Sch¨atzer (vgl. Neusser, 2006)

188

Zun¨achst: (I)

Beispiel einer KQ-Sch¨atzung des AR(p)-Modells

X t = c + φ 1 X t1 +

+ φ p X tp + t

Fasse daf¨ur den Prozess als Regressionsmodell auf mit

X t als abh¨angiger Variable t als abh¨angiger Variable

auf mit X t als abh¨angiger Variable X t − 1 , ,X t − p

X

t1 ,

,X

tp als Regressoren

t als St¨orterm t als St¨orterm

189

Zun¨achst: (II)

Modell in Martixschreibweise:

X

p+1

X

p+2

.

.

.

X

T

y

=

=

1

X p

1 X p+1

.

.

.

.

1 X T1

Xβ + u

X p1

X p

X T2

X 1

X 2

.

.

.

···

···

.

··· X Tp

.

.

KQ-Sch¨atzer β KQ f¨ur β = c φ 1

φ 2

···

β KQ = (X X) 1 Xy

c

φ

φ

.

.

.

φ

1

2

p

 

φ p ist

+

p+1

p+2

.

.

.

T

190

Zun¨achst: (III)

σ 2 wird mittels der KQ-Residuen uˆ = y X β KQ gesch¨atzt durch

σˆ 2 =

uˆ uˆ

T p

¨

(vgl. VL Okonometrie I)

Probleme: (I)

Die bekannten Optimalit¨atseigenschaften der KQ-Sch¨atzung erfordern diverse Voraussetzungen an das lineare Regressions- modell (vgl. Vorlesungen Okonometrie I + II)

¨

191

Probleme: (II)

Einige dieser Voraussetzungen sind hier verletzt:

Die Regressoren sind mit dem St¨orterm korreliert Regressoren sind mit dem St¨orterm korreliert

Abh¨angigkeit der KQ-Sch¨atzung von den StartwertenDie Regressoren sind mit dem St¨orterm korreliert X 1 , ,X p Dennoch: • In AR(

X

1 ,

,X

p

Dennoch:

In AR(p)-Modellen sind die KQ-Sch¨atzer f¨ur die Modellpa- rameter konsistent und asymptotisch effizient (vgl. Neusser, 2006, S. 81-84)

192

Jetzt:

Sch¨atzung eines allgemeinen ARMA(p, q)-Modells

X t = c + φ 1 X t1 +

+ φ p X tp + t + θ 1 t1 +

θ

q tq

Sammle alle Modellparameter im ([p + q + 2] × 1) Vektor

β = c

φ 1

···

φ p

θ 1

···

θ q

σ 2

Problem:

KQ-Methode nicht ohne weiteres anwendbar, da die ”Regres-

tq des MA(q)-Teils nicht direkt beobacht-

soren” t , t1 , bar sind

,

193

Ausweg:

Sch¨atze die Modellparameter mit der (bedingten) Maximum- Likelihood-Methode (vgl. VL Fortgeschrittene Statistik)

ML-Methode: (I)

Ben¨otigen

X

1 ,

,X

T

Verteilungsannahme

der

Stichprobenvariablen

Berechnung der gemeinsamen Dichtefunktion

f

X 1 ,

,X

T (x 1 ,

,x

T )

194

ML-Methode: (II)

Betrachte die gemeinsame Dichtefunktion als eine Funktion im unbekannten Parametervektor β

bzw.

L(β) = f X 1 ,

,X

L (β) = log[f X 1 ,

T (x 1 ,

,X

T (x 1 ,

,x

T )

,x T )]

(Likelihood-Funktion bzw. Log-Likelihood-Funktion)

Maximiere L (β) bzgl. β

−→ Maximum-Likelihood-Sch¨atzer

195

ML-Methode: (III)

ML-Sch¨atzer haben g¨unstige statistische Eigenschaften:

Konsistenzhaben g¨unstige statistische Eigenschaften : Asymptotische Normalit¨at Asymptotische Effizienz

Asymptotische Normalit¨athaben g¨unstige statistische Eigenschaften : Konsistenz Asymptotische Effizienz Robustheit gegen¨uber Abweichungen

Asymptotische EffizienzEigenschaften : Konsistenz Asymptotische Normalit¨at Robustheit gegen¨uber Abweichungen von der NV

Robustheit gegen¨uber Abweichungen von der NV (Quasi-ML-Sch¨atzungen) (Quasi-ML-Sch¨atzungen)

196

Verteilungsannahme:

Betrachte einen Gaußschen ARMA(p, q)-Prozess

X t = c + φ 1 X t1 +

mit t GWR(0, σ 2 )

+ φ p X tp + t + θ 1 t1 +

Log-Likelihood-Funktion: (I)

θ

q tq

Berechnung der exakten Log-Likelihood-Fkt. unm¨oglich

Stattdessen Berechnung der Log-Likelihood-Funktion unter Ber¨ucksichtigung gegebener Startwerte

x 0

x 0

x 1

···

x p+1 ,

q+1

0

0

1

···

−→ Bedingte Log-Likelihood-Funktion

197

Log-Likelihood-Funktion: (II)

Die bedingte Log-Likelihood-Funktion ist gegeben durch

L (β|x 0 , 0 ) = T log(2π) T log(σ 2 )

2

2

Bemerkungen: (I)

T

t=1

2

t

2σ 2

Die bedingte Log-Likelihood-Funktion L (β|x 0 , 0 ) ist eine komplizierte nichtlineare Funktion im Parametervektor β

Es existieren keine analytisch geschlossenen Formeln f¨ur die bedingten ML-Sch¨atzfunktionen

−→ Numerische Optimierung von L (β|x 0 , 0 )

198

Bemerkungen: (II)

Exakte und bedingte ML-Sch¨atzer haben qualitativ ¨ahnliche Eigenschaften

EViews verf¨ugt ¨uber derartige numerische Optimierungsver- fahren

199

6.3 Die Sch¨atzung der Ordnungen p und q

Frage:

Wie sollen die Ordnungen p und q des anzupassenden ARMA- Modells gew¨ahlt werden?

2 Fehlerm¨oglichkeiten:

p und q werden zu groß gew¨ahlt (Overfitting)

p und/oder q werden zu klein gew¨ahlt (Underfitting)

200

Konsequenzen:

Sowohl beim Overfitting als auch beim Underfitting ist der ML-Sch¨atzer i.A. nicht mehr konsistent f¨ur die Modellparam- eter

−→ Korrekte Bestimmung der Ordnungen p und q ist zentral

Bestimmungsm¨oglichkeiten:

Visuelle Inspektion der empirischen ACF und PACF (Box-Jenkins-Ansatz, in praxi meist schwierig)

Automatische Selektionsverfahren

201

Idee der Selektionsverfahren: (I)

Minimierung eines Informationskriteriums

Prinzipielle Konstruktion der Kriterien:

Mit steigenden Ordnungen p und q nimmt die Anpassung des ARMA -Modells zu (bzw. nicht ab) steigenden Ordnungen p und q nimmt die Anpassung des ARMA-Modells zu (bzw. nicht ab)

Die Anpassung des Modells wird gemessen durch die ge- sch¨atzte Varianz der Residuen σ ˆ ge- sch¨atzte Varianz der Residuen σˆ

2

p,q

Um die Tendenz zum Overfitting zu korrigieren, wird das Anpassungsmaß σ ˆ p , q um einen Term erg¨anzt, Overfitting zu korrigieren, wird das Anpassungsmaß σˆ p,q um einen Term erg¨anzt, der h¨ohere Wahlen von p und q bestraft

2

202

Idee der Selektionsverfahren: (I)

Die bekanntesten Informationskriterien lauten:

AIC( p, q ) = log σ ˆ p , q + ( p + (p, q) = log σˆ p,q + (p + q) (Akaike-Informationskriterium)

2

2

T

SIC( p, q ) = log σ ˆ p , q + ( p + (p, q) = log σˆ p,q + (p + q) log(T )

2

T

(Schwarz-Informationskriterium)

HQIC( p, q ) = log σ ˆ (p, q) = log σˆ

p,q + (p + q) 2 log[log(T )]

2

T

(Hannan-Quinn-Informationskriterium)

In praxi werden die Ordnungen p und q so gew¨ahlt, dass sie eines der 3 Informationskriterien minimieren

203

Bemerkungen:

In praxi wird meistens das AIC-Kriterium verwendet, obwohl es tendenziell zum Overfitting f¨uhrt

SIC und HQIC liefern konsistente Sch¨atzungen der Ordnun- gen p und q

204

6.4 Modellierung eines stochastischen Prozesses

Jetzt:

Anpassung eines ARMA(p, q)-Prozesses an eine erhobene Zeit- reihe in 4 Schritten

1. Transformationen zur Erreichung der Stationarit¨at: (I)

¨

Okonomische Zeitreihen sind oft nicht station¨ar

(vgl. Kapitel 7)

−→ Daten sind in station¨are Zeitreihen zu transformieren

205

1. Transformationen zur Erreichung der Stationarit¨at: (II)

M¨ogliche Datentransformation:

¨

Ubergang zu Differenzen(II) • M¨ogliche Datentransformation: ¨ Y t = (1 − L ) d X t f¨ur

Y t = (1 L) d X t

f¨ur d = 1, 2,

(Differenzenfilter der Ordnung d)

Bereinigung von { X t } um einen deterministischen Trend (vgl. Kapitel 7) {X t } um einen deterministischen Trend (vgl. Kapitel 7)

¨

Ubergang zu logarithmierten Werten bzw. zu Differenzen logarithmierten Werten bzw. zu Differenzen

der logarithmierten Werte

Y t = (1 L) log(X t ) = log(X t ) log(X t1 )

(Wachstumsrate)

206

2. Wahl der Ordnungen p und q:

Inspektion von ACF und PACF

Anwendung von Selektionskriterien (vgl. Abschnitt 6.3)

3. Sch¨atzung des Modells:

ML-Sch¨atzung des spezifizierten ARMA(p, q)-Modells

207

4. Pr¨ufung auf Plausibilit¨at:

Sind die Parametersch¨atungen plausibel?

Folgen die Residuen einem Weißen Rauschen?

Gibt es Strukturbr¨uche

Ggf. Respezifikation des Modells und erneute Anpassung

Beispiel:

Deutsches BIP zwischen 1970:Q1 und 2007:Q4

208

BIP (preisbereinigt, Quartalsdaten)

120 110 100 90 80 70 60 50 40 1970.1 1980.1 1990.1 2000.1 Zeit
120
110
100
90
80
70
60
50
40
1970.1
1980.1
1990.1
2000.1
Zeit

BIP Wachstumsrate

.08 .06 .04 .02 .00 -.02 -.04 1970.1 1980.1 1990.1 2000.1
.08
.06
.04
.02
.00
-.02
-.04
1970.1
1980.1
1990.1
2000.1

Schritt 1:

Daten weisen offensichtlich

einen steigenden Trend auf steigenden Trend auf

ein Saisonmuster auf Saisonmuster auf

−→

¨

Ubergang zu saisonalen Differenzen in Logarithmen

X t

= (1 L 4 ) log(BIP t )

= log(BIP t ) log(BIP t4 )

(Wachstumsrate gegen¨uber Vorjahresquartal)

210

Schritt 2:

Visuelle Inspektion von ACF und PACF (vgl. Abbildung auf Folie 212)

ACF langsam monoton abklingendInspektion von ACF und PACF (vgl. Abbildung auf Folie 212) −→ AR-Modell PACF hat signifikante Werte

−→ AR-Modell

PACF hat signifikante Werte bis h = 4 h = 4

−→ AR(4)-Modell

211

Geschätzte ACF

1.0 0.5 0.0 -0.5 -1.0 0 5 10 15 20 25 30 h Geschätzte PACF
1.0
0.5
0.0
-0.5
-1.0
0
5
10
15
20
25
30
h
Geschätzte PACF
1.0
0.5
0.0
-0.5
-1.0
0
5
10
15
20
25
30
h

Schritt 2 (Fortsetzung):

Selektionskriterien:

AIC-Werte f¨ur alternative ARMA(p, q)-Modelle

p / q

q = 0

q = 1

q = 2

q = 3

q = 4

q = 5

p = 0 p = 1 p = 2 p = 3 p = 4 p = 5

 

5.6068

5.6530

5.9066

5.9046

5.9043

5.8274

5.8157

5.8125

5.9476

5.9378

5.9412

5.8322

5.8813

5.8806

5.9394

5.9290

5.9504

5.8117

5.8900

5.8825

5.9107

5.9157

5.9702

5.8518

5.8922

5.8960

–5.9988

5.9520

5.9869

5.8988

5.8861

5.9203

5.9775

5.9922

5.9810

−→ ARMA(4, 3)-Modell

213

SIC-Werte f¨ur alternative ARMA(p, q)-Modelle

p / q

q = 0

q = 1

q = 2

q = 3

q = 4

q = 5

p = 0 p = 1 p = 2 p = 3 p = 4 p = 5

 

5.5663

5.5923

5.8256

5.8034

5.7828

5.7867

5.7546

5.7311

–5.8458

5.8157

5.7988

5.7709

5.7996

5.7785

5.8168

5.7860

5.7870

5.7296

5.7874

5.7593

5.7670

5.7514

5.7855

5.7487

5.7684

5.7516

5.8338

5.7664

5.7806

5.7745

5.7411

5.7546

5.7910

5.7850

5.7531

−→ ARMA(1, 3)-Modell

214

Schritt 3: (I) Sch¨atzung des AR(4)-Modells

Dependent Variable: BIP_WACHSTUM Method: Least Squares

Date: 22/05/08

Sample (adjusted): 1972Q1 2007Q4 Included observations: 144 after adjustments Convergence achieved after 3 iterations

Time: 16:10

Variable

Coefficient

Std. Error

t-Statistic

Prob.

C

0.021617

0.003267

6.616613

0.0000

AR(1)

0.671162

0.082343

8.150788

0.0000

AR(2)

0.091627

0.099346

0.922303

0.3580

AR(3)

0.146818

0.098621

1.488713

0.1388

AR(4)

-0.234958

0.080608

-2.914812

0.0041

R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat

0.549943

Mean dependent var S.D. dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic)

0.021520

0.536992

0.018744

0.012754

-5.851775

0.022612

-5.748656

426.3278

42.46246

1.877438

0.000000

Inverted AR Roots

.71-.26i

.71+.26i

-.38+.52i

-.38-.52i

215

Schritt 3: (II)

Hauptergebnisse:

Parameter φ 2 und φ 3 nicht signifikant φ 2 und φ 3 nicht signifikant

Varianz der Residuen:Hauptergebnisse: Parameter φ 2 und φ 3 nicht signifikant σ ˆ 2 = (0 . 012754)

σˆ 2 = (0.012754) 2 = 0.000163

216

Schritt 3: (III)

Sch¨atzung des ARMA(1, 3)-Modells

Dependent Variable: BIP_WACHSTUM Method: Least Squares

Date: 21/05/08

Sample (adjusted): 1971Q2 2007Q4 Included observations: 147 after adjustments Convergence achieved after 10 iterations Backcast: 1970Q3 1971Q1

Time: 23:14

Variable

Coefficient

Std. Error

t-Statistic

Prob.

C

0.021610

0.002912

7.421498

0.0000

AR(1)

-0.101970

0.113792

-0.896108

0.3717

MA(1)

0.887698

0.084314

10.52848

0.0000

MA(2)

0.654474

0.084773

7.720300

0.0000

MA(3)

0.656299

0.062123

10.56447

0.0000

R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat

0.582336

Mean dependent var S.D. dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic)

0.021547

0.570571

0.018559

0.012162

-5.947550

0.021004

-5.845835

442.1449

49.49651

2.010427

0.000000

Inverted AR Roots Inverted MA Roots

-.10

.02+.84i

.02-.84i

-.94

217

Schritt 3: (IV)

Hauptergebnisse:

Parameter φ 1 nicht signifikant φ 1 nicht signifikant

Varianz der Residuen:• Hauptergebnisse: Parameter φ 1 nicht signifikant σ ˆ 2 = (0 . 012162) 2 =

σˆ 2 = (0.012162) 2 = 0.000148

−→ Bessere Anpassung als AR(4)-Modell

218

Schritt 4: (ARMA(1, 3)-Modell) (I)

Parameterwerte plausibel

Eigenschaften des gesch¨atzten ARMA(1, 3)-Modells (I) (vgl. Abbildung 18, Folie 221)

ARMA(1 , 3)-Modells (I) (vgl. Abbildung 18, Folie 221) Kehrwert der Nullstelle des AR-Polynoms innerhalb des

Kehrwert der Nullstelle des AR-Polynoms innerhalb des Einheitskreises

−→ AR-Nullstelle außerhalb des Einheitskreises

−→ Gesch¨atztes ARMA(1, 3)-Modell ist station¨ar

219

Schritt 4: (II)

Eigenschaften des gesch¨atzten ARMA(1, 3)-Modells (II) (vgl. Abbildung 18, Folie 221)

ARMA(1 , 3)-Modells (II) (vgl. Abbildung 18, Folie 221) Kehrwert der Nullstellen des MA-Polynoms innerhalb des

Kehrwert der Nullstellen des MA-Polynoms innerhalb des Einheitskreises

−→ MA-Nullstellen außerhalb des Einheitskreises

−→ Gesch¨atztes ARMA(1, 3)-Modell ist invertierbar

220

Kehrwerte der Nullstellen der AR/MA Polynome

1.0 0.5 0.0 -0.5 -1.0 -1.0 -0.5 0.0 0.5 1.0 AR-Nullstellen MA-Nullstellen
1.0
0.5
0.0
-0.5
-1.0
-1.0
-0.5
0.0
0.5
1.0
AR-Nullstellen
MA-Nullstellen

Inverse Roots of AR/MA Polynomial(s) Specification: BIP_WACHSTUM C AR(1) MA(1) MA(2) MA(3)

Date: 21/05/08

Sample: 1970Q1 2007Q4 Included observations: 147

Time: 23:59

AR Root(s)

Modulus

Cycle

-0.101970

0.101970

No root lies outside the unit circle. ARMA model is stationary.

 

MA Root(s)

Modulus

Cycle

-0.936859

0.936859

0.024581 ± 0.836616i

0.836977

4.076222

No root lies outside the unit circle. ARMA model is invertible.

Schritt 4: (II) Residualanalyse (I)

Geschätzte ACF der Residuen

1.0

0.5

0.0

-0.5

-1.0

0

5

10

15

h

20

25

30

222

Schritt 4: (III)

Residualanalyse (II)

Keine signifikanten Autokorrelationen bis zum Lag h = 30 h = 30

Ljung-Box-Test auf Autokorrelation in den Residuen: auf Autokorrelation in den Residuen:

(vgl. Folien 164-165)

Lag Q-Statistik p-Wert

10

7.6054

0.268

20

15.348

0.499

30

21.145

0.734

223

Schritt 4: (IV)

Schlussfolgerung:

Residuen folgen ann¨ahernd einem Weißen RauschenKorrelation in den Daten wird vom ARMA(1 , 3)-Modell gut erfasst

Korrelation in den Daten wird vom ARMA(1, 3)-Modell gut erfasst , 3)-Modell gut erfasst

224