3 Autoregressive [AR] Modelle

3.1 (Auto-)Regressionen mit Zeitreihen

Die klassische Regression, y i = c + x i + ui , i = 1, . . . , n,

modelliert die lineare Abhngigkeit zwischen yi und dem Vektor erklrender Variablen xi . Sollte z.B. ui unabhngig von den Regressoren sein undwie blichMittelwert Null haben, so ist c + xi der bedingte Erwartungswert von yi gegeben xi . Hat man es im Zeitreihenfall mit serieller Abhngigkeit zu tun, so ist man schnell versucht, die Abhngigkeit zwischen yt und den vergangenen Werten yt1 , yt2 usw. auf hnliche Weise zu modellieren. Dies fhrt zum sog. autoregressiven Modell, yt = c + a1 yt1 + . . . + ap ytp + t , (3.1)

wobei t Erwartungswert Null haben und unkorreliert mit ytj sein sollte; und natrlich soll ap = 0. Fr das autoregressive Modell ergibt sicht eine kleinere eektive Stichprobe, t = p +1, . . . , T mit den Anfangswerten y1 , . . . , yp . Genauso wie in der klassischen Regression erlaubt die Konstante c dass der Erwartungswert von yt verschieden von Null ist; siehe Abschnitt 3.3. Allerdings fhrt die Rekursion zu Komplikationen was andere stochastische Eigenschaften von yt angeht; siehe die Abschnitte 3.2 und 3.3. Obwohl das autoregressive Modell (3.1) einfach aussieht, ist es exibel genugfr passende Werte von pum das Verhalten vieler (konomischer) Zeitreihen zu widerspiegeln. Da p a priori unbekannt ist wird dessen Schtzen oder das berprufen von Annahmen ber p Teil der Modellierung. Abgesehen von der heuristischen Motivation, einen autoregressiven Prozess als ein Modell fr serielle Abhngigkeit zu nutzen, gibt es eine Verbindung zur dynamischen makrokonomischen Theorie. In einer einfachen Volkswirtschaft z.B., in der nichts zuflliges oder ungeplantes passiert und in der die makrokonomischen Variablen zu einem Gleichgewichtspfad konvergieren, wird die Annherung an einen solchen Gleichgewicht in zeitkontinuierlichen 22

3 Autoregressive [AR] Modelle Modellen oft durch Dierenzialgleichungen beschrieben. Bei diskreter Zeit setzt man analog sog. Dierenzengleichungen ein, die wie folgt umformuliert werden knnen: yt a1 yt1 . . . ap ytp = 0 mit t = p + 1, . . . , T ; bei den Koezienten handelt es sich um reelle Zahlen.1 Der autoregressive Prozess kann auch in folgender Form ausgedrckt werden (yt ) a1 (yt1 ) . . . ap (ytp ) = t mit = c/ (1 a1 . . . ap ) . Gilt t = 0 t, so ist die ordnungsgeme Annherung an einen stationren Zustand gegeben. Dementsprechend kann man die Zufallskomponente t als einen Schock (exogen zu yt1 , yt2 , . . .) interpretieren, der die Annherung an den stabilen Zustand (hier ) strt. Anders ausgedrckt: Der Schock t fasst alle externen Faktoren zusammen, die die untersuchten konomischen Variablen beeinussen. Demzufolge kann der autoregressive Prozess als Lsung einer linearen Dierenzengleichung mit zuflligen Strtermen verstanden werden. Das Interesse des konomen liegt vor allem darin, die Reaktionen der Zeitreihen auf solche Schocks zu analysieren. Es stellen sich beispielsweise Fragen wie: Gert ein Schock irgendwann in Vergessenheit? Mit welcher Geschwindigkeit? Fallen oder steigen Variablen der Zeitreihe als Reaktion auf einen Schock? Solche Fragen werden oft mit den Persistenzeigenschaften der Zeitreihe umschrieben. Wenn Schocks zum Beispiel einen langandauernden, positiven Einuss auf die Zeitreihe haben, so ist diese persistent.2 Wie wir sehen werden beinhaltet der Parameter aj alle hierfr relevanten Informationen. Fr einen methodischen Schwerpunkt sind weitere Eigenschaften von Interesse, etwa Verteilungs, Stationaritts- oder Ergodizittseigenschaften, die, wie im Kapitel 1 dargestellt, relevant fr das Verhalten von Schtzverfahren sind. Diese hngen ebenfalls von den Parametern aj ab, aber auch von den Schocks t . Eine extrem hohe Persistenz, bei der Schocks berhaupt nicht vergessen werden (wie es etwa beim Random Walk der Fall ist) ist seriell abhngig bei allen Lags und kann demnach auch nicht ergodisch sein. Im Folgenden werden wir den autoregressiven Prozess aus zwei Perspektiven analysieren. Zunchst betrachten wir einen AR Prozess als Lsung einer Dierenzengleichung3 und diskutieren die dynamischen Eigenschaften von Dierenzengleichungen, um uns dann auf die
1

DieequivalenteDarstellung mit echten Dierenzen ist yt = yt1 + j =1 j ytj + t ; diese Darstellung werden wir im Kapitel 8 verstrkt benutzen. 2 Zur Erinnerung, Persistenz bedeutet dass die Zeitreihe tendiert, auf bereits erreichte Niveaus zu bleiben und nur langsam, wenn berhaupt, zum Mittelwert zurckzukehren. 3 Eine Lsung der o.a. linearen Dierenzengleichung ist eine Folge yt die die Dierenzengleichung fr alle t erfllt.

p1

23

3 Autoregressive [AR] Modelle Zufallskomponenten und analysieren die stochastischen Eigenschaften eines stabilen autoregressiven Prozesses zu fokussieren.

3.2 Dierenzengleichungen und AR Prozesse

Um die Lsungen von Dierenzengleichungen mit stochastischen Strtermen zu beschreiben bzw. zu analysieren bentigen wir ein paar neue Konzepte. Denition 3.1 Die Dierenzengleichung yt a1 yt1 . . . ap ytp = 0, t = p + 1, p + 2, . . . , T,

mit Startwerten y1 , . . . , yp , ist homogen. Hingegen ist die Gleichung yt a1 yt1 . . . ap ytp = g (t) , mit g (t) R, inhomogen. Das Interessante an Lsungen inhomogener Dierenzen- (oder Dierential-) gleichungen ist, dass sie immer als Summe zweier Lsungen ausgedrckt werden knnen: die (allgemeine) Lsung der homogenen Gleichung, und eine (spezielle) Lsung der inhomogenen Gleichung. Es stellt sich heraus, dass die allgemeine Lsung nur von den Startwerten und den Parametern aj , whrend eine spezielle Lsung nur von aj und der Funktion g (t) abhngt. Wir untersuchen zunchst homogene Dierenzengleichungen. In diesem Fall suchen wir nach reellen Folgen xt (es handelt sich nocht nicht um die gewnschte Lsung yt der inhomogenen Gleichung, deswegen eine andere Notation), die eine lineare Dierenzengleichung der Ordnung p erfllen, xt a1 xt1 ap xtp = 0 , t = p + 1, . . . , T,

mit Anfangswerten y1 , . . . , yp . Sollten die Anfangswerte Null sein so hat die Gleichung eine oensichtliche, triviale Lsung xt = 0. Um nichttriviale Lsungen zu erfassen werden wir auf dem Sonderfall der Dierenzengleichung 1. Ordnung aufbauen. Im Falle der Gleichung erster Ordnung ehalten wir dass xt = a xt1 , und die allgemeine Lsung ist dann 24 t = 2, . . . , T ,

3 Autoregressive [AR] Modelle

xt = y1 at1 ,

t = 2, . . . , T .

Diese Lsung hngt von a ab: Wenn |a| < 1, xt 0 unabhngig vom Anfangswert; falls allerdings a = 1, so wird xt = y1 t; und falls |a| > 1 dann nimmt der Einuss des Anfangswertes sogar mit t zu.4 Dementsprechend mssen wir uns auf eine Terminologie, die das Verhalten der Lsung aus diesem Blickwinkel charakterisiert einigen. Denition 3.2 Sei xt die allgemeine Lsung der homogenen Gleichung. Die Lsung ist genau dann stabil, wenn xt 0 fr t . Einerseits ist Stabilitt eine Eigenschaft, die die asymptotische (Un-)Abhngigkeit der Lsung vom Anfangswert verdeutlicht. Eine stabile Gleichung besitzt letztendlich die gleiche Lsung (xt 0 fr groe t), sogar im Falle von vernderten Anfangswerten.5 Anderesseits zeigt Stabilitt, inwiefern die inhomogene Lsung von abhngt: Verschwindet der Eekt eines Schocks t zum Zeitpunkt t + h fr h oder nicht? Das Lsen der homogenen Gleichung ist verbunden mit der sogenannten charakteristischen Gleichung. Diese erhlt man indem vorausgesetzt wird, dass die Lsung der Dierenzengleichung der Ordnung p die Form xt = Ct haben soll, genau wie die Gleichung erster Ordnung. Dies fhrt zu p a1 p1 ap = 0 , = 0 . Diese Gleichung hat p Wurzeln, 1 bis p . Im Falle unterschiedlicher p Wurzeln ist die allgemeine Lsung der homogenen Dierenzengleichung gegeben durch
t xt = C1 t 1 + + Cp p ,

t = p + 1, . . . , T ,

in der die Konstanten C1 bis Cp durch die Anfangswerte y1 , . . . , yp festgelegt sind. Sollte eine Wurzel Multiplizitt der Ordnung m p, aufweisen, das heisst 1 = = m = , erhlt man folgende Lsung
t xt = c1 t + c2 t t + + cm tm1 t + cm+1 t m+1 + + cp p ,

t = p + 1, . . . , T .

Sollte es mehr als eine multiple Wurzel geben, bekommen wir eine in hnlicher Weise komplizierte Lsung; wir gehen hier nicht weiter ins Detail.
4

Einige konomische Zeitreihen besitzen eine solche Abhngigkeit von Startwert (Persistenz!), wohingegen andere nicht. Dies ist natrlich bei der Modellierung zu bercksichtigen. 5 Genaugenommen sind die Lsungen und nicht die Gleichungen stabil, wir werden aber grozgig auch Dierenzengleichungenoder AR Prozesse, s.u.als stabil bezeichnen wenn diese stabile Lsungen besitzen.

25

3 Autoregressive [AR] Modelle Die exakte Lsung allerdings ist nicht von groem Interesse, zumindest nicht im stabilen Fall, wo xt 0 fr t . Es ist also wichtig, zwischen dem stabilen und dem instabilen Fall zu unterscheiden. Satz 3.1 Die homogene Dierenzengleichung ist genau dann stabil, wenn die Wurzeln der charakteristischen Gleichung im Betrag kleiner als 1 sind: |1 | < 1 , . . . , |p | < 1 .

Um zusammenzufassen ist im Falle einer stabilen Lsung der inhomogene Teil von Bedeutung, und nicht der homogene; Stabilitt erkennt man anhand der Wurzeln der charakteristischen Gleichung. Um eine spezielle Lsung des inhomogenen Teils zu erhalten, werden wir auf Lag-Polynome zurckgreifen.6 Denn mit deren Hilfe kann man die Dierenzengleichung wie folgt darstellen: (1 a1 L . . . ap Lp ) yt = g (t) . Und das obige Lag-Polynom ist, im Falle stabiler Dierenzengleichungen, invertierbar! Also erhlt man als eine inhomogene Lsung zt = (1 a1 L . . . ap Lp )1 g (t) , was letztendlich bedeutet, dass zt eine Linearkombination vergangener Werte von g (t) ist. Ein AR Prozess ist wie gesagt nichts anderes als die Lsung einer inhomogenen Dierenzengleichung mit g (t) = t , und dementsprechend setzt sich yt aus xt und zt zusammen. Fr stabile Autoregressionen spielen die Anfangswerte kein Rolle, falls genug Zeit seit der Initialisierung verstrichen ist. Deshalb werden wir annehmen, dass der Prozess in der entfernten Vergangenheit initialisiert wurde, so dass der Einuss der Startwerte auf die Lsung vernachlssigbar ist im stabilen Fall. Dies wird auch Schlsse ber Stationaritt des Prozesses erlauben. Denition 3.3 Der Prozess yt gegeben durch yt = c + a1 yt1 + . . . + ap ytp + t , mit ap = 0, oder A (L) (yt ) = t ,
6

tZ

tZ

Also sind Lag-Polynome in der Tat ntzlich.

26

3 Autoregressive [AR] Modelle mit A (L) = 1 a1 L . . . ap Lp und = c/A (1), wobei t W N (0, 2 ) ist und die charakteristische Gleichung ausschlielich stabile Wurzeln besistzt, ist ein stabiler autoregressiver Prozess der Ordnung p.

Die serielle Unkorreliertheit der Schocks t stellt die (schwache) Exogenitt von ytj fr j > 0 sicher, da sich yt kausal invertieren lt bei Stabilitt von A (L); siehe Abschnitt 3.3. Schwache Exogenitt erlaubt die KQ-Schtzung der autoregressiven Parameter. In der Praxis beobachtet man typischerweise eine Zeitreihe der (endlichen) Lnge T . Nichtsdestotrotz modelliert der Prozess einfach das Verhalten einer konomischen Variable, dessen Annherung an einen stabilen Zustand (hier: an den Mittelwert) permanent von Schocks t gestrt wird. Wir werden nun den stabilen autoregressiven Prozess nher untersuchen. Instabile Prozesse sollten dennoch nicht vergessen werden: Sie knnen und werden als Modelle fr nichtstationre Zeitreihen dienen. Die Anfangswerte wrden in solchen Fllen eine wichtige Rolle spielen (man denke zum Beispiel an die Invertierbarkeit von Lag-Polynomen). Nicht zuletzt werden wir auch Verfahren besprechen, die entscheiden helfen, ob eine gegebene Zeitreihe aus einer stabilen Autoregression stammt oder nicht.

3.3 Eigenschaften stabiler AR Prozesse

Wenn man einen AR(1) Prozess yt = c + a yt1 + t , tZ

rekursiv substituiert (bzw. das Lag-Polynom A (L) = 1 aL invertiert) so erhlt man yt = c + a( c + a yt2 + t1 ) + t = c + a c + a2 yt2 + a t1 + t . (Es wird deutlich, dass yt and yt2 statistisch abhngig sind. Die Denition des AR(1) Prozesses deutet jedoch an, dass sie nicht direkt sondern nur ber yt1 voneinander abhngen.7 ) Auerdem yt = c + a c + a2 c + a3 yt3 + a2 t2 + a t1 + t oder yt = (1 + a + . . . + at1 ) c + at y0 + at1 1 + . . . + a t1 + t .
7

Eine Maeinheit dieser direkten Abhngigkeit ist die sogenannte partielle Autokorrelation; sie ist 0 fr j > p.

27

3 Autoregressive [AR] Modelle Nimmt man an, dass der Prozess stabil ist, d.h. dass |a| < 1, so gilt dass 1 + a + . . . + at1 = und at+s ys 0 wenn s . Zusammenfassend yt =
c + aj tj . 1 a j =0

1 1 at 1a 1a

Man erkennt fr die Lsung des inhomogenen Teils die Inversion des Lag-Polynoms 1 aL, 1 c j c = 1 ; die Stabilitt der Autoregression in yt (1 aL)1 t = j =0 a tj und (1 aL) a erlaubt solche stochastischen Abweichungen vom Mittelwert, da diese nicht von Dauer sind. Man erkennt auch die implizite Verbindung zwischen Invertibilitt und Stabilitt.) Etwas Algebra und die White-Noise Eigenschaft von t ergeben dass E(yt ) = c = , 1a
2 2j j =0

Var(yt ) = und

2 a = = 0 1 a2

Cov(yt yth ) =

j =0

aj aj +h = ah 0 = h

Dies impliziert, dass der stabile autoregressive Prozess erster Ordnung schwach stationr ist; sollte t iid (0, 2 ) so ist yt auch strikt stationr (und gem unserer Vereinbarung auch ergodisch). Die Autokorrelationsfunktion ist gegeben durch y (h) = ah . Fr t iid (0, 2 ) ist die bedingte Varianz von yt eben die von t , nmlich 2 , whrend die unbedingte 0 = 2 / (1 a2 ) ist und dementsprechend grer. Die Invertierung von Lag-Polynomen hherer Ordnung ist schwieriger (faktorisiere, invertiere jeden Faktor und multipliziere die invertierten Faktoren), hat aber im Prinzip die selben Folgen. Der folgende Satz fasst die Eigenschaften des stabiles autoregressiven Prozesses zusammen. Satz 3.2 Der AR(p) Prozess yt ist genau dann stabil, wenn er schwach stationr ist. Falls t iid, so ist der stabile yt auch strikt stationr.

28

3 Autoregressive [AR] Modelle Was Verteilungseigenschaften betrit ist z.B. bei t iid (0, 2 ) die bedingte Verteilung von yt eigentlich die Verteilung von t , verschoben um den bedingten Mittelwert c + a1 yt1 + . . . + ap ytp . Die unbedingte Verteilung hingegen ist nur dann leicht herzuleiten wenn t normalvrteilt ist in diesem Fall ist auch yt marginal normalverteilt. Wenn eine Zeitreihe wegen etwaigen Trendverhaltens nichtstationr zu sein scheint, so ist mglicherweise ein stabiler autoregressiver Prozess kein gutes Modell. Wenn nicht das Trendverhalten von Interesse ist, so ist dies ein weiterer Grund, weshalb Stationarisierung der Zeitreihen ein wichtiger Schritt in der Zeitreihenanalyse darstellt. Wenn wir wissen (wie im Falle des stabilen AR Prozesses), dass die Lsung eine stationre Linearkombination vergangener Schocks ist, knnen wir einen simplen Trick anwenden um die Erwartungen und die Autokovarianzen fr den allgemeinen Fall zu bestimmen. Man fange mit der Denition an, yt = c + a1 yt1 + . . . + ap ytp + t ; also E (yt ) = c + a1 E (yt1 ) + . . . + ap E (ytp ) + E (t ) ; mit konstantem E (yt ) wegen Stationaritt folgt, dass E (yt ) = = c . 1 a1 . . . ap

Fr die Autokovarianzen brauchen wir die Denition in Form von Abweichungen vom Erwartungswert, (yt ) = a1 (yt1 ) + . . . + ap (ytp ) + t . Nach Multiplikation mit yth erhlt man E ((yth ) (yt )) = a1 E ((yth ) (yt1 )) + . . . + ap E ((yth ) (ytp )) + E ((yth ) t ) . Weil yth eine Linearkombination von th , th1 usw. ist, gilt dass E ((yth ) t ) = 0 und dementsprechend h = a1 h1 + . . . + ap hp . Fr h = 0 erhlt man dank E ((yt ) t ) = Var (t ) dass 0 = a1 1 + . . . + ap p + 2 . Die sogenannten Yule-Walker Gleichungen variieren etwas hiervon (man erhlt sie durch 29

3 Autoregressive [AR] Modelle Division durch 0 ): y (h) = a1 y (h 1) + . . . + ap y (h p) , h > 0.

Dies erlaubt die Berechnung der Autokorrelationsfunktion/Autokovarianzfunktion als Funktion des Parameters aj des autoregressiven Prozesses. Zuflligerweise handelt es sich um dieselbe Dierenzengleichung wie in der Denition von yt (oder zumindest um den homogenen Teil hiervon). Man bentigt die ersten p Yule-Walker Gleichungen (h = 1, . . . , p) um die ersten p Autokorrelationen zu bestimmen (p Gleichungen mit p Unbekannten); die (p + 1)te Autokorrelation wird rekursiv mit der (p + 1)te Yule-Walker Gleichung und den ersten p Autokorrelationen errechnet. Zur Berechnung der Autokovarianzen und der Varianz nutzt man das entsprechende System der p + 1 Gleichungen (h = 0, . . . , p) in h , um dann wieder rekursiv fortzufahren.

3.4 Kontrollbungen
bung 3.1 Zeigen Sie, dass fr einen stabilen AR(p) Prozess, die Autokovarianzen h und die Autokorrelationen h fr h gegen Null streben. bung 3.2 Diskutieren Sie die Stabilitt des AR(2) Prozess in Abhngigkeit von den Parametern a1 und a2 . bung 3.3 Die sog. partielle Korrelation h lsst sich aus rechnen, 0 1 2 p1 1 0 1 p2 2 1 . ... . . . 2 . 1 0 . . . . . . . . . . . . 1 . p1 p p1 p2 1 0 folgendem Gleichungssystem be

1 2 3 . . . p

wobei 1 . . . , p1 nicht von Interesse sind. (D.h., fr p = 1 wird ein System mit einer Gleichung und einer Unbekannten gelst, fr p = 2 ein 2 2 System usw.) Zeigen Sie dass h = 0 h > 1 fr einen schwach stationren AR(1) Prozess. bung 3.4 Sei yt ein sog. saisonaler AR Prozess erster Ordnung, d.h. (1 L4 ) yt = t fr || < 1 (t W N (0, 4 ) wie immer). Zeigen Sie, dass es sich um einen stabilen AR Prozess handelt. Zeigen Sie auch, dass 4h = h aber 4h+1 = 4h+2 = 4h+3 = 0 fr h 0.

30