Sie sind auf Seite 1von 166

Institut f ur Statistik

Ludwig-Maximilians-Universitat
Ludwigstr. 33
80539 M unchen
Skript zur Vorlesung
STOCHASTISCHE PROZESSE
Ludwig Fahrmeir, G unter Raer, Thomas Kneib
Dieses Skript beruht zu einem groen Teil auf Ausz ugen aus Fahrmeir, Kauf-
mann & Ost (1981). Erganzungen betreen Teile der Kapitel 2 und 3, sowie
die Kapitel 6 und 7.
Unser Dank gilt Rudi Eichholz, der den groten Teil des L
A
T
E
X-Skripts erstellte.

Uberarbeitete Version vom 7. Mai 2012 (

Anderungen durch S. Greven, M. Cattaneo, J. Gertheiss)


Inhaltsverzeichnis
Literatur 5
1 Einf uhrung und Beispiele 6
1.1 Einf uhrende Beispiele und erste Denition . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2 Spezielle stochastische Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 Irrfahrten (Random walks) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.2 Wiener-Prozess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.3 Zahlprozesse und Poisson-Prozess . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2 Grundbegrie der allgemeinen Theorie 27
2.1 Denitionen stochastischer Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.1 Klassische Denition: SP als Familie von Zufallsvariablen . . . . . . . . . . . . 27
2.1.2 Stochastischer Prozess als Produktabbildung . . . . . . . . . . . . . . . . . . . 30
2.1.3 Stochastischer Prozess als Abbildung in Funktionenraum . . . . . . . . . . . . 31
2.2 Existenzsatz von Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3

Aquivalenz-und Stetigkeitsbegrie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.3.1

Aquivalente stochastische Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.3.2 Stetigkeitsbegrie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.4 Stationare und nichtstationare stochastische Prozesse . . . . . . . . . . . . . . . . . . . 39
3 Markov-Ketten 44
3.1 Grundlegende Eigenschaften, Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2 Klassizierung von Zustanden und R uckkehrverhalten . . . . . . . . . . . . . . . . . . 53
3.3 Das Grenzverhalten von homogenen MK . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.4 Instationare und inhomogene MK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2
INHALTSVERZEICHNIS 3
3.4.1 Instationare und inhomogene binare MK 1. Ordnung . . . . . . . . . . . . . . . 67
3.4.2 Weitere inhomogene MK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.5 Statistische Inferenz f ur MK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.5.1 Likelihood-Inferenz f ur SP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.5.2 Inferenz bei homogenen Markov-Ketten . . . . . . . . . . . . . . . . . . . . . . 71
3.5.3 Fallstudie: Niederschlag bei den Snoqualmie-Wasserfallen . . . . . . . . . . . . 73
3.6 Hidden Markov Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.7 Allgemeine Markov-Ketten und MCMC-Methoden . . . . . . . . . . . . . . . . . . . . 77
3.7.1 Allgemeine Markovketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.7.2 Metropolis-Hastings-Algorithmus und MCMC . . . . . . . . . . . . . . . . . . . 81
3.8 Der Metropolis-Hastings-Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4 Diskrete Markov-Prozesse 85
4.1 Denition und elementare Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.2 Geburts- und Todesprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.2.1 Geburtsprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.2.2 Geburts- und Todesprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.3 Diskrete MP: Skizze der allgemeinen Theorie . . . . . . . . . . . . . . . . . . . . . . . 95
4.4 Zur statistischen Analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5 Erneuerungs- und Semi-Markov-Prozesse 112
5.1 Erneuerungsprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.1.1 Denition und grundlegende Begrie . . . . . . . . . . . . . . . . . . . . . . . . 113
5.1.2 Zur Theorie der Erneuerungsprozesse . . . . . . . . . . . . . . . . . . . . . . . . 117
5.2 Semi-Markov-Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.2.1 Denition und grundlegende Eigenschaften . . . . . . . . . . . . . . . . . . . . 118
5.2.2 Grenzwertsatze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.3 Bemerkung zur statistischen Inferenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6 Martingale 124
6.1 Martingale in diskreter Zeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.1.1 Denition und Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
INHALTSVERZEICHNIS 4
6.1.2 Spielsysteme und das Optional Stopping Theorem . . . . . . . . . . . . . . . . 128
6.1.3 Doob-Meyer-Zerlegung in diskreter Zeit . . . . . . . . . . . . . . . . . . . . . . 132
6.2 Martingale in stetiger Zeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.2.1 Denition und Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.2.2 Doob-Meyer-Zerlegung in stetiger Zeit . . . . . . . . . . . . . . . . . . . . . . . 134
7 Punkt- und Zahlprozesse 137
7.1 Denition und einige Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
7.2 Spezielle Zahlprozesse und Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.2.1 MP, SMP und EP als spezielle Zahlprozesse . . . . . . . . . . . . . . . . . . . . 144
7.2.2 Lebensdauern und Survivalanalyse . . . . . . . . . . . . . . . . . . . . . . . . . 149
7.3 Ein allgemeines Zahlprozess-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.4 Statistische Inferenz f ur Survival- und Ereignisdaten . . . . . . . . . . . . . . . . . . . 155
7.4.1 Nelson-Aalen-Schatzer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7.4.2 Parametrische und semiparametrische Likelihood-basierte Inferenz . . . . . . . 157
8 MP mit stetigem Zustands- und Parameterraum 159
8.1 Modellierung von Aktienpreisen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.1.1 Bonds (risikofreie Anlagen) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8.1.2 Die geometrische Brownsche Bewegung als Aktienkursmodell . . . . . . . . . . 160
8.2 Markov-Prozesse mit kontinuierlichem Zustandsraum . . . . . . . . . . . . . . . . . . . 161
8.3 Diusionsprozesse und stochastische Differentialgleichungen . . . . . . . . . . . . . . . 163
Literatur
Allen, L.J.S. (2011). An Introduction to Stochastic Processes with Applications to Biology (2nd ed.). CRC
Press.
Ammann, M. (2001). Credit Risk Valuation (2nd ed.). Springer.
Andersen, P.K., Borgan, O. (1985). Counting process models for life history data: A review (with discus-
sion). Scand. J. Statist. 12, 97158.
Andersen, P.K., Borgan, O., Gill, R., Keiding, N. (1993). Statistical Models Based on Counting Pro-
cesses. Springer.
Bauer, H. (2002). Wahrscheinlichkeitstheorie (5. Au.). De Gruyter.
Bhattacharya, R., Waymire, E. (1990). Stochastic Processes with applications. Wiley.
Billingsley, P. (1995). Probability and Measure (3rd ed.). Wiley.
Bingham, N.H., Kiesel, R. (2004). Risk-Neutral Valuation (2nd ed.). Springer.
Br emaud, P. (1981). Point Processes and Queues: Martingale Dynamics. Springer.
Fahrmeir, L., Kaufmann, H., Ost, F. (1981). Stochastische Prozesse. Hanser.
Fleming, T.R., Harrington, D.P. (1991). Counting Processes and Survival Analysis. Wiley.
Franke, J., H ardle, W., Hafner, C. (2001). Einf uhrung in die Statistik der Finanzmarkte. Springer.
G anssler, P., Stute, W. (1977). Wahrscheinlichkeitstheorie. Springer.
Guttorp, P. (1995). Stochastic Modelling of Scientic Data. Chapman & Hall.
Grimmett, G., Stirzaker, D. (2001). Probability and Random Processes. Oxford University Press.
Ibe, O.C. (2009). Markov Processes for Stochastic Modeling. Elsevier.
Jacod, J. (1979). Calcul stochastique et probl`emes de martingales. Lectures Notes in Mathematics 714. Sprin-
ger.
Karlin, S., Taylor, H.M. (1975). A rst course in stochastic processes (2nd ed.). Academic Press.
Koller, M. (2000). Stochastische Modelle in der Lebensversicherung. Springer.
Korn, R., Korn, E. (1999). Optionsbewertung und Portfolio-Optimierung. Vieweg.
Lawler, G.F. (2006). Introduction to Stochastic Processes (2nd ed.). Chapman & Hall.
Liptser, R.S., Shiryayev, A.N. (1989). Theory of Martingales. Kluwer.
ksendal, B. (2000). Stochastic Dierential Equations (5th ed.). Springer.
Pruscha, H. (2000). Statistik stochstischer Prozesse. Vorlesung, LMU.
Ross, S.M. (2007). Introduction to Probability Models (9th ed.). Academic Press.
Taylor, H.E., Karlin, S. (1998). An Introduction to Stochastic Modelling (2nd ed.). Academic Press.
Todorovic, P. (1992). Introduction to Stochastic Processes and their Applications. Springer.
5
Kapitel 1
Einf

uhrung und Beispiele


Inhalt:
Anwendungsbeispiele
erste Denition eines stochastischen Prozesses
einige spezielle stochastische Prozesse
Ziel:
Aufzeigen der Vielfalt stochastischer Prozesse
Einf uhrung erster Grundbegrie anhand von Beispielen
1.1 Einf uhrende Beispiele und erste Denition
Beispiele:
rein zeitlich:
Mikrodaten des IFO-Konjunkturtests
Markenwahl
Erwerbstatigkeit: Individuelle Verlaufe, Anzahl Erwerbsloser
Krankheiten : Individuelle Verlaufe, Anzahl Erkrankter
DNA-Sequenzen
Genetische Evolution
(Aktien)Kurse: Tagesdaten
6
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 7


(Aktien)Kurse: Inter-Tagesdaten
Schlafzustande
Schadensfalle und Schadenshohen bei KFZ-Versicherung
Brownsche Bewegung (ein- und mehrdimensional)
raumlich + raumlich-zeitlich:
Krebsatlas (raumlich, raumlich-zeitlich)
Erwerbstatigkeit (raumlich, raumlich-zeitlich)
fMRI Daten (human brain mapping)
Kosten bei privater Krankenversicherung (raumlich-zeitlich)
In allen Beispielen beobachtet bzw. misst man Realisierungen von ZV X
t
, t T , mit einer geeigneten
Indexmenge T, z.B. mit
T N
0
, R
+
(Zeit),
T Z
2
(raumliches Gitter),
T R
2
(kontinuierliche Teilmenge),
T Z
2
N
0
(Raum-Zeit).
Dies f uhrt zur ersten
Denition 1.1 Stochastischer Prozess (SP) als Familie von ZV
Sei T Indexmenge bzw. Parameterraum. Die Familie X
t
, t T von ZVen heit stochastischer
Prozess. Der Wertebereich S der ZVen heit Zustandsraum.
Bemerkung:
Genauer gilt X
t
: (, T, P) (S, o) ZV f ur alle t, o ist -Algebra und (, T, P) ein W-Raum.
Dabei ist in der Regel S Z, R, R
2
, . . . und f ur die -Algebra o gilt o = T(S) f ur S diskret bzw.
o = B Borelmengen f ur S R
+
, R, . . .
Dann heit das Quadrupel X = , T, P, (X
t
, t T) stochastischer Prozess.
1.2 Spezielle stochastische Prozesse
1.2.1 Irrfahrten (Random walks)
Irrfahrten (

Random Walks): einfache stochastische Modelle f ur Spielsituationen; diskretisierte Idea-


lisierung von Kursverlaufen bzw. der Brownschen Bewegung.
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 8


Diskrete einfache Irrfahrt auf der Geraden
Start in 0 (Zeit t = 0)
Bewegung: (t = 1, 2, . . .)
Ein Schritt nach rechts mit Wahrscheinlichkeit p
Ein Schritt nach links mit Wahrscheinlichkeit q
Verbleiben im Zustand mit Wahrscheinlichkeit r
p +q +r = 1
Z
t
, t = 1, 2, . . . i.i.d. Folge
Z
t
1, 0, 1 ZV f ur t-ten Schritt
P(Z
t
= 1) = q, P(Z
t
= 0) = r, P(Z
t
= 1) = p
X
t
, t = 0, 1, 2, . . . Position nach dem t-ten Schritt
X
0
= 0, X
t
= Z
1
+Z
2
+. . . +Z
t
, bzw. X
t
= X
t1
+Z
t
, t 1
Denition 1.2 Einfache Irrfahrt
Die Folge X = X
t
, t N
0
, mit X
t
= X
t1
+ Z
t
, heit (einfache) Irrfahrt auf der Geraden.
(Z
t
i.i.d. mit P(Z
t
= 1) = p, P(Z
t
= 1) = q, P(Z
t
= 0) = r)
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 9


Also: X
t
, t N
0
ist ein stochastischer Prozess mit T = N
0
, S = Z.
Zugrundeliegender Ergebnisraum , Ergebnisse :
Folge der Realisierungen von Z
1
, Z
2
, . . .
z.B. = (1, 1, 1, 1, 1, 0, 0, 1, 1, . . .) = (Z
1
() = 1, Z
2
() = 1, Z
3
() = 1, . . .)
= 1, 0, 1
N
Pfad, Trajektorie, Realisierung: Treppenfunktion bzw. Polygon.
Spezialfalle:
r = 0 kein Unentschieden
p = q =
1
2
faires Spiel, symmetrische Irrfahrt
Modikation: Absorbierende Schranken
Interpretation: Spieler A mit Anfangskapital a
Spieler B mit Anfangskapital b
X
t
Gewinn von A nach t Spielen
X
t
= a Ruin von A (

Gamblers ruin)
X
t
= b Ruin von B.
Ziel: z.B. Berechnung von Ruinwahrscheinlichkeiten bzw. Gewinnwahrscheinlichkeiten.
Ohne Beweis:
Gewinnwahrscheinlichkeit bei p = q =
1
2
ist
f ur A: P
A
=
a
a +b
und f ur B: P
B
=
b
a +b
Markov-Eigenschaft der diskreten Irrfahrt:
P(X
t+1
= j [ X
t
= i, X
t1
= i
t1
, X
t2
= i
t2
, . . . , X
1
= i
1
) = P(X
t+1
= j [ X
t
= i),
f ur j i + 1, i, i 1
Interpretation: Die Zukunft X
t+1
ist bei bekannter Gegenwart X
t
(bedingt) unabhangig von der
Vergangenheit X
t1
, . . . , X
1
(X
0
= 0) bzw. X
t1
, . . . , X
1
, X
0
; X
0
unabhangig von Z
t
.
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 10


Beweis:
P(X
t+1
= j [ X
t
= i, X
t1
= i
t1
, . . . , X
1
= i
1
, X
0
= i
0
)
= P(Z
t+1
= j i [ Z
t
= i i
t1
, . . . , Z
1
= i
1
i
0
, X
0
= i
0
)
(Z
t+1
,Z
t
,...,Z
1
,X
0
unabhangig)
= P(Z
t+1
= j i) = P(X
t+1
= j [ X
t
= i).

Ungerichtete Form der Markov-Eigenschaft:


P(X
t
= i [ X
s,=t
) = P(X
t
= i [ X
t+1
= i
t+1
, X
t1
= i
t1
)
Interpretation: Bei gegebenen Nachbarn X
t+1
, X
t1
ist X
t
von weiteren Nachbarn links und
rechts unabhangig.
Beweis:

Ubung
Zwei-dimensionale symmetrische Irrfahrt
X
n
= (X
1n
, X
2n
) Z
2
X
n+1
= X
n
+Z
n
;
Z
n

__
1
0
_
,
_
1
0
_
,
_
0
1
_
,
_
0
1
__
mit
P
_
Z
n
=
_
1
0
__
= . . . = P
_
Z
n
=
_
0
1
__
=
1
4
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 11


Verallgemeinerungen
Allgemeine Irrfahrt (Random Walk)
Bisher: Z
t
, t N iid Folge mit Z
t
1, 0, 1.
Allgemein: Z
t
, t N iid Folge, Z
t
beliebig verteilt.
Beispiel: Z
t
, t N iid N(0,
2
),

Gausches Weies Rauschen,


X
t
= X
t1
+Z
t
Gau-Irrfahrt.
Markov-Eigenschaft gilt analog:
f(x
t
[ X
t1
= x
t1
, . . . , X
1
= x
1
) = f(x
t
[ X
t1
= x
t1
) N(x
t1
,
2
)
bzw. X
t
[ X
t1
, . . . , X
1
X
t
[ X
t1
N(X
t1
,
2
)
Autoregressive Prozesse
Autoregressiver Prozess der Ordnung 1 (AR(1))
X
t
= X
t1
+Z
t
, Z
t
iid N(0,
2
)
Autoregressiver Prozess der Ordnung p (AR(p))
X
t
=
1
X
t1
+. . . +
p
X
tp
+Z
t
Gau-Prozess, falls Z
t
iid N(0,
2
).
Markov-Eigenschaft
X
t
[ X
t1
, . . . , X
1
X
t
[X
t1
N(X
t1
,
2
) f ur AR(1)
X
t
[ X
t1
, . . . , X
1
X
t
[ X
t1
, . . . , X
tp
N(
t
,
2
) f ur AR(p)
mit
t
=
1
X
t1
+. . . +
p
X
tp
.
Autoregressive Prozesse sind wichtiger Baustein in der Zeitreihenanalyse.
Raumlicher Markov-Prozess
Baustein f ur Bildanalyse, geographische Epidemiologie, etc.
X
s
, s = (i, j) Z
2
heit raumlicher (Gitter-)Prozess oder Zufallsfeld.
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 12


Beispiele:
X
ij
0, 1 Indikatorvariablen, z.B.
X
ij
=
_
1 archaologischer Fund in (i, j)
0 sonst
X
s
0, 1, 2, . . . Zahlvariable, z.B. Anzahl von Krebserkrankungen in bestimmter Periode in
Landkreisen; dabei ist das Gitter irregular.
X
ij
stetig verteilt, z.B. Graustufe/Farbe in der Bildanalyse
Raumliche Markov-Eigenschaft
f(X
ij
[ X
kl
, (k, l) ,= (i, j)) = f(X
ij
[ X
kl
, (k, l) (i, j))
:

Nachbar von
1.2.2 Wiener-Prozess
Historisch: Der Wiener-Prozess ist stochastisches Modell f ur die Brownsche Bewegung, d.h. die (zeit-
stetige) Irrfahrt kleiner Teilchen in homogener ruhender Fl ussigkeit. Irrfahrt kommt durch zufalliges
Zusammenstoen mit Molek ulen der Fl ussigkeit zustande.
Moderne Herleitung: N. Wiener, 1923.
Parameterraum T = R
+
, Zustandsraum S = R (bzw. R
2
, R
3
).
Bezeichnung: W = W
t
, t R
+
oder W(t), t R
+
,
(W(t) um die

Funktion von t zu betonen)


Der Wiener-Prozess ist wichtiger Baustein zur Modellierung von Wertpapierpreisen mit Anwendung
in der Optionsbewertung (Black-Scholes-Regel), vgl. z.B. Korn/Korn (1999):
Sei P
0
(0), P
0
(t) der Preis eines risikolosen Wertpapiers (z.B. Sparguthaben) zu den Zeitpunkten 0 und
t. Bei stetiger Verzinsung mit konstantem Zinssatz r gilt
P
0
(t) = P
0
(0)e
rt
bzw.
ln P
0
(t) = ln P
0
(0) +rt
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 13


= loglinearer Ansatz f ur Aktienkurse:
ln P(t) = ln P(0) +rt +W(t),
W(t): regelloser Fehler in stetiger Zeit N(0,
2
t).
Der Wiener-Prozess als Grenzfall von Irrfahrten
X(t) symmetrische diskrete Irrfahrt mit Bewegungen zu den Zeitpunkten nt, n = 1, 2, . . . um x
nach oben bzw. unten, jeweils mit Wahrscheinlichkeit
1
2
.
X(t) = Lage des Teilchens f ur t = nt, X(0) = 0 Start.
=X(t) =
n

k=1
Z
k
, Z
k
iid mit
_
P(Z
k
= +x) =
1
2
P(Z
k
= x) =
1
2
E(Z
k
) = 0
Var(Z
k
) = (x)
2
=E(X(t)) = 0, Var(X(t)) = (x)
2
n =
(x)
2
t
. .
=:
2
t
Grenz ubergang n , so dass

2
:=
(x)
2
t
, 0 <
2
<
konstant bleibt: Zentraler Grenzwertsatz
= X(t) N(0,
2
t) f ur n .
Weiter gilt:
Die Zuwachse X(t)X(s), X(v)X(u), mit u < v < s < t sind unabhangig, da sie sich aus getrennten
iid Teilsummen der Z
n
-Folge zusammensetzen.
Die Zuwachse X(t +s) X(s) sind stationar, d.h. die Verteilung hangt nur von der Zeitdierenz ab
X(t +s) X(s) X(t) X(0) N(0,
2
t)
Plausibel: Unabhangigkeit und Stationaritat der Zuwachse ubertragt sich auf Grenzprozess f ur n
. Exakter Beweis schwierig.
Deshalb: Axiomatischer Zugang, obige Eigenschaften + Stetigkeit der Pfade (aus

physikalischen
Gr unden) werden postuliert.
Die

Herleitung des Wiener-Prozesses als Grenzfall von Irrfahrten funktioniert auch f ur allgemeine

symmetrische Irrfahrten, z.B. mit


Z
n
N(0,
2
t), t = nt
Var(X(t)) = n
2
t =
t
2
/ t
/ t
=
2
t
=X(t) N(0,
2
t) f ur n
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 14


Axiomatische Denition und Eigenschaften des Wiener-Prozesses
Denition 1.3 Wiener-Prozess W
Ein stochastischer Prozess W = W(t), t R
+
, S = R, heit Wiener-Prozess, wenn gilt:
(W1) Zuwachse normalverteilt und stationar:
W(s +t) W(s) N(0,
2
t) f ur alle s, t 0.
(W2) F ur alle 0 t
1
< t
2
< . . . < t
n
, n 3 sind die Zuwachse
W(t
2
) W(t
1
), . . . , W(t
n
) W(t
n1
)
unabhangig.
(W3) W(0) = 0.
(W4) Pfade sind stetig.
F ur
2
= 1 heit der Wiener-Prozess normiert.
Bemerkungen:
(a) (W1), (W2) Wiener-Prozess ist Prozess mit stationaren, unabhangigen und normalverteilten
Zuwachsen.
(b) (W3) ist Anfangsbedingung. Addition von c liefert

W(t) = W(t) +c mit

W(0) = c.
(c) (W1), (W2), (W3) bestimmen

endlich-dimensionale Verteilung von


W(t
1
), W(t
2
), . . . , W(t
n
) n 1. t
1
, . . . , t
n
R
+
.
(W4) folgt nicht aus (W1), (W2), (W3). Im Gegenteil: Man m usste zeigen, dass (W4) mit (W1)
(W3) vertraglich ist.
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 15


Eigenschaften des Wiener-Prozesses
(a) Verteilungseigenschaften
eindimensionale Verteilung:
W(t) N(0,
2
t) t R
+
,
da W(t) W(0)
. .
=0
N(0,
2
t) nach (W1).
zweidimensionale Verteilungen:
_
W(s)
W(t)
_
N(0, ), 0 s < t
mit
=
2
_
s s
s t
_
,
also Cov(W(s), W(t)) =
2
s. F ur s, t beliebig: Cov(W(s), W(t)) = min(t, s)
2
.
Beweis:
W(s)
. .
=:U
, W(t) W(s)
. .
=:V
, 0 s < t o.B.d.A unabhangig und normalverteilt.(W1, W2)
=W(s) = U, W(t) = U +V bivariat normalverteilt
Cov(W(s), W(t)) = E(W(s) W(t))
= E[(W(t) W(s))
. .
V
W(s)
. .
U
+(W(s)
. .
U
)
2
]
= E[(W(t) W(s))
. .
V
(W(s) W(0))
. .
U
] + E(W(s)
. .
U
)
2
unabhangige Zuwachse
= E[(W(t) W(s))]
. .
E(V )=0
E[(W(s) W(0))]
. .
E(U)=0
+Var(W(s))
. .

2
s

Die bivariate Normalverteilungsdichte lasst sich schreiben als:


f
s,t
(x
1
, x
2
) =
1
2
2
_
s(t s)
exp
_

1
2
2
_
x
2
1
s
+
(x
2
x
1
)
2
t s
__
, s < t
Beweis:

Ubung
Bedingte Dichten:
W(s) [ [W(t) = b] N
_
s
t
b,
2
s
t
(t s)
_
, s < t
W(t) [ [W(s) = a] N(a,
2
(t s))
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 16


Beweis:

Ubung
W(s) [ [W(t) = b]
Linearitat des bedingten
Erwartungswertes
W(t) [ [W(s) = a]

Neustart zur Zeit s in a


Endlichdimensionale Verteilungen:
0 t
1
< t
2
< . . . < t
n
, n N
(W(t
1
), . . . , W(t
n
))
t
N(0,
2
),
=
_
_
_
_
_
_
_
_
_
_
t
1
t
1
t
1
. . . t
1
t
1
t
2
t
2
. . . t
2
t
1
t
2
t
3
. . . t
3
.
.
.
.
.
.
.
.
.
.
.
.
t
1
t
2
t
3
. . . t
n
_
_
_
_
_
_
_
_
_
_
Dichte:
f
t
1
,...,t
n
(x
1
, . . . , x
n
) =
exp
_

1
2
2
_
x
2
1
t
1
+
(x
2
x
1
)
2
t
2
t
1
+. . . +
(x
n
x
n1
)
2
t
n
t
n1
__
(

2)
n
_
t
1
(t
2
t
1
) . . . (t
n
t
n1
)
!
= f
t
1
(x
1
)f
t
2
[t
1
(x
2
[ x
1
) . . . f
t
n
[t
n1
(x
n
[ x
n1
)
Bemerkung: Dies zeigt die Markoveigenschaft von W, vgl. Kap. 8.
(b) Pfade
Die Pfade sind stetig, aber (m. Wkeit 1) nirgends dierenzierbar und in jedem endlichen Intervall
von unbeschrankter Variation
Beweis: vgl. A2, Kap 6, FKO.
(unbeschrankte Variation: s = t
0
< t
1
< . . . < t
n
= t Gitter auf [s, t], Schrittweite
n
=
ts
n
)
Dann gilt:
n

k=1
[W(t
k
) W(t
k1
)[ , f ur n
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 17


Plausibilitatserklarung f ur Nicht-Dierenzierbarkeit:
F ur den Di.Quotient gilt
W(t +h) W(t)
h
N
_
0,

2
[ h [
_
d.h. die Varianz des Di.quot. f ur h 0.
Es gilt sogar
P
_
a
W(t +h) W(t)
h
b
_
0, [a,b] endl. Intervall
Di.quot. kann nicht gegen endliche ZV konvergieren.
Weitere Eigenschaften, z.B. Markoveigenschaft, in Kap. 8.
Fazit: Trotz der harmlos erscheinenden Verteilungseigenschaften ergeben sich extrem

unglatte Pfa-
de.
1.2.3 Zahlprozesse und Poisson-Prozess
Zahlprozesse
S
n
, n N SP von Ereigniszeitpunkten
S
n
Zeitpunkt des n-ten Ereignisses
z.B.
Eintreten von Schadensfallen bei KFZ-Versicherung
Todesfalle in klinischer Studie
Ank unfte von Jobs bei Computer, von Kunden bei

Servicestelle. . .
Kauf eines Produkts,
Transaktionen an Borse
T
n
, n N SP von Verweildauern, Zwischenankunftszeiten, etc. mit T
n
= S
n
S
n1
Zahlprozess
N(t) =

n=1
I
[0,t]
(S
n
) = Anzahl der Ereignisse in (0,t].
(S
0
wird nicht gezahlt)
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 18

Ubereinkunft: T
n
> 0 f ur alle n N, d.h. keine gleichzeitigen Ereignisse.
Pfade = Treppenfunktion mit Sprunghohe 1, rechtsstetig
Es gilt:
S
n
t N(t) n
S
n
t < S
n+1
N(t) = n
N(t) = max
n
S
n
t = min
n
S
n+1
> t
Mehr zu Zahlprozessen in Kapitel 7; hier: Poisson-Prozess als einfachster Zahlprozess
Erweiterung:
Markierter (oder

bewerteter) Zahlprozess
Zu jedem Ereigniszeitpunkt S
n
wird eine zweite Variable Y
n
beobachtet.
z.B. Y
n
Schadenshohe bei n-tem Schaden
Y
n
Preis(-veranderung) bei n-ter Transaktion
Y
n
Todesart
Der Poisson-Prozess
FKO, S. (80/81) .
Denition 1.4 Zahlprozess N mit unabhangigen und stationaren Zuwachsen
N besitzt unabhangige Zuwachse :
n 0 t
0
< t
1
< . . . < t
n
sind N(t
1
) N(t
0
), . . . , N(t
n
) N(t
n1
) unabhangig
N besitzt stationare Zuwachse :
0 t
1
< t
2
, s > 0 sind N(t
2
) N(t
1
) und N(t
2
+s) N(t
1
+s) identisch verteilt
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 19


Denition 1.5 Poisson-Prozess
Der Zahlprozess N = N(t), t 0 heit Poisson-Prozess :
(1) N hat unabhangige und stationare Zuwachse
(2) PN(t +h) N(t) 2 = o(h)
PN(t +h) N(t) = 1 = h +o(h)
Denition 1.6 o(h)
o(h) bezeichnet eine Funktion von h, die f ur h 0 schneller gegen 0 geht als h, d.h.
lim
h0
o(h)
h
= 0
Bemerkung: (2) Sprunghohe der Pfade haben (ohne Beweis) (m. Wkeit 1) die Hohe 1
keine gleichzeitigen Ereignisse
Zahlprozess nach unserer

Ubereinkunft
(ohne Beweis)
Satz 1.1 Poisson-Verteilung
F ur Poisson-Prozess N gilt
PN(t) = n =
(t)
n
n!
e
t
, n N
0
,
d.h. N(t) Po(t),
mit 0

Intensitat,

Rate.
Bemerkung: (2) in Def. 1.5 kann durch N(t) Po(t) ersetzt werden
Beweis:
Sei p
0
(t) := P(N(t) = 0), p
n
(t) := P(N(t) = n)
Wir zeigen zunachst p
0
(t) = e
t
. Es gilt wegen Denition 1.5, (1)
p
0
(t +h) = PN(t +h) = 0
= PN(t) = 0, N(t +h) N(t) = 0
= PN(t) = 0 PN(t +h) N(t) = 0
= p
0
(t)p
0
(h)
p
0
(t +h) p
0
(t)
h
= p
0
(t)
p
0
(h) 1
h
Beachtet man noch, dass aus Def. 1.5, (2)
p
0
(h) = 1 h +o(h)
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 20


folgt, so erhalt man f ur h 0
p
t
0
(t) = p
0
(t), p
0
(0) = 1.
Dies ist eine lineare Dierentialgleichung f ur die unbekannte Funktion p
0
(t) und besitzt eine eindeutige
Losung. Einsetzen zeigt, dass e
t
die Gleichung inklusive der Anfangsbedingung erf ullt.
F ur n > 0 gilt
p
n
(t +h) = PN(t +h) = n
= PN(t) = n, N(t +h) N(t) = 0
+ PN(t) = n 1, N(t +h) N(t) = 1
+
n

k=2
PN(t) = n k, N(t +h) N(t) = k
. .
o(h) wegen (2)
= p
n
(t)p
0
(h) +p
n1
(t)p
1
(h) +o(h)
= p
n
(t)(1 h) +p
n1
(t)h +o(h)
h 0 liefert
p
t
n
(t) = p
n
(t) +p
n1
(t), n = 1, 2, . . .
mit p
0
(t) = e
t
, p
n
(0) = 0.
Man veriziert nun leicht, dass die Wahrscheinlichkeitsfunktion der Poisson-Verteilung (eindeutige)
Losung dieser Dierentialgleichung ist.
Satz 1.2 N ist homogener Markov-Prozess
F ur den Poisson-Prozess gilt mit s
0
< . . . < s
n
< s < t
P(N(t) = j [ N(s) = i, N(s
n
) = i
n
, . . . , N(s
0
) = i
0
)
= P(N(t) = j [ N(s) = i) = P(N(t) N(s) = j i)
= P(N(t s) = j i)
=
((t s))
ji
(j i)!
e
(ts)
j i
Beweis:
PN(t) = j [ N(s) = i, N(s
n
) = i
n
, . . . , N(s
0
) = i
0

= PN(t) N(s) = j i [ N(s) N(s


n
) = i i
n
, . . .
(1)
= PN(t) N(s) = j i
= PN(t) N(s) = j i [ N(s) N(0) = i
= PN(t) = j [ N(s) = i (Markoveigenschaft)
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 21


PN(t) = j [ N(s) = i = PN(t) N(s) = j i
(1)
= PN(t s) N(0) = j i (Homogenitat).
Aus Satz 1.1 folgt damit die Formel f ur die

Ubergangswahrscheinlichkeit
P(N(t) = j [ N(s) = i)
.
Bemerkung: Die erste Gleichung ist die Markov-Eigenschaft und besagt, dass bei Kenntnis des

ge-
genwartigen Zustands N(s) = i der

zuk unftige Zustand N(t) = j von der

Vergangenheit un-
abhangig ist. Wie der Beweis zeigt, wird f ur die Markov-Eigenschaft nur die Unabhangigkeit der
Zuwachse benutzt. Also: Jeder Prozess mit unabhangigen Zuwachsen ist ein Markov-Prozess.
Satz 1.3
N ist Poisson-Prozess mit Rate
Die Zwischenzeiten T
n
sind iid Ex() verteilt (exponentialverteilt mit Parameter ).
Beweis:
Wir zeigen nur die

Richtung. Es gilt
PT
1
> t = PN(t) = 0 = e
t
,
d.h. T
1
ist exponentialverteilt mit Parameter .
Weiter gilt wegen der Unabhangigkeit und Stationaritat der Zuwachse sowie Satz 1.2
PT
2
> t [ T
1
= s = PN(s +t) N(s) = 0 [ N(s) = 1
= PN(s +t) N(s) = 0
= e
t
unabhangig von s. Die Regel der totalen Wahrscheinlichkeit liefert deshalb
PT
2
> t =
_

0
e
t
e
s
ds = e
t
= PT
2
> t [ T
1
= s,
also sind T
1
und T
2
unabhangig und exponentialverteilt. Die analoge Beweisf uhrung f ur n 2 liefert
das allgemeine Ergebnis.
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 22


Verallgemeinerung: raumlicher Poisson-Prozess
Anzahl der Ereignisse in einem Gebiet A ist Poisson-verteilt mit E-Wert Flache(A).
Anzahl der Ereignisse in zwei nicht uberlappenden Gebieten A
1
und A
2
sind unabhangig.
Einige weitere Eigenschaften des Poisson-Prozesses
(FKO S. 8590)
S
n
= T
1
+. . . +T
n
Wartezeit auf n-tes Ereignis, S
0
= 0.
Es gilt:
S
n
Ga(n, )
f
S
n
(t) =
e
t

n
t
n1
(n 1)!
mit E(S
n
) =
n

, Var(S
n
) =
n

2
, Modus(S
n
) =
n1

.
Beweis:
(Zur Gammaverteilung)
N(t) n S
n
t
F
s
n
(t) =

j=n
e
t
(t)
j
j!
Dierentiation liefert die Dichte der Gamma-Verteilung.
Vorwarts-und R uckwartsrekurrenzzeiten
V (t) = S
N(t)+1
t Vorwartsrekurrenzeit
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 23


U(t) = t S
N(t)
R uckwartsrekurrenzzeit
U(t) +V (t) = T
N(t)+1
= S
N(t)+1
S
N(t)
Bemerkung: N(t) in S
N(t)
ist zufalliger Index;
T
(N(t)+1)
,= T
n
(n fest)
Es gilt:
P(V (t) x) = F
V (t)
(x) = 1 e
x
d.h. V (t) Ex()
Bemerkung: V (t) Ex() unabhangig von gewahltem t


Gedachtnislosigkeit der Exponentialverteilung:
X Ex() P(X t +x [ X > t) = P(X x)
P(U(t) = t) = e
t
, P(U(t) x) = 1 e
x
, 0 x < t
(kein Ereignis vor t)
Sampling Paradoxon: t fest, T
N(t)+1
= V (t) +U(t)
E(T
N(t)+1
) = E(U(t)) + E(V (t)) =
1

(1 e
t
) +
1

>
1

= E(T
n
)
Plausibilitatserklarung: Bei fest vorgegebenem t ist T
N(t)+1
die zufallige Lange der enthal-
tenen Zwischenzeit. Im Schnitt werden langere Intervalle dabei favorisiert.

Uberlagerung und Zerlegung von Poisson-Prozessen


L = L(t), t 0 PP mit Rate
M = M(t), t 0 PP mit Rate
_
unabhangig
Dann heit N = N(t), t 0 mit
N(t, ) = L(t, ) +M(t, )

Uberlagerung
Es gilt: N ist PP mit Rate +
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 24


Zerlegung
N PP mit Rate . Bei Eintritt eines Ereignisses wird ein binomisches Experiment
P(X = 1) = p, P(X = 0) = 1 p, unabhangig von N, durchgef uhrt.
X = 1 : Typ-1 Ereignis Zahlprozess M
X = 0 : Typ-0 Ereignis Zahlprozess L
Es gilt: M und L sind unabhangige PP mit Raten p und (1 p)
Beispiel: Netzwerke, etwa Straensystem
Verallgemeinerungen des Poisson-Prozesses
Die Unabhangigkeit und insbesondere Stationaritat der Zuwachse ist in Anwendungen oft kritisch
(bereits diskutiert f ur Schadensfalle bei Versicherungen)
Denition 1.7 Inhomogener Poisson-Prozess
Ein Zahlprozess N = N(t), t 0 heit nichtstationarer (inhomogener) PP mit Rate (Inten-
sitatsfunktion) (t), t 0
(1) N hat unabhangige Zuwachse
(2) P(N(t +h) N(t) 2) = o(h)
P(N(t +h) N(t) = 1) = (t)h +o(h)
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 25


Es lasst sich zeigen:
P(N(t +s) N(t) = n) = exp
_
_

t+s
_
t
(u)du
_
_
_
t+s
_
t
(u)du
_
n
n!
= exp(((t +s) (t))
((t +s) (t))
n
n!
mit (t) =
t
_
0
(u)du als

kumulierte Rate, d.h.


N(t +s) N(t) Po
_
_
t+s
_
t
(u)du
_
_
Denition 1.8 Bewerteter (Compound) Poisson-Prozess
N PP, Y
n
, n N iid Folge, von N unabhangig.
X = X(t), t 0 mit X(t) =
N(t)

n=1
Y
n
heit bewerteter PP
Beispiele:
N Schadensprozess
Y
n
, n N zugehorige Schadenshohe
X(t) =

N(t)
n=1
Y
n
Gesamtschaden in [0, t]
Klassisches Versicherungsmodell von Cramer-Lundberg
Risikoprozess R(t) = c
0
+c
1
t X(t)
c
1
= Pramienintensitat
X(t) = compound PP mit Intensitat
KAPITEL 1. EINF

UHRUNG UND BEISPIELE 26


Schadenhohen Y
n
iid. F
N(t) klassischer P.P.
Ziel: P(R(t) > 0t) = ? bzw. P(R(t) 0) ?
Kapitel 2
Grundbegrie der allgemeinen Theorie
stochastischer Prozesse
Inhalt
Denitionen von SP
Verteilung eines SP: SP als W-Ma auf Funktionenraum
Existenzsatz von Kolmogorov
Pfadeigenschaften
Hier nur

Skizze, Details insbesondere Billingsley, Bauer.


2.1 Denitionen stochastischer Prozesse
2.1.1 Klassische Denition: SP als Familie von Zufallsvariablen
(, T, P) W-Raum
T Indexmenge (i.A. unendlich, z.B. N
0
, R
+
, . . .)
X
t
, t T Familie von ZV
X
t
: (, T, P) (S, o)
mit Wertebereich S, -Algebra o.
S abzahlbar, o = T(S)

diskrete ZV
S = R oder Intervall I R, o = B oder B I

reellwertige ZV
27
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 28
S = R
p
oder I R
p
, B = B
p
oder B
p
I

vektorielle ZV
Denition 2.1 Stochastischer Prozess
Ein stochastischer Prozess (SP) ist das Quadrupel X = (, T, P; X
t
, t T), T heit Parame-
terraum, S Zustandsraum.
Bemerkung:
(a) Meist lasst man W-Raum (, T, P) weg. Also: SP X = X
t
, t T Familie von (i.A. abhangigen)
ZV X
t
.
(b) F ur T = N
0
oder R
+
wird t meist als diskrete oder stetige Zeit interpretiert.
Ist T Z
2
(Gitter) oder T R
2
, heit ein SP auch Zufallsfeld (random eld)

raumliche
Statistik.
T N
0
Z
2
zeitlich-raumliche Statistik.
Klassizierung von SP nach Zustands- und Parameterraum
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 29
Denition 2.2 Endlich-dimensionale Verteilungen und Verteilungsfamilien
Sei X SP und sei t
1
, . . . , t
n
, n N T beliebig.
Dann heien
P
t
1
,...,t
n
(B
1
. . . B
n
) = P(X
t
1
B
1
, . . . , X
t
n
B
n
)
endlich-dimensionale Verteilungen des SP X.
F ur reelle ZV heien
F
t
1
,...,t
n
(x
1
, . . . , x
n
) = P(X
t
1
x
1
, . . . , X
t
n
x
n
)
endlich-dimensionale Verteilungsfunktionen des SP X.
Die Menge aller endlich-dimensionalen Verteilungs(funktionen) heit die Familie der endlich-
dimensionalen Verteilungs(funktionen)
Folgende Vertraglichkeitsbedingungen (

Konsistenzbedingungen) gelten f ur alle


n N, t
1
, . . . , t
n
T:
(a) F
t
k
1
,...,t
k
n
(x
k
1
, . . . , x
k
n
) = F
t
1
,...,t
n
(x
1
, . . . , x
n
) f ur jede Permutation k
1
, . . . , k
n
von 1, . . . , n
(b) F
t
1
,...,t
k
(x
1
, . . . , x
k
) = F
t
1
,...,t
n
(x
1
, . . . , x
k
, , . . . , ) 1 k < n und x
1
, . . . , x
k
R
Vertraglichkeitsbedingungen gelten analog f ur Verteilungen (F P, x
1
, . . . , x
k
B
1
, . . . , B
k
).
Denition 2.3 Konsistente Verteilungsfamilie
Eine endlich-dimensionale Verteilungsfamilie heit konsistent : (a), (b) gelten.
Denition 2.4 Pfad, Trajektorie, Realisierung
F ur jedes (feste) heit die Funktion
X() : T S, t X
t
(),
Pfad, Trajektorie oder Realisierung des SP X.
Also: fest, t lauft; X() ubliche (reelle) Folge (T diskret) bzw. Funktion (T stetig).
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 30
2.1.2 Stochastischer Prozess als Produktabbildung
SP lasst sich auch auassen als Funktion der beiden Variablen t und
X
.
(.) : T S

Produktabbildung
(t, ) X
t
()
Halt man in der Produktabbildung t fest, erhalt man die ZV
X
t
: S t fest
X
t
() lauft
zur uck.
Aber: Produktabbildung X
.
(.) i.A. nicht messbar. Muss zusatzlich gefordert werden. Dann heit der
SP X messbar. Die meisten praktisch vorkommenden Prozesse sind (als Produktabbildung) messbar,
insbesondere alle, die wir besprechen.
Alle SP mit diskretem T sind messbar.
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 31
2.1.3 Stochastischer Prozess als Abbildung in Funktionenraum
Ordnet man jedem

seinen Pfad X() S


T
(S
T
= Raum aller Funktionen T S) zu, kann
man einen stochastischen Prozess auch auassen als Abbildung in den Funktionenraum
X : (, T, P) S
T
X() = X
t
(), t T
Vergleich mit mehrdimensionalen ZV
Stochastischer Prozess p-dim ZV, p = 1: reelle ZV
T = R
+
, N
0
, . . . T = 1, 2, . . . , p
S R S = R, R
X() Funktion bzw. Folge = Punkt im Funktionraum S
T
X() Punkt im R
p
, X() R
p
Also: Stochastischer Prozess X ist

ZV mit S
T
als Wertebereich.
Problem: Lasst sich auf Funktionenraum eine -Algebra / denieren, so dass
X : (, T) (S
T
, /) messbar ist?
Antwort: Ja, wobei es oft zweckmaig ist, den Funktionenraum einzuschranken.
Beispiel: Wiener Prozess; hat stetige Pfade
W : (, T, P) (C(T), B
C
)
C(T) = Raum aller stetigen Funktionen, B
C
= Borel--Algebra
Dann lasst sich P auf (, T) als Bild-Wahrscheinlichkeits-Ma P
X
auf (S
T
, /) verpanzen:
W : (, T, P) (S
T
, /, P
X
).
Auassung des stochastischen Prozesses X als W-Ma P
X
auf Funktionenraum.
Details: Billingsley, Ganssler/Stute, 7.3
2.2 Existenzsatz von Kolmogorov
In 2.1.1 wurde zur Denition eines stochastischen Prozesses X als Familie von ZV X
t
, t T,
X
t
: (, T, P) (S, o) die Existenz eines gemeinsamen W-Raumes (, T, P) vorausgesetzt.
Aus der Denition konnen dann insbesondere die endlich-dimensionalen Verteilungen abgeleitet wer-
den.
Bei den Beispielen (Irrfahrt, Poisson-Prozess, Wiener-Prozess,. . . ) wurde aber (, T, P) (S, o) nicht
explizit angegeben.
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 32
Diskrete Irrfahrt:
X
n
= Z
1
+. . . +Z
n
, n N
Ereignis = (z
1
, . . . , z
n
, . . .) mit z
n
1, 0, 1
x
n
() = z
1
+. . . +z
n
= (1, 0, 1)
N
Folgenraum, T = T()
P = P
1
. . . P
n
. . . Produkt-Ma
mit P
n
:=
_

_
p f ur z
n
= 1
q f ur z
n
= 1
r f ur z
n
= 0
Poisson-Prozess:
= (
1
,
2
, . . . ,
n
, . . .),
n
R
+

n
= Ergebnis von T
n
Ex()
Menge aller solcher Folgen
T = B
+
B
+
. . . B
+
. . . (Produkt--Algebra)
P = P
1
P
2
. . . P
n
. . . Produkt-Ma zu Exp.-Verteilungen P
1
, . . . P
n
In beiden Beispielen lassen sich zu jedem die Pfade X(), N() der ZVen X
n
bzw. N(t) als messbare
Abbildungen denieren.
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 33
In den meisten Fallen ist jedoch eine solche explizite Angabe von (, T, P) nicht moglich, z.B.: Akti-
enkurse, Folge von Markenwahlen, DNA-Strang.
Der Existenzsatz von Kolmogorov zeigt, dass es reicht, wenn man endlich-dimensionale Verteilungen
in konsistenter Weise vorgibt.
Satz 2.1 Existenzsatz von Kolmogorov
Sei F
t
1
,...,t
n
(bzw. P
t
1
,...,t
n
) ein konsistentes System von endlich-dimensionalen Verteilungs-
funktionen (bzw. Verteilungen).
Dann existiert ein W-Raum (, T, P) und ein stochastischer Prozess
X = , T, P, (X
t
, t T)
mit F
t
1
,...,t
n
als System von endlich-dimensionalen Verteilungsfunktionen, d.h.
F
t
1
,...,t
n
(x
1
, . . . , x
n
) = P(X
t
1
x
1
, . . . , X
t
n
x
n
)
Bemerkung:
(a) Der stochastische Prozess X ist durch den Existenzsatz nicht eindeutig bestimmt. Es lasst sich
immer ein Prozess

X konstruieren, der zwar andere Pfade besitzt als X, aber die gleichen endlich-
dimensionalen Verteilungsfunktionen! (Vgl. auch Abschnitt 2.3).
Beispiel: X mit stetigen Pfaden.
X und

X haben verschiedene Pfade, aber die gleichen endlich-dimensionalen Verteilungsfunk-
tionen!
(b) Spezialfall: Mehrdimensionale ZV, T = 1, . . . , p.
Existenzsatz sichert zu vorgegebener gemeinsamer Verteilungsfunktion F(x
1
, . . . , x
p
) die Exi-
stenz eines W-Raumes , T, P mit
F(x
1
, . . . , x
p
) = P(X
1
x
1
, . . . , X
p
x
p
).
Dabei kann man sogar (, T) = (R
p
, B
p
) wahlen, d.h. die Realisierungen x
1
, . . . , x
p
werden mit
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 34
identiziert, (x
1
, . . . , x
p
) R
p
.
Analog bei stochastischen Prozessen:
Pfad S
T
,
= Menge aller Pfade.
Man braucht sich keinen zugrundeliegenden W-Raum wie bei Irrfahrt und Poisson-Prozess
konstruieren.
(c) Beispiel: Wiener Prozess
Vorgabe von (W1), (W2), d.h. unabhangige und stationare Zuwachse und W(3), d.h. W(0) = 0
endlich-dimensionale Verteilungsfunktionen wie in Abschnitt 1.2.2
Existenzsatz garantiert stochastischen Prozess

W, aber nicht notwendig stetige Pfade.
Es lasst sich aber eine

Version W mit stetigen Pfaden konstruieren, vgl. Billingsley, Sect. 3.6.


(d) In den weiteren Kapiteln (analog wie bei Irrfahrt, Poisson-Prozess, Wiener Prozess):
Vorgabe von

Konstruktionsvorschriften bzw.

Axiomen
endlich-dimensionale Verteilungsfunktionen
stochastischer Prozess inklusive W-Raum
2.3

Aquivalenz-und Stetigkeitsbegrie
2.3.1

Aquivalente stochastische Prozesse
X = X
t
, t T und Y = Y
t
, t T seien zwei stochastische Prozesse auf gleichem W-Raum
(, T, P) mit gleichem (S, o).
Denition 2.5 Verteilungsaquivalenz, schwache

Aquivalenz
X und Y verteilungsaquivalent (schwach aquivalent) :
die endlich-dimensionalen Verteilungen von X und Y sind gleich
t
1
, . . . , t
n
T, B
1
, . . . , B
n
o, n N
P(X
t
1
B
1
, . . . , X
t
n
B
n
) = P(Y
t
1
B
1
, . . . , Y
t
n
B
n
).
Denition 2.6

Aquivalenz
X und Y heien aquivalent :
P(X
t
= Y
t
) = 1 t T
Bemerkung: Man sagt: Y ist

Version von X.
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 35
Denition 2.7 Ununterscheidbar
X und Y heien ununterscheidbar :
X und Y haben mit Wahrscheinlichkeit 1 gleiche Pfade
PX
t
= Y
t
t T = 1 P( : X() = Y ()) = 1
Es gilt:
X, Y ununterscheidbar aquivalent verteilungsaquivalent
Falls T abzahlbar: X, Y ununterscheidbar aquivalent
Beweis:
Ununterscheidbar

Aquivalent: klar

Aquivalent Verteilungsaquivalent:
P(X
t
1
B
1
, . . . , X
t
n
B
n
) = P(X
t
1
B
1
, . . . , X
t
n
B
n
, X
t
1
= Y
t
1
, . . . , X
t
n
= Y
t
n
)
= P(Y
t
1
B
1
, . . . , Y
t
n
B
n
, X
t
1
= Y
t
1
, . . . , X
t
n
= Y
t
n
)
= P(Y
t
1
B
1
, . . . , Y
t
n
B
n
)
T abzahlbar:

Aquivalent Ununterscheidbar
P(X
t
= Y
t
) = 1 t N P(X
t
,= Y
t
) = 0 t N

t=1
P(X
t
,= Y
t
) = 0
P
_

_
t=1
X
t
,= Y
t

t=1
P(X
t
,= Y
t
) = 0
P
_
_

_
t=1
X
t
,= Y
t

_
_
(de Morgan)
= P
_

t=1
X
t
= Y
t

_
= 1

Gegenbeispiel f ur nicht abzahlbares T:


X : X
t
() = 0 t T, , d.h. alle Pfade 0
Y : Y
t
() =
_
1 , t = ()
0 , sonst
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 36
Dabei ist > 0 stetige ZV, z.B. Ex()
X und Y verteilungsaquivalent.
Da X
t
() = 0 f ur alle (t, )
P( : Y
t
() = X
t
()) = P( : Y
t
() = 0)
= P( : () ,= t) = 1 t T
X und Y aquivalent, aber unterscheidbar.
2.3.2 Stetigkeitsbegrie
T R
+
, S R, o = B S
Denition 2.8 Pfadstetig
X heit (fast sicher) pfadstetig :
P( : lim
st
X(s, ) = X(t, ) t R
+
) = 1
(= P(lim
st
X(s) = X(t) t R
+
) = 1)
Analog: fast sicher rechtsstetig, fast sicher cadlag (rechtsstetig mit Grenzwerten von links)
Denition 2.9 Stetig
X heit (fast sicher) stetig :
P( : lim
st
X(s, ) = X(t, )) = 1 t R
+
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 37
Denition 2.10 Stochastisch Stetig
X heit stochastisch stetig :
lim
st
P( :[ X(s, ) X(t, ) [> ) = 0 > 0, t R
+
p lim
st
X(s) = X(t) t R
+

X(s) konvergiert nach Wahrscheinlichkeit gegen X(t), wenn s t, t R


+
.
Beispiel: Poisson-Prozess
(a) N nicht pfadstetig
(b) N fast sicher stetig
(c) N stochastisch stetig
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 38
Beweis:
(c) N stochastisch stetig:
P([ N(t) N(s) [> ) P([ N(t) N(s) [ 1) = 1 e
[ts[
lim
st
P([ N(t) N(s) [> ) lim
st
(1 e
[ts[
) = 0
(b) N fast sicher stetig:
: N(t, ) stetig in t 0 = : S
n
() ,= t, n N
Da S
n
Gamma-verteilte ZV:
P : S
n
() = t = 0 n N
P
_
_

n=1
: S
n
() ,= t
_
_
= P
_

_
n=1
: S
n
() = t
_

n=1
P : S
n
() = t = 0
P
_

n=1
: S
n
() ,= t
_
= 1

Satz 2.2
X, Y aquivalent und X, Y fast sicher pfad-rechtsstetig X, Y ununterscheidbar.
Beweis: z.B. Todorovic, prop. 1.3.1, S. 7
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 39
2.4 Stationare und nichtstationare stochastische Prozesse
Stationare stochastische Prozesse sind stochastische Prozesse, bei denen sich die endlich-dimensionale
Verteilungsfunktion oder andere Charakteristika bei einer Zeitverschiebung (naherungsweise) nicht
andern.
Beispiel:


Rauschen in elektronischen Systemen
Abweichungen in Regelsystemen
physiologische Daten (?), z.B. EKG
Zeitreihen nach Trend-/Saisonbereinigung
Renditen in ezienten Markten (?)
FKO S. 209, Kap. 7/8
Denition 2.11 Strenge Stationaritat
Ein stochastischer Prozess X heit streng stationar :
n, t
1
, . . . , t
n
, h F
t
1
,...,t
n
(x
1
, . . . , x
n
) = F
t
1
+h,...,t
n
+h
(x
1
, . . . , x
n
)
d.h. die endlich-dimensionalen Verteilungsfunktionen sind invariant gegen uber einer Zeitver-
schiebung h.
Folgerungen: F
t
1
(x
1
) = F
t
1
+h
(x
1
), d.h. die eindimensionalen Verteilungen sind zeitinvariant.
E(X
t
) = = constant, Var(X
t
) =
2
= constant.
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 40

Cov(X
s
, X
t
) =
_
(x
1
)(x
2
)dF
s,t
(x
1
, x
2
)
=
_
(x
1
)(x
2
)dF
0,ts
(x
1
, x
2
)
= Cov(X
0
, X
ts
)
=: (t s)
d.h. die Kovarianz zwischen X
s
, X
t
hangt nur von Zeitdierenz t s, nicht von den Werten t, s auf
der Zeitachse selbst ab!
Denition 2.12 Autokovarianzfunktion
(h) = Cov(X
t+h
, X
t
) = Cov(X
h
, X
0
) heit (Auto-)Kovarianzfunktion.
Eigenschaften:
(h) = (h)
[ (h) [ (0) =
2
= V ar(X
t
)
Denition 2.13 Schwache Stationaritat
Ein stochastischer Prozess X heit schwach stationar :
E(X
t
) = , Cov(X
t
, X
s
) = (t s)
d.h. die Autokovarianz hangt nur von Zeitdierenz ab.
Oensichtlich gilt:
Strenge Stationaritat Schwache Stationaritat
Die Umkehrung gilt f ur Gau-Prozesse, d.h. Prozesse mit multivariat normalverteilten endlich-
dimensionalen Verteilungsfunktionen, da die 1. und 2. Momente die endlich-dimensionalen Vertei-
lungsfunktionen eindeutig bestimmen. Also:
X Gau-Prozess Schwache Stationaritat und starke Stationaritat sind aquivalent.
Bemerkung: Es gibt auch Nicht-Gau-Prozesse, bei denen schwache und starke Stationaritat aquivalent
sind.
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 41
Denition 2.14 Autokorrelationsfunktion (ACF)
(h) =
(h)
(0)
=
(h)

2
h 0
heit Autokorrelationsfunktion.
Beispiel:
(a) Poisson-Prozess:
Der Poisson-Prozess N ist nichtstationar, da E(N(t)) = Var(N(t)) = t ,= constant. Dagegen
sind die Zuwachse stationar (und unabhangig).
(b) Wiener-Prozess:
Der Wiener-Prozess W ist ebenfalls nichtstationar, da zwar E(W(t)) = 0, aber Var(W(t)) =
2
t
gilt. Die Zuwachse sind stationar (und unabhangig).
(c) Zufallige trigonometrische Polynome:
A und B seien identisch verteilte, unkorrelierte ZVen mit Erwartungswert 0 und Varianz
2
. F ur
eine feste Frequenz sei f ur t Z
X
t
= Acos(t) +Bsin(t)
Dann ist X = X
t
, t Z stationar mit E(X
t
) = 0 und
(h) = E(X
t
X
t+h
)
= E(Acos(t) +Bsin(t))(Acos((t +h)) +Bsin((t +h)))
= EA
2
cos(t) cos((t +h)) +B
2
sin(t) sin((t +h))
=
2
cos(h)
(d) Moving Average-Prozess:
Sei =
t
, t Z eine Folge von unkorrelierten ZVen mit E(
t
) = 0, Var(
t
) =
2
. Ein
solcher stationarer stochastischer Prozess heit (diskretes) Weies Rauschen. Gilt zusatzlich

t
iid N(0,
2
), so heit Gausches Weies Rauschen.
Denition 2.15 Moving Average-Prozess
Der stochastische Prozess X = X
t
, t Z mit
X
t
=
q

j=0

tj
,
q
,= 0
heit moving average-Prozess (Prozess der gleitenden Durchschnitte) der Ordnung q, i.Z. X
MA(q).
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 42
Aus der Denition folgt sofort
E(X
t
) =
q

j=0

j
E(
tj
) = 0.
Die Kovarianzfunktion berechnet sich wegen
X
t
=
0

t
+
1

t1
+. . . +
h1

th+1
+
h

th
+. . . +
q

tq
X
th
=
0

th
+. . . +
qh

tq
+. . . +
q

tqh
und
E(
t

s
) =
t,s

2
zu
(h) = E(X
t
X
th
) =
_

2
(
0

h
+
1

h+1
+. . . +
qh

q
) , [ h [ q
0 , [ h [> q.
Speziell ergibt sich
Var(X
t
) =
2
x
= (0) =
2
q

j=0

2
j
.
Es gilt also:
Jeder MA(q)-Prozess (mit q < ) ist stationar mit ACF
(h) =
_

_
qh

j=0

j+h
q

j=0

2
j
, 0 h q
0 , h > q.
(e) Modellierung okonomischer Zeitreihen durch stationare Prozesse:
Die Annahme, dass eine okonomische Zeitreihe, d.h. eine Reihe von okonomischen Daten y
t
, t =
1, 2, . . . als Pfad eines stationaren stochastischen Prozesses angesehen werden kann, ist oft nicht
sehr realistisch. Stationare Prozesse konnen aber als Baustein f ur realitatsgetreuere Modelle
dienen. Unterstellt man etwa einen linearen Trend, so ist ein moglicher Ansatz
Y
t
=
0
+
1
t +X
t
,
wobei X selbst stationar ist. Allgemeiner geht man beim sogenannten Komponentensatz
(Kap 8.1) davon aus, dass
Y
t
= T
t
+S
t
+X
t
gilt, mit der Trendkomponente T
t
und der Saisonkomponente S
t
und X
t
stationar, z.B. MA-
oder AR-Prozess.
(f) Autoregressive Prozesse:
Gausche Irrfahrt (Random walk):
X
0
= 0
X
t
= X
t1
+
t
,
t
N(0,
2
) iid
KAPITEL 2. GRUNDBEGRIFFE DER ALLGEMEINEN THEORIE 43
Nichtstationar, da zwar E(X
t
) = 0, aber Var(X
t
) = t
2
.
Aber: AR(1)-Prozess
X
t
= X
t1
+
t
mit
t
N(0,
2
)
mit [ [< 1 (zentrale Bedingung!) ist (f ur t ) stationar.
Man kann zeigen, dass f ur jeden Startwert X
0
, die Verteilung von X
t
f ur t gegen eine
N(0,

2
(1
2
)
) konvergiert. Alternativ kann man N(0,

2
(1
2
)
) f ur X
0
schon fordern, d.h. der Prozess
wird bereits im

Equilibrium/

Gleichgewicht gestartet und es gilt (nicht nur asymptotisch,


sondern exakt):
E(X
t
) = 0
Var(X
t
) =

2
(1
2
)
Corr(X
s
, X
t
) =
[st[
, insbesondere Corr(X
t
, X
t+1
) =
Bei Vorliegen eines AR(1)-Prozess mit unbekanntem kann man also durch die empirische
Autokorrelation (zum Lag 1)
1
T
T

t=2
(X
t
X)(X
t1
X)

Var(X
t
)
schatzen.

Var(X
t
) =
1
T
T

t=0
(X
t
X)
2
= empirische Varianz
Mehr dazu in Zeitreihenanalysen
AR(p)-Prozess etc.
Schatzung der empirischen Korrelationsfunktion.
(L) =
1
T
T

t=L+1
(X
t
X)(X
tL
X)

Var(X
t
)
, L =

Lag L.
(g) Stationare Gau-Prozesse:
X(t), t 0 oder X
t
, t N
0

E(X(t)) = , Var(X(t)) =
2
(h) = Corr(X(t), X(t +h)) = Corr(X(0), X(h)) (vorgegebene Korrelationsfunktion)
Stationarer Gau-Prozess :F ur alle t
1
, . . . , t
n
, n 1, ist X
(n)
= (X(t
1
), . . . , X(t
n
))
t
multivariat
normalverteilt mit
E(X
(n)
) = (, . . . , )
t
Cov(X
(n)
) =
_
_
_
_
_
_
_
_
_
_

2
(t
2
t
1
) . . .
2
(t
n
t
1
)

2
(t
1
t
2
)
2

2
(t
n
t
2
)
.
.
.
.
.
.
.
.
.

2
(t
1
t
n1
)
.
.
.

2
(t
n
t
n1
)

2
(t
1
t
n
) . . .
2
(t
n1
t
n
)
2
_
_
_
_
_
_
_
_
_
_
Kapitel 3
Markov-Ketten
Diskrete Zeit T = N
0
, diskreter Zustandsraum S.
In Beispielen/Anwendungen: S oft endlich. Ausnahme: z.B. einfache Irrfahrt ohne Schranken.
Inhalt: FKO, Kapitel 2 in Ausz ugen und Erganzungen
3.1 Grundlegende Eigenschaften, Beispiele
Beispiel: Einfache Irrfahrt
X
t+1
= X
t
+Z
t
, Z
t
1, 0, +1
P(Z
t
= 0 [ X
t
= i) = r
i
, P(Z
t
= 1 [ X
t
= i) = q
i
, P(Z
t
= +1 [ X
t
= i) = p
i
, p
i
+r
i
+q
i
= 1
Oensichtlich hangt damit die Wahrscheinlichkeitsfunktion von X
t+1
, gegeben der bisherige Pfad
X
t
= i, X
t1
= i
t1
, . . . , X
0
= i
0

nur vom gegenwartigen Zustand X


t
= i ab.
44
KAPITEL 3. MARKOV-KETTEN 45
Denition 3.1 Markov-Kette (MK) 1. Ordnung
Der SP X = X
t
, t N
0
, S diskret, heit MK : t N
0
; j, i, i
t1
, . . . , i
0
S
1. P(X
t+1
= j [ X
t
= i, X
t1
= i
t1
, . . . , X
0
= i
0
) = P(X
t+1
= j [ X
t
= i)
2. P(X
t+1
= j [ X
t
, X
t1
, . . . , X
0
) = P(X
t+1
= j [ X
t
)
Bemerkung:
(a) P(X
t+1
= j [ X
t
) in 2. ist ZV, mit Werten P(X
t+1
= j [ X
t
= i), i S.
(b) Verbale Interpretation der Markov-Eigenschaft 1. bzw. 2.: Bei gegebener Gegenwart hangt die
Zukunft des SP nicht von der Vergangenheit ab. Anders ausgedr uckt:
Bei gegebener Gegenwart sind Zukunft und Vergangenheit bedingt unabhangig.
Denition 3.2

Ubergangswahrscheinlichkeiten
p
ij
(t) = P(X
t+1
= j [ X
t
= i)
heit (einschrittige)

Ubergangswahrscheinlichkeit (

UW) von i nach j (zum Zeitpunkt t).


Im allgemeinen hangt p
ij
(t) von t tatsachlich ab. Die klassische Theorie behandelt jedoch weitgehend
homogene MK.
Denition 3.3 Homogene MK
Eine MK heit homogen bzw. besitzt stationare

UW :
p
ij
(t) = p
ij
t N
0
.
KAPITEL 3. MARKOV-KETTEN 46
Vereinbarung: Im weiteren MK homogen, falls nichts anderes vermerkt.
Bemerkungen:
Eine inhomogene MK ist i.A. kein stationarer SP.
Behandlung nichtstationarer

UW z.B. so:
logit p
ij
(t) = log
_
P(X
t+1
= j [ X
t
= i)
1 P(X
t+1
= j [ X
t
= i)
_
= f
ij
(t)
=Vorlesung Angewandte Stochastische Prozesse, Computerintensive Verfahren, Generalisierte
Regression.
Denition 3.4

Ubergangsmatrix

UM
F ur homogene MK heit
P = (p
ij
), i, j S

Ubergangsmatrix (

UM).
Bemerkung: Bei inhomogenen MK ist die

UM P(t) = (p
ij
(t)) zeitabhangig.
F ur S = 0, 1, 2, . . . ist also
P =
_
_
_
_
_
_
_
p
00
p
01
. . . p
0j
. . .
.
.
.
.
.
.
.
.
.
.
.
.
p
i0
p
i1
. . . p
ij
. . .
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
.
P ist endlich, falls S endlich. Eigenschaften:
p
ij
0 und

jS
p
ij
= 1 (Zeilensumme = 1)
KAPITEL 3. MARKOV-KETTEN 47
Satz 3.1 Folgerungen aus der Denition einer MK
1. t, s 1 ; i
0
, . . . , i
s
P(X
t+s
= i
s
, . . . , X
t+1
= i
1
[ X
t
= i
0
) = P(X
s
= i
s
, . . . , X
1
= i
1
[ X
0
= i
0
)
= p
i
0
i
1
p
i
1
i
2
. . . p
i
s1
i
s
.
Ist zusatzlich eine Anfangsverteilung
p
i
(0) := P(X
0
= i) , i S
gegeben P(X
s
= i
s
, . . . , X
1
= i
1
, X
0
= i
0
) = p
i
(0)p
i
0
i
1
. . . p
i
s1
i
s
2. t, s 1 ; i
0
, . . . , i
t+s
P(X
t+s
= i
t+s
, . . . , X
t+1
= i
t+1
[ X
t
= i
t
, . . . , X
0
= i
0
) =
P(X
t+s
= i
t+s
, . . . , X
t+1
= i
t+1
[ X
t
= i
t
)
(Erweiterung der Markov-Eigenschaft auf zuk unftigen Verlauf X
t+1
, . . . , X
t+s
.)
3. Weitere Verallgemeinerung: 0 t
0
< t
1
< . . . < t
k
P(X
t
k
= i
k
[ X
t
k1
= i
k1
, . . . , X
t
0
= i
0
) = P(X
t
k
= i
k
[ X
t
k1
= i
k1
)
Beweis:
FKO S. 15, 16, 17.
Beweis zu 2.: F ur s = 2 ; f ur s 3 analog durch Induktion.
Mit V
t1
= X
t1
= i
t1
, . . . , X
0
= i
0
gilt
PX
t+2
= i
t+2
, X
t+1
= i
t+1
[ X
t
= i
t
, V
t1

= PX
t+2
= i
t+2
[ X
t+1
= i
t+1
, X
t
= i
t
, V
t1
PX
t+1
= i
t+1
[ X
t
= i
t
, V
t1

= PX
t+2
= i
t+2
[ X
t+1
= i
t+1
PX
t+1
= i
t+1
[ X
t
= i
t

= p
i
t
i
t+1
p
i
t+1
i
t+2
= PX
t+2
= i
t+2
, X
t+1
= i
t+1
[ X
t
= i
t
.

Bemerkung:
Gelegentlich wird 3. zur Denition von MK ben utzt. Folgt hier aus der einfacheren Denition 3.1.
Bemerkung:
Damit lassen sich alle endlich-dimensionalen Verteilungen der MK berechnen,
Satz von Kolmogorov anwendbar,
KAPITEL 3. MARKOV-KETTEN 48
Bei Vorgabe einer

UM P und einer Startverteilung p(0) existiert zugehoriger SP mit W-Raum.
Zugleich lasst sich die Likelihood berechnen, vgl. Statistische Inferenz.
Mehrschrittige

UW, Chapman-Kolmogorov-Gleichung
Denition 3.5 Mehrschrittige

UW
p
(t)
ij
:= P(X
t+s
= j [ X
s
= i) = P(X
t
= j [ X
0
= i), t N
0
heit t-schrittige

UW von i nach j.
Satz 3.2 Chapman-Kolmogorov-Gleichungen
1.
p
(t+s)
ij
=

kS
p
(s)
ik
p
(t)
kj
2. Weiter gilt
(p
(t)
ij
) = P
t
= P . . . P
. .
tmal
3. Damit 1. in Matrixform:
P
t+s
= P
s
P
t
.
KAPITEL 3. MARKOV-KETTEN 49
Beweis:
zu 1:
p
(t+s)
ij
= PX
t+s
= j [ X
0
= i
=

kS
PX
t+s
= j, X
s
= k [ X
0
= i
=

kS
PX
t+s
= j [ X
s
= k, X
0
= i PX
s
= k [ X
0
= i
=

kS
PX
t+s
= j [ X
s
= k PX
s
= k [ X
0
= i
=

kS
p
(s)
ik
p
(t)
kj
zu 2: Zunachst f ur t = 1, s = 1
p
(2)
ij
=

p
ik
p
kj
p
(2)
ij
= (P
2
)
ij
dann Induktion: s = 1, t = 2, . . .

Denition 3.6 Zustandswahrscheinlichkeit


p
i
(t) := P(X
t
= i), i S,
heien Zustandswahrscheinlichkeiten.
p(t) = (p
i
(t), i S)
(Zeilenvektor) heit Zustandsverteilung. Es gilt
p
j
(t) =

iS
p
i
(0)p
(t)
ij
bzw. p(t) = p(0)P
t
Beweis:
Satz von der totalen Wahrscheinlichkeit
P(X
t
= j) =

iS
P(X
t
= j [ X
0
= i)P(X
0
= i).

KAPITEL 3. MARKOV-KETTEN 50
Darstellung von MK durch gerichtete Graphen
Beispiele:
(a) Irrfahrtmodelle FKO, S. 22
(b) Markov-Ketten auf einem DNA-Strang
DNA-Strange sind gerichtete (5 3) Ketten X
t
, t = 1, 2, . . . , mit
X
t
A(Adenin), G(Guanin), C(Cytosin), T(Thymin),
(angeordnet in Form einer Doppel-Helix).
Die Folge X
t
ist nicht unabhangig. Als (erste) Approximation wird eine homogene Markov-
Kette mit

Ubergangsmatrix
A C G T
P =
A
C
G
T
_
_
_
_
_
_
_
.32 .18 .23 .27
.37 .23 .05 .35
.30 .21 .25 .24
.23 .19 .25 .33
_
_
_
_
_
_
_
.
angenommen (vgl. Lange, K., 1997, Math. and Stat. Methods for Genetic Analysis, Springer,
N.Y.)
Ein komplexes MK-Modell bezieht Restriktionsorte (restriction sites) auf der DNA mit ein.
Restriktionsenzyme erkennen spezische Sequenzen auf dem DNA-Strang und zerschneiden die
DNA an dieser Stelle, z.B. Enzym AluI erkennt AGCT.
KAPITEL 3. MARKOV-KETTEN 51
Neue MK mit Zustanden A, C, G, T, AG, AGC, AGCT
AG = Paar A, G; (G folgt auf A)
AGC analog
AGCT Restriktionsort
Sobald AGCT erreicht wird, unterbricht die nachste Base das Muster. Die zugehorige MK hat

UM
A C G T AG AGC AGCT
P =
A
C
G
T
AG
AGC
AGCT
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
.32 .18 0 .27 .23 0 0
.37 .23 .05 .35 0 0 0
.30 .21 .25 .24 0 0 0
.23 .19 .25 .33 0 0 0
.30 .0 .25 .24 0 .21 0
.37 .23 .05 0 0 0 .35
.23 .19 .25 .33 0 0 0
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
.
F ur Sequenzanalysen eignen sich MK nur bedingt. Sie sind jedoch wesentlicher Baustein in

Hidden Markov Modellen (3.6).


(c) Diskreter Erneuerungsprozess (FKO, S. 24)
Ein Gerat werde zu den diskreten Zeitpunkten t = 0, 1, 2, . . . uberpr uft. Falls ein Fehler gefunden
wird, wird es durch ein neues ersetzt, anderfalls bleibt es in Betrieb usw. Die Lebensdauer
des k-ten Gerates wird so zu einer Zufallsvariablen Z
k
. Wir nehmen nun an, dass f ur diese
Lebensdauern Z
k
unabhangig von k gilt
PZ i + 1 [ Z i = p
i
, i 0. (3.1)
Sei nun X
t
das Alter des zu Beginn der t-ten Periode arbeitenden Gerates. Mit Wahrscheinlichkeit
p
i
geht dann also gema 3.1 das Alter i in das Alter i +1 uber, mit Wahrscheinlichkeit q
i
= 1p
i
muss das Gerat ersetzt werden, in der nachsten Periode gilt X
t+1
= 0. Die Folge X
t
bildet
oensichtlich wieder eine MK mit der

UM
_
_
_
_
_
_
_
q
0
p
0
0
q
1
0 p
1
q
2
0 0 p
2
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
.
KAPITEL 3. MARKOV-KETTEN 52
Anschaulich ergibt sich der

Ubergangsgraph:
(d) Wechsel von Arbeitslosigkeit in Arbeit und zur uck.
S = 0 , 1, 0 = arbeitslos, 1 = in Arbeit; t = Dauer von Arbeitslosigkeit in Monaten.
p
01
(t), t = 1, 2, . . . , Wahrscheinlichkeit f ur

Ubergang in Zustand Arbeit.
I.A. inhomogen (und i.A. abhangig von personlichen Merkmalen des Arbeitslosen)
Fraglich: uberhaupt MK, d.h. gilt die Markoveigenschaft?
Analog: p
10
(t)

UW von Arbeit nach Arbeitslosigkeit.
(e) Einfache Markenwahlmodelle (FKO, S. 25)
Bei einigen Beispielen ist die Markov-Eigenschaft zweifelhaft.
Naheliegende Erweiterung:
Denition 3.7 MK hoherer Ordnung
Der SP X = X
t
, t N
0
, S diskret, heit MK p-ter Ordnung :
i
0
, i
1
, . . . , i
t+1
, t p + 1
P(X
t+1
= i
t+1
[ X
t
= i
t
, . . . , X
tp+1
= i
tp+1
. . . , X
0
= i
0
)
= P(X
t+1
= i
t+1
[ X
t
= i
t
, . . . , X
tp+1
= i
tp+1
)
KAPITEL 3. MARKOV-KETTEN 53
Bemerkung:
Modellierung z.B. durch konditionale Logit-Modelle
log
_
P(X
t+1
= i
t+1
[ X
t
, . . . , X
tp+1
)
1 P(. . . [ . . .)
_
= f
i
t+1
(X
t
, . . . , X
tp+1
)
(vgl. Abschnitt 3.7.2)
3.2 Klassizierung von Zustanden und R uckkehrverhalten
(Nur f ur homogene MK!)
Bei (wechselseitiger) Erreichbarkeit von Zustanden und asymptotischem (t ) Verhalten der MK
zeigen sich unterschiedliche Typen von Zustanden.
Beispiel:
Sei X eine homogene MK mit der

UM
P =
_
_
_
_
0.2 0.8 0
0.6 0.4 0
0.2 0.3 0.5
_
_
_
_
.
Man berechnet
P
2
=
_
_
_
_
0.52 0.48 0
0.36 0.64 0
0.32 0.43 0.25
_
_
_
_
,
P
4
=
_
_
_
_
0.44332 0.5568 0
0.4176 0.5824 0
0.4012 0.5363 0.0625
_
_
_
_
,
P
10
=
_
_
_
_
0.4286 0.5714 0
0.4285 0.5715 0
0.4281 0.5709 0.0010
_
_
_
_
.
Die p
(t)
ij
mit j = 1, 2 streben anscheinend gegen feste, positive Werte, wahrend p
(t)
33
gegen Null geht.
KAPITEL 3. MARKOV-KETTEN 54
Denition 3.8 Erreichbarkeit
1. Der Zustand j heit von i aus erreichbar, i.Z. i j :
t N
0
mit p
(t)
ij
> 0
Es muss ein Weg im MK-Graphen von i nach j f uhren.
direkte Kante i j i.A. nicht notwendig!
2. Die Zustande i und j heien gegenseitig erreichbar, i.Z. i j :
i j und j i
Man kommt in endlich vielen Schritten mit positiver Wahrscheinlichkeit von i nach j und zur uck.
Satz 3.3

Aquivalenzklassen
i j ist eine

Aquivalenzrelation, d.h. die Menge aller Zustande lasst sich zerlegen in

Aquiva-
lenzklassen wechselseitig erreichbarer Zustande.
Es existiert kein Weg von l zur uck zu einem Zustand aus der Klasse.
Beweis:
Zu zeigen ist:
1. i i (Reexivitat), gilt nach Denition.
2. i j j i, (Symmetrie) gilt nach Denition.
KAPITEL 3. MARKOV-KETTEN 55
3. i j und j k i k (Transitivitat): Wegen i j und j k existiert t, s N
0
mit
p
(t)
ij
> 0, p
(s)
jk
> 0. Nach der Chapman-Kolmogorov-Gleichung folgt
p
(t+s)
ik
=

lS
p
(t)
il
p
(s)
lk
p
(t)
ij
p
(s)
jk
> 0,
und damit i k. Analog zeigt man k i.

Denition 3.9 Klassizierung gema Erreichbarkeit


1. C S heit abgeschlossen : kein Zustand in S C ist von C aus erreichbar.
C heit oen : C nicht abgeschlossen
2. Ein Zustand i heit absorbierend: i abgeschlossen p
ii
= 1
3. Ein abgeschlossenes C heit irreduzibel : keine echte, nichtleere Teilmenge von C ist
abgeschlossen
4. Eine MK heit irreduzibel : S irreduzibel alle Zustande gegenseitig erreichbar
Zusammenfassung:
S zerfallt in oene und abgeschlossene, irreduzible Teilmengen wechselseitig erreichbarer Zustande.
Bei MK mit endlich vielen Zustanden existiert mindestens eine abgeschlossene irreduzible Klasse C.
KAPITEL 3. MARKOV-KETTEN 56
Eine oene Klasse kann existieren, muss aber nicht.
Klassizierung nach R uckkehrverhalten
Die MK sei (o.B.d.A.) f ur t = 0 in i. Es sei T
ii
die zufallige Zeit bis zur ersten R uckkehr nach i und
E(T
ii
[X
0
= i) =
ii
die erwartete R uckkehrzeit.
Denition 3.10 Rekurrenz/Transienz/Periode
Sei i S
1. i heit rekurrent : P(T
ii
< [X
0
= i) = 1
mit Wahrscheinlichkeit 1 R uckkehr in endlicher Zeit (d.h. R uckkehrwahrscheinlichkeit
= 1).
2. i heit transient : P(T
ii
< [X
0
= i) < 1,
mit positiver Wahrscheinlichkeit keine R uckkehr.
3. Bei rekurrenten Zustanden kann man unterscheiden
i heit positiv-rekurrent :
ii
<
i null-rekurrent :
ii
=
4. i periodisch mit Periode d : d 2 grote nat urliche Zahl mit

n=1
P(T
ii
= nd[X
0
= i) +P(T
ii
= [X
0
= i) = 1
d.h. R uckkehr nur zu Vielfachen von d moglich (Periodengitter).
i aperiodisch f ur d = 1 (bzw. d = )
5. i ergodisch : i positiv-rekurrent und aperiodisch (wichtiger Spezialfall)
KAPITEL 3. MARKOV-KETTEN 57
Bemerkung:
Bei MK mit endlich vielen Zustanden existieren nur positiv-rekurrente Zustande; keine Fallunterschei-
dung notig. Weiterhin gilt f ur jede

Aquivalenzklasse C:
C abgeschlossen alle Zustande aus C rekurrent,
C oen alle Zustande aus C transient.
Beispiel:
(a) Irrfahrtmodell mit r = 0: jeder Zustand i ist rekurrent f ur p =
1
2
und transient f ur p ,=
1
2
.
(b) Erneuerungsprozess: Die Zustande des diskreten Erneuerungsprozesses sind in Abhangigkeit
von den bedingten

Uberlebens- und Ausfallwahrscheinlichkeiten p
i
, q
i
einmal transient, einmal
positiv-rekurrent oder null-rekurrent. Etwa sind samtliche Zustande der MK transient f ur
p
i
= 1
_
1
2
_
i
, q
i
=
_
1
2
_
i
, i 1 , p
0
= 1, q
0
= 0,
positiv-rekurrent f ur
p
i
= q
i
=
1
2
, i 0,
null-rekurrent f ur
p
i
=
i
i + 1
, q
i
=
1
i + 1
, i 1 , p
0
= 1, q
0
= 0.
(c) Eine MK sei durch folgenden Erreichbarkeitsgraph gegeben:
Das Periodengitter f ur den Zustand 1 ist 4, 6, 8, . . ., also d =2. Man sieht, dass nicht alle
Vielfachen n 2 zum Periodengitter gehoren, in diesem Fall erst f ur n 2.
KAPITEL 3. MARKOV-KETTEN 58
Satz 3.4 Resultate
1. Rekurrenz, Transienz, Periodizitat und Ergodizitat sind Klasseneigenschaften, d.h. alle
Zustande einer Klasse sind rekurrent, transient, periodisch oder ergodisch.
Bew.: F ur endliche MK anschaulich klar; formaler Beweis in FKO S. 39/40.
2. i rekurrent und i j i j und auch j rekurrent.
Falls von j kein Weg zur uck nach i existiert: keine R uckkehr nach i moglich, i ware nicht
rekurrent.
3. i rekurrent es existiert eine irreduzible Klasse C(i) von rekurrenten Zustanden mit
i C(i).
KAPITEL 3. MARKOV-KETTEN 59
Satz 3.5 Kanonische Reprasentation
S lasst sich zerlegen in irreduzible Teilmengen C
1
, C
2
, . . . und eine Restmenge T transienter
Zustande. Seien nach evtl. Umnummerierung P
1
, P
2
, . . . , Q die dazugehorigen Teilmatrizen
der

UM P, so gilt
KAPITEL 3. MARKOV-KETTEN 60
Satz 3.6
1. C irreduzibel, endliche Klasse alle Zustande positiv-rekurrent
2. C endliche Klasse
C rekurrent C abgeschlossen
C transient C oen
also: Falls MK endlich: oen = transient und abgeschlossen = rekurrent
3. MK endlich es existiert mindestens eine rekurrente Klasse.
F ur MK mit endlich vielen Zustanden geht man demnach so vor: Man sucht zuerst (etwa mit Hilfe
des Erreichbarkeitsgraphen) die irreduziblen

Aquivalenzklassen. Diese sind alle positiv rekurrent, der
Rest ist transient. Die Periode wird f ur jede Klasse festgestellt.
In vielen Anwendungen liegt eine ergodische MK vor.
Beispiel:
(a) Markov-Kette f ur DNA-Sequenzen mit S = A, C, G, T ist ergodisch.
(b) Absorbierende Markovketten
Absorbierende MK bestehen aus einer endlichen Menge von absorbierenden Zustanden und einer
Menge von transienten Zustanden. In der kanonischen Representation hat also P die Gestalt
P =
_
I 0
L Q
_
, mit I =
_
_
_
_
1
.
.
.
1
_
_
_
_
.
KAPITEL 3. MARKOV-KETTEN 61
Ein Beispiel ist das Irrfahrtmodell mit absorbierenden Schranken.
Absorbierende MK spielen auch in der Demographie eine Rolle, etwa im folgenden
Heiratsmodell:
Mit x = 1, 2, . . . , w werde das Alter eines Ledigen, gemessen in Geburtstagen, bezeichnet. Dabei
sei w eine Altersobergrenze, uber die hinaus wir die Person nicht mehr verfolgen. Wir betrachten
folgende Zustande der Person:
I Heirat (vor Tod)
II Tod als Junggeselle
s im Alter w + 1 noch ledig
_

_
absorbierende Zustande
x = 0, 1, 2, . . . , w im Alter x ledig.
F ur einen x-jahrigen Ledigen bestehen im Altersintervall (x, x + 1] drei Moglichkeiten. Er kann
mit Wahrscheinlichkeit q
x,I
in (x, x + 1] heiraten
mit Wahrscheinlichkeit q
x,II
in (x, x + 1] als Junggeselle sterben
mit Wahrscheinlichkeit p
x
als Lediger das Alter x + 1 erreichen.
Mit diesen

Ubergangswahrscheinlichkeiten lasst sich der Heiratsprozess als MK modellieren mit
der

UM
I II s 0 1 . . . . . . w
I
II
s
0
1
.
.
.
w
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
1 0 0 0
0 1 0 0
0 0 1
q
0,I
q
0,II
0 0 p
0
0 . . . 0
.
.
.
.
.
. 0
.
.
. p
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. p
w1
q
w,I
q
w,II
p
w
0 0
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
(c) Marshall/Goldhammer benutzten ein einfaches Markovmodell zur Darstellung des Prozesses,
der zur ersten Einweisung in ein Nervenkrankenhaus f uhrt. Sie nahmen bei einer Zeiteinheit
von einem Jahr einen Prozess mit den Zustanden S
4
gesund, S
3
leichte Erkrankung, nicht im
Krankenhaus; S
2
schwere Erkrankung, nicht im Krankenhaus, S
1
krank, im Krankenhaus, S
o
KAPITEL 3. MARKOV-KETTEN 62
tot, an. In der kanonischen Darstellung ist die

UM
S
0
S
1
S
2
S
3
S
4
_
_
_
_
_
_
_
_
_
1 0
0 1 0
p
20
p
21
p
22
0 0
p
30
p
31
0 p
33
0
p
40
0 p
42
p
43
p
44
_
_
_
_
_
_
_
_
_
.
Die Zustande S
0
, S
1
sind absorbierend. Die Zustande S
2
, S
3
, S
4
sind unter der Annahme
p
ii
< 1, i = 2, 3, 4 transient. Samtliche Zustande sind aperiodisch.
3.3 Das Grenzverhalten von homogenen MK
Fragestellung:
P
t
= (p
(t)
ij
) ? f ur t
p(t) = (P(X
t
= i), i S) ? f ur t
Hier nur f ur aperiodische MK. F ur periodische MK siehe FKO, Abschnitt 2.3.
KAPITEL 3. MARKOV-KETTEN 63
Satz 3.7 Grenzwertsatz f ur die t-schrittigen

UW p
(t)
ij
Sei j transient oder null-rekurrent. Dann ist
i S lim
t
p
(t)
ij
= 0. (3.2)
Sei j positiv-rekurrent und aperiodisch. Dann gilt:
lim
t
p
(t)
jj
=
1

jj
(3.3)
lim
t
p
(t)
ij
= lim
t
p
(t)
jj
i mit i j (3.4)
lim
t
p
(t)
ij
= f
ij
1

jj
=: l
()
ij
i S (3.5)
Dabei ist f
ij
die Wahrscheinlichkeit in endlicher Zeit von i nach j zu gelangen. F ur rekurrentes
i aus der gleichen Klasse wie j ist f
ij
= 1, d.h. wir erhalten (3.3). F ur i C, C abgeschlossen,
j / C, ist f
ij
= 0. F ur transientes i ist f
ij
= P(j wird von i aus (irgendwann) erreicht).
In der kanonischen Reprasentation ergibt sich also folgende Blockgestalt:
P

:= lim
t
P
t
=
_
_
_
_
_
_
_
_
_
P

1
P

2
0
0
L

0
_
_
_
_
_
_
_
_
_
Die Elemente von P

i
berechnen sich aus (3.3), (3.4), L

aus (3.5).
Beweis:
Formale Beweise schwierig. Hier nur Plausibilitatserklarungen.
(3.2) F ur transientes j plausibel. F ur null-rekurrentes, aperiodisches j ergibt sich (3.2) aus (3.3),
indem man dort
jj
= setzt.
(3.3) Da j rekurrent und aperiodisch ist, gilt p
(t)
jj
> 0 f ur alle gen ugend groen t. Die mittlere Wieder-
kehrzeit zwischen zwei j-Besuchen betragt
jj
. Die mittlere

Treerquote in einem Zeitintervall


der Lange 1 ist also
1

jj
. Mit
A
t
=
_
_
_
1, X
t
= j
0, X
t
,= j
muss also gelten
E(A
t
[ X
0
= j)
1

jj
.
Wegen E(A
t
[ X
0
= j) = P(X
t
= j [ X
0
= j) = p
(t)
jj
gilt daher f ur gen ugend groe t
p
(t)
jj

1

jj
.
KAPITEL 3. MARKOV-KETTEN 64
(3.4), (3.5) Zuerst muss j von i aus erreicht werden. Dies geschieht mit Wahrscheinlichkeit f
ij
; dann weiter
wie oben.

Bemerkung
Die Plausibilitatserklarung zu (3.3) liefert uns auch eine weitere Interpretation von p
()
ij
= lim
t
p
(t)
ij
f ur aperiodische, rekurrente i j: p
()
ij
=
1

jj
ist die relative Haugkeit f ur t der Besuche in j,
bezogen auf die Gesamtzahl aller

Ubergange.
Satz 3.7 ist bislang nur von beschranktem Wert, da wir noch keine einfache Methode angegeben haben,
wie die erwartete Wiederkehrzeit
jj
zu berechnen ist. Abhilfe schat:
Satz 3.8 Grenzwertsatz f ur ergodische MK
F ur eine irreduzible, aperiodische MK gilt:
Falls alle Zustande positiv-rekurrent sind, dann besitzt das lineare Gleichungssystem

j
=

iS

i
p
ij
, j S

jS

j
= 1
_
bzw. mit dem Zeilenvektor = (
j
, j S)
_
_
_
= P
1 = 1,
(3.6)
eine eindeutige, strikt positive (
j
> 0 , j S) Losung und es gilt

j
= lim
t
p
(t)
ij
=
1

jj
, (3.7)
sowie
lim
t
p(t) = lim
t
p(0)P
t
= p(0)P

= (3.8)
f ur jede beliebige Anfangsverteilung p(0).
Umgekehrt gilt auch: Falls (3.6) eindeutig losbar und strikt positiv losbar ist, so sind alle
Zustande positiv rekurrent.
Da endliche, irreduzible MK nur positiv-rekurrente Zustande enthalten, gilt noch die
Folgerung:
F ur eine irreduzible, aperiodische MK mit endlich vielen Zustanden hat (3.6) eine eindeutige, strikt
positive Losung.
Beweis:
Anstelle eines exakten Beweises, f ur den auf die einschlagige Literatur verwiesen sei, bringen wir eine
Plausibilitatserklarung.
Nach der Bemerkung stellt lim
t
p
(t)
ij
=
1

jj
die Wahrscheinlichkeit der Besuche in j

auf lange Sicht


KAPITEL 3. MARKOV-KETTEN 65
dar, (3.6) sind dann

Bilanzgleichungen f ur jeden Zustand j.


Die Wahrscheinlichkeit
j
= lim
t
p
(t)
ij
daf ur, dass sich die MK in j bendet, setzt sich additiv
zusammen aus den Wahrscheinlichkeiten
i
, i S, mit denen sich die MK in anderen Zustanden
i S bendet, gewichtet mit den Wahrscheinlichkeiten p
ij
in einem Schritt von i nach j zu gelangen.
(3.8) folgt direkt aus (3.7).
Zur Berechnung von lost man zunachst = P ohne Normierungsbedingung und normiert anschlie-
end durch =

1
. Falls S endlich ist, eliminiert man von den linear abhangigen Gleichungen zuerst
die komplizierteste.
Denition 3.11 Stationare Verteilung
Sei P die

Ubergangsmatrix einer Markovkette. Der Zeilenvektor heit stationare Verteilung
dieser Markovkette :
= P und 1 = 1.
Beispiel: Stationare Verteilung einer MK mit 2 Zustanden 0, 1
P =
_
1 p
0
p
0
p
1
1 p
1
_
(
0
,
1
)
_
1 p
0
p
0
p
1
1 p
1
_
!
= (
0
,
1
)

_

0
(1 p
0
) +
1
p
1
=
0

0
p
0
=
1
p
1

0
p
0
+
1
(1 p
1
) =
1

0
p
0
=
1
p
1
Losungsweg 1:
0
,
1
unnormiert; keine Nebenbedingung

0
= p
1

1
= p
0

0
=
p
1
p
0
+p
1
,
1
=
p
0
p
0
+p
1
Losungsweg 2:
0
+
1
= 1, Nebenbedingung

1
= 1
0

0
+
1
= 1

0
(1 p
0
) + (1
0
)p
1
=
0

0
p
0
+p
1

0
p
1
= 0

0
(p
0
+p
1
) = p
1
,

0
=
p
1
p
0
+p
1
,
1
=
p
0
p
0
+p
1
KAPITEL 3. MARKOV-KETTEN 66
3.4 Instationare und inhomogene MK
In Anwendungen liegen oft Zeitreihen oder Longitudinaldaten zu
Y Ziel- (oder Response)variable, diskret bzw. kategorial vor.
z = (z
1
, . . . , z
p
)
t
Vektor von Kovariablen
T = N
0
, Ergebnisraum S
Y
von Y diskret.
Zeitreihendaten: (Y
t
, Z
t
) t = 1, . . . , T, d.h. ein Pfad eines SP Y und eines Kovariablen-SP
werden von 1 bis T beobachtet.
Longitudinaldaten: F ur n = 1, . . . , N Individuen (Objekte) werden jeweils Pfade
(Y
nt
, z
nt
), t = 1, . . . , T
beobachtet.
Situationen:
N gro, T klein
N klein, T gro
(N = 1: Zeitreihe)
N, T mittel bis gro
Datenstruktur der Pfade passt zu MK f ur Y.
Aber:
Zeitliche Stationaritat fraglich MK mit nichtstationarer

UW p
ij
(t)
Homogenitat der Population fraglich,
P(Y
n, t+1
= j [ Y
n, t
= i) = p
ij,n
(t)
KAPITEL 3. MARKOV-KETTEN 67
von n abhangig!
Bei homogener Population w urde man
p
ij,n
(t) p
ij
(t), n = 1, . . . , N
annehmen.
Auch Markov-Eigenschaft, zumindest 1. Ordnung fraglich.
Fragestellung: Wie modelliert man nichtstationare inhomogene MK?
3.4.1 Instationare und inhomogene binare MK 1. Ordnung
Sei zunachst Y
t
, t N
0
eine binare MK 1. Ordnung. Dann werden geeignete Modelle f ur die

UW
p
ij
(t) = P(Y
t+1
= j [ Y
t
= i), i, j 0, 1
benotigt.
Liegen bei Longitudinaldaten Y
nt
, t N
0
zusatzlich Kovariablen z
nt
, t N
0
zu den Objekten
n = 1, . . . , N vor, so werden entsprechend Modelle f ur
p
ij, n
(t) = P(Y
n, t+1
= j [ Y
n, t
= i, z
nt
)
benotigt. Die Kovariablen konnen zeitabhangig oder auch zeitunabhangig sein, wie z.B. das Geschlecht
oder die Art der Therapie f ur ein Individuum bei einer klinischen Studie.
Es reicht die

UW f ur j = 1 zu modellieren, da p
i0, n
(t) + p
i1, n
(t) = 1 gilt. Basis f ur die Modellie-
rung sind binare Regressionsmodelle, insbesondere Logit- oder Probitmodelle (vgl. Lineare Modelle,
Generalisierte Regression)
Separate Modellierung der

UW
Hier werden p
01
(t) und p
11
(t) jeweils separat durch binare Regressionsmodelle modelliert:
p
01
(t) = h(w
t
t

0
), p
11
(t) = h(z
t
t

1
).
Dabei wird der Index n unterdr uckt; h sind sog. Responsefunktionen h : R (0, 1). F ur h() =
exp()/1 +exp() bzw. h() = () erhalt man Logit- bzw. Probitmodelle. Die Design- bzw. Kovaria-
blenvektoren w
t
, z
t
konnen auch identisch sein.
Im reinen Zeitreihenfall (N = 1) wird durch
t
= w
t
t

0
bzw.
t
= z
t
t

1
z.B. ein zeitlicher Trend para-
metrisch speziziert, etwa mit w
t
t

0
=
00
+
01
t ein linearer Trend, oder ein (st uckweise) polynomialer
Trend, usw. F ur Longitudinaldaten enthalten w
t
, z
t
i.d.R. auch individuelle Kovariablen.
Logit-Modell:
p
01
(t) =
exp(w
t
t

0
)
1 + exp(w
t
t

0
)
log
_
p
01
(t)
p
00
(t)
_
= w
t
t

0
;
KAPITEL 3. MARKOV-KETTEN 68
analog f ur p
11
(t).
Bemerkung:
Lasst man statt einer parametrischen Trendfunktion w
t
t

0
eine nichtparametrisch spezizierte Funktion
f
0
(t) (bzw.f
1
(t)) zu, so f uhrt dies zu non- und semiparametrischen Logit-Modellen (Fahrmeir, Tutz;
Ch. 5; Generalisierte Regression).
Konditionale (autoregressive) Modellierung
Alternativ modelliert man
P(Y
t+1
= 1 [ Y
t
, w
t
)
f ur Y
t
0, 1 in einem simultanen Modellansatz durch ein autoregressives Modell, indem Y
t
wie w
t
als Regressor fungiert, z.B.
log
_
P(Y
t+1
= 1 [ Y
t
, w
t
)
P(Y
t+1
= 0 [ Y
t
, w
t
)
_
= w
t
t
+Y
t
(additiv)
oder
. . . = w
t
t
+Y
t
w
t
t
mit Interaktion
Einsetzen von Y
t
= 0 bzw. 1 liefert dann den Zusammenhang zur separaten Modellierung.
3.4.2 Weitere inhomogene MK
MK hoherer Ordnung
Eine homogene MK 2. Ordnung besitzt

Ubergangswahrscheinlichkeiten
P(Y
t+1
= j [ Y
t
= i
1
, Y
t1
= i
2
) =: p
i
1
i
2
,j
(t).
Im binaren Fall Y
t
0, 1 gen ugt es wieder p
i
1
i
2
1
(t) zu spezizieren.
In Analogie zu MK 1. Ordnung konnte man z.B. 4 separate logistische Modelle schatzen, je eines f ur
die Paare (i
1
, i
2
) = (0, 0), (0, 1), (1, 0) oder (1, 1). Mit einem Designvektor z
t
, ergibt dies
log
_
p
i
1
i
2
1
(t)
p
i
1
i
2
0
(t)
_
= z
t
t

i
1
i
2
,
mit vier verschiedenen Parametervektoren
00
,
01
,
10
, und
11
. Alternativ kann wieder zu einer si-
multanen Logit-Autoregression
log
_
P(Y
t+1
= 1 [ Y
t
, Y
t1
, z
t
)
P(Y
t+1
= 0 [ Y
t
, Y
t1
, z
t
)
_
= z
t
t
+
1
Y
t
+
2
Y
t1
(additiv)
oder
. . . = z
t
t
+Y
t
z
t
t

1
+Y
t1
z
t
t

2
+Y
t
Y
t1
z
t
t

3
KAPITEL 3. MARKOV-KETTEN 69
ubergangen werden. Das zweite Modell besitzt genauso viele Parameter wie die 4 separaten Modelle.
Einsetzen der verschiedenen 0/1-Kombinationen f ur Y
t
, Y
t1
liefert

00
= ,
01
= +
1
,
10
= +
2
,
11
= +
1
+
2
+
3
.
Durch Nullsetzen von Komponenten in
1
,
2
,
3
erhalt man parametersparsamere Submodelle.
Analog kann man MK hoherer Ordnung in autoregressiver Form modellieren, vgl. z.B. Fahrmeir/Tutz,
Ch. 6.
Ebenfalls in Analogie zum binaren Fall lassen sich inhomogene MK durch multinominale autoregressive
Regressionsmodelle behandeln, vgl. Fahrmeir/Tutz, Ch. 3 und Ch. 6.
3.5 Statistische Inferenz f ur MK
3.5.1 Likelihood-Inferenz f ur SP
Statistische Inferenz f ur SP beruht auf den gleichen Prinzipien wie die Inferenz f ur unabhangige und
evtl. identische Zufallsvariablen, durch die die Daten generiert werden. Durch die groere Modell-
komplexitat und die inharente Abhangigkeit der Variablen werden jedoch Durchf uhrung und Theorie
i.d.R. etwas schwieriger.
Im weiteren gehen wir auf parametrische Likelihood-Inferenz f ur MK ein. Generell konnen folgende
Situationen vorliegen:
Beobachtung eines Pfades
Die Daten (x
0
), x
1
, . . . , x
T
werden aufgefasst als Realisierung
(x
0
= X
0
(), x
1
= X
1
(), . . . , x
t
= X
t
(), . . . , x
T
= X
T
()) eines SP X
t
.
Bei MK handelt es sich also um eine beobachtete diskrete oder kategoriale Zeitreihe, die als bis T
vorliegende Realisierung der MK aufgefasst wird.
Sei ein Vektor von unbekannten Parametern. Dann ist die Likelihoodfunktion
L( [ X) := f(x
0
, . . . , x
T
[ )
die gemeinsame Dichte von X
0
, . . . , X
T
, ausgewertet f ur x
0
, . . . , x
T
, und als Funktion von betrach-
tet.
Eine generelle Moglichkeit die Likelihoodfunktion zu berechnen ist die Faktorisierung in das Produkt
KAPITEL 3. MARKOV-KETTEN 70
bedingter Dichten:
L( [ X) = f(x
T
, x
T1
, . . . , x
0
[ )
= f
T
(x
T
[ x
T1
, . . . , x
0
; ) f(x
T1
, . . . , x
0
[ )
= . . .
=
T

t=1
f
t
(x
t
[ x
t1
, . . . , x
0
; )f
0
(x
0
[ ).
F ur MK ist diese Faktorisierung die Methode der Wahl und vereinfacht sich wegen der Markov-
Eigenschaft
f
t
(x
t
[ x
t1
, . . . , x
0
; ) = f
t
(x
t
[ x
t1
; )
zu
L( [ X) =
T

t=1
f
t
(x
t
[ x
t1
; )f
0
(x
0
[ ).
Bei homogenen MK kann weiter der Index t bei f
t
entfallen.
Durchgef uhrt wird das ML-Prinzip: Wahle

ML
als Maximierer von L([X) ublicherweise durch

Uber-
gang zur log-Likelihood
l( [ X) := ln L( [ X) =
T

t=1
l
t
(x
t
[ x
t1
; ) +l
0
(x
0
[ )
mit den log-Likelihood Beitragen l
t
(x
t
[ .) = ln f
t
(x
t
[ .).
Bemerkung:
Falls die X
t
unabhangig sind, ergibt sich
L( [ X) = f(x
0
, . . . , x
T
[ ) =
T

t=1
f
t
(x
t
[ )f
0
(x
0
[ )
wie ublich als Produkt der Randdichten.
Beobachtung mehrer unabhangiger Pfade eines SP
Die Daten (x
n0
, . . . , x
nT
), n = 1, . . . , N werden aufgefasst als unabhangige Realisierungen
(x
n0
= X
0
(
n
), . . . , x
nT
= X
T
(
n
)), n = 1, . . . , N
des SP X
t
. Dann ergibt sich die gemeinsame Dichte und die Likelihood als Produkt
L( [ X) =
N

n=1
f(x
nT
, . . . , x
n0
[ ) =
N

n=1
T

t=1
f
t
(x
nt
[ x
n, t1
; )f
0
(x
n0
[ )
der beteiligten Likelihoodfunktionen f ur die Realisierungen n = 1, . . . , N.
KAPITEL 3. MARKOV-KETTEN 71
Longitudinaldaten mit Kovariablen
In diesem Fall liegen Beobachtungen zu einer Zielvariablen Y und einem Vektor z (oder x) von Kova-
riablen vor.
Die Daten werden aufgefasst als unabhangige Realisierungen von SP Y
n
, n = 1, . . . , N, gegeben die
Kovariablen, also:
((y
nt
, z
nt
), t = 0, . . . , T) , n = 1, . . . , N.
Die Likelihood f ur Objekt n ist gegeben durch
L
n
( [ Y
n
) =
T

t=1
f(y
nt
[ y
n, t1
, z
nt
; )f
0
(y
n0
[ ).
Wegen der Unabhangigkeit der Beobachtungen zwischen Objekten ergibt sich die gesamte Likelihood
zu
L( [ Y ) =
N

n=1
L
n
( [ Y
n
).
3.5.2 Inferenz bei homogenen Markov-Ketten
Sei X eine homogene MK mit endlichem Zustandsraum S = 1, . . . , m.
Unbekannter Parameter :
P = (p
ij
)

Ubergangsmatrix
p(0) Anfangsverteilung
Plausibel: ML-Schatzer f ur p
ij
sind die entsprechenden

Ubergangshaugkeiten, die an einem oder
mehreren Pfaden von X beobachtet werden. Zunachst:
1 Pfad beobachtet
X
0
() = i
o
, X
1
() = i
1
, . . . , X
T
() = i
T
Likelihoodfunktion
L(p(0), P) = PX
0
= i
0
, . . . , X
T
= i
T

= p
i
0
(0)p
i
0
i
1
. . . p
i
T1
i
T
.
Problem: Es gibt nur eine Beobachtung zur Schatzung von p(0); p
i
0
(0) = 1, p
i
(0) = 0 sonst.
Deshalb: Betrachte nur die bedingte Likelihood
L(P) =

i,j
p
n
ij
ij
,
KAPITEL 3. MARKOV-KETTEN 72
mit n
ij
= Anzahl der beobachteten

Ubergange von i nach j.
Logarithmieren ergibt
log L(P) =

i,j
n
ij
log(p
ij
).
ML-Schatzwerte p
ij
erhalt man durch Maximieren von log L(P) unter der Nebenbedingung, dass die
Zeilensummen =1 sind. Nach der Lagrange-Methode ist dies aquivalent zur Maximierung von
l

i,j
n
ij
log p
ij

i
_
_

jS
p
ij
1
_
_
ohne Nebenbedingungen. Nullsetzen der partiellen Ableitungen liefert
l

p
ij
=
n
ij
p
ij

i
= 0,
also
n
ij
=
i
p
ij
.
Summation uber j liefert wegen

j
p
ij
= 1

i
=

jS
n
ij
= n
i
,
und daraus schlielich
p
ij
=
n
ij
n
i
.
Eigenschaften des ML-Schatzers
Bei ergodischen MK gilt f ur T
p
ij
a
N
_
p
ij
,
p
ij
(1 p
ij
)
n
i
_
Mehrere Pfade beobachtet
Im homogenen Fall lassen sich die

UW wie bei einem Pfad schatzen.
Prinzipiell moglich ist nun auch die Schatzung von

UW p
ij
(t) im inhomogenen Fall:
p
ij
(t) =
n
ij
(t)
n
i
(t)
mit
n
ij
(t) Anzahl der

Ubergange von i nach j mit X
t
= i und X
t+1
= j
n
i
(t) Anzahl der Beobachtungen mit X
t
= i und X
t+1
beliebig
Problem: p
ij
(t) wird unrestringiert, d.h. ohne weitere Struktur-/Modellannahmen geschatzt.
hohe Varianz von p
ij
(t), falls n
i
(t) klein.
Alternative: Parametrische oder nonparametrische Modellierung von p
ij
(t), z.B. durch Logitmodelle
(vgl. 3.4), und ML-Schatzung wie in 3.5.1.
KAPITEL 3. MARKOV-KETTEN 73
Likelihood-Quotienten-Tests f ur (homogene) MK
Zum Test von Hypothesen H
0
versus H
1
, z.B.
H
0
: X
t
ist i.i.d., H
1
: X
t
ist MK 1. Ordnung
H
0
: X
t
ist MK 1. Ordnung, H
1
: X
t
ist MK 2. Ordnung
etc., kann der Likelihood-Quotienten-Test verwendet werden:
l(

1
) maximierte Loglikelihood im H
1
-Modell
l(

0
) maximierte Loglikelihood im H
0
-Modell
Dann gilt unter H
0
:
2(l(

1
) l(

0
))
a

2
(r), T
mit r = Dierenz der Anzahl der geschatzten Parameter in H
0
- und H
1
-Modell.
3.5.3 Fallstudie: Niederschlag bei den Snoqualmie-Wasserfallen, Cascade Moun-
tains
Aus: Guttorp

Stochastic Modelling of Scientic Data.


Daten: 36 Jahre j = 1948 1983; jeweils Januar t = 1, . . . , 31.
X
tj
=
_
_
_
1 Regen am Tag t in Jahr j
0 kein Regen am Tag t im Jahr j.
Annahme: Unabhangige Pfade j = 1, . . . , 36 desselben SP X werden beobachtet.
Modell 1: X
tj
sind i.i.d.
rel. Haugkeiten f ur X
t
= 0 : p =
325
791+325
= 0.291
rel. Haugkeiten f ur X
t
= 1 : 1 p = 0.709
Likelihood: L(p) p
325
(1 p)
791
Modell 2: X
t
ist homogene MK 1. Ordnung mit (jahres-unabhangiger)

UM P
Kontingenztafel:
X
t
= 0 X
t
= 1
X
t1
= 0 186 123 309
X
t1
= 1 128 643 771
314 766 1080
Beachte: Hier gehen nur 30 36 = 1080 Beobachtungen ein.
KAPITEL 3. MARKOV-KETTEN 74
Geschatzte

Ubergangsmatrix (z.B. p
01
=
123
309
= 0.398):

P =
_
0.602 0.398
0.166 0.834
_
Likelihood:
L(p(0), P) =
_
_
36

j=1
P(X
0j
= x
0j
)
_
_
p
186
00
p
123
01
p
128
10
p
643
11
LQ-Test zu
H
0
: X
t
i.i.d. versus H
1
: X
t
MK 1. Ordnung
Beachte:

gleiche Daten werden benotigt;


deshalb m ussen bei Modell 1 die Startwerte (j = 1, . . . , 36) weggelassen werden.
p =
314
766+314
= 0.291
LQ-Statistik (
a

2
(1)):
2log(L(

P) log( p)) = 2[186 log(0.602) + 123 log(0.398) + 128 log(0.166) + 643 log(0.834)]
[314 log(0.291) + 766 log(0.709)]
= 193.49
i.i.d. Modell 1 ablehnen
Modell 3: Homogene MK 2. Ordnung
Kontingenztafel:
X
t
= 0 X
t
= 1
X
t2
= 0 X
t1
= 0 109 67 176
X
t2
= 0 X
t1
= 1 25 94 119
X
t2
= 1 X
t1
= 0 70 52 122
X
t2
= 1 X
t1
= 1 100 527 627
304 740 1044
geschatzte

UM f ur MK 2. Ordnung

P
2
= p
ij,k
=
_
_
_
_
_
_
_
0.619 0.381
0.210 0.790
0.574 0.426
0.159 0.841
_
_
_
_
_
_
_
LQ-Test zu
H
0
: X
t
MK 1. Ordnung versus H
1
: X
t
MK 2. Ordnung
KAPITEL 3. MARKOV-KETTEN 75
log(L(

P
2
)) = 109 log(0.619) +. . . + 527 log(0.841)
= 536.48
log(L(

P)) = 537.67
2log(L(

P
2
)) log(L(

P)) = 2.37 bei 2 Freiheitsgraden


p-Wert 0.15, H
0
wird nicht abgelehnt.
3.6 Hidden Markov Modelle
Kritik am Markov-Modell f ur Niederschlag:
Das Markov-Modell impliziert eine (geometrische) Verteilung f ur die Dauer von trockenen/nassen
Perioden, die sich nicht mit der Realitat deckt k urzere Perioden werden vom Modell vorher-
gesagt als beobachtet wurde.
Schwierig zu Verallgemeinern, um mehrere Wetterstationen zu modellieren.
Daher: Hidden Markov Modelle
Latenter Zustand X
t
(

Wetter) folgt einer Markovkette. Beobachtungen Y


t
[X
t
sind bedingt un-
abhangig, gegeben den Zustand X
t
.
KAPITEL 3. MARKOV-KETTEN 76
HMM bilden eine exible Modellklasse, insbesondere hat Y
t
marginal i.A. nicht die Markov-
Eigenschaft.
Beispiel: Regenfall-Daten
X
t
: MK mit

Ubergangswahrscheinlichkeit P =
_
p
00
p
01
p
10
p
11
_
zwei Zustande:
X
t
=
_
_
_
0 gutes Wetter
1 schlechtes Wetter
Y
t
=
_
_
_
1 Regen
0 kein Regen
mit
P(Y
t
= 1 [ X
t
= 1) = q
11
P(Y
t
= 1 [ X
t
= 0) = q
01
P(Y
t
= 0 [ X
t
= 1) = q
10
P(Y
t
= 0 [ X
t
= 0) = q
00
Hidden Markov-Modelle: Das gelegentlich unehrliche Casino
Es wird mit 2 W urfeln gespielt:
W urfel 1 fair; W urfel 2 unfair, mit P(Y = 6) = 0.5, P(Y = 1) = . . . = P(Y = 5) = 0.1
Casino wechselt von fairem zu unfairem W urfel mit Wahrscheinlichkeit 0.05, und von unfairem zu
fairem W urfel mit Wahrscheinlichkeit 0.1. Der Wechsel zwischen den W urfeln ist dann MK mit

UM
f u
P =
f
u
_
0.95 0.05
0.1 0.9
_

UW P(X
t
= u [ X
t1
= f) = 0.05
P(X
t
= f [ X
t1
= u) = 0.1
usw.
Insgesamt ein HMM: (t indiziert Spiel t)
KAPITEL 3. MARKOV-KETTEN 77
1 : 1/6
2 : 1/6
3 : 1/6
4 : 1/6
5 : 1/6
6 : 1/6
Fair
1 : 1/10
2 : 1/10
3 : 1/10
4 : 1/10
5 : 1/10
6 : 1/2
Unfair
P(Y
t
= j [ X
t
= f) j = 1, . . . , 6 P(Y
t
= j [ X
t
= u)
Beispiel: DNA-Sequenzen mit CpG Inseln
Im menschlichen Genom wird bei Auftreten eines Paares CG (innerhalb eines Stranges; Notation:
CpG) in der DNA-Sequenz des Nucleotid C mit (relativ) hoher Wahrscheinlichkeit zu T mutiert
(durch chemische Prozesse).
CpG Paare treten seltener auf, als wenn man C; G als unabhangig ansieht.
Es gibt aber Abschnitte im Genom, wo diese chemische Mutation unterdr uckt wird, z.B. am Beginn
von Genen:

CpG-Insel
DNA in Abschnitte unterteilt:
Y
t
A, C, G, T, X
t
Insel, nicht Insel
X HMM
Daten: Y
t
, . . . beobachteter Pfad
Gesucht: X
t
, . . . latenter Pfad, enthalt Inseln.
Inferenzproblem in HMM bei Daten Y
t
, t = 1, . . . , T:
Schatze

UM P der latenten MK X,
Schatze bedingte Wahrscheinlichkeiten P(Y
t
= j [ X
t
= k),
Schatze Pfad X
t
t = 1, . . . , T der verborgenen MK (

Viterbi-Algorithmus).
3.7 Allgemeine Markov-Ketten und MCMC-Methoden
Hauptziel dieses Abschnitts ist eine kurze Einf uhrung in Markov Chain Monte Carlo (MCMC)-
Methoden. Diese erlauben das Ziehen von Zufallszahlen aus komplizierten, analytisch und numerisch
KAPITEL 3. MARKOV-KETTEN 78
unzuganglichen Verteilungen. MCMC-Verfahren werden insbesondere in der modernen, computerin-
tensiven Bayesinferenz eingesetzt.
Vorteile im Vergleich zu herkommlichen Verfahren zur Ziehung von Zufallszahlen sind:
Die interessierende Dichte muss nur bis auf eine Normierungskonstante bekannt sein.
Es konnen auch Zufallszahlen aus extrem hochdimensionalen Dichten, wie sie etwa bei komplexer
Bayes-Modellierung auftreten, gezogen werden.
Anstelle aus der Dichte selbst zu ziehen, wird dabei eine Markovkette generiert, die diese Dichte als
stationare Verteilung besitzt. Da der Zustandsraum der MK dabei dem (oft stetigen) Parameterraum
des statistischen Modells entspricht, ist es notig einige Grundlagen, insbesondere Grenzwertsatze und
daf ur notwendige Begrie, auf MK mit stetigem bzw. allgemeinem Zustandsraum S zu erweitern.
3.7.1 Allgemeine Markovketten
Im Folgenden ist S ein allgemeiner Zustandsraum. Insbesondere kann S ein stetiger Teilraum von R
p
sein.
Denition 3.12 Markovkette
Eine MK ist ein SP X
t
, t N
0
mit Zustandsraum S, der die Markov-Eigenschaft
P(X
t+1
A [ X
t
= x, X
t1
A
t1
, . . . , X
0
A
0
) = P(X
t+1
A [ X
t
= x) (3.9)
f ur beliebige x S und A, A
t1
, . . . , A
0
o erf ullt.
Die MK heit homogen, falls die Wahrscheinlichkeiten in (3.9) nicht von t abhangen.
P(x, A) := P(X
t+1
A [ X
t
= x) = P(X
1
A [ X
0
= x)
heit

Ubergangskern der homogenen MK.
KAPITEL 3. MARKOV-KETTEN 79
Bemerkung:
(a) F ur MK mit diskretem Zustandsraum ist P(x, A) durch die

UW bzw.

UM
p
ij
= P(X
t+1
= j [ X
t
= i)
bestimmt.
(b) F ur S = R ist P(x, A) durch eine

Ubergangsdichte p(x, y) mit
P(x, A) =
_
A
p(x, y)dy
bestimmt.
Beispiele f ur Markov-Ketten sind Irrfahrtmodelle und autoregressive Prozesse:
Einfache Irrfahrt (Random Walk 1. Ordnung):
X
t+1
= X
t
+
t
,
t
iid N(0,
2
), X
0
= 0
Hier gilt
P(x, A) = P(X
t+1
A [ X
t
= x) =
_
A
(y [ x,
2
)dy
mit
(y [ x,
2
) =
1

2
exp
_

1
2
(y x)
2

2
_
= p(x, y).
AR(1)-Prozess:
X
t+1
= aX
t
+
t
,
t
wie oben;
p(x, y) = (y [ ax,
2
).
Analog lassen sich mehrdimensionale Irrfahrten bzw. AR-Prozesse denieren; S = R
p
:
X
t+1
= AX
t
+
t
,
A p p-Matrix,
t
iid N
p
(0, ).
State-space-Modelle: Hier wird X
t
nur indirekt beobachtet mit
Y
t
= Z
t
X
t
+U
t
, X
t+1
= AX
t
+
t
,
Z
t
bekannte Matrix, U
t
iid N
p
(0,
u
). Die MK X
t
ist latent oder verborgen (hidden).
Der t-schrittigen

UM (p
(t)
ij
) = P
t
entspricht die t-te Iteration des

Ubergangskerns
Es gilt
P
t
(x, A) = P(X
t
A [ X
0
= x)
KAPITEL 3. MARKOV-KETTEN 80
P
t
= PP
(t1)
, P
1
= P.
= Wahrscheinlichkeit, dass die Kette nach t Schritten einen Zustand in A erreicht, ausgehend vom
Startwert x.
Denition 3.13 Invariante Verteilung
Eine Verteilung

auf (S, o) mit Dichte (bez uglich des dominierenden Maes ) heit inva-
riante Verteilung f ur den

Ubergangskern P(x, A) :
F ur alle A o gilt

(A) =
_
P(x, A)(x)dx. (3.10)
Bemerkung:
F ur MK mit diskretem S entspricht (3.10) der Gleichung = P, mit der

UM P. F ur S = R und mit
der zu P(x, A) gehorenden

Ubergangsdichte p(x, y) gilt (unter Regularitatsannahmen)
(y) =
_
p(x, y)(x)dx.
Denition 3.14 Irreduzible Markovkette
Eine MK mit invarianter Verteilung

heit irreduzibel, wenn sie positive Wahrscheinlichkeiten


besitzt von einem beliebigen Startpunkt x
0
aus jede Menge A zu erreichen, f ur die

(A) > 0
gilt.
Denition 3.15 (A-)periodische MK
Eine MK heit periodisch, wenn sie Teile des Zustandsraums nur in einer bestimmten Reihen-
folge erreichen kann; andernfalls heit die MK aperiodisch.
Es gilt
Satz 3.9 Grenzwertsatz
Sei X
t
, t N
0
eine irreduzible, aperiodische MK mit

Ubergangskern P und invarianter
Verteilung

. Dann ist

eindeutig bestimmt und es gilt


[[P
t
(x, )

[[ 0 f ur t ,
wobei
[[P
t
(x, )

[[ = 2 sup
AS
[P
t
(x, A)

(A)[ .
KAPITEL 3. MARKOV-KETTEN 81
3.7.2 Metropolis-Hastings-Algorithmus und MCMC
Bisher war die

UM P bzw. der

Ubergangskern P gegeben. Daraus kann die (eindeutige) invariante
stationare Verteilung bzw.

bestimmt werden. Jetzt betrachtet man das umgekehrte Problem:


Finde zu gegebener Verteilung eine MK mit

Ubergangskern P und als invarianter Verteilung.
Oensichtlich ist P nicht eindeutig: F ur
(Matrizen)
erhalt man jeweils = (3/5, 2/5) als invariante Verteilung. Also: Viel Freiraum in der Wahl von P.
Anwendung in Bayesianischer Inferenz
Bezeichne D = (d
1
, . . . , d
n
) Daten, x unbekannte Parameter in der Likelihood
L(D [ x) = f(D [ x),
f die gemeinsame Dichte der Beobachtungen D = (d
1
, . . . , d
n
), und p(x) die priori-Verteilung der
Parameter x. Dann ist nach dem Satz von Bayes
(x) := p(x [ D) =
L(D [ x)p(x)
_
L(D [ x)p(x)dx
=
L(D [ x)p(x)
L(D)
die posteriori Dichte der unbekannten Parameter. Problem: (x) ist wegen der Integration im Nenner
oft nicht analytisch zuganglich. Dagegen ist der Zahler bekannt, d.h.
(x) L(D [ x)p(x),
bis auf die Normierungskonstante L(D) zuganglich. Mit MCMC konnen damit auch f ur hochdimensio-
nale x aus (x) Zufallszahlen x
(t)
, t = 1, 2, . . . , N gezogen werden. Momente der posteriori-Verteilung
und andere interessierende Groen werden dann durch entsprechende Analoga der empirischen Ver-
teilung approximiert, z.B.
E

(g) =
_
g(x)(dx)
1
N
N

t=1
g(x
(t)
),
f ur geeignete Funktionen g, oder
(A)
1
N
N

t=1
I
x
(t)
A
.
3.8 Der Metropolis-Hastings-Algorithmus
Wir konstruieren im Folgenden eine Markovkette mit

Ubergangskern P, so dass P
n
gegen

konver-
giert. Hierf ur denieren wir den

Ubergangskern P(x, A) wie folgt:
Sei q(x, y) eine sogenannte Vorschlagsdichte, mit der ein neuer Zustand Y der Markovkette vorge-
schlagen wird.
KAPITEL 3. MARKOV-KETTEN 82
Sei weiterhin
(x, y) = min
_
(y)q(y, x)
(x)q(x, y)
, 1
_
die Akzeptanzwahrscheinlichkeit mit der Y als neuer Zustand akzeptiert wird.
Deniere
p(x, y) =
_
q(x, y)(x, y) x ,= y
0 sonst
und
r(x) = 1
_
p(x, y)dy
= Wahrscheinlichkeit, dass der alte Zustand beibehalten wird.
Damit denieren wir den

Ubergangskern
P(x, A) =
_
A
p(x, y)dy +r(x)
x
(A)
mit

x
(A) = 1 x A
Kann man zeigen, dass eine Markovkette mit oben deniertem

Ubergangskern

als invariante Ver-


teilung besitzt, so konvergieren Iterationen des Kerns gegen

, falls die Kette zusatzlich irreduzibel


und aperiodisch ist.
Damit erhalten wir den Metropolis-Hastings-Algorithmus:
(i) Wahle Startwerte x
0
und die Lange N der Kette. Setze t = 1.
(ii) Ziehe eine Zufallszahl Y = y aus q(x
t1
, Y ) und akzeptiere diese als neuen Zustand x
t
mit
Wahrscheinlichkeit (x
t1
, y), andernfalls setze x
t
= x
t1
.
(iii) Falls t = N beende den Algorithmus, ansonsten setze t = t + 1 und fahre fort mit (ii).
Beweis der Invarianzeigenschaft:
Wir zeigen, dass f ur
P(x, A) =
_
A
p(x, y)dy +r(x)
x
(A)
die Invarianzeigenschaft

(A) =
_
P(x, A)(x)dx
gilt.
Zunachst gilt:
(x)p(x, y) = (x)q(x, y)(x, y)
= (x)q(x, y) min
_
(y)q(y, x)
(x)q(x, y)
, 1
_
= min (y)q(y, x), (x)q(x, y)
= (y)q(y, x) min
_
1,
(x)q(x, y)
(y)q(y, x)
_
= (y)p(y, x)
KAPITEL 3. MARKOV-KETTEN 83
Die Beziehung (x)p(x, y) = (y)p(y, x) heit Umkehrbedingung. Sie ist hinreichend daf ur, dass
bzw.

invariant ist. Weiter folgt:


_
P(x, A)(x)dx =
_ __
A
p(x, y)dy
_
(x)dx +
_
r(x)
x
(A)(x)dx
=
_
A
__
p(x, y)(x)dx
_
dy +
_
A
r(x)(x)dx
=
_
A
__
p(y, x)(y)dx
_
dy +
_
A
r(x)(x)dx
=
_
A
(1 r(y)) (y)dy +
_
A
r(x)(x)dx
=
_
A
(y)dy
_
A
r(y)(y)dy +
_
A
r(x)(x)dx
=
_
A
(y)dy =

(A)
Bemerkungen:
Nach einer gewissen Konvergenzphase (sog.

burn in) konnen die gezogenen Zufallszahlen


X
0
, X
1
, . . . , X
N
als Realisierungen aus

angesehen werden. Eigenschaften von

kann man
nun mit Hilfe der Zufallszahlen schatzen, z.B. den Erwartungswert durch

X, wobei ublicherweise
der burn in unber ucksichtigt bleibt.
Falls q(x, y) symmetrisch ist, d.h.
q(x, y) = q(y, x),
vereinfacht sich die Akzeptanzwahrscheinlichkeit zu
= min
_
(y)
(x)
, 1
_
.
In diesem Fall spricht man vom sog. Metropolis-Algorithmus.
Die Vorschlagsdichte q(x, y) sollte so gewahlt werden, dass man leicht Zufallszahlen aus ihr
ziehen kann und die Akzeptanzraten nicht zu klein werden (z.B. multivariate Normalverteilung).
Beispiele f ur die Konstruktion von Vorschlagsdichten
Unabhangige Ketten:
q(x, y) = q(y)
Random Walk Kette:
Ziehe eine Zufallszahl Z aus einer Dichte f(z) und setze Y = X
n1
+Z, d.h.
q(X
n1
, Y ) = f(Y X
n1
)
KAPITEL 3. MARKOV-KETTEN 84
Ist x = (x
1
, . . . , x
p
)
t
multivariat mit Skalaren oder Teilvektoren x
1
, . . . , x
p
, so kann man den
MH-Algorithmus auch komponentenweise anwenden, d.h. erst x
1
bei festgehaltenen x
2
, . . . , x
p
aufdatieren, dann x
2
, . . . , dann x
p
bei festgehaltenen x
1
, . . . , x
p1
. Dabei vereinfacht sich
(y)/(x
(t)
) zu
(y
i
[ x
(t)
i
)
(x
(t)
i
[ x
(t)
i
)
mit (y
i
[ x
i
) als bedingter Dichte gegeben alle Komponenten x
i
von x ohne die i-te. Sind
diese bedingten Dichten bekannt, d.h. kann man direkt aus ihnen ziehen, so wahlt man sie als
Vorschlagsdichte q(y, x) = q(y). Dies ergibt (x, y) = 1, d.h. man erhalt den sogenannten Gibbs
sampler.
Damit Iterationen des

Ubergangskerns tatsachlich gegen

konvergieren, ist neben der geeigne-


ten Invarianzeigenschaft zusatzlich Irreduzibilitat und Aperiodizitat erforderlich. In der Praxis
sind diese Eigenschaften fast immer erf ullt, konnen aber theoretisch schwer nachgewiesen wer-
den. In der Praxis wird die Konvergenz daher durch Analyse des MCMC Outputs uberpr uft,
z.B.
grasche Darstellung der Samplingpfade,
Berechnung der Autokorrelationsfunktion der gezogenen Zufallszahlen.
Kapitel 4
Diskrete Markov-Prozesse
Bei Markov-Ketten ist T = N
0
, d.h. die Zeit wird als diskret betrachtet. Bei Markov-Prozessen lauft
die Zeit kontinuierlich mit T = R
+
. Ist S diskret, wie in diesem Kapitel, sprechen wir von diskreten
Markov-Prozessen.
Inhalt:
Allgemeine Eigenschaften,
Poisson-Prozess, Geburts- und Todesprozesse,
Abriss der allgemeinen Theorie f ur regulare Prozesse, insbesondere mit endlichem S.
4.1 Denition und elementare Eigenschaften
Beispiele
Klinische Studien, Krankenverlaufe
Markenwahlprozess
genetische Evolution
(Li`o, P. & Goldmann, N.(1998) Models of Molecular Evolution and Phylogeny. Genome Research
8, 12331244).
Fragestellung: Gesucht sind stochastische Modelle f ur die molekulare Evolution, d.h. die durch
Mutation verursachte Veranderung der Nukleotide A, T, C, G an bestimmten Positionen der
DNA (oder analog f ur 20 Basen in Aminosauren).
Vereinfachende Annahme: Die Evolution an verschiedenen Positionen verlauft unabhangig. Dann
85
KAPITEL 4. DISKRETE MARKOV-PROZESSE 86
gen ugt es, Modelle separat f ur die Positionen zu entwickeln.
Weitere Annahme: Homogenitat und Stationaritat. Verschiedene Modelle unterscheiden sich
durch Annahme uber die Raten
ij
f ur

Ubergange i j.
Poisson-Prozess
Diskrete Markov-Prozesse sind einfache stochastische Modelle f ur zeitstetige stochastische Vorgange.
In Anwendungen konnen die Voraussetzungen zu restriktiv sein: Kapitel 5 und 7.
Denition 4.1 Diskreter Markov-Prozess
Ein SP X = X(t), t 0 mit abzahlbarem Zustandsraum heit (diskreter) Markov-Prozess
(MP) : n 0 t s > s
n
> . . . > s
0
0 gilt
PX(t) = j [ X(s) = i, X(s
n
) = i
n
, . . . , X(s
0
) = i
0
= PX(t) = j [ X(s) = i (4.1)
f ur beliebige j, i, i
n
, . . . , i
0
S;
p
ij
(s, t) := PX(t) = j [ X(s) = i
heit

Ubergangswahrscheinlichkeit(-sfunktion) (

UW),
P(s, t) = (p
ij
(s, t))

Ubergangsmatrix (

UM).
Der MP heit homogen (oder besitzt stationare

UW) :
PX(t +s) = j [ X(s) = i = PX(t) = j [ X(0) = i = p
ij
(0, t) =: p
ij
(t),
d.h. f ur die

UW ist nur die Zeitdierenz mageblich.
Vereinbarung:
Wie bei den MK wollen wir uns im folgenden meist auf homogene MP beschranken.
Bemerkung:
p
ij
(t) entspricht p
(t)
ij
(t-schrittige

UW) bei MK.
KAPITEL 4. DISKRETE MARKOV-PROZESSE 87
Satz 4.1 Chapman-Kolmogorov-Gleichung
F ur die

UW gilt
p
ij
(t) 0 ,

jS
p
ij
(t) = 1,
p
ij
(s +t) =

kS
p
ik
(s)p
kj
(t), (4.2)
bzw.
P(s +t) = P(s)P(t).
Beweis:
PX(s +t) = j [ X(0) = i
=

k
PX(s +t) = j, X(s) = k [ X(0) = i
=

k
PX(s) = k [ X(0) = i PX(s +t) = j [ X(s) = k, X(0) = i
=

k
PX(s) = k [ X(0) = i PX(s +t) = j [ X(s) = k
F ur homogene MP erhalt man daraus (4.2).
Satz 4.2 Gemeinsame Verteilung
n N 0 t
0
< t
1
< . . . < t
n
, i
0
, i
1
, . . . , i
n
S gilt
PX(t
n
) = i
n
, . . . , X(t
1
) = i
1
[ X(t
0
) = i
0
= p
i
0
i
1
(t
1
t
0
) . . . p
i
n1
i
n
(t
n
t
n1
)
PX(t
n
) = i
n
, . . . , X(t
1
) = i
1
, X(t
0
) = i
0
=
= PX(t
0
) = i
0
p
i
0
i
1
(t
1
t
0
) . . . p
i
n1
i
n
(t
n
t
n1
).
Beweis:
Vollig analog zum zeitdiskreten Fall bei MK.
KAPITEL 4. DISKRETE MARKOV-PROZESSE 88
Das bedeutet, dass die gemeinsame Verteilung von X(t
0
), . . . , X(t
n
) nach Vorgabe einer Anfangsver-
teilung bestimmt werden kann.

Uber den Satz von Kolmogorov lasst sich auch entsprechend wie f ur
MK zeigen, dass durch Vorgabe einer Anfangsverteilung und von

UW ein MP, der die vorgegebenen

UW besitzt, konstruiert werden kann.


F ur die statistische Inferenz ist Satz 4.2 wichtig, da er die Likelihoodfunktion bei gegebenen Daten
i
1
, . . . , i
n
zu den Zeitpunkten t
1
, . . . , t
n
liefert.
In Anwendungen werden statt der

UW oft sogenannte (

Ubergangs-)Intensitaten bzw. Raten zugrun-


degelegt oder aus Daten geschatzt. F ur die Denition setzen wir voraus
p
ij
(0) = lim
h0
p
ij
(h) =
ij
=
_
_
_
1 i = j
0 i ,= j
.
d.h. dass ein

Ubergang von i nach j (i ,= j) eine positive Zeitspanne beansprucht. Es lasst sich dann
die Stetigkeit der p
ij
(t) f ur t 0 und die Existenz der folgenden Grenzwerte bzw. Ableitungen zeigen.
Denition 4.2 (

Ubergangs-)Intensitat, Rate
F ur i, j S, i ,= j, heit

ij
= lim
h0
p
ij
(h)
h
= lim
h0
P(X(t +h) = j [ X(t) = i)
h
= lim
h0
P(X(t +h) = j [ X(t) = i, Vorgeschichte)
h
= p
t
ij
(0)

Ubergangsintensitat bzw. Rate von i nach j.


F ur i = j denieren wir

ii
= lim
h0
p
ii
(h) p
ii
(0)
h
= lim
h0
p
ii
(h) 1
h
.
Zusammenfassend gilt f ur i, j S

ij
= p
t
ij
(0) = lim
h0
p
ij
(h) p
ij
(0)
h
.
Dabei gilt 0
ij
< f ur i ,= j, aber
ii
0.
= (
ij
) heit Intensitatsmatrix.
In o(h)-Schreibweise gilt also f ur i ,= j
p
ij
(h) = P(X(t +h) = j [ X(t) = i) =
ij
h +o(h),
und
p
ii
(h) = 1 +
ii
h +o(h).
KAPITEL 4. DISKRETE MARKOV-PROZESSE 89
Beispiel: Poisson-Prozess
F ur den PP N(t), t 0 gilt
P(N(t +h) N(t) 2) = o(h)
P(N(t +h) N(t) = 1) = h +o(h)
p
i,i+1
(h) = h +o(h), also
i,i+1
=
p
ij
(h) =
_
0, 0 j i 1
o(h), j i + 2
also
ij
= 0 f ur j i 1 und j i + 2 , p
ii
(h) = 1 h +o(h), also
ii
= .
Damit erhalt man die Intensitatsmatrix
also eine Bandmatrix mit Zeilensumme = 0.
Die Denition 4.2 und das Beispiel zeigen, wie aus

UW die Intensitaten erhalten werden konnen.
Die schwierigere Fragestellung, wie aus die

UM P(t) zu berechnen sind, wird in den folgenden
Abschnitten behandelt.
4.2 Geburts- und Todesprozesse
4.2.1 Geburtsprozesse
Pfad: Treppenfunktion wie beim Poisson-Prozess
Aber: Intensitat zustandsabhangige Intensitat
i
KAPITEL 4. DISKRETE MARKOV-PROZESSE 90
Denition 4.3 Geburtsprozess
Ein SP X = X(t), t 0 mit Zustandsraum S N
0
heit Geburtsprozess : X ist ein
homogener, diskreter MP mit
p
i,i+1
(h) =
i
h +o(h),
p
i,i
(h) = 1
i
h +o(h),
i
0, i i
0
p
i,j
(h) =
_
0 , 0 j i 1
o(h) , j i + 2
Damit sind analog zum Poisson-Prozess die Intensitaten bestimmt durch

i,i+1
=
i
,
ii
=
i
und
ij
= 0 sonst. Damit hat auch die gleiche Bandstruktur; es ist nur durch
i
zu ersetzen.
Aus der Denition 4.3, d.h. aus den Intensitaten, lassen sich mit Hilfe der Chapman-Kolmogorov-
Gleichungen

UW (mit i
0
= 0)
p
0n
(t) = P(X(t) = n [ X(0) = 0)
herleiten:
p
0n
(t +h) =

k=0
p
0k
(t)p
kn
(h)
= p
0n
(t)(1
n
h +o(h)) +p
0,n1
(t)(
n1
h +o(h)) +
n2

k=0
p
0k
(t)p
kn
(h)
= p
0n
(t)(1
n
h) +p
0,n1
(t)
n1
h +o(h) f ur n 1,
bzw.
p
00
(t +h) = p
00
(t)(1
0
h) +o(h) f ur n = 0.
Grenz ubergang h 0 ergibt
p

00
(t) =
0
p
00
(t)
p

0n
(t) =
n
p
0n
(t) +
n1
p
0,n1
(t), n 1.
Unter Ber ucksichtigung der Anfangsbedingungen
p
00
(0) = 1, p
0n
(0) = 0 f ur n > 0,
lasst sich das DGL-System losen mit
p
0n
(t) =
n

i=0
A
(i)
n
e

i
t
, n 0,
falls
i
,=
j
f ur i ,= j gilt. Dabei ist
A
(i)
n
=

0

1
. . .
n1
(
0

i
) . . . (
i1

i
)(
i+1

i
) . . . (
n

i
)
.
KAPITEL 4. DISKRETE MARKOV-PROZESSE 91
Man sieht, dass die Herleitung der

UW aus den Intensitaten bereits in diesem einfachen Spezialfall
eines MP aufwendig ist. Im Allgemeinen existiert keine analytische Losung, vgl. Abschnitt 4.3.
Eine Wahrscheinlichkeitsverteilung, d.h.

n=0
p
0n
(t) = 1 t 0
ergibt sich genau dann (Feller), wenn

i=0
1

i
= .
Das bedeutet, dass der Geburtsprozess nicht zu rasch anwachsen, nicht

explodieren darf. Beispiels-


weise ist f ur
i
= 2
i
die Summe endlich, und X(t) wachst mit positiver Wahrscheinlichkeit in endlicher
Zeit uber alle Grenzen.
F uhren wir f ur dieses Verhalten den zusatzlichen Zustand ein, so lasst sich dieses Phanomen auch
mit dem folgenden Satz plausibel machen.
Satz 4.3 Exponentialverteilte Verweildauern
Die Verweildauern T
i
, i N, sind unabhangig und exponentialverteilt mit Parameter
i
, d.h.
T
i
Ex(
i
).
Beweis: Spezialfall eines allgemeinen Satzes in Abschnitt 4.3.
Es gilt also E(T
i
) =
1

i
. Daher ist

i=0
1

i
die erwartete Zeit bevor X(t) = eintritt. Falls die
Summe divergiert, scheint plausibel, dass dann PX(t) = = 0 ist. Andernfalls ist PX(t) = =
1

n=0
p
0n
(t).
Beispiel: Yule-Prozess (linearer Wachstumsprozess)
Eine Population bestehe aus einem Anfangsbestand von X(0) = i
0
Individuen. Diese vermehren sich
unabhangig voneinander, wobei jedes Individuum im Zeitintervall h mit Wahrscheinlichkeit h +
o(h) ein weiteres Mitglied der Population erzeugt, die Wahrscheinlichkeit f ur die Erzeugung mehrerer
KAPITEL 4. DISKRETE MARKOV-PROZESSE 92
Individuen sei o(h). Der binomische Lehrsatz liefert
p
i,i+1
(h) =
_
i
1
_
(h +o(h))(1 h +o(h))
i1
= ih +o(h) und
p
i,j
(h) =
_
i
j i
_
(h +o(h))
ji
(1 h +o(h))
i(ji)
= o(h) f ur j i 2.
Es handelt sich also um einen Geburtsprozess mit der Rate
i
= i.
Man kann zeigen, dass X(t)i
0
eine negative Binomialverteilung mit den Parametern i
0
und exp(t)
besitzt. Also gilt
E(X(t) i
0
) =
i
0
(1 exp(t))
exp(t)
, Var(X(t) i
0
) =
i
0
(1 exp(t))
exp(2t)
und damit ergibt sich ein

exponentielles Wachstum:
E(X(t)) = i
0
exp(t), Var(X(t)) = i
0
exp(t)(exp(t) 1).
4.2.2 Geburts- und Todesprozesse
Pfad: Treppenfunktion mit Sprunghohe 1
Die Denition erfolgt wieder uber die Intensitaten nach oben oder unten zu springen.
KAPITEL 4. DISKRETE MARKOV-PROZESSE 93
Denition 4.4 Geburts- und Todesprozess
Ein SP X = X(t), t 0 mit Zustandsraum S N
0
heit Geburts- und Todesprozess : X
ist ein homogener, diskreter MP mit
p
i,i+1
(h) =
i
h +o(h), i 0
p
i,i1
(h) =
i
h +o(h), i 1
p
ii
(h) = 1 (
i
+
i
)h +o(h), i 0
p
ij
(h) = o(h), [ i j [ 2 , i, j 0
( p
ij
(0) = 0, j ,= i , p
ii
(0) = 1 )
mit

0
= 0 ,

0
>
(=)
0 (> 0

reektierend, = 0

absorbierend),

i
,
i
0 f ur i 1.
F ur die Intensitaten gilt also

i,i+1
=
i
,

i,i1
=
i
,

ij
= 0 f ur [ i j [ 2 ,

ii
= (
i
+
i
)
=
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
ist tridiagonal.
Die explizite Berechnung der

UM P(t) aus ist i.A. nicht moglich, vgl. FKO S. 96 .
Spezielle GT-Prozesse spielen eine Rolle in der Warteschlangen- und Bedienungstheorie (vgl. FKO
S. 101 ).
Das Wartesystem M/M/1/
-
Poisson-Prozess mit Rate
Bedienungszeit
Ex()
-
X(t)
KAPITEL 4. DISKRETE MARKOV-PROZESSE 94
X(t): Anzahl der im System bendlichen Kunden
X(t) ist spezieller GT-Prozess mit
i
= und
i
=
F ur < existiert Grenzverteilung p
j
:
p
j
= lim
t
p
ij
(t) = (1 r)r
j
, r =

Also:
lim
t
X(t) = X() geometrisch verteilt
Erwartungswert =
r
1 r
, Varianz =
r
(1 r)
2
Variante
begrenzte Kapazitat N des

Warteraums

i
=
_
_
_
, 0 i < N
0 , i N
von der Lange der angetroenen Warteschlange verursachte Entmutigung, z.B.

i
=

(i + 1)
, i = 0, 1, . . .
Das Wartesystem M/M/s/
Nun: s Schalter verf ugbar; jeweils Rate
X(t) GT-Prozess mit

i
= und
i
=
_
_
_
i , i = 1, . . . , s
s , i = s + 1, . . .
Grenzverteilung existiert f ur

s
< 1.
Bevolkerungsentwicklung
Verallgemeinerung des Yule-Prozesses, zum Zeitpunkt t: i Individuen
Geburtsrate
i
= i,
Sterberate
i
= i
F ur X(0) = 1 kann man verschiedene Resultate zeigen, z.B.
E(X(t)) = exp(( )t) ( f ur ,= )
oder
Wahrscheinlichkeit des Aussterbens =
_
_
_
1 ,

, >
Abschlieend gehen wir kurz ein auf
KAPITEL 4. DISKRETE MARKOV-PROZESSE 95
Struktur und Simulation der Pfade von Geburts- und Todesprozessen
Es ist (
i
+
i
)h+o(h) die Wahrscheinlichkeit daf ur, dass im Zeitraum (t, t+h] der Zustand i verlassen
wird. Gegen uber dem Poisson-Prozess tritt also
i
+
i
an die Stelle von und es lasst sich zeigen,
dass die Verweildauer im Zustand i exponentialverteilt mit Erwartungswert
1
(
i
+
i
)
ist. Wahrend des
Zeitraums h ndet eine Zustandsanderung i i + 1 mit der Wahrscheinlichkeit
i
h + o(h), eine

Anderung i i 1 mit der Wahrscheilichkeit


i
h + o(h) statt. Deshalb ist es plausibel, dass

i
(
i
+
i
)
bzw.

i
(
i
+
i
)
die bedingte Wahrscheinlichkeit (unter der Bedingung, dass eine

Anderung stattndet)
f ur einen

Ubergang i i + 1 bzw. i i 1 ist.
Damit kann man sich die Entstehung der Pfade von Geburts- und Todesprozessen folgenderma-
en veranschaulichen: Der momentane Zustand sei i. Es wird eine Realisation einer (
i
+
i
)-
exponentialverteilten Zufallsvariablen erzeugt. Diese Realisierung ist die Verweildauer in i. Anschlie-
end wird ein Bernoulli-Experiment durchgef uhrt mit p
i
=

i

i
+
i
, das entscheidet, ob (mit Wahr-
scheinlichkeit p
i
) nach i + 1 oder nach i 1 (mit Wahrscheinlichkeit 1 p
i
) gesprungen wird, usw.
4.3 Diskrete MP: Skizze der allgemeinen Theorie
Die Denition 4.1 lasst noch Pfade mit sehr irregularen Eigenschaften zu, z.B. Geburtsprozesse mit
Explosion. Deshalb stellen wir Zusatzforderungen:
p
ij
(0) = lim
h0
p
ij
(h) =
_
_
_
1 , i = j
0 , i ,= j
Pfade (m. Wkeit 1) rechtsseitig stetig
Bezeichnungen:
S
n
Zeitpunkt der n-ten Zustandsanderung, S
0
= 0,
Y
n
= X(S
n
) zum Zeitpunkt S
n
angenommener Zustand,
KAPITEL 4. DISKRETE MARKOV-PROZESSE 96
T
n+1
= S
n+1
S
n
Verweildauer in Y
n
,
S
n+1
= S
n
+T
n+1
.
Falls

absorbierende Zustande Y
n
moglich sind, d.h. S
n+1
= , denieren wir
Y
n+1
=
_
_
_
Y
n
, S
n+1
=
X(S
n+1
) , S
n+1
< .
V (t) Dauer (vom Zeitpunkt t) bis zur nachsten Zustandsanderung,

Vorwartsrekurrenzzeit.
F ur die Vorwartsrekurrenzzeit gilt in Verallgemeinerung des entsprechenden Ergebnisses f ur den
Poisson-Prozess:
Satz 4.4 Exponentialverteilte Dauern
Die Verweildauern T
n
, n N sind exponentialverteilt mit Parameter
i
, sodass gilt
T
n
[Y
n1
= i Exp(
i
). F ur jeden Zeitpunkt t ist
P(V (t) s [ X(t) = i) = 1 e

i
s
, s 0,
also ebenfalls exponentialverteilt mit Parameter
i
.
Beweis:
(f ur V(t))
Sei f
i
(s) := P(V (t) > s [ X(t) = i). Wegen der Homogenitat des MP ist f
i
(s) von t unabhangig und
es gilt f ur alle r, s 0
f
i
(s +r) = P(V (t) > s +r [ X(t) = i)
= P(V (t) > s, V (t +s) > r [ X(t) = i)
= P(V (t) > s [ X(t) = i) P(V (t +s) > r [ X(t) = i, V (t) > s)
= P(V (t) > s [ X(t) = i) P(V (t +s) > r [ X(t +s) = i)
= f
i
(s) f
i
(r).
Wegen 0 f
i
(s) 1 muss f
i
(s) = e

i
s
mit
i
0 sein. F ur
i
= ist f
i
(s) 0.
Denition 4.5 Zustande
Ein Zustand i heit
absorbierend :
i
= 0
stabil : 0 <
i
<
instabil :
i
=
KAPITEL 4. DISKRETE MARKOV-PROZESSE 97
Falls i absorbierend ist, gilt also f ur alle s 0
P(V (t) > s [ X(t) = i) = P(X(t +s) = i [ X(t) = i) = 1,
der Zustand i wird also mit Wkeit 1 nicht mehr verlassen.
Falls i stabil ist, gilt
P(0 < V (t) < [ X(t) = i) = 1,
d.h. falls X zur Zeit t in i ist, verweilt X dort eine positive, aber endliche Zeit (m. Wkeit 1).
Falls i instabil ist, gilt
P(V (t) = 0 [ X(t) = i) = 1,
d.h. der MP verlasst einen instabilen Zustand sofort wieder. Dass ein solches Verhalten zu irregularen
Pfaden f uhrt, erscheint plausibel. Man sieht leicht ein, dass insbesondere die Pfade nicht rechtsseitig
stetig sein konnen. Da dies gegen unsere Vereinbarung verstot, sind instabile Zustande im weiteren
ausgeschlossen.
Durch den folgenden wichtigen Satz wird die Struktur von MP mit rechtsseitig stetigen Pfaden weit-
gehend aufgeklart. Er zeigt, dass die nacheinander besuchten Zustande Y
n
eine MK bilden und die
Verweildauern exponentialverteilt sind.
Satz 4.5 Struktursatz
Sei X ein MP mit rechtsseitig stetigen Pfaden. Dann gilt
n N
0
j, i, . . . , i
0
S t, t
1
, . . . , t
n
R 0 < s
1
. . . < s
n
1. P(Y
n+1
= j, T
n+1
> t [ Y
n
= i, . . . , Y
0
= i
0
, S
n
= s
n
, . . . , S
0
= 0) = q
ij
e

i
t
mit q
ij
0,

jS
q
ij
= 1, q
ii
=
_
_
_
0 , i stabil
1 , i absorbierend
2. Y
n
, n N ist eine MK mit der

UM Q = (q
ij
)
3. P(T
n+1
> t [ Y
n
= i, Y
n+1
= j) = P(T
n+1
> t [ Y
n
= i) = e

i
t
4. P(T
1
> t
1
, . . . , T
n
> t
n
[ Y
n
= i, . . . , Y
0
= i
0
) = e

i
0
t
1
. . . e

i
n1
t
n
KAPITEL 4. DISKRETE MARKOV-PROZESSE 98
Bemerkungen:
(a) Y
n
, n N heit

eingebettete MK, Erreichbarkeits-/Rekurrenzeigenschaften der eingebette-


ten MK ubertragen sich auf diskreten MP.
(b) Aussage 3 besagt, dass
i
nur vom eben besuchten Zustand, nicht aber vom nachsten abhangt.
(c) Aussage 4 besagt, dass die Verweildauern exponentialverteilt und bedingt unabhangig sind, falls
die Folge der besuchten Zusande gegeben ist.
(d) Der Struktursatz liefert auch die gemeinsame Verteilung von T
n
, Y
n
und damit die Grundlage
f ur die Likelihood zur ML-Schatzung der Strukturparameter
i
und q
ij
(bzw. der Intensitaten

ij
):
P(T
1
> t
1
, . . . , T
n
> t
n
, Y
0
= i
0
, Y
1
= i
1
, . . . , Y
n
= i
n
)
= P(T
1
> t
1
, . . . , T
n
> t
n
[ Y
0
= i
0
, Y
1
= i
1
, . . . , Y
n
= i
n
)
P(Y
0
= i
0
, Y
1
= i
1
, . . . , Y
n
= i
n
)
= e

0
t
1
. . . e

i
n1
t
n
P(Y
0
= i
0
) q
i
0
i
1
. . . q
i
n1
i
n
Beweis:
Die linke Seite von 1. ist gleich
PX(S
n
+T
n+1
) = j, T
n+1
> t [ X(S
n
) = i, . . . , X(0) = i
0
, S
n
= s
n
, . . . , S
0
= 0.
Wegen der (starken) Markov-Eigenschaft und der Homogenitat ist dies gleich
PX(T
1
) = j, T
1
> t [ X(0) = i
= PT
1
> t [ X(0) = i PX(T
1
) = j [ X(0) = i, T
1
> t
Satz 4.4
= e

i
t
PX(T
1
) = j [ X(0) = i, T
1
> t
= e

i
t
PX(t +V (t)) = j [ X(t) = i
= e

i
t
PY
1
= j [ Y
0
= i
= e

i
t
q
ij
.
Daraus folgt 1. Setzt man in 1. t = 0, so ergibt sich 2.; 3. ergibt sich ebenfalls aus 1.; 4 aus 3. durch
Induktion.
Satz 4.5 liefert folgende
Konstruktion bzw. Simulation der Pfade eines MP
Man gibt einen Startwert X(, 0) = Y
0
() = i
0
vor. Bendet man sich im Zustand Y
n
() = i
n
, n N
0
,
so w urfelt man gema der Verteilung q
i
n
j
, j S, den nachsten Zustand Y
n+1
() = i
n+1
. Die Verweil-
KAPITEL 4. DISKRETE MARKOV-PROZESSE 99
dauer T
n+1
() = t
n+1
in i
n
bis zum Sprung nach i
n+1
wird gema einer
i
n
-Exponentialverteilung
realisiert.
Zu klaren bleibt noch, in welcher Weise die

UW p
ij
(t) die Strukturparameter q
ij
,
i
bestimmen und
umgekehrt. Dies soll im folgenden geschehen.
Dazu wollen wir noch sicherstellen, dass sich die Sprungstellen S
n
nicht im Endlichen haufen; dann
konnen auch keine Explosionen in endlicher Zeit stattnden. Deshalb fordern wir
sup
n
S
n
= + m. Wkeit 1
X(t) lasst sich dann durch die Y
n
, S
n
bzw. T
n
festlegen:
X(t) = Y
n
f ur t [S
n
, S
n+1
).
Zusammenfassend kommen wir so zur
Denition 4.6 Regularer MP
Ein diskreter (homogener) MP heit regular :
1. p
ij
(0) = lim
h0
p
ij
(h) =
_
_
_
1 , i = j
0 , i ,= j
2. Die Pfade sind (m. Wkeit 1) rechtsseitig stetig.
3. sup
n
S
n
= + m. Wkeit 1
Vereinbarung: Im weiteren betrachten wir nur regulare MP. Regulare MP werden ausf uhrlicher in
Cinlar, Kap. 8 behandelt. Eine grundlegende Darstellung der Theorie nicht notwendig regularer MP
bietet Chung. Einige der folgenden Ergebnisse gelten auch f ur derartige allgemeinere Falle.
Satz 4.6 Regularitatskriterien
F ur einen MP X gelten 1. und 2. der Denition 4.6. Dann ist X regular, falls eines der folgenden
Kriterien zutrit:
1. S endlich.
2.
i
c f ur alle i S.
3. Alle Zustande der eingebetteten MK Y sind rekurrent.
4. Die MK Y verbleibt mit Wahrscheinlichkeit 0 in einer transienten Klasse.
Beweis: FKO S. 111
Der folgende Satz zeigt, wie sich aus vorgegebenen

UW p
ij
(t) die Intensitaten
ij
bestimmen lassen
und wie sie mit den
i
und q
ij
zusammenhangen.
KAPITEL 4. DISKRETE MARKOV-PROZESSE 100
Satz 4.7 Intensitaten und Strukturparameter
X sei ein regularer MP. Dann sind die

UW p
ij
(t) stetig dierenzierbar und es gilt
p
t
ij
(0) = lim
h0
p
ij
(h) p
ij
(0)
h
=
ij
=
_
_
_

i
, i = j

i
q
ij
, i ,= j,
bzw. in o(h)-Schreibweise
P(X(t +h) = j [ X(t) = i) = h
i
q
ij
..

ij
+o(h) , i ,= j
_
q
ij
=

ij

i
, falls
i
> 0
_
P(X(t +h) = i [ X(t) = i) = 1
i
h +o(h).
In Matrixschreibweise (S endlich):
P(h) = I + h +o(h).
bzw.
lim
h
P(h) I
h
= P
t
(0) =
Beweis:
Wir zeigen nur die Hauptaussage, jedoch nicht, dass die

UW stetig dierenzierbar sind. Da die Verweil-
dauern exponentialverteilt sind, ist die Wahrscheinlichkeit f ur mehr als einen

Ubergang im Zeitraum
h gleich o(h). Deshalb gilt
p
ii
(h) = PV (t) > h [ X(t) = i +o(h)
Satz 4.4
= e

i
h
+o(h)
= 1
i
h +o(h)
also
p
ii
(h) p
ii
(0)
h
=
i
+
o(h)
h
.
Grenz ubergang h 0 liefert p
t
ii
(0) =
ii
=
i
.
F ur i ,= j gilt entsprechend
p
ij
(h) = PY
n+1
= j, T
n+1
h [ Y
n
= i +o(h)
Satz 4.5, 1
= q
ij
q
ij
e

i
h
+o(h)
= q
ij

i
h +o(h),
h 0 liefert p
t
ij
(0) =
ij
=
i
q
ij
f ur i ,= j.
Da
q
ii
=
_
_
_
0 , i stabil (0 <
i
< )
1 , i absorbierend (
i
= 0),
KAPITEL 4. DISKRETE MARKOV-PROZESSE 101
ergibt sich f ur regulare MP die
Folgerung
Die Zeilensummen der Intensitatsmatrix sind gleich 0, d.h. f ur alle i S gilt

ii
=
i
=

jS,j,=i

ij
Beispiel: Molekulare Evolution
S = A, T, G, C
Beispiel: Poisson-/Geburtsprozess
KAPITEL 4. DISKRETE MARKOV-PROZESSE 102
In Anwendungenen sind meist
ij
bzw.
i
und q
ij
vorgegeben oder aus Daten geschatzt, und die

UW
p
ij
(t) sind daraus zu berechnen. Prinzipiell, jedoch selten analytisch, lasst sich diese Aufgabe mit Hilfe
des folgenden Satzes losen.
Satz 4.8 P(t)
Sei X ein regularer MP. Dann ist die

UM P(t) = (p
ij
(t)) durch die

UM Q der eingebetteten
MK Y und die Erwartungswerte
1

i
der Verweildauern bzw. die Intensitatsmatrix eindeutig
bestimmt. Die

UW p
ij
(t) sind Losung von
1. p
t
ij
(t) =

kS

ik
p
kj
(t) bzw. P
t
(t) = P(t), P(0) = I
(R uckwartsgleichungen von Kolmogorov)
2. p
t
ij
(t) =

kS
p
ik
(t)
kj
bzw. P
t
(t) = P(t), P(0) = I
(Vorwartsgleichungen von Kolmogorov)
3. F ur endliches S ist die Losung gegeben durch
P(t) = e
t
= I +t +
(t)
2
2!
+
(t)
3
3!
+. . .
Die (numerische) Berechnung erfolgt mit Hilfe der Spektralzerlegung von
= U diag(d
1
, . . . , d
m
) U
1
,
mit den Eigenwerten d
1
, . . . , d
m
und der Matrix U der Eigenvektoren. Dann gilt
P(t) = U diag(e
d
1
t
, . . . , e
d
m
t
) U
1
.
Beweis:
Nur zu 1. bzw. 2.; informell, in Matrixdarstellung (vgl. FKO S. 113). Die Beziehung zwischen p
t
ij
(0)
und
ij
in Satz 4.7 lasst sich in Matrizenform durch
lim
h0
P(h) I
h
=
darstellen. Dann folgt mit Hilfe der Chapman-Kolmogorov-Gleichungen (Satz 4.1)
P(t +h) P(t)
h
=
P(t)P(h) P(t)
h
=
P(t)(P(h) I)
h
bzw.
P(t +h) P(t)
h
=
(P(h) I)P(t)
h
.
Grenz ubergang h 0 liefert
P
t
(t) = P(t) bzw. P
t
(t) = P(t)
KAPITEL 4. DISKRETE MARKOV-PROZESSE 103
mit P(0) = I.
Die Losung in 3. ergibt sich aus der Theorie linearer Dierentialgleichungssysteme.
Beispiel: MP mit 2 Zustanden
=
_
1 1
2 2
_
Eigenwertzerlegung von : EW sind 0 und 3; es ist
D = diag(d
1
, d
2
) =
_
0 0
0 3
_
, U =
_
1 1
1 2
_
, U
1
=
_
2
3
1
3
1
3

1
3
_
.
P(t) = U diag(e
d
1
t
, e
d
2
t
)U
1
= U
_
1 0
0 e
3t
_
U
1
= . . .
=
_
2
3
1
3
2
3
1
3
_
+e
3t
_
1
3

1
3

2
3
2
3
_
Bemerkung: Es existiert der Grenzwert
lim
t
P(t) =
_
2
3
1
3
2
3
1
3
_
.
Beispiel: Allgemeiner MP mit 2 Zustanden
=
_


_
Die Kolmogorov-Gleichung P
t
(t) = P(t) ergibt
_
p
t
00
(t) p
t
01
(t)
p
t
10
(t) p
t
11
(t)
_
=
_
p
00
(t) p
01
(t)
p
10
(t) p
11
(t)
_

_


_
.
p
t
00
(t) = p
00
(t) +p
01
(t), p
01
(t) = 1 p
00
(t),
p
t
00
(t) = + ( +)p
00
(t).
Losung:
p
00
(t) =

+
+

+
e
(+)t
p
01
(t) = 1 p
00
(t)
=

+


+
e
(+)t
KAPITEL 4. DISKRETE MARKOV-PROZESSE 104
Aus Symmetriegr unden:
p
11
(t) =

+
+

+
e
(+)t
p
10
(t) =

+


+
e
(+)t
Grenzwert:
lim
t
P(t) =
_

+

+
_
Grenzwertsatze
Die Klassizierung der Zustande des MP X erfolgt durch die zugrundeliegende MK Y mit der

UM Q.
Mit den t-schrittigen

UW q
(t)
ij
folgt zunachst f ur transientes j aus lim
t
q
(t)
ij
= 0 sofort
lim
t
p
ij
(t) = 0.
Deshalb beschranken wir uns wie bei MK auf irreduzible, rekurrente MP (d.h. die zugrundeliegende
MK Y sei irreduzibel rekurrent).
KAPITEL 4. DISKRETE MARKOV-PROZESSE 105
Dann gilt
Satz 4.9 Grenzwertsatz
Der MP X sei regular und irreduzibel positiv-rekurrent. Dann gilt:
1. lim
t
P(X(t) = j) =
j
existiert j S,
und ist von der Anfangsverteilung unabhangig.
2. Die Grenzverteilung lasst sich berechnen uber
(a)
j
=

j

i
mit = 0 bzw. uber
(b)
j
=

j
/
j

i
/
i
mit = Q.
3. lim
t
P(t) =
_
_
_
_
_
_
_
_
_
_

.
.
.

.
.
.

_
_
_
_
_
_
_
_
_
_
4. = (. . . ,
j
, . . .) ist strikt positiv.
5. ist die einzige stationare Verteilung von X, d.h. es gilt
= P(t) t 0 .
Bemerkungen:
1. (
j
) = (
j
/
j
) ist die unnormierte Grenzverteilung.
2. (
j
) = ist die Grenzverteilung der eingebetteten MK Y .
Plausibilitatsbeweis zu 2: (vgl. auch FKO S. 116)
Kolmogorovsche Vorwartsgleichung:
P
t
(t) = P(t)
Annahme: lim
t
P(t) existiert mit
lim
t
P(t) =
_


_
.
Dann folgt oensichtlich
lim
t
P
t
(t) = 0,
KAPITEL 4. DISKRETE MARKOV-PROZESSE 106
da
d
dt

j
=
d
dt
lim
t
p
ij
(t) = 0
(
j
hangt ja nicht von t ab, da Grenzverteilung).
Insgesamt folgt
0 =
_


_
,
in jeder Zeile steht also 2(a) = 0.
Die

Aquivalenz zu 2(b) gilt wegen = Q (QI) = 0.
Erweiterung mit
1

i

i
:
(

1
,

2

2
, . . .)
. .

_
_
_
_

1

1
q
12

2
q
21

2

.
.
.
.
.
.
.
.
.
_
_
_
_
. .

= 0
2(b) ist plausibel : Grenzverteilung ist proportional zu
_
1

j
_
. .
durchschnittliche Aufenthaltsdauer in j

j
..
Wahrscheinlichkeit sich in j aufzuhalten
Beispiel: 2-Zustands-MP
=
_

1

1

2

2
_

1
+
2

2
= 0
1

1
+ (1
1
)
2
= 0

2
= 0
2

1
(
1
+
2
) = 0

1
=

2

1
+
2
,
2
=

1

1
+
2
oder alternativ uber eingebettete MK Y (2(b)):
Y hat

UM
Q =
_
0 1
1 0
_
mit stationarer Verteilung ( = Q)
=
_
1
2
,
1
2
_
Grenzverteilung (
1
,
2
) ist proportional zu
_
1

1
,
1

2
_
Normieren liefert
(
1
,
2
) = =
1
1

1
+
1

2
_
1

1
,
1

2
_
,
KAPITEL 4. DISKRETE MARKOV-PROZESSE 107

1
+
2
_
1

1
,
1

2
_
=
_

2

1
+
2
,

1

1
+
2
_
.
Beispiel: Peter Prinzip
(Taylor/Karlin, S. 366)
Betrieb: 3 beruiche Kategorien
T Trainee, J Junior-Pos., S Senior-Pos.
T J S
=
T
J
S
_
_
_
_

T

T
0

JT

J

JS

S
0
S
_
_
_
_
.
J bleibt in J Pos. mit Ex(
J
) = Ex(
JT
+
JS
)-verteilter Verweildauer; dann verlasst er die Position
und wird durch Trainee ersetzt mit Wahrscheinlichkeit q
JT
=

JT

J
, oder er bekommt eine S-Position
mit Wahrscheinlichkeit q
JS
=

JS

J
.
Alternative Beschreibung:
P(X(t +h) = J [ X(t) = T) =
T
h +o(h)
P(X(t +h) = T [ X(t) = J) =
JT
h +o(h)
P(X(t +h) = S [ X(t) = J) =
JS
h +o(h)
P(X(t +h) = T [ X(t) = S) =
S
h +o(h)
P(X(t +h) = i [ X(t) = i) = 1
i
h +o(h) f ur i = T, J, S.
Grenzverteilung: = (
T
,
J
,
S
)

T
=
JT

J
+
S

J
=
T

S
=
JS

J
1 =
T
+
J
+
S
Losung ist

T
=

S

J
N
,

J
=

S

T
N
,

S
=

T

JS
N
.
mit N =
S

J
+
S

T
+
T

JS
.
KAPITEL 4. DISKRETE MARKOV-PROZESSE 108
4.4 Zur statistischen Analyse
Zwei Situationen treten in Anwendungen auf:
1. Vollstandige Kenntnis uber einen oder mehrere Pfade.
Bemerkung: Hier keine Links-oder Rechtszensierungen ber ucksichtigt.
2. Beobachtungen nur zu Zeitpunkten t
1
< t
2
< . . . < t
n
, d.h. Pfade nicht vollstandig beobachtet.
In beiden Situationen: Likelihood-basierte Inferenz f ur die Strukturparameter =
ij
bzw.
Q = q
ij
, =
i
, bzw. = (), Q = Q(), = ()
Situation 1
Die Likelihood wird gema Struktursatz 4.5 bestimmt:
P(Y
n
= i
n
, T
n
> t
n
[ Y
n1
= i
n1
, S
n1
= s
n1
, . . . , Y
0
= i
0
, S
0
= 0)
= q
i
n1
i
n
e

i
n1
t
n
. .
=

Exponential-Survivorfkt. 1F(t
n
)
Gemeinsame (bedingte) Dichte f ur Y
n
diskret, T
n
stetig (bez uglich Produktma von , mit Abzahl-
ma, Lebeguema):
q
i
n1
i
n

i
n1
e

i
n1
t
n
KAPITEL 4. DISKRETE MARKOV-PROZESSE 109
Damit:
Likelihood L(
ij
[ i
0
, i
1
, . . . , i
n1
, i
n
; t
1
, . . . , t
n
)
= Produkt bedingter Dichten wie im zeitdiskreten Fall
= p
i
0
(0) q
i
0
i
1

i
0
. .

i
0
i
1
e

i
0
t
1
q
i
1
i
2

i
1
e

i
1
t
2
. . .
q
ij

i
e

i
t
j
. . . q
i
n1
i
n

i
n1
e

i
n1
t
n
= p
i
0
(0)

iS
exp(
i

i
)

i,jS,i,=j
(q
ij

i
)
n
ij

i
gesamte Verweildauer in i, n
ij
Gesamtzahl der

Ubergange i j.
Loglikelihood: (p
i
0
(0) kann ignoriert werden)
l(
ij
) =

iS

i
+

i,jS,i,=j
n
ij
log(
ij
)

i
=

j=i

ij
=

i,j;i,=j
(
ij

i
+n
ij
log(
ij
))
l(
ij
)

ij
=
i
+
n
ij

ij
!
= 0

ij
=
n
ij

i
=
Anzahl der

Ubergange von i nach j
gesamte Verweildauer in i
Es gilt:

ij
ist konsistent f ur
ij
mit asymptotischer Varianz
n
ij

2
i
.
Korrolar:
Sei n
i
=

j
n
ij
die Anzahl der Spr unge weg von i. Dann ist

i
=
n
i

i
und q
ij
=
n
ij
n
i
.
Beweis:
Invarianz des ML-Schatzers bzgl. Reparametrisierung; hier
i
=

j,=i

ij

i
=

j,=i

ij
=

j,=i
n
ij

i
=
n
i

i
.
Schlielich folgt f ur

UW der eingebetteten MK Y :
q
ij
=

ij

i
=
n
ij
/
i
n
i
/
i
=
n
ij
n
i

KAPITEL 4. DISKRETE MARKOV-PROZESSE 110


Beispiel: (aus Guttorp) Pavian Stamm im Amboseli NP, Kenya
Veranderung der Mitgliederanzahl durch Geburt (B), Einwanderung (I), Auswanderung (E), Tod (D).
Annahme eines Geburts-Tod-Prozesses. Tabelle 1-4.
Tabelle 1: Ereignisse im Pavian Stamm
nach so vielen Tagen Anzahl Ereignis
41 40 B
5 41 B
22 42 B
2 43 D
17 42 D
26 41 I
0 42 I
55 43 B
35 44 I
20 45 E
5 44 D
6 43 E
32 42 D
4 41 D
0 40 D
22 39 D
10 38 B
0 39 B
7 40 D
4 39 B
17 40 D
11 39 E
3 38 B
4 39 D
8 38 D
2 37 D
5 36 B
10 37 B
Tabelle 2
i, j n
ij

ij
i, j n
ij

ij
36, 37 [
1
5
= 0.2 37, 36 [
1
12
37, 38 [
1
12
38, 37 [
1
21
38, 39 [[
2
21
39, 38 [[[
3
41
39, 40 [[
2
41
40, 39 [[[
3
65
40, 41 [
1
65
41, 40 [
1
35
41, 42 [[
2
35
42, 41 [[
2
71
42, 43 [[
2
71
43, 42 [[
2
63
43, 44 [
1
63
44, 43 [
1
40
44, 45 [
1
40
45, 44 [
1
20
Tabelle 3:
i

36
= 5 = 5

37
= 2+10 = 12

38
= 10+3+8 = 21

39
= 22+0+4+11+4 = 41

40
= 41+0+7+17 = 65

41
= 5+26+4 = 35

42
= 22+17+0+32 = 71

43
= 2+55+6 = 63

44
= 35+5 = 40

45
= 20 = 20
Tabelle 4:

36
=
1
5
= 0.2

37
=
2
12
= 0.17

38
=
3
21
= 0.14

39
=
5
41
= 0.12

40
=
4
65
= 0.06

41
=
3
35
= 0.09

42
=
4
71
= 0.06

43
=
3
63
= 0.03

44
=
2
40
= 0.025

45
=
1
20
= 0.05
KAPITEL 4. DISKRETE MARKOV-PROZESSE 111
Situation 2
Daten X(t
1
) = i
1
, . . . , X(t
n
) = i
n
Likelihood
L(
ij
[ X(t
1
) = i
1
, . . . , X(t
n
) = i
n
) = p
i
0
(0)p
i
1
i
2
(t
2
t
1
) . . . p
i
n1
i
n
(t
n
t
n1
)
Die

UW auf der rechten Seite m ussen dabei aus den Kolmogorov-Gleichungen bzw. uber die Spektral-
zerlegung von bestimmt werden numerisch aufwendig.
Also: Falls moglich, dieses Studiendesign vermeiden; gesamten Pfadverlauf retrospektiv erfragen. Dies
ist allerdings in Beobachtungsstudien nicht immer moglich.
Kapitel 5
Erneuerungs- und
Semi-Markov-Prozesse
F ur den Poisson-Prozess und (regulare) diskrete Markov-Prozesse impliziert die Markov-Eigenschaft,
dass die Zwischenzeiten bzw. Verweildauern exponentialverteilt sind. Bei Erneuerungs- und Semi-
Markov-Prozessen d urfen diese beliebig verteilt sein. Die Markov-Eigenschaft geht damit verloren
bzw. gilt nur noch in eingeschranktem Sinn.
Ziel des Kapitels ist eine kurze Einf uhrung in die Struktur dieser Prozesse. Details, insbesondere zur

klassischen Erneuerungstheorie, und Beweise nden sich in FKO, Kapitel 4 und 5.


5.1 Erneuerungsprozesse
Die Pfade sind Treppenfunktionen mit Sprunghohe +1 wie beim Poisson-Prozess; statt Exponential-
verteilungen f ur die Verweildauern T
n
sind nun beliebige Verteilungen zugelassen, d.h. T
n
iid F(t),
nichtnegativ. Interpretation und Anwendungsbeispiele analog zum Poisson-Prozess.
112
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 113
5.1.1 Denition und grundlegende Begrie
Denition 5.1 Erneuerungsprozess
Sei T
n
, n N eine Folge unabhangiger, nichtnegativer Zufallsvariablen mit gleicher Vertei-
lungsfunktion F, f ur die F(0) < 1 gilt. Dann heit die Folge S
n
, n N
0
mit
S
0
:= 0, S
n+1
= S
n
+T
n+1
, n = 0, 1, 2, . . .
Erneuerungsprozess (EP). Sei
N(t) = max
nN
0
n : S
n
t
die Anzahl von Erneuerungen im Intervall [0, t]. Dann heit N = N(t), t 0 Erneue-
rungszahlprozess, oft auch einfach Erneuerungsprozess.
Beispiele, Anwendungen
(a) Zuverlassigkeitstheorie
Ein bestimmter Bestandteil eines technischen Gerates werde sofort nach seinem Ausfall durch
ein neues Gerat ersetzt, usw. Die T
1
, T
2
, . . . sind dann die Lebensdauern des ersten, zweiten,. . .
Gerates. N(t) gibt die Anzahl von Erneuerungen an.
Denkt man statt an ein technisches Gerat an andere Systeme, so sind viele weitere Interpreta-
tionen moglich.
(b) Marktforschung
Ein bestimmtes Produkt wird nach seinem Verbrauch erneut gekauft, usw. Der Erneuerungspro-
zess heit in diesem Zusammenhang Wiederholkaufprozess.
(c) Sachversicherung
S
1
, S
2
, . . . sind die Zeitpunkte, zu denen Schadensfalle auftreten. N(t) ist die Anzahl der Scha-
densfalle.
(d) Warteschlangen, Lagerhaltung
Der Ankunftsprozess von Kunden kann in Verallgemeinerung zu den entsprechenden Beispielen
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 114
des letzten Kapitels einen Erneuerungsprozess bilden. Auch vom Bedarf in Lagerhaltungssyste-
men wird oft angenommen, dass er einen Erneuerungsprozess bildet; dabei ist T
n
der Bedarf in
der n-ten Periode.
(e) Klinische Studien, Survival-Analyse
In klinischen Studien sind T
1
, T
2
, . . . z.B. die Zeitdauern, nach denen epileptische Anfalle,
R uckfalle, etc. auftreten. Ein wichtiger Spezialfall ist die Survival-oder

Uberlebenszeit-Analyse:
Hier wird f ur (homogene) Gruppen von Patienten jeweils die

Uberlebenszeit T
1
bis zum Ende
(Tod) oder auch nur zensiert beobachtet, d.h. das Ereignis Tod ist bis zum Ende der Studie noch
nicht eingetreten (vgl. Fahrmeir, Hamerle und Tutz, 1996, Kap.7).
Vor allem im Kontext des ersten Beispiels nennt man die T
n
Lebensdauern, die S
n
Erneuerungs-
zeitpunkte. Dabei wird S
0
nicht zu den Erneuerungszeitpunkten gezahlt (in der Literatur ist dies
gelegentlich der Fall). F ur die Lebensdauer ist auch PT
n
= > 0, also F() := lim
t
F(t) < 1,
zugelassen. Die Annahme, dass T
1
dieselbe Verteilung wie T
2
, T
3
, . . . besitzt, kann so gedeutet werden,
dass zum Zeitpunkt t = 0 gerade eine Erneuerung stattgefunden hat (die aber vereinbarungsgema
nicht gezahlt wird). Besitzt T
1
eine von T
2
, T
3
, . . . verschiedene Verteilung, so spricht man vom modi-
zierten Erneuerungsprozess.
Die T
n
konnen diskrete oder stetige ZV sein. Im diesem Kapitel werden nur stetige ZV betrachtet,
d.h. die Lebensdauerverteilung F besitzt eine Dichte f.
Beispiele:
(a) Die Exponentialverteilung ergibt den Spezialfall des Poisson-Prozesses.
(b) Weibull-Verteilung
Dichte:
f(t) = (t)
1
exp((t)

), t 0
wobei > 0 und > 0 Parameter der Verteilung sind.
F ur = 1 ergibt sich die Exponentialverteilung als Spezialfall.
E(T) =
1

_
1 +

_
Var(T) =
1

2
_

_
+ 2

_
+ 1

__
2
_
(c) Gammaverteilung
Dichte:
f(t) =

()
t
1
exp(t), > 0, > 0, t > 0.
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 115
F ur = 1 ergibt sich wiederum die Exponentialverteilung als Spezialfall.
E(T) =

Var(T) =

2
Modus =
( 1)

, f ur > 1
(d) Die log-Normalverteilung
Sie ergibt sich aus einer normalverteilten ZV
X N(,
2
) durch Exp-Transformation:
T = exp(X), X N(,
2
)
Es gilt:
E(T) = exp
_
+
1
2

2
_
Var(T) = exp(2 +
2
) [exp(
2
) 1]
f(t) =
1
t
1

2
exp
_

1
2
(log(t) )
2

2
_
, t > 0.
Man deniert ferner die Survivorfunktion und insbesondere die Hazardrate:
Denition 5.2 Survivorfunktion und Hazardrate
Die Survivorfunktion
S(t) = 1 F(t)
ist die unbedingte Wahrscheinlichkeit bis zum Zeitpunkt t zu uberleben.
Die Hazardrate ist
(t) = lim
h0
P(t T t +h [ T t)
h
,
also die innitesimale Rate f ur einen Ausfall zum Zeitpunkt t, gegeben

Uberleben bis zum
Zeitpunkt t.
In o(h)-Schreibweise: Die Wahrscheinlichkeit f ur einen Ausfall im Intervall [t, t + h], gegeben

Uberleben bis zum Zeitpunkt t, ist


P(t T t +h [ T t) = (t)h +o(h).
Das Integral
(t) =
t
_
0
(u)du
wird als kumulierte Hazardrate bezeichnet.
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 116
Beispiel:
(a) Exponentialverteilung: (t) =
(b) Weibull-Verteilung: (t) = (t)
1
Es gelten folgende
Zusammenhange
(t) =
f(t)
1 F(t)
=
f(t)
S(t)
S(t) = exp
_
_

t
_
0
(u)du
_
_
= exp((t))
f(t) = (t) S(t) = (t) exp
_
_

t
_
0
(u)du
_
_
Beweis:
Die erste Beziehung erfolgt direkt aus der Denition der Hazardrate. Die zweite Gleichung folgt wegen
t
_
0
(u)du =
t
_
0
f(u)
1 F(u)
du = [ln(1 F(u))]
t
0
= ln(1 F(t)).

KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 117


5.1.2 Zur Theorie der Erneuerungsprozesse
Die klassische Theorie der EP ist insbesondere interessiert an der Verteilung von S
n
und N(t), sowie der
erwarteten Zahl R(t) = E(N(t)) von Erneuerungen bis t. Es gelten folgende Satze (FKO S.131-133):
Satz 5.1 Verteilung von S
n
und N(t)
F
n
(t) := PS
n
t =
_
[0,t]
F
n1
(t x)dF(x), t 0,
mit F
1
(t) := F(t); in der Schreibweise mit dem Faltungssymbol also
F
n
= F F
n1
= F
n
= F . . . F
. .
nmal
.
PN(t) = n = F
n
(t) F
n+1
(t), n = 0, 1, . . . ; F
0
(t) 1.
F ur die Dichte f
n
(t) von F
n
(t) gilt
f
n
(t) =
t
_
0
f
n1
(t x)f(x)dx, f
1
(t) := f(t)
Es ist
E(N(t)) = R(t) =

n=1
F
n
(t).
Analytisch ist die Faltung nur in Spezialfallen losbar. Da die numerische Integration sehr aufwendig
wird, sind folgende asymptotischen Ergebnisse (f ur t ) n utzlich. Dabei werden rekurrente EP
vorausgesetzt, d.h. es muss gelten
lim
t
F(t) = 1.
Ansonsten treten mit positiver Wahrscheinlichkeit ab einem gewissen Erneuerungszeitpunkt keine
weiteren Erneuerungen mehr auf. Im folgenden sei f ur rekurrente EP mit stetigen T
n
= E(T
n
) =

_
0
xf(x)dx =

_
0
(1 F(x))dx.
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 118
Dann gilt
Satz 5.2 Grenzwertsatze
F ur einen rekurrenten EP mit stetigen T
n
,
= E(T
n
),
2
= Var(T
n
) < gelten :
1. lim
t
N(t)
t
=
1

m. Wkeit 1
2. lim
t
R(t)
t
=
1

, elementares Erneuerungstheorem
lim
t
(R(t)
t

) =

2

2
2
2
,
3. lim
t
P
_
N(t)
t

x
_
=
1

2
x
_

exp(
t
2
2
)dt,
d.h. N(t) ist f ur groe t approximativ normalverteilt mit Erwartungswert
t

und der
Varianz

2
t

3
.
Aussage 1. bzw. 2. enthalten das plausible Resultat, dass auf lange Sicht die (durchschnittliche) Anzahl
von Erneuerungen pro Zeiteinheit gleich dem Kehrwert der erwarteten Dauer = E(T
n
) ist.
5.2 Semi-Markov-Prozesse
5.2.1 Denition und grundlegende Eigenschaften
Die Struktur eines typischen Pfades eines Semi-Markov-Prozesses gleicht der eines Markov-Prozesses,
mit der Ausnahme, dass die Verweilzeiten nicht notwendig exponentialverteilt sein m ussen.
Y
n
Zustand nach dem n-ten

Ubergang, n = 0, 1, . . . ,
T
n+1
Verweildauer im Zustand Y
n
S
n
Zeitpunkt des n-ten

Ubergangs.
Die Folge Y
n
, n N
0
der Zustande soll eine Markov-Kette bilden, wahrend die Zeitpunkte S
n
, zu
denen ein

Ubergang erfolgt, und damit die Verweildauer durch einen gesonderten Wahrscheinlichkeits-
mechanismus beschrieben werden. Dies f uhrt zur
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 119
Denition 5.3 Markov-EP, Semi-Markov-Prozess
Y
n
, n N
0
sei eine Folge von ZV mit abzahlbarem Zustandsraum
S
n
, n N
0
eine Folge nichtnegativer ZV mit 0 =: S
0
S
1
S
2
. . .
Der SP (Y, S) = (Y
n
, S
n
), n N
0
heit Markov-Erneuerungsprozess (MEP) :
t s s
n1
. . . 0, j, i
n
, . . . , i
0
S
(SM) PY
n+1
= j, S
n+1
S
n
t [ Y
n
= i, Y
n1
= i
n1
, . . . , Y
0
= i
0
, S
n
= s, S
n1
= s
n1
, . . .
= PY
n+1
= j, S
n+1
S
n
t [ Y
n
= i.
Ist (Y, S) ein MEP, so heit X = X(t), t 0 der zu (Y, S) gehorige Semi-Markov-Prozess
(SMP):
X(t) = Y
n
f ur S
n
t < S
n+1
, n = 0, 1, 2, . . .
Interpretation: Die Markov-Eigenschaft gilt nur noch bei Bedingen auf X(S
n
) = i, d.h. bedingt
auf t = S
n
; nicht jedoch f ur beliebige Zeitpunkte. Die Eigenschaft (SM) heit deshalb Semi-Markov-
Eigenschaft.
Denition 5.4 Homogener SMP
Gilt auerdem
PY
n+1
= j, S
n+1
S
n
t [ Y
n
= i = PY
1
= j, S
1
t [ Y
0
= i =: Q
ij
(t)
unabhangig von n, so heit der MEP bzw. SMP homogen. Die bedingten Wahrscheinlichkei-
ten Q
ij
(t) heien Semi-Markov-

Ubergangswahrscheinlichkeiten (S

UW), Q(t) = (Q
ij
(t)) Semi-
Markov-

Ubergangsmatrix (S

UM).
Vereinbarung: Im weiteren werden nur homogene SMP betrachtet und zusatzlich gefordert, dass f ur
die Verteilung
Q
i
(t) :=

jS
Q
ij
(t) = PT
n+1
t [ Y
n
= i = PS
1
t [ Y
0
= i
der Verweilzeit in i gilt:
Q
i
(0) < 1 und lim
t
Q
i
(t) = 1.
Also: Der SMP verbleibt eine positive Zeitspanne in i (dies entspricht der Forderung F(0) < 1 bei EP)
und verlasst m. Wkeit 1 nach endlicher Zeit i wieder (dies entspricht F() = 1 f ur einen rekurrenten
EP).
Bemerkung: Alternativ konnen die Verweildauerverteilungen auch durch Hazardraten charakterisiert
werden:

i
(t) =
q
i
(t)
1 Q
i
(t)
, q
i
(t) Dichte.
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 120
Satz 5.3 Struktur von SMP
Y
n
, n N
0
ist eine homogene MK mit

Ubergangsmatrix Q = (q
ij
),
wobei
q
ij
= lim
t
Q
ij
(t).
Die bedingte Verteilungsfunktion der Verweildauer T
n+1
bedingt auf den Zustand Y
n
= i und
Y
n+1
= j ist G
ij
(t) = P(T
n+1
t [ Y
n
= i, Y
n+1
= j) =
Q
ij
(t)
q
ij
. (F ur q
ij
= 0 setze G
ij
(t) = 0.)
Daraus kann man leicht einen Algorithmus zur Simulation von SMP herleiten:
1. Simuliere die MK Y gema

UM (q
ij
)
2. Simuliere dann die Verweildauer T gema der Verteilung G
ij
(t).
Bemerkung: Alternativ kann ein SMP auch uber die (abgangsspezischen) Hazardraten

ij
(t) = lim
h0
P(Y
n+1
= j, t T
n+1
t +h [ Y
n
= i, T
n+1
t)
h
= lim
h0
P(Y
n+1
= j, t T
n+1
t +h [ Y
n
= i)
h P(T
n+1
t [ Y
n
= i)
=
q
ij
(t)
1 Q
i
(t)
, mit q
ij
(t) :

Dichte zu Q
ij
(t), d.h.
q
ij
(t) =
Q
ij
(t)
t
charakterisiert werden.
Beispiel:
MEP mit
Q(t) = (Q
ij
(t)) =
_
0.6(1 exp(5t)) 0.4(1 exp(2t))
0.5 0.2 exp(3t) 0.3 exp(5t) 0.5 0.5 exp(2t) t exp(2t)
_
1. Verteilungsfunktion der Verweildauer in i
Q
1
(t) = 1 0.6 exp(5t) 0.4 exp(2t)
Q
2
(t) = 1 0.2 exp(3t) 0.5 exp(2t)
0.3 exp(5t) t exp(2t)
2.

Ubergangsmatrix der eingebetten MK
Q = lim
t
Q(t) =
_
0.6 0.4
0.5 0.5
_
3. Bedingte Verteilungsfunktionen
G
ij
(t) = P(T
n+1
t [ Y
n
= i, Y
n+1
= j)
=
Q
ij
(t)
q
ij
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 121
G
11
(t) = 1 exp(5t)
G
12
(t) = 1 exp(2t)
G
21
(t) = 1
2
5
exp(3t)
3
5
exp(5t)
G
22
(t) = 1 exp(2t) 2t exp(2t)
4. Erwartete Verweildauern

i
=

_
0
[1 Q
i
(t)]dt

1
=

_
0
0.6 exp(5t)dt +

_
0
0.4 exp(2t)dt
= 0.6
_

1
5
exp(5t)
_

0
+ 0.4
_

1
2
exp(2t)
_

0
= 0.6
1
5
+ 0.4
1
2
=
6
50
+
4
20
=
12
100
+
20
100
=
32
100
= 0.32

2
= 0.626
5. Hazardrate

ij
(t) =
q
ij
(t)
1 Q
i
(t)
z.B.
q
12
(t) =
Q
12
(t)
t
= 0.4 2 exp(2t)
= 0.8 exp(2t).
Q
1
(t) = 1 0.6 exp(5t) 0.4 exp(2t).

12
(t) =
0.8 exp(2t)
0.6 exp(5t) + 0.4 exp(2t)
=
2
1 + 1.5 exp(3t)
.
Bemerkung MK, MP, EP als Spezialfalle
(a) Ein Erneuerungsprozess ergibt sich mit S = 1 und daher Q
11
(t) = F(t).
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 122
(b) Eine Markov-Kette erhalt man durch die Wahl
Q
ij
(t) =
_
_
_
0 f ur t < 1
q
ij
f ur t 1
(da q
ij
= lim
t
Q
ij
(t)) T
1
= T
2
= . . . = 1 deterministische Verweildauern.
(c) Mit G
ij
(t) = 1 exp(
i
t), t 0
q
ii
=
_
_
_
0 , i stabil
1 , i absorbierend
erhalt man einen MP.
5.2.2 Grenzwertsatze
Rekurrenzeigenschaften und Irreduzibilitat eines Semi-Markov-Prozesses leiten sich aus den entspre-
chenden Eigenschaften der Markovkette Y ab.
Der SMP heit aperiodisch, wenn f ur alle i die Zwischenzeiten T
ii
zwischen aufeinanderfolgenden Be-
suchen in i nicht gitterformig sind, d.h. es gibt kein d 0 mit

n=0
P(T
ii
= nd) = 1. (Dies ist
insbesondere bei stetigen Verweildauern erf ullt.)
Es gelten ahnliche Aussagen wie bei MP, wobei der Erwartungswert
1

i
von exponentialverteilten
Verweildauern durch den Erwartungswert

i
=

_
0
tq
i
(t)dt =

_
0
(1 Q
i
(t))dt
ersetzt wird. Zum Beispiel gilt
Satz 5.4 Grenzwertsatz
Der SMP sei aperiodisch, irreduzibel und positiv-rekurrent. Dann gilt f ur die Zustandswahr-
scheinlichkeit p
j
(t) = P(X(t) = j)

j
:= lim
t
p
j
(t) =

j

iS

i

i
(unabhangig von der Anfangsverteilung), wobei mit
= Q
ein zur

UM Q von Y gehoriges strikt positives invariantes Ma (d.h. bis auf Normierung die
stationare Grenzverteilung von Y ) ist.
Eine Plausibilitatserklarung verlauft wie f ur MP.
KAPITEL 5. ERNEUERUNGS- UND SEMI-MARKOV-PROZESSE 123
5.3 Bemerkung zur statistischen Inferenz
Im Vergleich zu MP sind statt Parametern
i
der Exponentialverteilungen die entsprechenden Ver-
weildauern parametrisch oder nichtparametrisch zu schatzen sowie die

UM Q der eingebetteten MK.
Die moderne Inferenz benutzt das Instrumentarium von Zahlprozessen (vgl. Kap.7) um die (

Uber-
gangsspezischen) Hazardraten
ij
(t) als Funktion von t zu schatzen.
Kapitel 6
Martingale
In der Statistik modellieren Martingale z.B. Gl ucksspiele oder Handelsstrategien in Finanzmarkten und
sind ein grundlegendes Hilfsmittel f ur die statistische Inferenz stochastischer Prozesse, insbesondere
auch f ur Zahlprozesse (Kapitel 7).
6.1 Martingale in diskreter Zeit
6.1.1 Denition und Beispiele
Sei X = , T, P, X
t
, t N ein SP bzw. eine Folge von ZV. Mit
T
X
t
= X
t
, X
t1
, . . . , X
1
= X
s
, s t
bezeichnen wir die t-Vergangenheit von X. Ist Z
t
, t N ein weiterer SP, z.B. eine Folge von
Kovariablen(-vektoren) zu X
t
, t N, dann bezeichnet
T
X,Z
t
= X
s
, Z
s
, s t
die t-Vergangenheit von X und Z. Oensichtlich gilt in beiden Fallen
T
1
. . . T
t
T
t+1
. . .
Denition 6.1 Diskrete Martingale
X = X
t
, t N heit Martingal bez uglich T
t
, t N :
1. E([X
t
[) < , t N
2. E(X
t+1
[ T
t
) = E(X
t+1
[ X
t
, . . . , X
1
; Z
t
, . . . , Z
1
) = X
t
Oft wird auch ohne direkten Bezug auf T
t
deniert:
X heit Martingal : Es existiert eine Folge T
t
, t N, so dass X Martingal bez uglich T
t

ist.
124
KAPITEL 6. MARTINGALE 125
Wahrend 1. die Existenz der Erwartungswerte sichert, charakterisiert 2. die Martingaleigenschaft.
Interpretation: Sei X
t
das Kapital eines Spielers nach dem t-ten Spiel, T
t
die Vergangenheitsinfor-
mation uber den Spielverlauf bis t. 2. besagt: Das erwartete Kapital nach dem nachsten Spiel ist gleich
dem gegenwartigen Kapital. In diesem Sinn ist das Spiel fair.
Folgerungen:
1. E(X
t+k
[ T
t
) = X
t
2. E(X
1
) = E(X
2
) = . . . = E(X
t
)
Beweis:
Die Beweise benutzen Regeln zu bedingten Erwartungswerten:
1. f ur k = 2
E(X
t+2
[ X
t
, . . . , X
1
. .
T
t
) = E
X
t+1
[T
t
(E(X
t+2
[ X
t+1
, X
t
, . . . , X
1
)
. .
=X
t+1
)
= E(X
t+1
[ T
t
)
= X
t
f ur k > 2: Induktion.
2. E(X
2
) = E(E(X
2
[ X
1
)
. .
=X
1
),
usw. durch vollstandige Induktion

Die Denition von Martingalen kann aquivalent durch Martingaldierenzen (Zuwachse)

t
= X
t
X
t1
,
1
= X
1
erklart werden, da 2. in Denition 6.1. aquivalent ist zu
KAPITEL 6. MARTINGALE 126
3. E(
t+1
[ T
t
) = 0.
Dabei ist T
t
aquivalent zu
t
,
t1
, . . . ,
1
.
Eine Folge mit Eigenschaft 3. heit Martingaldierenz-Folge. Mit
X
t
=
1
+. . . +
t
ist dann X
t
, t N ein Martingal.
Denition 6.2 Semimartingale (unfaire Spiele)
X = X
t
, t N heit Sub- bzw. Supermartingal :
1. E([X
t
[) < , t N
2. E(X
t+1
[ T
t
) X
t
(Sub) bzw. E(X
t+1
[ T
t
) X
t
(Super)
X heit Semimartingal, wenn X entweder ein Sub- oder Supermartingal ist.
Bemerkung:
Die Denition von (Semi-)Martingalen wird oft abstrakter mit Hilfe einer aufsteigenden Folge
T
0
. . . T
t
T
t+1
. . . T
von -Algebren eingef uhrt. Eine solche Folge von -Algebren heit Filtration.
In Anwendungen ist T
t
sehr oft
T
t
= T
X
t
= (X
1
, . . . , X
t
) bzw. T
X,Z
t
= (X
1
, . . . , X
t
; Z
1
, . . . , Z
t
)
die von X
1
, . . . , X
t
bzw. X
1
, . . . , X
t
; Z
1
, . . . , Z
t
erzeugte -Algebra.
Man fordert, dass X
t
T
t
-messbar ist und versteht unter E(X
t+1
[ T
t
) die bedingte Erwartung von
X
t+1
gegeben die -Algebra T
t
.
KAPITEL 6. MARTINGALE 127
Beispiel:
(a) Irrfahrten
Sei

t
, t N iid Folge mit E(
t
) =
X
t
=
1
+. . . +
t
bzw. X
t+1
= X
t
+
t+1
.
E(X
t+1
[ X
1
, . . . , X
t
) = E(X
t
+
t+1
[ X
t
,
t
, . . . ,
1
)
= X
t
+ E(
t+1
)
= X
t
+;
X
t
Martingal f ur = 0
X
t
Submartingal f ur 0
X
t
Supermartingal f ur 0
z.B. Diskrete Irrfahrt mit p = q ist Martingal.
(b) Score-Funktion bei Logit-Modell f ur binare MK
Logit-Modell:
P(Y
t
= 1 [ X
t
, Y
t1
) = h(X
t

X
+
Y
Y
t1
) =
t
Score-Funktion f ur Beobachtung Y
0
, Y
1
, . . . , Y
t
:
S
t
() =
t

s=1
Z
s
(Y
s

s
)
. .
=.
s
()
, Z
s
= (X
s
, Y
s1
)
t
, s N.
Es gilt:
E(
s
() [ Y
1
, . . . , Y
s1
; X
s
, . . . , X
1
. .
T
s1
) = 0,
da E(Y
s
[ T
s1
) =
s
.

t
(), t N bildet Martingaldierenzenfolge ,
S
t
(), t N Martingal.
Diese Eigenschaft bildet die Grundlage f ur asymptotische Likelihoodtheorie bei abhangigen Be-
obachtungen Y
1
, . . . , Y
t
, . . . , da starkes Gesetz groer Zahlen und zentrale Grenzwertsatze f ur
Martingale existieren.
Diese Bemerkung gilt auch f ur Likelihood-Inferenz in allgemeineren SP.
KAPITEL 6. MARTINGALE 128
6.1.2 Spielsysteme und das Optional Stopping Theorem
Der Martingalbegri ist historisch mit Spielsystemen verkn upft. Zur Vorbereitung benotigen wir den
Begri einer Stoppzeit.
Denition 6.3 Stoppzeit
Sei T
t
eine Filtration, z.B. T
t
= (X
1
, . . . , X
t
). Eine ZV mit Werten in
0, 1, 2, . . . , + heit Stoppzeit :
t = : () t T
t
f ur alle t
( = t T
t
t T
t1
).
Die Denition besagt: Ob das Ereignis = t eintritt oder nicht, hangt nur von der Vorgeschichte
(bis einschlielich t) ab, jedoch nicht von der Zukunft. Beispielsweise soll die Entscheidung zum Zeit-
punkt t ein Spiel zu beenden, nur von den bis t eingetretenen Ereignissen, nicht aber von zuk unftigen
Ereignisssen abhangen (keine Prakognition).
Denition 6.4 Spielsystem
Unter einem Spielsystem verstehen wir eine Folge von ZV X
t
, t N, die folgendermaen
konstruiert wird:
X
1
= W
1

1
, X
t+1
= X
t
+W
t+1

t+1
.
Dabei bedeutet

t
unabhangige ZV mit E(
t
) = 0.
Diese ZV reprasentieren eine unabhangige Folge von (fairen) Spielen, deren Ausgang vom
Spieler nicht beeinusst werden kann.
X
t
kumulierter Spielgewinn nach dem t-ten Spiel.
W
t
Einsatz, den der Spieler f ur das t-te Spiel leistet.
Die Spieleinsatze W
t
0 konnen in Abhangigkeit vom bisherigen Spielverlauf gewahlt werden.
Formal: (W
t
, T
X
t
= X
t
, . . . , X
1
), t N, ist eine vorhersagbare Folge :
W
t
= g
t
(X
t1
, . . . , X
1
) W
t
ist T
X
t1
-messbar.
Dabei ist g
t
eine deterministische, messbare Funktion.
Satz 6.1
Der SP X = X
t
, t N der kumulierten Spielgewinne bildet ein Martingal.
KAPITEL 6. MARTINGALE 129
Beweis:
E(X
t+1
[ T
X
t
) = E(X
t
+W
t+1

t+1
[ T
X
t
)
= E(X
t
[ T
X
t
) + E(W
t+1

t+1
[ T
X
t
)
= X
t
+W
t+1
E(
t+1
[ T
X
t
)
= X
t
+W
t+1
E(
t+1
)
. .
=0
= X
t
.

Das Verdopplungssystem beim Roulette


Der Name Martingal stammt von folgendem
Spielsystem:
1. Setze auf Rot. Beginne mit dem Einsatz 1 und verdopple nach jedem Spiel den Einsatz.
2. Verdopple solange, bis zum ersten Mal Rot erscheint.
Nach Denition 6.3 entspricht dies:

t
=
_
_
_
+1, Rot erscheint Gewinn
1, Schwarz erscheint Verlust
In Phase 1 des Verdopplungssystems ist
W
t
= 2
t1
, t = 1, 2, . . .
X
t
=
1
+ 2
2
+. . . + 2
t1

t
.
Nach Satz 6.1 bilden die kumulierten Spielgewinne nach einer festen Anzahl von Spielen ein Martingal
mit E(X
t
) = 0. Neu ist Phase 2, welche die Einf uhrung einer Stoppzeit bedeutet, mit
() := mint :
t
() = 1.
Die Stoppzeit ist geometrisch verteilt:
P( = t) =
1
2
t
, t = 1, 2, . . . P( < ) = 1
Das Verdopplungssystem wird durch die ZV X

=
_
_
_

1
+ 2
2
+. . . + 2
1

, f ur <
undeniert, f ur = (P( = ) = 0)
beschrieben. Es gilt
X
()
() = 1 2 . . . 2
()2
+ 2
()1
= 1
KAPITEL 6. MARTINGALE 130
f ur : () < , also
P(X

= 1) = 1.
Mit dem Verdopplungssystem kann man daher das Spiel so steuern, dass man mit Wahrscheinlichkeit
1 den Betrag 1 gewinnt. Casino w urde bankrott. Deshalb: Casinos begrenzen Anzahl der Verdopp-
lungen durch eine Zahl K nach oben.
Das Optional Stopping Theorem
F ur ein Martingal X
t
, T
t
gilt E(X
1
) = E(X
t
) f ur jedes feste t.
Frage: Kann man diese Gleichheit durch Einf uhren einer Stoppzeit uberlisten?
Beim Spielsystem

Verdoppeln ging das:


E(X
1
) = E(X
t
) = 0, aber E(X

) = 1.
Satz 6.2 Optional Stopping Theorem
Sei X
t
, T
t
ein Martingal und eine Stoppzeit. Es gelte eine der folgenden Bedingungen
1. ist beschrankt (() k f ur alle ).
2. X
t
ist beschrankt ([X
t
()[ k f ur alle ) und P( < ) = 1.
3. E() < und X
t
X
t1
ist beschrankt.
Dann gilt
E(X

) = E(X
1
).
Also: Falls eine der Bedingungen gilt, so folgt dass ein Martingal auch beim

Ubergang zu einer Stopp-
zeit nicht

uberlistet werden kann.


Beim Spielsystem

Verdoppeln sind alle drei Bedingungen verletzt: ist nicht beschrankt; X


t
und
X
t
X
t1
= 2
t1
sind nicht beschrankt. Die moglichen Verluste des Spielers sind jedoch auch
unbeschrankt; dies macht diese Strategie praktisch selbstmorderisch.
KAPITEL 6. MARTINGALE 131
Martingale in der Finanzmarkttheorie
W-Raum (, T, P)
S
1
t
, t = 0, 1, 2, . . . , T

stock; Aktie mit zufalligen Wert (Preis) S
j
t
, j = 1, . . . , k
.
.
.
S
k
t
, . . .
B
t
..
=:S
0
t
, . . .

bond; Sparbuch mit fester Zinsrate r

S
j
t
=
S
j
t
B
t
relative (deationierte) Preise
S
t
= B
t
, S
1
t
, . . . , S
k
t
,

S
t
= 1,

S
1
t
, . . . ,

S
k
t

Denition 6.5 Handelsstrategie


Eine Handelsstrategie (trading strategy) ist ein vorhersagbarer (
t
T
t1
) Prozess =
t
, t =
1, 2, . . . , T mit Komponenten
j
t
, j = 0, 1, . . . , k
Wert eines Portefeuilles:
Zeit Wert des Portefeuilles
t 1

k
j=0

j
t
S
j
t1
=
t
t
S
t1
t


k
j=0

j
t
S
j
t
=
t
t
S
t

Gewinn im Intervall [t 1, t[ :
t
t
S
t
gesamter Gewinn in [0, t] : G
t
() =

t
s=1

t
s
S
s
V
t
() =
t
t
S
t
Vermogensprozess
G
0
() = 0; G
t
, t 0 Gewinnprozess
Denition 6.6 Selbstnanzierende Handelsstrategie

t
heit selbstnanzierend :

t
t
S
t
=
t
t+1
S
t
t = 1, 2, . . . , T 1
Also: Zu keiner Zeit wird dem Portefeuille Geld zugef uhrt oder abgezogen.
Marktmodell M(S, ): Menge von Aktien (Bond) und selbstnanzierenden Handelsstrategien.
Denition 6.7 (Handelsstrategie mit) Arbitragemoglichkeit
mit V
0
()
. .
Anfangsvermogen
= 0 (f.s.), V
T
() 0 (f.s.)
und PV
T
() > 0 > 0.
(E(V
T
()) > 0)
KAPITEL 6. MARTINGALE 132
Satz 6.3
F ur einen (endlichen) Markt gilt: M(S, ) ist arbitragefrei (d.h. es gibt keine Handelsstrategie
mit Arbitragemoglichkeit)

Es existiert ein zu P aquivalentes W-Ma Q, so dass der deationierte Vermogensprozess

V
t
() =
t
t

S
t
=
t
t

S
t
B
t
ein Martingal bez uglich Q ist.
Beweis:
(z.B.) Koller (2000), Ammann (2001), Bingham/Kiesel (1998)
6.1.3 Doob-Meyer-Zerlegung in diskreter Zeit
Die Doob-Meyer-Zerlegung ist ein wesentliches Hilfsmittel zur statistischen Inferenz von Zahlprozessen.
Wahrend der Beweis f ur Martingale in stetiger Zeit tieiegende Hilfsmittel ben utzt, ist die Zerlegung
in diskreter Zeit sehr einfach zu zeigen.
X = X
t
, t N sei Submartingal, d.h. E(X
t+1
[ T
t
) X
t
.
Ziel:
Zerlegung von X
t
in vorhersagbaren, wachsenden Trend A
t
und

Rauschen ( = Martingal M
t
).
Setze:
M
1
= X
1
, A
1
= 0, dann rekursiv
A
t
= A
t1
+ E(X
t
[ T
t1
) X
t1
=

t
s=2
E(X
s
X
s1
[ T
s1
),
M
t
= X
t
A
t
.
Dann gilt die Doob-Meyer-Zerlegung
X
t
= A
t
+M
t
,
wobei M
t
ein Martingal ist und der Kompensatorprozess A
t
wachsend und vorhersagbar ist, d.h.
A
t
ist eine deterministische Funktion von T
t1
= X
1
, . . . , X
t1
.
Beweis:
E(M
t
M
t1
[ T
t1
) = E(X
t
X
t1
A
t
+A
t1
[ T
t1
)
= E(X
t
[ T
t1
) X
t1
A
t
+A
t1
= 0
nach Denition von A
t
, d.h. M
t
M
t1
ist eine Martingaldierenz und M
t
ein Martingal.
KAPITEL 6. MARTINGALE 133
6.2 Martingale in stetiger Zeit
Ziel: Konzepte von diskreter auf stetige Zeit ubertragen; Grundlagen f ur Behandlung von Zahlprozes-
sen in Kap 7.
6.2.1 Denition und Beispiele
Denition 6.8 (Semi-)Martingale in stetiger Zeit
Der SP X = X
t
, t R
+
heit Martingal :
(Existenz von Erwartungswerten wird vorausgesetzt)
1. E(X
t
n
[ X
t
n1
, . . . , X
t
1
) = X
t
n1
f ur alle t
1
< . . . < t
n
, n 2

2. E(X
t
n
[ X
t
n1
= x
n1
, . . . , X
t
1
= x
1
) = x
n1
f ur alle t
1
< . . . < t
n
, x
1
, . . . , x
n1
, n 2
Der SP X heit Sub- bzw. Supermartingal :
3. E(X
t
n
[ . . .) X
t
n1
bzw. E(X
t
n
[ . . .) X
t
n1
f ur alle t
1
< . . . < t
n
, n 2
Bemerkungen:
(a) Falls zusatzlich ein Kovariablen-Prozess Z
t
, t R
+
vorliegt, wird dieser in die Bedingung
einbezogen.
(b) Wie im diskreten Fall lasst sich die Denition auch mit Filtrationen
T
0
. . . T
s
. . . T
t
. . . T, s < t
formulieren. Insbesondere kann T
t
wieder die von X
s
, s t bzw. X
s
, Z
s
, s t erzeugte
-Algebra sein. Dann ist X ein Martingal, falls
E(X
t
[ T
s
) = X
s
f ur alle s < t
und ein Sub- bzw. Supermartingal, wenn
E(X
t
[ T
s
) X
s
bzw. E(X
t
[ T
s
) X
s
gilt.
KAPITEL 6. MARTINGALE 134
Beispiel:
(a) Wiener Prozess
E(W
t
n
[ W
t
n1
, . . . , W
t
1
)
= E((W
t
n
W
t
n1
) +W
t
n1
[ . . .)
= E(W
t
n
W
t
n1
[ . . .) + E(W
t
n1
[ W
t
n1
, . . . , W
t
1
)
= E(W
t
n
W
t
n1
[ W
t
n1
W
t
n2
, . . . , W
t
2
W
t
1
, W
t
1
) +W
t
n1
unabh. Zuwachse
= E(W
t
n
W
t
n1
)
. .
=0
+W
t
n1
= W
t
n1
.
Also: Wiener-Prozess ist Martingal
(b) Poisson-Prozess
F ur s < t
E(N
t
[ T
N
s
) = E((N
t
N
s
) +N
s
[ T
N
s
)
= E(N
t
N
s
[ T
N
s
) + E(N
s
[ T
N
s
)
= E(N
t
N
s
) +N
s
= (t s)
. .
>0
+N
s
Also: E(N
t
[ T
N
s
) > N
s
(f ur > 0), d.h. Poisson-Prozess ist Submartingal. Der kompensierte
Prozess N
t
t ist Martingal.
6.2.2 Doob-Meyer-Zerlegung in stetiger Zeit
Im folgenden sei T
t
eine Filtration, insbesondere T
t
= (X
s
, s t) bzw. erweitert um Kovariablen.
Die -Algebra
T
+
t
=

s>t
T
s
erlaubt einen

innitesimalen Blick in die Zukunft, und


T

t
=
_
_
s<t
T
s
_
umfasst alle Ereignisse bis umittelbar vor t.
KAPITEL 6. MARTINGALE 135
Im weiteren werden die

ublichen Bedingungen vorausgesetzt:


1. T
t
ist rechtsstetig : T
t
= T
+
t
f ur alle t
2. T
t
ist vollstandig : F ur C B T mit P(B) = 0 folgt C T
0
T (und P(C) = 0).
Bemerkung: T
t
= (X
s
, s t) ist rechtsstetig, wenn die Pfade von X rechtsstetig sind.
Damit lasst sich die Vorhersagbarkeit eines SP A
t
, t R denieren:
Denition 6.9 Vorhersagbarkeit
Ein SP A = A
t
, t R
+
heit vorhersagbar (bez. T
t
) : f ur alle t R
+
gilt
1. A
t
ist T
t
-messbar, und
2. A
t
ist T

t
-messbar.
Bedingung 2 ist erf ullt falls
A
t
= g
t
(A
s
, s < t)
mit einer messbaren, deterministischen Funktion g
t
. Hinreichend f ur die Vorhersagbarkeit ist, dass der
SP A linksseitig stetige Pfade besitzt.
Interpretation: A
t
ist bereits kurz vor t bekannt.
Satz 6.4 Doob-Meyer-Zerlegung
Sei N
t
, t R
+
ein rechtsstetiges, nichtnegatives oder ein beschranktes Submartingal, und
T
t
eine Filtration mit den

ublichen Bedingungen. Dann existiert ein vorhersagbarer Prozess


A
t
, t R
+
mit
N
t
= A
t
+M
t
f ur alle t R
+
, wobei M
t
, t R
+
ein Martingal ist. Der Prozess A heit Kompensator von
N.
Beispiel:
(a) Poisson-Prozess: N
t
t =: M
t
N
t
..
Subm.
= t
..
Komp.
+ M
t
..
Mart.
A
t
= t ; N
t
t ist Martingal. In diesem Fall ist A
t
sogar deterministisch.
(b) Inhomogener Poisson-Prozess: P(N(t +h) N(t) = 1) = (t)h +o(h)
KAPITEL 6. MARTINGALE 136
Mit (t) =
_
t
0
(u)du gilt
E(N(t) (t) [ T
s
) = E(N(t) N(s) +N(s) (t) [ T
s
)
= (t) (s) +N(s) (t)
= N(s) (s),
d.h. N(t) (t) ist ein Martingal. Somit
N(t) = (t) +M(t),
und (t) ist der Kompensator.
Kapitel 7
Punkt- und Z

ahlprozesse
Punkt- und Zahlprozesse enthalten den homogenen und inhomogenen Poisson-Prozess, Markov-
Prozesse und Semi-Markov-Prozesse als Spezialfalle und bilden die Basis f ur den modernen Zugang
zur Verweildauer- und Ereignisanalyse (Survival- / Event History Analysis). Wir betrachten in diesem
Kapitel zeitstetige Prozesse.
Datenstruktur
Allgemeiner markierter Punktprozess
S
n
, n = 1, 2, . . . Ereigniszeitpunkte
Y
n
. . .

Marke,

Wert, mit Realisierungen die zu den Ereigniszeitpunkten


beobachtet werden
Beispiele
(a) Schadenprozess bei Sachversicherung
S
n
. . . Zeitpunkt (der Meldung) des n-ten Schadens in einer Tarifgruppe
Y
n
. . . Schadenshohe
(b) Intertages-Kurse, Renditen
137
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 138
S
n
. . . Zeitpunkt der n-ten Transaktion
Y
n
. . . Kurs bzw. Kursanderung einer Aktie
Spezialfall: Y
n
diskret/kategorial
Y
n
. . .

Typ des n-ten Ereignisses bzw. Zustand von Individuen, Objekten, die im Zeitver-
lauf beobachtet werden.
Pfade wie bei MP und SMP
Beispiel: Schlafdaten
Y
n
Wach, REM, NONREM I/II/III/IV.
S
n
. . . Zeitpunkt des Wechsels in einen anderen Schlafzustand wahrend der Nacht.
Dazu: Kovariablen, insbesondere Hormonspiegel, im Zeitverlauf.
Analog: Klinische und epidemiologische Studien
Poisson-Prozess, Erneuerungsprozess
rekurrente Ereignisse eines Typs (k = 1)
MP, SMP: rekurrente (und evtl. absorbierende) Ereignisse / Zustande verschiedenen Typs
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 139
Survival-Daten
S
n
. . .

Uberlebenszeit eines Individuums
Krankheit-Todes-Modelle
7.1 Denition und einige Eigenschaften
Vorbemerkung: Im folgenden werden wiederholt Filtrationen (oder Filterungen)
T
0
. . . T
t
. . . T
mit den

ublichen Bedingungen betrachtet. Wir beschranken uns dabei der Einfachheit halber auf
sogenannte kanonische Filtrationen, d.h. die von einem SP X
t
, t 0 erzeugte Filtration T
t
= T
X
t
=
(X
s
, s t) bzw. T
t
= T
X,Z
t
= (X
s
, Z
s
, s t) falls zusatzlich ein Kovariablen-Prozess Z
t
, t 0
vorliegt.
Zur Erinnerung (vgl. Kap. 6): Eine ZV 0 heit Stoppzeit : t T
t
t.
Interpretation: T
t
enthalt die gesamte Information uber die Historie des SP bis hin zu t. ist Stopp-
zeit, falls zum Zeitpunkt t aufgrund der Historie entschieden werden kann, ob t eingetreten ist
oder nicht.
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 140
Alle weiteren Denitionen und Eigenschaften gelten auch f ur beliebige Filtrationen, wenn man zusatz-
lich Messbarkeitsforderungen stellt.
Denition 7.1 Markierter Punktprozess
Die Folge (S
n
, Y
n
), n N heit markierter Punktprozess :
1. S
n
0 ist T
t
-Stoppzeit
2. 0 < S
n
< S
n+1
auf S
n
<
S
n
= S
n+1
= . . . auf S
n
=
Bemerkungen
(a) Y
n
ist T
S,Y
S
n
= (S
n
, Y
n
, . . . , S
1
, Y
1
) messbar,
d.h. zum

zufalligen Zeitpunkt S
n
ist auch bekannt welchen Wert Y
n
annimmt.
(b) S
n
ist die Auftrittszeit des n-ten Ereignisses.
S
n
< S
n+1
bedeutet: keine gleichzeitigen Ereignisse.
Y
n
heit Marke bzw. Typ des n-ten Ereignisses
T
n+1
= S
n+1
S
n
heit Wartezeit, Zwischenauftrittszeit.
(c) Der Prozess heit explodierend f ur :
S

() = lim
n
S
n
() <
Der Prozess (bzw. Pfad) heit ausloschend f ur :S
n
() = f ur ein n 1.
Vereinbarung
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 141
Im weiteren beschranken wir uns auf markierte Punktprozesse mit endlichem Wertebereich S =
1, . . . , h, . . . , k f ur Y
n
, n N.
Denition 7.2 Zahlprozess
F ur jedes h S, t R
+
sei
N
h
(t) =

n1
I(S
n
t)I(Y
n
= h)
die Anzahl der bis t eingetretenen Ereignisse vom Typ h. Dann heit
N(t) = N
1
(t), . . . , N
h
(t), . . . , N
k
(t)
(f ur k > 1: multivariater) Zahlprozess.
Die Gesamtzahl aller Ereignisse bis t,

N(t) =
k

h=1
N
h
(t)
ist ein (univariater) Zahlprozess.
Es gilt:
N
h
(t) ist T
t
-messbar
F ur sei N
h
(, ) = lim
t
N
h
(t, )
Dann gilt:
N
h
(, ) < Ausloschung auf
Satz 7.1 Doob-Meyer-Zerlegung von Zahlprozessen
Sei N
h
(t), h = 1, . . . , k ein multivariater ZP mit E(N
h
(t)) < t 0.
1. Dann existiert ein (fast sicher) eindeutiger Kompensator-Prozess A
h
(t), t 0 mit den
Eigenschaften
A
h
(0) = 0,
die Pfade sind wachsend und linksstetig, A
h
(t) ist vorhersagbar.
2. Der Prozess M
h
(t) = N
h
(t) A
h
(t) ist ein Martingal.
3.
N
h
(t) = A
h
(t) +M
h
(t)
heit Doob-Meyer-Zerlegung des ZP.
Interpretation: A
h
(t) systematischer Teil,

Trend;
M
h
(t) Fehlerprozess, Rauschen.
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 142
Beweis: Lipster, Shiryayev (I, II, Sect. 3.3, 18.1), Jacod (1975), Fleming/Harrington (1991).
Grundlage f ur den Beweis bildet die D.-M.-Zerlegung f ur Submartingale (Kapitel 6.2): N
h
(t) ist ein
beschranktes Submartingal.
Denition 7.3 Intensitatsprozess
Falls es einen vorhersagbaren (insbesondere linksstetigen), nichtnegativen Prozess
h
(t) mit
A
h
(t) =
_
t
0

h
(s)ds
gibt, so heit dieser Intensitatsprozess zu N
h
(t).
A
h
(t) heit auch kumulierter Intensitatsprozess.
Vereinbarung: Im weiteren setzen wir voraus, dass N
h
(t) einen Intensitatsprozess besitzt. Folgender
Satz stellt die Beziehung zur klassischen Denition von Intensitatsprozessen her.
Satz 7.2 Theorem von Aalen (1976)
Der ZP N
h
(t), t 0 besitze einen Intensitatsprozess
h
(t) mit linksseitig stetigen Pfaden
und rechtsseitigen Grenzwerten. Zusatzlich existiere eine positive ZV L mit E(L) < und

h
(t) L f ur alle t 0. Dann gilt
lim
.t0
1
t
E(N
h
(t +t) N
h
(t) [ T
t
) =
h
(t
+
)
lim
.t0
1
t
P(N
h
(t +t) N
h
(t) = 1 [ T
t
) =
h
(t
+
)
Bemerkung: Ist
h
(t) sogar stetig in t, dann gilt
h
(t
+
) =
h
(t).
Beweis: Aalen (1976, p.22), Fleming/Harrington (1991, p.131).
Satz 7.3 Struktur des Intensitatsprozesses
F ur jedes n 0 existiert ein T
N
S
n
= (S
1
, Y
1
, . . . , S
n
, Y
n
) messbarer Prozess

(n)
h
(t), t 0; h = 1, . . . , k mit

h
(t) =
(n)
h
(t) f ur S
n
< t S
n+1
(falls S
n
< )
und

(n)
Y
n+1
(S
n+1
) > 0 f.s. auf S
n+1
< .
Beweis: Jacod (1975, L 3.3).
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 143
Interpretation: Ist die Vorgeschichte T
N
S
n
= (Y
1
, S
1
, . . . , Y
n
, S
n
) bekannt, so lauft
h
(t) auf
(S
n
, S
n+1
] deterministisch ab. Am Ende ist
Y
n+1
(S
n+1
) positiv.
Satz 7.4

Ubergangswahrscheinlichkeiten f ur (S
n
, Y
n
)
Es sei
Q
(n)
(t, h) := P(T
n+1
t, Y
n+1
= h [ T
N
S
n
)
Q
(n)
(t) :=

hS
Q
(n)
(t, h) = P(T
n+1
t [ T
N
S
n
)
P
(n)
(t, h) := P(Y
n+1
= h [ T
N
S
n
, S
n+1
= t)
Diese

UW lassen sich mittels des Intensitatsprozesses berechnen:
Q
(n)
(t, h) =
_
t
0

(n)
h
(S
n
+s) exp
_

_
S
n
+s
S
n

(n)
(u)du
_
ds
Q
(n)
(t) = 1 exp
_

_
S
n
+t
S
n

(n)
(s)ds
_
P
(n)
(t, h) =

(n)
h
(t)

(n)
(t)
mit
(n)
(t) =

hS

(n)
h
(t)
.
Beweis: Bremaud (1981, III, Th.7, p.7), Bremaud (1981, II, Th.15, p.33).
Bemerkung: P(. . . [ T
N
S
n
) = P(. . . [ (S
1
, Y
1
), . . . , (S
n
, Y
n
))
Bemerkung: Aus Satz 7.4 folgt: Die

Ubergangswahrscheinlichkeiten Q
(n)
(t, h) besitzten eine

Dichte
q
(n)
(t, h), d.h.
Q
(n)
(t, h) =
_
t
0
q
(n)
(s, h)ds,
so dass
1.

(n)
h
(t) =
q
(n)
(t S
n
, h)
1 Q
(n)
(t S
n
)
auf S
n
< t S
n+1

KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 144
2. F ur den Kompensator-Prozess gilt
A
h
(t) = A
h
(S
n
) +
_
tS
n
0
q
(n)
(s, h)
1 Q
(n)
(s)
ds auf S
n
< t S
n+1

Man vergleiche diesen Zusammenhang mit den Hazardraten f ur SMP in Kap. 5.2
7.2 Spezielle Zahlprozesse und Beispiele
7.2.1 MP, SMP und EP als spezielle Zahlprozesse
Poisson-Prozesse
(a) Homogener Poisson-Prozess
mit Rate ist univariater Zahlprozess mit Intensitatsprozess
h
(t) = ; A
h
(t) = t, Q
(n)
(t) =
1 e
t
.
Multivariater Poisson-Prozess: N(t) = N
h
(t) mit unabhangigen univariaten Poisson-Prozessen
N
h
(t) und Raten
h
.
(b) Inhomogener Poisson-Prozess
N(t) inhomogener Poisson-Prozess mit Rate (t) 0;
N(t) N(s) unabhangig von N(u), u < s < t; (unabhangige Zuwachse)
P(N(t) N(s) = k) = exp((t) (s))
[(t) (s)]
k
k!
(t) =
_
t
0
(s)ds
Also: Univariater Zahlprozess mit Intensitatsprozess (t) = (t).
Multivariater inhomogener Poisson-Prozess: N
h
(t) unabhangige Poisson-Prozesse mit Raten

h
(t), h = 1, . . . , k.
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 145
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 146
Markov-Prozess mit endlichem Zustandsraum
(a)
S
n
, n N Sprungzeitpunkte,
Y
n
, n N eingebettete Markovkette.
N
j
(t) Zahlprozesse f ur Spr unge nach j S.
Q
(n)
(t, j) = P(T
n+1
t, Y
n+1
= j [ (S
1
, Y
1
), . . . , (S
n
, Y
n
))
= q
ij
(1 e

i
t
) auf Y
n
= i
Also: Intensitatsprozess
(t) = (
j
(t), j S), t 0
mit

j
(t) =
_
_
_

i
q
ij
=
ij
i ,= j
0 i = j
auf Y
n
= i, S
n
< t S
n+1

bzw.

j
(t) =
Y
n
q
Y
n
j
auf S
n
< t S
n+1

KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 147
(b) Andere Zahlprozess-Darstellung (Aalen, 76)
Y
n
= (X(S
n1
), X(S
n
)) mit Paaren (i, j) S
2
als Wertebereich
Ereignis von Typ h

Ubergang von i nach j.
N
ij
(t) zahlt

Ubergange i j des MP bis zur Zeit t
Intensitatsprozess:

ij
(t) =
ij
I(X(t) = i) = q
ij

i
I(X(t) = i) f ur i ,= j
Q
(n)
(t, (i, j)) = P(T
n+1
t, Y
n+1
= (i, j) [ (S
1
, Y
1
), . . . , (S
n
, Y
n
))
= q
ij
(1 e

i
t
)I(X(S
n
) = i)
X(t) = i : MP in i

kurz vor t.
I(A) Indikatorvariable =
_
_
_
1, A eingetreten
0, sonst.
Semi-MP als Zahlprozesse
SMP mit Ereignis h =

Ubergang von i j

ij
(t) = lim
.t0
P(N
j
(t +t) N
j
(t) = 1 [ (S
1
, Y
1
), . . . , (S
n
, Y
n
))
t
auf Y
n
= i, S
n
< t S
n+1

(a) N
j
(t) zahlt Besuche in j bis t

j
(t) =
ij
(t S
n
) auf Y
n
= i, S
n
< t S
n+1

(b) N
ij
(t) zahlt

Ubergange von i nach j bis t

ij
(t) =
ij
(t S
n
)I(X(S
n
) = i)
=
ij
(t S
n
)I(X(t) = i), auf S
n
< t S
n+1

KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 148
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 149
Erneuerungsprozess
7.2.2 Lebensdauern und Survivalanalyse
Lebensdauer/Ein-Sprung-Prozess
Sei T > 0 eine stetige Lebensdauer mit Verteilungsfunktion F(t), Dichte f(t) und Hazardrate (t).
Der Ein-Sprung-(Zahl)Prozess sei deniert durch
N(t) = I(T t), t 0.
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 150
Intensitatsprozess (nach Theorem von Aalen):
P(N(t +t) N(t) = 1 [ T
t
) = I(t < T) P(t < T t +t [ T > t)
= I(t < T)
F(t +t) F(t)
1 F(t)
(t+) = I(t < T)
f(t+)
1 F(t)
bzw.
(t) = I(t)(t)
mit (stetigem) (t) =
f(t)
1 F(t)
, I(t) = I(t T).
Zensierte Lebensdauer
Sei

T = min(T, U) eine zensierte Lebensdauer, mit U Zensierungszeit; T, U unabhangig.
D =
_
_
_
1, T U
0, T > U
= I(T U)

Zensierungsindikator
N(t) = I(

T t, D = 1) = I(T t, D = 1)
Sei N

(t) = I(T t), mit

(t) = I(t T)(t) der nicht beobachtbare, unzensierte Zahlprozess.


Wegen
N(t) = I(T U)I(T t)
= Z
T
I(T t)
=
_
t
0
Z
s
dN

(s), (Z
s
= I(s U), linksstetig)
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 151
ist
(t) = Z
t

(t) = I(t U)I(t T)(t) = I(t



T)(t).
Survival-Daten
Unzensierte Survivaldaten
T
1
, . . . , T
n
unabhangige, nicht-negative ZV mit Hazardrate
i
(t);
f ur
i = 1, . . . , n Individuen mit
T
i
, i = 1, . . . , n als Survivalzeiten;
N
i
(t), I
i
(t) wie vorher f ur i = 1, . . . , n deniert.
N
i
(t), i = 1, . . . , n ist multivariater Zahlprozess mit Intensitatsprozessen

i
(t) = I
i
(t)
i
(t) und M
i
(t) = N
i
(t)
_
t
0

i
(s)ds

N(t) =

n
i=1
N
i
(t) zahlt die beobachteten Todesfalle in [0, t].
Bei homogener Population:
i
(t) (t), i = 1, . . . , n.


N(t) hat Intensitatsprozess
(t) =
n

i=1

i
(t) = (t) I(t) mit
I(t) =
n

i=1
I
i
(t) = Anzahl der Individuen unter Risiko bis

kurz vor t.

M(t) =

N(t)
_
t
0
(s)ds Martingal.
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 152
Rechtszensierte Survivaldaten
Die Beobachtung von N
i
(t), i = 1, . . . , n wird nach einer (zufalligen) Zeit U
i
gestoppt.
Zensierungsprozess C
i
(t) = I(t U
i
).
Beobachtungen: (

T
i
, D
i
), i = 1, . . . , n
mit

T
i
= min(T
i
, U
i
)
D
i
= I(

T
i
= T
i
) =
_
_
_
1, Beobachtung i unzensiert
0, Beobachtung i zensiert
D
i
heit Zensierungsindikator.
Zahlprozess:
N
C
i
(t) = I(

T
i
t, D
i
= 1)
Intensitatsprozess:

C
i
(t) =
i
(t)I
C
i
(t), I
C
i
(t) = I(

T
i
t) =
_
_
_
1, t

T
i
0, sonst
Bei homogener Population:
T
1
, . . . , T
n
iid
i
(t) (t), i = 1, . . . , n

N
C
(t) =
n

i=1
N
C
i
(t),
C
(t) = (t)
n

i=1
I
C
i
(t) = (t)I
C
(t),
mit I
C
(t) = Anzahl aller Individuen unter Risiko bis

kurz vor t.
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 153
7.3 Ein allgemeines Zahlprozess-Modell
Viele Beispiele in 7.2 haben die gleiche Struktur. Es liegt jeweils ein (multivariater) Zahlprozess
N
h
(t), h = 1, . . . , k mit einem Intensitatsprozess

h
(t) =
h
(t)I
h
(t)
vor. Dabei ist

h
(t) eine nichtnegative deterministische Funktion.
I
h
(t) ein nichtnegativer beobachtbarer vorhersagbarer Prozess.
(Hinreichend f ur Vorhersagbarkeit: I
h
(t) hat linksseitig stetige Pfade.)
Das Modell heit multiplikatives Intensitatsmodell (Aalen, 1978). Ein allgemeineres Modell erhalt
man, wenn man vorhersagbare Kovariablenprozesse mit zulasst.
Denition 7.4 Allgemeines Zahlprozess-Modell
Seien
N
hi
(t) die Anzahl von Typ-h-Ereignissen f ur Individuum i in [0, t],
z
i
(t), t 0 ein vorhersagbarer Kovariablenprozess,
I
hi
(t) vorhersagbarer Indikatorprozess mit
I
hi
(t) = 1
genau dann, wenn Individuum i unter Risiko f ur ein Typ-h-Ereignis bis unmittelbar vor t steht.
Dann wird N
hi
(t), t 0 durch den Intensitatsprozess

hi
(t) =
h
(t ; z
i
(t))I
hi
(t),
h = 1, . . . , k, i = 1, . . . , n speziziert.
Die Hazardrate
hi
(t) hangt damit von i uber den Kovariablenprozess z
i
(t) ab. Da dieser vorher-
sagbar sein soll, darf der Kovariablenprozess neben

externen Kovariablen auch Vergangenheitsinfor-


mation bis kurz vor t enthalten.
Das Modell lasst sich dahingehend erweitern, dass ein vorhersagbarer Zensierungsprozess C
i
(t), t
0, mit
C
i
(t) = 1 i ist zur Zeit t unter Beobachtung
vorliegt. Vorhersagbare C
i
(t) erhalt man insbesondere f ur

Typ I/II-Zensierung (

random censo-
ring), aber auch f ur kompliziertere Zensierungsmechanismen (vgl. Andersen et al. 1993, ch.3).
Dann ist in der Denition nur I
hi
(t) durch

I
hi
(t) = I
hi
(t)C
i
(t)
zu ersetzen.
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 154
Beispiel:
Parametrische Regressionsmodelle zur Survival- und Ereignisanalyse

hi
(t ; z
i
(t)) =
0h
(t ; ) exp(z
t
hi
(t)
h
) h = 1, . . . , k

0h
(t ; ) parametrische

Baseline-Hazardrate, z.B. die Hazardrate einer Weibull-Verteilung;


z
hi
(t) ein Vektor von Kovariablen, die auch zeitabhangig sein d urfen;

h
ein Parametervektor,

Eekt von z
hi
(t);
z
t
hi
(t) ein linearer Pradiktor.
F ur k = 1 erhalt man parametrische Modelle der Survivalanalyse.
Cox-Modell

hi
(t ; z
i
(t)) =
0h
(t) exp(z
t
hi
(t)
h
)
Dabei wird f ur die Baseline-Hazardrate
0h
(t) kein parametrisches Modell vorausgesetzt;
0h
(t)
wird entweder nicht oder in einem zweiten Schritt (nach der Schatzung von ) geschatzt.
F ur k = 1 und zeitkonstante Kovariablen z
it
x
i
erhalt man das klassische Cox- oder
Proportional-Hazards-Modell

i
(t) =
0
(t) exp(x
t
i
).
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 155
7.4 Statistische Inferenz f ur Survival- und Ereignisdaten
Dieser Abschnitt skizziert
die nonparametrische Schatzung von Hazardraten durch den Nelson-Aalen-Schatzer f ur eine
homogene Gruppe von Individuen,
parametrische und semiparametrische Likelihood-basierte Inferenz f ur Regressionsmodelle.
7.4.1 Nelson-Aalen-Schatzer
Voraussetzung: Es liegen Survivaldaten f ur eine homogene Gruppe von Individuen vor bzw. es gelte
das multiplikative Intensitatsmodell

h
(t) =
h
(t)I
h
(t)
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 156
von Abschnitt 7.3.
Gesucht ist ein Schatzer f ur die kumulierte Hazardfunktion

h
(t) =
_
t
0

h
(s)ds.
Die Idee zur Denition des Nelson-Aalen-Schatzers beruht auf der Doob-Meyer-Zerlegung. In

inni-
tesimaler Schreibweise gilt mit dem Zuwachs
dN
h
(t) = N
h
(t +dt) N
h
(t)
dN
h
(t) =
h
(t)I
h
(t)dt +
t
,

t
. . . Fehler (Martingaldierenz).
Idee: Bringe I
h
(t) auf die linke Seite und integriere
_
t
0
(I
h
(s))
1
dN
h
(s)
ist

nat urlicher Schatzer f ur


h
(t).
Problem: Moglicherweise I
h
(s) = 0.
Deshalb: Indikator
J
h
(t) =
_
_
_
1, I
h
(t) > 0
0, sonst
einf uhren. Dann erhalt man den Nelson-Aalen-Schatzer

h
(t) =
_
t
0
_
J
h
(s)
I
h
(s)
_
dN
h
(s)
mit
J
h
(s)
I
h
(s)
= 0 falls I
h
(s) = 0
Bemerkung: Das Integral ist eine einfache Summe:
Seien T
h1
< T
h2
< . . . beobachtete Sprungzeiten von N
h
. Dann
dN
h
(s) =
_
_
_
1, falls s Sprungzeit
0, sonst

h
(t) =

j: T
hj
t, I
h
(T
hj
)>0
[I
h
(T
hj
)]
1
d.h.

h
(t) wachsende, rechtsstetige Treppenfunktion mit Sprunghohen
1
I
h
(T
hj
)
an den beobachteten
Sprungzeiten T
hj
.
Mit Grenzwertsatzen f ur zeitstetige Martingale lassen sich (asymptotische) Kondenzbander, Tests
etc. ableiten (Andersen et al., 1993).
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 157
7.4.2 Parametrische und semiparametrische Likelihood-basierte Inferenz
Zunachst
Survivalanalyse, homogene Gruppe
T
1
, . . . , T
n
iid Lebensdauern,
Hazardrate (t ; ), z.B. Weibull-Hazardrate
Beobachtungen: (

T
i
, D
i
), i = 1, . . . , n im Intervall [0, t]

T
i
= min(T
i
, U
i
), D
i
Zensierungsindikator;
nichtinformative Rechtszensierung
Likelihood L() = L( [

T
i
, D
i
, i = 1, . . . , n) : ohne Beweis
L() =
n

i=1
(

T
i
; )
D
i
exp
_

_

T
i
0
(s ; )ds
. .
(

T
i
; )
_
log-Likelihood l() = log L() :
l() =
n

i=1
D
i
log((

T
i
; ))
n

i=1
_

T
i
0
(s ; )ds
Mit dem Zahlprozess N(t) und dem Indikatorprozess I(t) lasst sich l() auch schreiben als
l() =
_

0
log((s ; ))dN(s)
_

0
(s ; )I(s)ds.
F ur das MI-Modell
N = (N
1
, . . . , N
h
, . . . , N
k
),
h
(t) =
h
(t ; )I
h
(t)
lasst sich unter Regularitatsbedingungen zeigen
l() =
k

h=1
__

0
log(
h
(s ; ))dN
h
(s)
_

0

h
(s ; )I
h
(s)ds
_
(Aalen, 1978; Borgan, 1984, asymptotische Theorie)
Parametrische Regressionsmodelle
Individuen i = 1, . . . , n,
Typ-h-Ereignisse h = 1, . . . , k
N
hi
Zahlprozess f ur Individuum i mit Intensitatsprozess
hi
(t) =
hi
(t ; z
i
(t))I
hi
(t)
Multiplikatives Modell

hi
(t ; z
i
(t)) =
0h
(t ; )
. .
Baseline-Hazard (z.B. Weibull)
expz
t
hi
(t)
h

z
hi
(t) Kovariablen-Prozess, vorhersagbar

h
Parametervektor
KAPITEL 7. PUNKT- UND Z

AHLPROZESSE 158
Spezialfall: k = 1, klassisches

Cox-Modell
Dann lasst sich zeigen:
l(, ) =
k

h=1
n

i=1
__

0
log
0h
(s ; ) +z
t
hi
(s)
h
dN
hi
(s)
_

0

0h
(s ; ) exp(z
t
hi
(s)
h
)I
hi
(s)ds
_
Bemerkung: dN
hi
(s) hat Spr unge der Hohe 1 an Typ-h-Ereigniszeitpunkten, 0 sonst.
1. Integral = Summe.
Aber: 2. Integral muss ausgewertet werden.
Bemerkung: Samtliche Likelihoods sind Radon-Nikodym-Dichten
L() =
dP

d
P

Verteilung der

Daten
W-Ma zum Standard ( = 1) Poisson-Prozess.
Klassisches Cox-Modell

i
(t) =
0
(t) exp(x
t
i
)

0
(t) wird nicht mitgeschatzt, bleibt unspeziziert
lasst sich trotzdem durch maximieren einer

partiellen Likelihood, die nicht von


0
(t) abhangt,
schatzen.
Deshalb:

semiparametrischer Ansatz.
Kapitel 8
Markov-Prozesse mit stetigem
Zustands- und Parameterraum
Markov-Prozesse mit stetigem Zustandsraum S R (bzw. mehrdimensional S R
p
) und in stetiger
Zeit, insbesondere sogenannte Diusionsprozesse bzw. stochastische Dierentialgleichungen, bilden die
Grundlage f ur die moderne Stochastik von Finanzmarkten, aber auch f ur zahlreiche klassische natur-
wissenschaftliche Anwendungen.
Dieses Kapitel gibt dazu eine kurze, eher informelle Einf uhrung. Eine ausf uhrliche, mathematisch rigo-
rose Darstellung der Theorie bietet das Buch von ksendal (2000, 5. Auage); knapper und vereinfacht
ist Kapitel 6 in FKO. Eine anwendungsorientierte Einf uhrung in die Stochastik der Finanzmarkte ge-
ben Franke, Hardle und Hafner (2001), Korn und Korn (1999); ein Standardwerk im Bankbereich ist
Bingham und Kiesel (2004, 2. Auage).
Abschnitt 8.1 behandelt zunachst die geometrische Brownsche Bewegung, das Standardmodell f ur Ak-
tienkurse aus dem das ber uhmte Black-Scholes-Optionsmodell folgt, und motiviert die anschlieende
allgemeine Darstellung.
8.1 Modellierung von Aktienpreisen
8.1.1 Bonds (risikofreie Anlagen)
Sei zunachst r eine konstante Zinsrate, bezogen auf die Zeitperiode [0, T], z.B. 1 Jahr.
Erfolgt die Zinsauszahlung am (Jahres-)Ende, so ergibt sich mit dem Startkapital K (f ur t = 0)
K +rK = K(1 +r)
als Endkapital.
Erfolgen Zinsauszahlungen zu Zeitpunkten
i
n
, i = 1, . . . , n
159
KAPITEL 8. MP MIT STETIGEM ZUSTANDS- UND PARAMETERRAUM 160
ergibt sich nach einer Zeiteinheit (t = 1) das Kapital
K(1) = K
_
1 +
r
n
_
n
.
Bei zeitstetiger Betrachtung liefert der Grenz ubergang n
K(1) = K e
r1
,
bzw. allgemein f ur beliebiges t [0, T], und mit K = 1,
K(t) = e
rt
(zeitstetige Zinseszinsformel).
Bei einer zeitabhangigen Zinsrate r(t) gilt analog
K(t) = exp
__
t
0
r(s)ds
_
.
K(t) ist auch die (eindeutige) Losung der Dierentialgleichung
dK(t)
dt
= K(t)r(t) ; K(0) = 1.
8.1.2 Die geometrische Brownsche Bewegung als Aktienkursmodell
Das klassische wegen seiner Vereinfachungen kritisierbare Aktienkursmodell, das auch die Grund-
lage des urspr unglichen Black-Scholes-Ansatzes der Optionspreistheorie darstellt, ist die geometrische
Brownsche Bewegung. Zu ihr kommt man uber verschiedene

Uberlegungen.
Logarithmiert man f ur eine konstante Zinsrate das Kapital K(t), erhalt man
ln(K(t)) = rt,
also einen linearen Trend. Unterstellt man nun f ur einen Aktienkurs ein analoges Trendverhalten, das
aber von einem stochastischem

Risiko additiv uberlagert wird, so bietet sich


ln(S(t)) = t +W(t)
als Modell an. Dabei ist eine zeitkonstante

Zins-Rate, und W(t) ein standardisierter Wiener-


Prozess (d.h. mit Varianz 1). Dass W(t) eine sinnvolle, rein zufallige Storung (

Rauschen, noise)
ist, ergibt aus der Herleitung von W(t) als Grenzfall der zeitdiskreten symmetrischen Irrfahrt. Der
Varianzparameter wird oft als

Volatilitat bezeichnet.
Man sieht, dass die

Rendite
Y (t) = ln(S(t))
ein Wiener-Prozess mit Drift ist, also ein Wiener-Prozess, uberlagert mit dem Erwartungswert t.
S(t) selbst heit geometrische Brownsche Bewegung.
Es lasst sich zeigen, dass
S(t) = exp (t +W(t)) = exp
__

1
2

2
_
t +W(t)
_
KAPITEL 8. MP MIT STETIGEM ZUSTANDS- UND PARAMETERRAUM 161
und E(S(t)) = exp
_
( +
1
2

2
)t
_
= exp( t) gilt, mit

Drift = +
1
2

2
.
Ein anderer und besser generalisierbarer Zugang erfolgt uber eine stochastische Version der de-
terministischen Dierentialgleichung f ur K(t) in 8.1.1. Nehmen wir an, dass die konstante Zinsrate von
zeitstetigem

Weien Rauschen (t) =


dW(t)
dt
, den Zuwachsen des Wiener-Prozesses in innitesimalen
bzw. kleinen Zeiteinheiten dt , uberlagert ist , so erhalt man (informell)
dS(t)
dt
= S(t)
_
+
dW(t)
dt
_
= S(t) +S(t)
dW(t)
dt
.
Wir wissen aus Kapitel 1, dass die Pfade von W(t) nirgends dierenzierbar sind. Man schreibt deshalb
dS(t) = S(t)dt +S(t)dW(t),
und prazisiert mit einem eigenen stochastischen Kalk ul (dem Ito-Calculus) die Denition einer der-
artigen stochastischen Dierentialgleichung, siehe Abschnitt 8.3 bzw. FKO, Kaptitel 6, und ksendal
(2000). Dabei kann man dann z.B. die naheliegenden Erweiterungen zeitabhangiger Raten und Vola-
tilitaten
(t), (t)
zulassen.
8.2 Markov-Prozesse mit kontinuierlichem Zustandsraum
Wegen des kontinuierlichen Zustandsraums m ussen die Denitionen f ur MK und diskrete MP modi-
ziert werden.
KAPITEL 8. MP MIT STETIGEM ZUSTANDS- UND PARAMETERRAUM 162
Denition 8.1

Ubergangsfunktion
Ein SP X = X(t) , t 0 mit Zustandsraum R heit Markov-Prozess :
n N
0
s
0
, . . . , s
n
, s, t mit 0 s
0
< . . . < s
n
< s < t x
0
, . . . , x
n
, x, y R gilt
PX(t) y [ X(s) = x, X(s
n
) = x
n
, . . . , X(s
0
) = x
0
= PX(t) y [ X(s) = x
bzw. aquivalent dazu
PX(t) y [ X(s), . . . , X(s
0
) = PX(t) y [ X(s).
Die bedingte Verteilungsfunktion F(s, x, t, y) mit
F(s, x, t, y) := F
X(t)
(y [ X(s) = x) = PX(t) y [ X(s) = x
heit

Ubergangsfunktion. Besitzt sie eine Dichte f(s, x, t, y) so heit diese

Ubergangsdichte.
Wie bei diskreten MP liegt die Bedeutung der

Ubergangsfunktionen(-dichten) darin, dass sich aus
ihnen und der Anfangsverteilung alle endlich-dimensionalen Verteilungsfunktionen gewinnen lassen:
Sei F
0
(x) = PX(0) x die Anfangsverteilung.
Dann gilt f ur jeden MP (0 t
1
< t
2
< . . . < t
n
):
F
t
1
,...,t
n
(x
1
, . . . , x
n
) := PX(t
1
) x
1
, . . . , X(t
n
) x
n

=
_
+

_
x
1

. . .
_
x
n1

F(t
n1
,
n1
, t
n
, x
n
)
F(t
n2
,
n2
, t
n1
, d
n1
) . . . F(0, x
0
, t
1
, d
1
) F
0
(dx
0
);
speziell
F
t
(x) := PX(t) x =
_
+

F(0, x
0
, t, x) F
0
(dx
0
)
Falls

Ubergangsdichten existieren, so ergibt sich
f
t
1
,...,t
n
(x
1
, . . . , x
n
) =
_
+

f(t
n1
, x
n1
, t
n
, x
n
) f(t
n2
, x
n2
, t
n1
, x
n1
)
. . . f(0, x
0
, t
1
, x
1
) f
0
(x
0
)dx
0
.
Der Beweis verlauft prinzipiell genau wie im diskreten Fall durch wiederholte Anwendung der Markov-
Eigenschaft.
Denition 8.2 Homogener MP
Ein MP X heit homogen, wenn f ur die

Ubergangsfunktionen gilt
F(s +u, x, t +u, y) = F(s, x, t, y), 0 s t, u 0.
F ist dann nur eine Funktion von x, y und der Dierenz t s und wir schreiben deshalb
F(t, x, y) f ur F(u, x, u +t, y) bzw. f(t, x, y) f ur die Dichte.
KAPITEL 8. MP MIT STETIGEM ZUSTANDS- UND PARAMETERRAUM 163
Die Denition von kontinuierlichen Markov-Prozessen ist noch sehr allgemein und lasst z.B. auch
Prozesse mit unstetigen Pfaden zu. Eine allgemeine Darstellung w urde den Rahmen des Kapitels bei
weitem sprengen. Wir beschranken uns im weiteren auf Prozesse mit stetigen Pfaden. Das bekannteste
Beispiel ist der Wiener-Prozess. Es gilt:
Satz 8.1 Wiener-Prozess W ist MP
W ist ein homogener MP mit der

Ubergangsdichte
f(t, x, y) = (y; x,
2
t).
Beweis:

Ahnlich wie beim Poisson-Prozess. Aus der Unabhangigkeit der Zuwachse folgt die Markov-Eigen-
schaft. Weiter gilt
PW(t +s) y [ W(s) = x = PW(t +s) W(s) y x,
und aus der Normalverteilung der Zuwachse folgt die obige

Ubergangsdichte.
Bei der

Uberlagerung mit einem deterministischen Trend und der deterministischen exp-Transforma-
tion bleibt die Markov-Eigenschaft erhalten, so dass auch die geometrische Brownsche Bewegung aus
8.1.2 ein (homogener) MP ist.
8.3 Diusionsprozesse und stochastische Differentialgleichungen
Diusionsprozesse wurden zuerst als probabilistische Modelle f ur den physikalischen Prozess der Dif-
fusion deniert und eingef uhrt. Ein Spezialfall ist f ur ein isotropes Medium der Wiener-Prozess.
Die

klassische Denition von Diusionsprozessen besteht darin, dass man von den

Ubergangsfunk-
tionen ausgeht und an diese gewisse Bedingungen stellt. Die andere Moglichkeit besteht darin, von
einem Konstruktionsprinzip f ur die Pfade auszugehen. Dies f uhrt auf die Theorie der stochastischen
Dierentialgleichungen. Man kann zeigen, dass beide Zugange im wesentlichen dieselben MP liefern.
Da der zweite Zugang sich insbesondere auch zur Modellierung technischer und okonomischer Systeme,
die durch

Weies Rauschen gestort werden, eignet, betonen wir diesen konstruktiven Weg. Zunachst
die klassische
KAPITEL 8. MP MIT STETIGEM ZUSTANDS- UND PARAMETERRAUM 164
Denition 8.3
Ein Markov-Prozess x = X(t), t
0
t T mit R als Zustandsraum, dessen Pfade mit
Wahrscheinlichkeit 1 stetig sind, heit Diusionsprozess :
Die

Ubergangsfunktion F(s, x, t, y) erf ullt f ur jedes > 0 die folgenden Bedingungen:
lim
.t0
1
t
_
[yx[>
F(t, x, t +t, dy) = 0 (8.1)
lim
.t0
1
t
_
[yx[
(y x) F(t, x, t +t, dy) = a(t, x) (8.2)
lim
.t0
1
t
_
[yx[
(y x)
2
F(t, x, t +t, dy) = c(t, x) 0. (8.3)
Dabei heit a(t, x) Drift- und c(t, x) Diusionskoezient.
Bemerkung
Wir interpretieren X(t) als (eindimensionale) Ortskoordinate eines Teilchens. Die Bedingung (8.1)
besagt
P[X(t)[ [ X(t) = x = 1 o(t) , X(t) := X(t +t) X(t),
d.h. innerhalb kurzer Zeitspannen verbleibt das Teilchen mit groer Wahrscheinlichkeit in unmittel-
barer Nahe der Anfangslage X(t). 8.2 und 8.3 sind Bedingungen f ur die abgeschnittenen Momente 1.
und 2. Ordnung der Lageverschiebung wahrend einer kleinen Zeitspanne t. Dies ist notig, da die
gewohnlichen Momente nicht notwendig existieren m ussen. Ersetzen wir zu Interpretationszwecken in
8.2, 8.3 die abgeschnittenen durch die gewohnlichen Momente, so ist
E(X(t) [ X(t) = x) = a(t, x)t +o(t),
E([X(t)]
2
[ X(t) = x) = c(t, x)t +o(t)
und
Var(X(t) [ X(t) = x) = c(t, x)t +o(t).
Demnach ist a(t, x) die mittlere Geschwindigkeit der Teilchenbewegung (unter der Voraussetzung
X(t) = x), und c(t, x) misst die Starke der Abweichungen X(t) vom Mittelwert. In erster Naherung
ist also
X(t) a(t, X(t))t +b(t, X(t))
t
mit b(t, x) =
_
c(t, x) und einer N(0, t)-verteilten Storgroe
t
. F ur den Zuwachs W(t) = W(t +
t) W(t) des Wiener-Prozesses gilt nun W(t) N(0, t) und unter Normalverteilungsannahme
konnen wir schreiben
X(t) a(t, X(t))t +b(t, X(t))W(t).
Diese Idee wurde von Ito f ur den Zugang zu den Diusionsprozessen uber stochastische Dierenzial-
gleichungen benutzt. Der Grenz ubergang t 0 liefert formal die stochastische Dierentialgleichung
dX(t)
dt
= a(t, X(t)) +b(t, X(t))
dW(t)
dt
.
KAPITEL 8. MP MIT STETIGEM ZUSTANDS- UND PARAMETERRAUM 165
Da die Pfade von W jedoch mit Wahrscheinlichkeit 1 nirgends dierenzierbar sind, ist
dW(t)
dt
nicht
deniert. Ein Ausweg konnte sein, dass man zur Integralgleichung
X(t) = X(t
0
) +
_
t
t
o
a(s, X(s))ds +
_
t
t
0
b(s, X(s))dW(s)
ubergeht. W(t) ist aber (vgl. Kapitel 1) in jedem endlichen Intervall von unbeschrankter Variation
und damit ist auch das Integral nicht im ublichen Sinn deniert. Tatsachlich besteht nun der Ansatz
von Ito darin, dass man das rechte Integral in geeigneter Weise als

stochastisches Integral deniert


und den Begri

Losung geeignet erklart. Da man dann oft in Dierentialsymbolik


dX(t) = a(t, X(t))dt +b(t, X(t))dW(t)
schreibt, spricht man von stochastischen Dierentialgleichungen.
F ur eine exakte Denition verweisen wir auf FKO, Kapitel 6, und die Spezialliteratur.
Wir geben noch ohne Beweis einige Ergebnisse zur Losung linearer stochastischer Dierentialgleichun-
gen an. Die geometrische Brownsche Bewegung ist darin als Spezialfall enthalten.
Lineare SDGLen
Gegeben sei die allgemeine skalare lineare Gleichung
dX(t) = [A(t)X(t) +a(t)]dt + [B(t)X(t) +b(t)]dW(t) ,
mit Anfangswert X(t
0
). Wir setzen voraus, dass die Losung X(t) existiert. Dann gilt:
X(t) = (t)
_
X(t
0
) +
_
t
t
0

1
(s)[a(s) B(s)b(s)]ds +
_
t
t
0

1
(s)b(s)dW(s)
_
mit
(t) = exp
__
t
t
0
(A(s) B(s))
2
2
ds +
_
t
t
0
B(s) dW(s)
_
.
F ur den Erwartungswert m(t) := E(X(t)) gilt
m(t) = (t)
_
E(X(t
0
)) +
_
t
t
0

1
(s)a(s)ds
_
mit
(t) = exp
__
t
t
0
A(s)ds
_
,
d.h. m(t) ist die Losung der gewohnlichen Dierentialgleichung
dm(t)
dt
= A(t)m(t) +a(t), m(t
0
) = E(X(t
0
)).
Gilt B(t) 0, so ist X(t) ein Gau-Prozess, falls X(t
0
) konstant oder normalverteilt ist. Dabei ist
(s, t) := Cov(X(s), X(t)) durch
(s, t) = (s)(t)
_
Var(X(t
0
)) +
_
min(s,t)
t
0
_
b(u)
(u)
_
2
du
_
gegeben.
KAPITEL 8. MP MIT STETIGEM ZUSTANDS- UND PARAMETERRAUM 166
Beispiel: Ornstein-Uhlenbeck-Prozess
Die Modellierung der Brownschen Bewegung durch den Wiener-Prozess bedeutet, dass f ur das Teilchen
keine Geschwindigkeit deniert ist, da die Pfade des Wiener-Prozesses nicht dierenzierbar sind. Eine
realitatsnahere Modelierung f uhrt auf die sogenannte Langevin-Gleichung
dX(t)
dt
= aX(t) +a(t), a > 0, Weies Rauschen,
f ur eine der Geschwindigkeitskomponenten des Teilchens. Als SDGL formuliert ergibt dies
dX(t) = aX(t)dt +adW(t), Anfangswert X(0).
Damit ist
X(t) = X(0) exp(at) +a
_
t
0
e
a(ts)
dW(s)
Losung mit
m(t) = E(X(t)) = X(0) exp(at),
(s, t) = Cov(X(s), X(t)) = exp(a(s +t))Var(X(0)) +
a
2
exp(a[s t[) exp(a(s +t)))
Var(X(t)) = exp(2at)Var(X(0)) +
a
2
(1 exp(2at)).
F ur normalverteiltes oder konstantes X(0) ist X ein Gau-Prozess und heit Ornstein-Uhlenbeck-
Geschwindigkeitsprozess.
F ur t geht m(t) 0, Var(X(t))
a
2
. Startet man mit X(0) N(0,
a
2
) so ist X ein stationarer
Gau-Prozess mit
m(t) 0 und (s, t) =
a
2
exp(a [s t[).