Skript Markovketten

WS 2015/16
Notizen zur Vorlesung

Markovketten (MA2404)
Silke Rolles
26. Juli 2022
Erstellt von Jonas Keinholz.

Inhaltsverzeichnis 2
Inhaltsverzeichnis
Vorwort 3
1 Definition 3
2 Existenz und Markov-Eigenschaft 9
3 Die endlich dimensionalen Verteilungen einer Markovkette 15
4 Kommunikation und Periode 18
5 Stationarität 25
6 Starke Markov-Eigenschaft 33
7 Rekurrenz 37
8 Konvergenzsatz 48
9 Ergodensatz 56
10 Monte-Carlo Simulation 59
1 Definition 3
Vorwort
Diese Aufzeichnungen sind ausschließlich für die Studierenden der Vorlesung “Markov-
ketten” bestimmt. Es handelt sich um die Vorlesungsvorbereitung der Dozentin, die den
Studenten der Vorlesung zur Verfügung gestellt wird. Die Weitergabe oder Verbreitung
ist nicht erlaubt. Den Aufzeichnungen liegt das Buch “Markov chains. Gibbs Fields,
Monte Carlo Simulation, and Queues” von Pierre Brémaud [Bré99] zugrunde. Viele Pas-
sagen sind sehr nahe an dieser Quelle, jedoch nicht speziell gekennzeichnet. Diese Notizen
ersetzen kein Lehrbuch.
1 Definition
Vorlesung 1,
Motivation. Zur Einstimmung empfehle ich, das Vorwort des Buches [Bré99] zu lesen. 26.4.2022
Viele reale Phänomene werden gut durch stochastische Prozesse beschrieben. Zahllose
Beispiele finden sich in Biologie, Physik, Finanzwelt, Sozialwissenschaften usw.
• Ein Beispiel ist der Galton-Watson Prozess, der 1873 betrachtet wurde, um die
Frage nach dem Aussterben von Adelsgeschlechtern zu beantworten. Er dient als
einfaches Modell um die Entwicklung einer Population zu beschreiben. Siehe Bei-
spiel 2.6.
• Ein aktives Forschungsgebiet beschäftigt sich mit interagierenden Teilchensyste-

men, die z.B. die Interaktion einer Gruppe von Individuen beschreibt. Hier ist ein
Beispiel: Der Soziologe Phillip Bonacich (University of California at Los Angeles)
hat folgendes Modell zur sozialen Interaktion untersucht. Eine Gruppe von Indi-
viduen beschenkt sich. Wenn Person A Person B ein Geschenk gibt, erhöht das
die Wahrscheinlichkeit, dass Person B Person A beschenkt. Bonacich hat dieses
Modell in einem Computerlabor simuliert und analysiert. Es stellt sich die Frage,
ob sich nach einer gewissen Zeit ein Gleichgewicht einstellt und wenn ja, wie die
Gleichgewichtszustände aussehen.
Mathematisch kann man die Situation durch einen Markovprozess in kontinuier-
licher Zeit beschreiben. Solche Prozesse werden in der Mastervorlesung “Markov
processes” studiert.
Das Modell wurde von Bonacich und Liggett [BL03] und von Liggett und Rolles
[LR04] mathematisch analysiert. Es wurde folgende Dynamik betrachtet: Ange-
nommen, B gibt X ein Geschenk mit Wahrscheinlichkeit p(X). Wenn B gerade von
A ein Geschenk erhalten hat, ändert B seine Wahrscheinlichkeiten zu
( 1
0 2 p(X) für X 6= A,
p (X) = 1
2 (1 + p(X)) für X = A
ab. Im Gleichgewicht bilden sich sternförmige Gruppen. Jeder Stern hat genau
ein Individuum im Zentrum, das die restlichen Gruppenmitglieder beschenkt und
genau von diesen beschenkt wird.
Mathematische Modellbildung.
Definition 1.1. Ein stochastischer Prozess in diskreter Zeit ist eine Folge (Xt )t∈N0
von Zufallsvariablen auf demselben Wahrscheinlichkeitsraum (Ω, F, P ) mit Werten in
derselben Menge E:
Xt : Ω → E.
1 Definition 4
E heißt Zustandsraum. t wird als Zeit interpretiert. (Xt )t∈N0 beschreibt eine stochastische
Evolution im Lauf der Zeit. Ist Xt = i, so sagen wir, dass der Prozess zur Zeit t im
Zustand i ist.
Beispiel 1.2 (Stochastische Prozesse).
1. Wir werfen immer wieder dieselbe Münze, Xt = Ergebnis des t-ten Münzwurfs.
Standardannahme: Xt , t ∈ N0 sind unabhängig und identisch verteilt.
2. Die einfache Irrfahrt auf Z. Seien ξi , i ∈ N, unabhängig und identisch verteilt mit
P (ξi = 1) = 21 = P (ξi = −1). Sei
n
X
X0 = 0, Xn = ξi
i=1
die Position zur Zeit n ∈ N. Man kann sich den stochastischen Prozess wie folgt
vorstellen: Ein Teilchen startet in 0. Zu jedem Zeitpunkt t ∈ N0 wirft es eine
Münze. Wenn Kopf fällt, springt es nach rechts, sonst links.
1 1
2 2
... ...
−2 −1 0 1 2
In diesem Beispiel sind die Xn , n ∈ N0 , nicht unabhängig. Die Abhängigkeitsstruk-

tur ist aber einfach. Es gilt:
Xn+1 = Xn + ξn+1 , n ∈ N0 .
Die Zuwächse Xn+1 − Xn , n ∈ N0 , sind unabhängig und identisch verteilt. Xn+1

hängt nur von Xn und ξn+1 ab, man muss nicht zusätzlich X0 , X1 , . . . , Xn−1 ken-
nen.
Der Prozess hat ein Gedächtnis der Länge 1. Dies ist auch bei Markovketten der
Fall.
Eine Menge E heißt abzählbar, wenn sie endlich oder abzählbar unendlich ist.
Definition 1.3. Ein stochastischer Prozess (Xt )t∈N0 mit abzählbaren Zustandsraum E
heißt Markovkette, falls für alle n ∈ N und Zustände i, j, i0 , . . . , in−1 ∈ E mit
P (X0 = i0 , . . . , Xn−1 = in−1 , Xn = i) > 0 gilt:
P (Xn+1 = j | X0 = i0 , . . . , Xn−1 = in−1 , Xn = i) = P (Xn+1 = j | Xn = i). (1)
Falls zusätzlich die Wahrscheinlichkeit in (1) immer dann, wenn sie wohldefiniert ist,
unabhängig von n ist, spricht man von einer homogenen Markovkette. Die Eigenschaft
(1) heißt Markov-Eigenschaft.
Die Markov-Eigenschaft besagt, dass der nächste Zustand Xn+1 nur vom gegenwärti-
gen Zustand Xn , nicht aber von der Vergangenheit X0 , X1 , . . . , Xn−1 abhängt.
t
...
0 1 n−1 n n+1
Vergangenheit Gegenwart Zukunft

1 Definition 5
Lemma 1.4. Sei (Ω, F, P ) ein Wahrscheinlichkeitsraum und sei B ∈ F mit P (B) > 0.
Dann ist
P ( · | B) : F → [0, 1], A 7→ P (A | B)
ein Wahrscheinlichkeitsmaß.
Beweis. (P0) Zu zeigen: P (A|B) ∈ [0, 1] für alle A ∈ F.
Offensichtlich ist P (A|B) ≥ 0. Ausserdem gilt wegen der Monotonie von P
P (A ∩ B) P (B)
P (A|B) = ≤ = 1.
P (B) P (B)
P (Ω ∩ B)
(P1) P (Ω|B) = = 1.
P (B)
(P2) Für A1 , A2 , . . . ∈ F paarweise disjunkt gilt:
∞ S∞ ∞ ∞
!
[ P( i=1 (Ai ∩ B)) X P (Ai ∩ B) X
P Ai |B = = = P (Ai |B).
i=1
P (B) i=1
P (B) i=1
Definition 1.5. Eine Matrix Π ∈ [0, 1]E×E heißt stochastisch, falls

X
Π(i, j) = 1 für alle i ∈ E,
j∈E
d.h. wenn alle Zeilensummen 1 ergeben.

Definition 1.6. Eine stochastische Matrix Π ∈ [0, 1]E×E heißt Übergangsmatrix für die
homogene Markovkette (Xt )t∈N0 , falls
Π(i, j) = P (Xn+1 = j | Xn = i) für alle i, j ∈ E und n ∈ N0 mit P (Xn = i) > 0. (2)
Die Π(i, j) heißen Übergangswahrscheinlichkeiten.
Bemerkung 1.7. Typischerweise wählen wir den Zustandsraum E so, dass für alle
i ∈ E ein n ∈ N0 mit P (Xn = i) > 0 existiert. In diesem Fall ist jede (E × E)-Matrix Π,
die (2) erfüllt, stochastisch.
Beweis. Betrachte i ∈ E mit P (Xn = i) > 0 für ein n ∈ N0 . Dann gilt nach Lemma 1.4:
 
X X [
Π(i, j) = P (Xn+1 = j | Xn = i) = P  {Xn+1 = j} Xn = i = 1.
j∈E j∈E j∈E
Der Übergangsgraph einer Markovkette. Ein Graph G = (V, E) besteht aus einer
abzählbaren Knotenmenge V und einer Menge von gerichteten Kanten E ⊆ V × V. Ist
e = (i, j) ∈ E, so geht eine Kante von i nach j. Die Kante e = (i, i) ist eine Schleife bei
i.
i j
1 Definition 6
Definition 1.8. Sei (Xt )t∈N0 eine homogene Markovkette mit abzählbarem Zustands-
raum E und Übergangsmatrix Π. Der Übergangsgraph von (Xt )t∈N0 ist definiert durch
G = (V, E) mit
V=E und E = {(i, j) ∈ E × E : Π(i, j) > 0}.
Somit gibt es eine Kante von i nach j, wenn die Markovkette mit positiver Wahrschein-
lichkeit in einem Schritt von i nach j gelangen kann. Man beschriftet die Kante (i, j)
mit Π(i, j).
Beispiel 1.9 (Einfache Irrfahrt auf Z). Intuitiv ist klar, dass hier eine Markovkette
vorliegt (Beweis später).
• Zustandsraum: E = Z
• Übergangsgraph
1 1 1 1
2 2 2 2
... ...
-2 1
-1 1
0 1
1 1
2
2 2 2 2
• Übergangsmatrix (
1
2, falls j ∈ {i − 1, i + 1},
Π(i, j) =
0, sonst.
Beispiel 1.10 (Stark vereinfachtes Modell für das Wetter in Los Angeles). Homogene
Markovkette mit Zustandsraum E = {s, r}, wobei s = b Sonne, r =
b Regen. Die Zeit wird
in Tagen gemessen.
• Übergangsmatrix
s r !
9 1
s 10 10
1 1
r 2 2
• Übergangsgraph
9 1
10 1 2
2
s r
1
10
9
Wenn es an einem Tag sonnig ist, ist es mit Wahrscheinlichkeit 10 am nächsten Tag
wieder sonnig.
Das folgende Kriterium ist oft nützlich, um nachzuweisen, dass ein stochastischer Vorlesung 2,
Prozess eine Markovkette ist. 3.5.2022
Satz 1.11. Sei (Xt )t∈N0 ein stochastischer Prozess mit abzählbaren Zustandsraum E und
sei Π ∈ [0, 1]E×E eine stochastische Matrix. Wenn für alle n ∈ N und i, j, i0 , . . . , in−1 ∈ E
mit P (X0 = i0 , . . . , Xn−1 = in−1 , Xn = i) > 0 gilt:
P (Xn+1 = j | X0 = i0 , . . . , Xn−1 = in−1 , Xn = i) = Π(i, j), (3)
dann ist (Xt )t∈N0 eine homogene Markovkette mit Übergangsmatrix Π.
1 Definition 7
Beweis. Wir zeigen zuerst folgende Behauptung: Für alle n ∈ N, i0 , . . . , in ∈ E mit

P (X0 = i0 , . . . , Xn−1 = in−1 ) > 0 gilt
n−1
Y
P (X0 = i0 , . . . , Xn = in ) = P (X0 = i0 ) Π(ik , ik+1 ). (4)
k=0
Dies folgt mit vollständiger Induktion über n ∈ N0 .

n = 0: klar
n → n + 1: Mit An = {X0 = i0 , . . . , Xn = in } gilt:
P (X0 = i0 , . . . , Xn = in , Xn+1 = in+1 ) =P (An )P (Xn+1 = in+1 | An )

=P (An )Π(in , in+1 )
wegen (3). Damit folgt die Behauptung (4) aus der Induktionsvoraussetzung.
Seien n ∈ N und i0 , . . . , in+1 ∈ E mit P (X0 = i0 , . . . , Xn = in ) > 0. Um die Markov-
Eigenschaft (1) zu zeigen, genügt es, folgende Behauptung zu beweisen:
P (Xn+1 = in+1 |Xn = in ) = Π(in , in+1 ).
Sei dazu I = {(i00 , . . . , i0n−1 ) ∈ E n : P (X0 = i00 , . . . , Xn−1 = i0n−1 , Xn = in ) > 0}. Aus (4)
folgt:
P (X0 = i00 , . . . , Xn−1 = i0n−1 , Xn = in )

X
P (Xn = in ) =
(i00 ,...,i0n−1 )∈I
n−2
P (X0 = i00 ) Π(i0k , i0k+1 )Π(i0n−1 , in ).
X Y
=
(i00 ,...,i0n−1 )∈I k=0
Analog ergibt sich
P (Xn+1 = in+1 , Xn = in )
P (X0 = i00 , . . . , Xn−1 = i0n−1 , Xn = in , Xn+1 = in+1 )
X
=
(i00 ,...,i0n−1 )∈I
n−2
P (X0 = i00 ) Π(i0k , i0k+1 )Π(i0n−1 , in )Π(in , in+1 )
X Y
=
(i00 ,...,i0n−1 )∈I k=0
=P (Xn = in )Π(in , in+1 ).
Damit folgt die Behauptung:
P (Xn+1 = in+1 , Xn = in )
P (Xn+1 = in+1 |Xn = in ) = = Π(in , in+1 ).
P (Xn = in )
Beispiel 1.12. In einem Café kommt Kaffeemaschine 1 ab Zeit 0 zum Einsatz. Zur Zeit
U1 geht sie kaputt und wird durch Kaffeemaschine 2 ersetzt, die Lebensdauer U2 hat,
usw.
Für n ∈ N sei Un die Lebensdauer der n-ten Kaffeemaschine.
Annahme: Un , n ∈ N, sind unabhängig und identisch verteilt mit Werten in N und
P (U1 = i) > 0 für alle i ∈ N.
1 Definition 8
Sei Xn die Zeit, die die aktuelle Kaffeemaschine bereits eingesetzt wird. Z.B. erhalten
wir für U1 = 1, U2 = 4, U3 = 2, U4 = 3 folgendes Bild für n 7→ Xn :
Xn
0 1 2 3 4 5 6 7 8 9 10 n
U1 U2 U3 U4
R0 R1 R2 R3 R4
Die Zeiten R0 = 0, R1 , R2 , . . . , zu denen n 7→ Xn den Wert 0 annimmt, bezeichnet

man als Erneuerungszeiten. Zu diesen Zeiten beginnt der Prozess wieder von vorne.
Behauptung. (Xn )n∈N0 ist eine homogene Markovkette mit Zustandsraum N0 und
Übergangsmatrix
P (U1 > i + 1)

 P (U1 > i) = P (U1 > i + 1|U1 > i), falls j = i + 1,



Π(i, j) = 1 − Π(i, i + 1), falls j = 0,



0, sonst.

Übergangsgraph:
0 1 2 3
...
Beweis. Seien n ∈ N, j0 , . . . , jn−1 , i ∈ N0 mit
P (X0 = j0 , X1 = j1 , . . . , Xn−1 = jn−1 , Xn = i) > 0,
Dann gilt jn−1 = i − 1, jn−2 = i − 2, . . . , jn−i = 0. Wir setzen
A := {Xn−i−1 = jn−i−1 , . . . , X0 = j0 },
rn := |{k ∈ N : 1 ≤ Rk ≤ n}| = Anzahl der Erneuerungszeiten bis zur Zeit n.
Wir berechnen
P (Xn+1 = i + 1, Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 )

= P ({Xn+1 = i + 1, Xn = i, Xn−1 = i − 1, . . . , Xn−i = 0} ∩ A)
∞
X
= P ({Xn+1 = i + 1, Xn = i, . . . , Xn−i = 0, rn = k} ∩ A)
| {z }
k=0
={Rk =n−i,Uk+1 >i+1}
Wir wissen: Rk = U1 + · · · + Uk . Weiterhin hängt {Rk = n − i} ∩ A

nur von U1 , . . . , Uk ab, ist also unabhängig von {Uk+1 > i + 1}.
∞
X
= P (Uk+1 > i + 1)P ({Rk = n − i} ∩ A)
k=0
∞
X
= P (U1 > i + 1) · S mit S = P ({Rk = n − i} ∩ A),
k=0
da Uk+1 dieselbe Verteilung wie U1 hat.

Dasselbe Argument liefert
P (Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 ) = P (U1 > i) · S.
Damit ergibt sich
P (U1 > i + 1)
P (Xn+1 = i + 1 | Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 ) = = Π(i, i + 1).
P (U1 > i)
Weiter gilt mit B := {Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 }):
1 = P (Xn+1 ∈ {0, i + 1} | Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 )

= P (Xn+1 = 0 | B) + P (Xn+1 = i + 1 | B)
| {z }
=Π(i,i+1)
Es folgt
P (Xn+1 = 0 | B) = 1 − Π(i, i + 1) = Π(i, 0).
Da Π eine stochastische Matrix ist, folgt die Behauptung aus Satz 1.11.
2 Existenz und Markov-Eigenschaft

Frage: Existiert zu jeder stochastischen Matrix Π eine Markovkette mit Übergangsmatrix
Π?
Satz 2.1. Seien Zn , n ∈ N, unabhängig und identisch verteilt auf einem Wahrschein-
lichkeitsraum (Ω, F, P ) mit Werten in F und sei E abzählbar. Sei f : E × F → E eine
messbare Funktion und sei X0 : Ω → E eine Zufallsvariable, die unabhängig von Zn ,
n ∈ N, ist. Wir setzen
Xn+1 := f (Xn , Zn+1 ) für alle n ∈ N0 .
Dann ist (Xn )n∈N0 eine homogene Markovkette mit Zustandsraum E und Übergangsma-
trix
Π(i, j) = P (f (i, Z1 ) = j) für alle i, j ∈ E.
Beweis. Nach Definition gilt

X1 = f (X0 , Z1 ),
X2 = f (X1 , Z2 ) = f (f (X0 , Z1 ) , Z2 ) ,
X3 = f (X2 , Z3 ) = f (f (f (X0 , Z1 ) , Z2 ) , Z3 ) , usw.
Allgemein gilt für alle n ∈ N:
Xn = gn (X0 , Z1 , . . . , Zn )
mit einer messbaren Funktion gn .
Seien n ∈ N, i0 , . . . , in−1 , i, j ∈ E mit
P (Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ) > 0.
Wir setzen A := {Xn−1 = in−1 , . . . , X0 = i0 }. Es gilt:
P (Xn+1 = j | Xn = i, . . . , X0 = i0 )
= P (f (Xn , Zn+1 ) = j | {Xn = i} ∩ A)
= P (f (i, Zn+1 ) = j | {Xn = i} ∩ A) .
Dabei hängt {Xn = i} ∩ A nur von X0 , X1 , . . . , Xn und damit nur von
X0 , Z1 , . . . , Zn ab, und ist somit unabhängig von Zn+1 .
= P (f (i, Zn+1 ) = j)
= P (f (i, Z1 ) = j) =: Π(i, j),
da Zn+1 dieselbe Verteilung wie Z1 besitzt. Da Π eine stochastische Matrix ist, folgt aus
Satz 1.11 die Behauptung.
Beispiel 2.2. 1. Seien ξn , n ∈ N0 , unabhängige faire Münzwürfe, d.h. Vorlesung 3,

1 10.5.2022
P (ξn = −1) = = P (ξn = 1).
2
Wir setzen Zn := ξn für n ∈ N, f (i, j) = i + j und betrachten
X0 := 0, Xn+1 := f (Xn , Zn+1 ) = Xn + Zn+1 = Xn + ξn+1 .
Induktiv ergibt sich
n
X
Xn = ξi ,
i=1
d.h. (Xn )n∈N0 ist die einfache Irrfahrt auf Z. Wegen Satz 2.1 ist (Xn )n∈N0 eine
homogene Markovkette mit Übergangsmatrix
Π(i, j) = P (f (i, Z1 ) = j) = P (i + Z1 = j)
(
1
2, falls j ∈ {i + 1, i − 1},
= P (i + ξ1 = j) = P (ξ1 = j − i) =
0, sonst.
2. Seien Zn , n ∈ N0 , unabhängig und identisch verteilt mit Werten in einer abzähl-

baren Menge E. Wir setzen f (i, j) := j und betrachten
X0 := Z0 , Xn+1 := f (Xn , Zn+1 ) = Zn+1 .
Dann ist (Zn )n∈N0 eine homogene Markovkette mit Übergangsmatrix
Π(i, j) = P (f (i, Z1 ) = j) = P (Z1 = j) für i, j ∈ E.
Satz 2.1 ist in vielen (aber nicht in allen) Fällen nützlich, um nachzuweisen, dass ein
stochastischer Prozess eine Markovkette ist. In Beispiel 1.12 hilft er nicht.
Lemma 2.3. Sei E ein abzählbarer Zustandsraum, Π ∈ [0, 1]E×E eine stochastische Ma-
trix und Z ∼ Uniform [0, 1] gleichverteilt auf [0, 1]. Dann gibt es eine messbare Funktion
f : E × [0, 1] → E mit
P (f (i, Z) = j) = Π(i, j) für alle i, j ∈ E.
Beweis. • Fall E = N.
Für i ∈ N setzen wir
hP
j−1 Pj
f (i, z) := j für z ∈ k=1 Π(i, k), k=1 Π(i, k) und j ∈ N,
f (i, 1) := 1.
P∞
Dann ist f auf E ×[0, 1] definiert und messbar (Beachte Π(i, j) ≥ 0, k=1 Π(i, k) =
1). Für alle i, j ∈ N gilt:
P
j−1 Pj
P (f (i, Z) = j) = P k=1 Π(i, k) ≤Z< k=1 Π(i, k) = Π(i, j).
• Fall E = {1, . . . , n} für ein n ∈ N.

Ersetze „j ∈ N“ in der Definition von f durch „j ∈ {1, . . . , n}“.
Da sich jede abzählbare Menge bijektiv auf N oder {1, . . . , n} abbilden lässt, folgt die
Behauptung.
Satz 2.4. Sei E abzählbar und Π ∈ [0, 1]E×E eine stochastische Matrix. Seien Zn , n ∈ N
unabhängige Uniform [0, 1]-verteilte Zufallsvariablen auf einem Wahrscheinlichkeitsraum
(Ω, F, P ). Sei f : E × [0, 1] → E eine Funktion aus Lemma 2.3 und sei i0 ∈ E. Wir
definieren
X0 := i0 , Xn+1 := f (Xn , Zn+1 ) für n ∈ N0 .
Dann ist (Xn )n∈N0 eine homogene Markovkette mit Übergangsmatrix Π und P (X0 =
i0 ) = 1.
Beweis. Folgt aus Satz 2.1.
Korollar 2.5. Ist E abzählbar und Π ∈ [0, 1]E×E eine stochastische Matrix, so existiert
eine homogene Markovkette mit Übergangsmatrix Π.
Satz 2.4 gibt eine spezielle Konstruktion von Markovketten. Man nennt sie auch Dar-
stellung der Markovkette durch eine zufällige Abbildung. Ist E endlich und klein, so lässt
sich diese Darstellung zum Simulieren der Markovkette verwenden. Die Darstellung ist
nicht eindeutig, da z.B. f nicht eindeutig ist.
Beispiel 2.6 (Verzweigungsprozesse). Wir betrachten folgendes Modell: Sei ρ eine Ver-
teilung auf N0 . Jedes Individuum in einer gegebenen Population hat eine zufällige, gemäß
ρ verteilte Anzahl von Kindern, unabhängig von allen anderen Individuen.
Sei Xn die Anzahl Individuen in der n-ten Generation.

Im Fall ρ(0) = ρ(2) = 12 hat jedes Individuum 0 oder 2 Kinder, z.B.
X0 = 1
X1 = 2
X2 = 2
X3 = 4
usw.
(j)
Seien Zn , j, n ∈ N, unabhängig und identisch verteilt mit Verteilung ρ. Wir interpre-
(j)
tieren Zn als die Anzahl Kinder des j-ten Individuums in der (n − 1)-ten Generation
(wenn dieses Individuum existiert). Wir setzen
Xn
X (k)
X0 := 1, Xn+1 := Zn+1 für n ∈ N0 .
k=1
Dann beschreibt (Xn )n∈N0 die Situation von oben. Der Prozess heißt Verzweigungspro-
zess oder Galton-Watson-Prozess.
(k)
(Xn )n∈N0 ist eine Markovkette. Dies folgt aus Satz 2.1 mit Zn := (Zn )k∈N und
i
X
(k)
f (i, (z )k∈N ) := z (k) für i ∈ N0 , z (k) ∈ N0 ,
k=1
da
Xn
X (k)
Xn+1 = f (Xn , Zn+1 ) = Zn+1 .
k=1
Die Übergangswahrscheinlichkeiten sind gegeben durch
Π(0, 0) = 1
i
(k) (k)
= j) = ρ∗i ({j}),
X
Π(i, j) = P (f (i, (Z1 )k∈N ) = j) = P ( Z1 i ∈ N, j ∈ N0 ,
k=1
mit ρ∗i der i-fachen Faltung von ρ. Sei
p = P (Zn = 0 für ein n ∈ N)

(1)
die Aussterbewahrscheinlichkeit. Man kann zeigen, dass p nur von m = E[Z1 ], der
erwarteten Anzahl Kinder eines Individuums, abhängt. Es gilt:
• p = 1, falls m ≤ 1 und ρ(1) 6= 1. (Im Fall ρ(1) = 1 hat jedes Indivdiduum genau
ein Kind, so dass der Prozess nie ausstirbt.)
• p < 1, falls m > 1.
Definition 2.7. Für eine Markovkette (Xn )n∈N0 mit Zustandsraum E heißt das Wahr-
scheinlichkeitsmaß µ auf E gegeben durch
µ(A) := P (X0 ∈ A)
die Startverteilung der Markovkette.

Die Startverteilung ist die Verteilung von X0 . Sie ist durch

µ(x) := µ({x}) = P (X0 = x) für x ∈ E
eindeutig festgelegt, da
X
µ(A) = µ(x) für alle A ⊆ E.
x∈A
Für k ∈ E sei δk das Dirac-Maß in k, d.h.

(
1, falls k ∈ A,
δk (A) =
0, falls k ∈
/ A.
Satz 2.8 (Markov-Eigenschaft). Sei (Xn )n∈N0 eine Markovkette mit Übergangsmatrix Π.
Seien m ∈ N und k ∈ E mit P (Xm = k) > 0. Bezüglich des Wahrscheinlichkeitsmaßes
P̃ (·) := P ( · | Xm = k)
ist (X̃n := Xn+m )n∈N0 eine Markovkette mit Übergangsmatrix Π und Startverteilung δk .
Die Markovkette (X̃n )n∈N0 ist unter P̃ unabhängig von X0 , . . . , Xm .
Beweis. • Für alle i ∈ E gilt:
P̃ (X̃0 = i) = P (Xm = i | Xm = k) = δk ({i}).
Also hat (X̃n )n∈N0 Startverteilung δk .
• Die Markov-Eigenschaft ist eine Eigenschaft der Verteilung. Daher können wir
o.B.d.A. annehmen, dass (Xn )n∈N0 als Darstellung durch eine zufällige Abbildung
gegeben ist. Dazu seien (Zn )n∈N unabhängig und Uniform (0, 1)-verteilt, unabhän-
gig von X0 und sei f : E × [0, 1] → E eine messbare Funktion mit
P (f (i, Z1 ) = j) = Π(i, j)
für alle i, j ∈ E. Für alle n ∈ N0 sei
Xn+1 := f (Xn , Zn+1 ).
Wir setzen Z̃n := Zn+m für n ∈ N. Nach Konstruktion ist Xm eine Funktion von
X0 , Z1 , . . . , Zm , d.h. Xm = g(X0 , Z1 , . . . , Zm ).
• Behauptung. Unter P̃ sind Z̃n , n ∈ N, unabhängig und Uniform (0, 1)-verteilt und
unabhängig von X̃0 .
Beweis. Sei l ∈ N. Für A1 , . . . , Al ⊆ [0, 1] Borel-messbar und i ∈ E gilt:
P̃ (Z̃1 ∈ A1 , . . . , Z̃l ∈ Al , X̃0 = i)
= P (Zm+1 ∈ A1 , . . . , Zm+l ∈ Al , Xm = i | Xm = k)
= δk ({i})P (Zm+1 ∈ A1 , . . . , Zm+l ∈ Al | Xm = k)
= P̃ (X̃0 = i)P (Zm+1 ∈ A1 , . . . , Zm+l ∈ Al )
da Xm = g(X0 , Z1 , . . . , Zm ) unabhängig von Zm+1 , . . . , Zm+l
= P (Z1 ∈ A1 ) . . . P (Zl ∈ Al )P̃ (X̃0 = i)
da die Zn , n ∈ N, unabhängig und identisch verteilt sind.
Insbesondere gilt für alle j Vorlesung 4,
17.5.2022
P̃ (Z̃j ∈ A) = P (Z1 ∈ A),
d.h. unter P̃ ist Z̃j Uniform (0, 1)-verteilt. Ausserdem sind X̃0 , Z̃1 , . . . , Z̃l bzgl. P̃
unabhängig.
• Weiter gilt:
P̃ (f (i, Z̃1 ) = j) = P (f (i, Z1 ) = j) = Π(i, j) für alle i, j ∈ E,
und
X̃0 = Xm ,
X̃n+1 = Xn+m+1 = f (Xn+m , Zn+m+1 ) = f (X̃n , Z̃n+1 ).
Dies ist eine Darstellung durch eine zufällige Abbildung für (X̃n )n∈N0 . Nach Satz
2.1 ist (X̃n )n∈N0 eine Markovkette mit Übergangsmatrix Π.
• Für k, l ∈ N0 sei [k, l] = {i ∈ N0 : k ≤ i ≤ l}. Für I ⊆ N0 sei XI = (Xi )i∈I .

Sei [m] = {0, . . . , m} und i ∈ E [m] mit P̃ (X[m] = i) > 0. Dann ist im = k und
P (X[m] = i) > 0. Sei n ∈ N, j ∈ E [n] mit j0 = k. Es gilt:
P̃ (X[m] = i, X̃[n] = j) = P̃ (X̃[n] = j|X[m] = i)P̃ (X[m] = i). (5)
Wir berechnen die bedingte Wahrscheinlichkeit:
P̃ (X[m,m+n] = j, X[m] = i)
P̃ (X̃[n] = j|X[m] = i) =
P̃ (X[m] = i)
P (X[m,m+n] = j, X[m] = i, Xm = k) P (Xm = k)
=
P (Xm = k) P (X[m] = i, Xm = k)
=P (X[m,m+n] = j|X[m] = i, Xm = k)
=P (X[m,m+n] = j|X[m] = i)
Für 0 ≤ ` ≤ n sei j[0,`] = (ji )i∈[0,`] . Damit erhalten wir
P (X[m,m+n] = j|X[m] = i)
P (X[m,m+n] = j, X[m] = i)
=
P (X[m] = i)
n−1
Y P (X[m,m+`+1] = j[0,`+1] , X[m] = i)
=
`=0
P (X[m,m+`] = j[0,`] , X[m] = i)
n−1
Y
= P (Xm+`+1 = j`+1 |X[m,m+`] = j[0,`] , X[m] = i)
`=0
n−1
Y
= Π(j` , j`+1 ) nach Definition der Markovkette
`=0
=P̃ (X̃[n] = j[n] ),
da X̃ unter P̃ eine Markovkette mit Übergangsmatrix Π ist. Das letzte Gleich-

heitszeichen verwendet die Aussage (a) ⇒ (b) aus Satz 3.1.
Einsetzen in (5) liefert
P̃ (X[m] = i, X̃[n] = j) = P̃ (X[m] = i)P̃ (X̃[n] = j).
Also sind (X̃n )n∈N0 und X[m] unter P̃ unabhängig.

Aufgabe 2.9. Zeigen Sie folgende Aussage: Sei (Xn )n∈N0 ein stochastischer Prozess mit
Zustandsraum E und seien k ∈ E, m ∈ N mit P (Xm = k) > 0. Wie oben seien X̃n :=
Xn+m und P̃ (·) := P (·|Xm = k). Falls (X̃n )n∈N0 unter P̃ unabhängig von X0 , . . . , Xm
ist, dann gilt für alle j, i0 , . . . , im−1 ∈ E mit P (X0 = i0 , . . . , Xm−1 = im−1 , Xm = k) > 0:
P (Xm+1 = j|X0 = i0 , . . . , Xm−1 = im−1 , Xm = k) = P (Xm+1 = j|Xm = k).
3 Die endlich dimensionalen Verteilungen einer

Markovkette
Satz 3.1. Seien E abzählbar, Π ∈ [0, 1]E×E eine stochastische Matrix und µ ein Wahr-
scheinlichkeitsmaß auf E. Für eine Folge (Xn )n∈N0 von Zufallsvariablen mit Werten in
einer abzählbaren Menge E sind äquivalent:
(a) (Xn )n∈N0 ist eine Markovkette mit Übergangsmatrix Π und Startverteilung µ.
(b) Für alle n ∈ N0 , i0 , . . . , in ∈ E gilt:
P (X0 = i0 , X1 = i1 , . . . , Xn = in ) = µ(i0 ) · Π(i0 , i1 ) · Π(i1 , i2 ) · . . . · Π(in−1 , in ).
(c) Für alle n ∈ N0 , A0 , . . . , An ⊆ E gilt:
P (X0 ∈ A0 , X1 ∈ A1 , . . . , Xn ∈ An )
X X X X
= µ(i0 ) Π(i0 , i1 ) Π(i1 , i2 ) · · · Π(in−1 , in ).
i0 ∈A0 i1 ∈A1 i2 ∈A2 in ∈An
Korollar 3.2. Startverteilung und Übergangsmatrix legen die endlich-dimensionalen

Verteilungen (d.h. die Wahrscheinlichkeiten aus Satz 3.1 (c)) einer Markovkette ein-
deutig fest.
Beweis von Satz 3.1.
(a) ⇒ (b): Beweis mit vollständiger Induktion über n.

– n = 0. P (X0 = i0 ) = µ(i0 ) nach Definition der Startverteilung.
– n → n + 1. Sei die Behauptung für n ∈ N0 richtig und i0 , i1 , . . . , in+1 ∈ E.
Wir setzen Ak := {X0 = i0 , . . . , Xk = ik } für k = n und k = n + 1. Es gilt,
falls P (An ) > 0:
P (X0 = i0 , . . . , Xn+1 = in+1 ) = P (An+1 ) = P (An ∩ {Xn+1 = in+1 })

= P (An ) P (Xn+1 = in+1 | An )
| {z }
=Π(in ,in+1 ) nach (a)
= µ(i0 ) · Π(i0 , i1 ) · . . . · Π(in−1 , in ) · Π(in , in+1 )
nach Induktionsvoraussetzung.
(b) ⇒ (c): Folgt aus der σ-Additivität von P .
(c) ⇒ (b): Klar.

(b) ⇒ (a): Für n = 0 liefert (b):
P (X0 = i0 ) = µ(i0 ) für alle i0 ∈ E.
Daher ist µ die Startverteilung.

Seien n ∈ N0 , i0 , . . . , in−1 , i, j ∈ E mit P (X0 = i0 , . . . , Xn−1 = in−1 , Xn = i) > 0.
| {z }
=:An
Es gilt:
P (An ∩ {Xn+1 = j})
P (Xn+1 = j | An ) =
P (An )
(b) µ(i0 ) · Π(i0 , i1 ) · . . . · Π(in−1 , i) · Π(i, j)
= = Π(i, j).
µ(i0 ) · Π(i0 , i1 ) · . . . · Π(in−1 , i)
Also ist (Xn )n∈N0 nach Satz 1.11 eine Markovkette mit Übergangsmatrix Π.
Wir identifizieren jede Verteilung µ auf E mit dem Zeilenvektor (d.h. der 1×E-Matrix)
(µ (i))i∈E .
Wir schreiben Pµ für das Wahrscheinlichkeitsmaß einer Markovkette mit Startverteilung

µ und setzen Pk := Pδk für k ∈ E. Unter Pk startet die Markovkette mit Wahrschein-
lichkeit 1 in k. Für n ∈ N0 bezeichne µn die Verteilung von Xn , d.h.
µn (A) = Pµ (Xn ∈ A) für A ⊆ E.
Insbesondere gilt:
µ0 = µ, µn (i) = Pµ (Xn = i) für alle i ∈ E.
Satz 3.3. Für eine Markovkette mit Startverteilung µ und Übergangsmatrix Π gilt für
alle n ∈ N0 :
µn = µΠn .
Dabei sind µn und µ als Zeilenvektoren zu verstehen und Πn ist die n-te Potenz der
Matrix Π; Π0 = Id = Einheitsmatrix.
Beweis. Für i ∈ E wenden wir Satz 3.1 (c) an mit A0 = · · · = An−1 = E und An = {i}:
µn (i) = Pµ (Xn = i)
X X X
= ··· µ(i0 ) · Π(i0 , i1 ) · . . . · Π(in−2 , in−1 ) · Π(in−1 , i) = (µΠn )(i).
i0 ∈E i1 ∈E in−1 ∈E
Mit Hilfe von Satz 3.3 kann man die Verteilung einer Markovkette zur Zeit n leicht
berechnen.
Beispiel 3.4 (Häggström). Betrachte das vereinfachte Modell für das Wetter in Los
Angeles von Beispiel 1.10: E = {s, r},
s r !
9 1
s 10 10
Π= 1 1
r 2 2

5 1
Für µ = 6, 6 (d.h. µ(s) = 56 , µ(r) = 16 ) gilt:
!
5 1 9
1
1 10 10
µ = µΠ = , 1 1
6 6 2 2
45 1 5 1

= + , +
60 12 60 12
50 10 5 1

= , = , = µ.
60 60 6 6
Für n ∈ N folgt:
µn = µΠn = µΠ · Πn−1 = µΠn−1 = µn−1 .
Somit folgt:
µn = µ0 = µ für alle n ∈ N.
D.h. für diese Wahl der Startverteilung µ hat Xn für alle n ∈ N0 dieselbe Verteilung,
nämlich µ. Das ist die Ausnahme. Z.B. ergibt sich für µ = (1, 0)
9 1

1
µ = µΠ = , 6= µ.
10 10
Satz 3.5. Sei (Xn )n∈N0 eine Markovkette mit Übergangsmatrix Π. Für alle m, n ∈ N0 , Vorlesung 5,
i, j ∈ E mit P (Xm = i) > 0 gilt: 24.5.2022
P (Xm+n = j | Xm = i) = Πn (i, j).
Beweis. Nach Satz 2.8 ist (X̃n = Xm+n )n∈N0 unter P̃ (·) = P (·|Xm = i) eine Markovkette
mit Übergangsmatrix Π und Startverteilung δi . Es folgt:
P (Xm+n = j | Xm = i) = P̃ (X̃n = j) = Πn (i, j).
Im letzten Schritt wurde Satz 3.3 verwendet.
Gegeben Xm = i ist die Wahrscheinlichkeit, n Schritte später in j zu sein, Πn (i, j).

Man nennt Πn (i, j) auch die n-Schritt Übergangswahrscheinlichkeit von i nach j.
Beispiel 3.6. Wir betrachten die symmetrische Irrfahrt auf der zyklischen Gruppe Z4 =
{0, 1, 2, 3}. Dies ist eine Markovkette mit E = Z4 und Übergangsgraph
1
2
0 1
1
1 1 2 1 1
2 2 1 2 2
2
3 1
2
2
Übergangsmatrix:
0 1 2 3
1 1
 
0 0 2 0 2
1 1
12 0 2 0

1 1
20 0
 
2 2 
3 12 0 1
2 0
Beobachtung: Wenn die Markovkette zur Zeit 0 in 0 startet, ist sie zu geraden Zeiten in
{0, 2}, zu ungeraden Zeiten in {1, 3}. Es gilt:
1 1 1 1
   1 1

0 2 0 2 0 2 0 2 2 0 2 0
1 0 1
0 1 0 1
0 0 1
0 1
Π2 =  2 2 Π3 = Π.
 2 2 2 2
= ,
  
1 1  1 1 1 1
0 0 2  0 0 0 0
 
2 2 2  2 2
1 1 1 1 1 1
2 0 2 0 2 0 2 0 0 2 0 2
Allgemein gilt für alle n ∈ N:
Π2n = Π2 , Π2n+1 = Π.
Damit ergibt sich für die Irrfahrt mit Start in 0, d.h. µ = (1, 0, 0, 0):
Verteilung von X2n (d.h. zu geraden Zeiten):
1 1

2n 2n 2
µ = µΠ = µΠ = , 0, , 0
2 2
Verteilung von X2n+1 (d.h. zu ungeraden Zeiten):
1 1

2n+1 2n+1
µ = µΠ = µΠ = 0, , 0,
2 2
Insbesondere konvergiert µn nicht für n → ∞, aber µ2n , n ∈ N, und µ2n+1 , n ∈ N, sind
konstant.
4 Kommunikation und Periode

Alle Eigenschaften dieses Kapitels lassen sich am Übergangsgraphen ablesen, ohne die
Übergangswahrscheinlichkeiten zu verwenden.
Definition 4.1. Seien i, j ∈ E.
• j ist von i erreichbar, i → j, falls n ∈ N0 existiert mit Πn (i, j) > 0.
• i und j kommunizieren, i ↔ j, falls i → j und j → i.
Wegen Π0 (i, i) = 1 gilt stets i → i.
Bemerkung 4.2. ↔ ist eine Äquivalenzrelation. Die Äquivalenzklassen heißen kommu-
nizierende Klassen.
Beweis. • Offenbar ist ↔ reflexiv und symmetrisch.
• Seien i, j, k ∈ E mit i ↔ j und j ↔ k.
Dann gibt es m, n ∈ N0 mit Πn (i, j), Πm (j, k) > 0. Es folgt:
X
Πn+m (i, k) = Πn (i, `)Πm (`, k) ≥ Πn (i, j)Πm (j, k) > 0,
`∈E
d.h. i → k. Analog ergibt sich k → i. Also i ↔ k und ↔ ist transitiv.
Definition 4.3. Eine nichtleere Menge C ⊆ E von Zuständen heißt abgeschlossen, wenn
für alle i ∈ C gilt: X
Π(i, j) = 1.
j∈C
Bei Start in C bleibt die Markovkette mit Wahrscheinlichkeit 1 in C.

Definition 4.4. Eine Markovkette heißt irreduzibel, wenn sie nur eine kommunizierende
Klasse besitzt, d.h. falls für alle i, j ∈ E mit i 6= j ein n = n(i, j) ∈ N mit Πn (i, j) > 0
existiert. Sonst heißt sie reduzibel.
Beispiel 4.5. Betrachte eine Markovkette mit folgendem Übergangsgraphen:
1 5
2 3
• 1↔2
i 6→ 1, i 6→ 2 für alle i 6= 1, 2
Daher ist {1, 2} eine kommunizierende Klasse.
• 4 6→ i für alle i 6= 4
Also ist {4} kommunizierende Klasse.
• 3 → 5 aber 5 6→ 3
Also sind {3} und {5} kommunizierende Klassen.
• Die Markovkette ist nicht irreduzibel.
• {4} ist abgeschlossen, ebenso {4, 5}, {3, 4, 5} und {1, 2, 3, 4, 5}
• Für jede Markovkette ist E abgeschlossen.
Definition 4.6. Für i ∈ E sei
T (i) := {n ≥ 1 : Πn (i, i) > 0}.
Der größte gemeinsame Teiler von T (i)
di := ggT(T (i))
heißt Periode von i. Konvention: ggT(∅) = ∞.

Falls di = 1, so heißt i aperiodisch. Eine Markovkette heißt aperiodisch, wenn alle
Zustände aperiodisch sind. Sonst heißt die Markovkette periodisch.
Beispiel 4.7 (Einfache Irrfahrt auf Z).
... ...
-2 -1 0 1 2
Für alle i ∈ Z gilt:

T (i) = 2N.
Somit hat jeder Zustand Periode 2.
Beispiel 4.8.
1 5
2 3
• T (1) = 2N ⇒ d1 = 2
Symmetrie zwischen 1 und 2, also d2 = 2
• 1 ∈ T (4) ⇒ d4 = 1
• Πn (3, 3) = 0 für alle n ≥ 1 ⇒ T (3) = ∅ ⇒ d3 = ∞.
• Analog d5 = ∞.
Lemma 4.9. Falls i ↔ j, so haben i und j dieselbe Periode.
Beweis. Sei i 6= j. Da i ↔ j, existieren r, s ∈ N mit
Πr (i, j) > 0 und Πs (j, i) > 0.
Für alle k ∈ T (i) gilt:

X X
Πs+k+r (j, j) = Πs (j, `)Πk (`, m)Πr (m, j) ≥ Πs (j, i)Πk (i, i)Πr (i, j) > 0.
`∈E m∈E
Wegen Π0 (i, i) = 1 gilt diese Ungleichung auch für k = 0:
Πs+r (j, j) > 0.
D.h. s + k + r ∈ T (j) und s + r ∈ T (j). Somit folgt:
dj | s + k + r und dj | s + r.
Also: dj | s + k + r − (s + r) = k für alle k ∈ T (i). Somit ist dj ein gemeinsamer Teiler

von T (i), also dj ≤ di . Aus Symmetriegründen folgt ebenso di ≤ dj . Also di = dj .
Definition 4.10. Die Periode einer irreduziblen Markovkette ist die Periode ihrer Zu-
stände.
Satz 4.11. Sei (Xn )n∈N0 eine irreduzible Markovkette mit Periode d. Für alle i, j ∈ E
existieren m = m(i, j) ∈ N0 und n0 = n0 (i, j) ∈ N0 , sodass für alle n ≥ n0 gilt:
Πm+nd (i, j) > 0.
Im Fall i = j können wir m = 0 wählen.
Korollar 4.12. Für eine irreduzible, aperiodische Markovkette mit endlichem Zustands-
raum existiert n0 ∈ N0 , sodass für alle i, j ∈ E und alle n ≥ n0 gilt:
Πn (i, j) > 0.
Beweis. Die Bezeichnungen seien wie in Satz 4.11. Dann gilt d = 1. Wir definieren
n1 := max (m(i, j) + n0 (i, j)) ∈ N0 .

i,j∈E
Dann gilt nach Satz 4.11 für alle n ≥ n1
Πn (i, j) = Πm(i,j)+(n−m(i,j)) (i, j) > 0.
Der Beweis von Satz 4.11 benötigt folgendes Lemma:
Lemma 4.13. Sei A = {a1 , a2 , . . . } ⊆ N eine Menge mit folgenden Eigenschaften:
(a) ggT(A) = 1
(b) a ∈ A und a0 ∈ A ⇒ a + a0 ∈ A
Dann existiert n0 ∈ N, sodass n ∈ A für alle n ≥ n0 .
Beweis. Brémaud, Satz 1.1 im Anhang.
Beweis von Satz 4.11. Sei i ∈ E. Wir betrachten
T (i) = {k ∈ N : Πk (i, i) > 0}.
Da die Markovkette irreduzibel ist, ist T (i) 6= ∅ und daher d ∈ N. Für k, ` ∈ T (i) gilt:
Πk+` (i, i) ≥ Πk (i, i)Π` (i, i) > 0
und somit folgt k + ` ∈ T (i).

Nach Voraussetzung hat i die Periode di = d. Daher erfüllt
1 k

A := T (i) = : k ∈ T (i)
d d
die Voraussetzungen von Lemma 4.13. Also existiert ein n0 ∈ N, sodass für alle n ≥ n0
gilt:
n∈A
und damit nd ∈ T (i), d.h.
Πnd (i, i) > 0.
Das beweist die Behauptung für i = j.
Seien nun i, j ∈ E. Da die Markovkette irreduzibel ist, existiert ein m ∈ N0 mit
Πm (i, j) > 0.
Wähle n0 ∈ N0 so, dass

Πnd (j, j) > 0 für alle n ≥ n0 .
Dann gilt für alle n ≥ n0 :
Πm+nd (i, j) ≥ Πm (i, j)Πnd (j, j) > 0.

Satz 4.14. Sei (Xn )n∈N0 eine irreduzible Markovkette mit Periode d ≥ 2. Dann existiert Vorlesung 6,
genau eine Partition C0 , . . . , Cd−1 des Zustandsraumes E, sodass für alle k = 0, . . . , d−1 31.5.2022
und i ∈ Ck gilt: X
Π(i, j) = 1.
j∈Ck+1
Dabei setzen wir Cd = C0 .
Beweis. Existenz. Für i, j ∈ E sei
i ∼ j :⇔ ∃n ∈ N0 mit Πnd (i, j) > 0

⇔ i und j kommunizieren bezüglich der Markovkette
mit Übergangsmatrix Πd .
Begründung für die letzte Implikation “⇒”: Angenommen Πnd (i, j) > 0. Da die Mar-
kovkette irreduzibel ist, existiert m ∈ N0 mit Πm (j, i) > 0. Damit folgt
Πnd+m (i, i) ≥ Πnd (i, j)Πm (j, i) > 0.
Da die Markovkette Periode d hat, gilt d|(nd + m) und daher d|m. Somit gibt es k ∈ N0
mit Πkd (j, i) > 0.
Insbesondere ist ∼ eine Äquivalenzrelation. Sei C0 eine beliebige Äquivalenzklasse
bezüglich ∼. Wir definieren
Ck+1 := {j ∈ E : ∃i ∈ Ck mit Π(i, j) > 0}, k ∈ N0 .
Dann gilt nach Konstruktion für alle k ∈ N0 und i ∈ Ck :

X X
Π(i, j) = Π(i, j) = 1.
j∈Ck+1 j∈E
Behauptung: C1 ist eine Äquivalenzklasse bezüglich ∼.

Offenbar ist C1 6= ∅ (da für i ∈ C0 für mindestens ein j ∈ E gilt: Π(i, j) > 0).
• Alle j, j 0 ∈ C1 sind äquivalent:

Es existieren i, i0 ∈ C0 mit
Π(i, j) > 0, Π(i0 , j 0 ) > 0.
Da die Markovkette irreduzibel ist, existiert ein m ∈ N0 mit
Πm (j, i) > 0.
Es folgt:
Πm+1 (j, j) ≥ Πm (j, i)Π(i, j) > 0.
Da j Periode d hat, gilt d | m + 1. Wegen i ∼ i0 existiert ein n ∈ N0 mit
Πnd (i, i0 ) > 0.
Es folgt:
Πm+nd+1 (j, j 0 ) ≥ Πm (j, i)Πnd (i, i0 )Π(i0 , j 0 ) > 0
und d | m + nd + 1. Also gilt j ∼ j 0 .
• Seien j ∈ C1 und j 0 ∈ E mit j ∼ j 0 . Dann gilt j 0 ∈ C1 :

Wähle
n ∈ N0 mit Πnd (j 0 , j) > 0,
i ∈ C0 mit Π(i, j) > 0,
0
i ∈E mit Π(i0 , j 0 ) > 0, (i0 existiert wegen der Irreduzibilität)
m ∈ N0 mit Πm (j, i) > 0.
Wegen
0 < Πm (j, i)Π(i, j) ≤ Πm+1 (j, j)
gilt d | m + 1. Es folgt d | 1 + nd + m und
Π1+nd+m (i0 , i) ≥ Π(i0 , j 0 )Πnd (j 0 , j)Πm (j, i) > 0.
Somit gilt i ∼ i0 . Da C0 eine Äquivalenzklasse bzgl. ∼ ist und i ∈ C0 , folgt i0 ∈ C0 .
Somit gilt j 0 ∈ C1 .
Damit ist gezeigt, dass C1 eine Äquivalenzklasse bezüglich ∼ ist. Induktiv folgt, dass
Ck für jedes k ∈ N0 eine Äquivalenzklasse bezüglich ∼ ist. Insbesondere gilt für alle
k, ` ∈ N0 : Ck = C` oder Ck ∩ C` = ∅. Außerdem ist Ck 6= ∅ für alle k ∈ N0 .
Behauptung: Cd = C0 .
Da C0 und Cd Äquivalenzklassen bezüglich ∼ sind, genügt es zu zeigen, dass Cd ⊆ C0 .
Sei id ∈ Cd . Nach Konstruktion existieren ik ∈ Ck , 0 ≤ k ≤ d − 1, mit Π(ik , ik+1 ) > 0
für 0 ≤ k ≤ d − 1. Es folgt:
d−1
Y
Πd (i0 , id ) ≥ Π(ik , ik+1 ) > 0
k=0
und somit i0 ∼ id , also id ∈ C0 . Damit folgt Cd ⊆ C0 , also C0 = Cd .

Da C0 eine beliebige Äquivalenzklasse ist, folgt:
Ckd+r = Cr für alle k ∈ N0 , r = 0, 1, . . . , d − 1.
Angenommen, C0 = C` für ein ` < d. Dann können wir wie oben zu i` ∈ C` Zustände
ik , 0 ≤ k ≤ ` − 1 mit Π(ik , ik+1 ) > 0 für alle k finden und es folgt
Π` (i0 , i` ) > 0.
Da i0 , i` ∈ C0 existiert m ∈ N0 mit Πmd (i` , i0 ) > 0. Es folgt
Π`+md (i0 , i0 ) ≥ Π` (i0 , i` )Πmd (i` , i0 ) > 0.
Da i0 Periode d hat, folgt d|` + md, also d|`. Dies ist im Widerspruch zu ` < d. Damit
ist die Existenz der Partition gezeigt.
Eindeutigkeit. Übung.
Beispiel 4.15. Betrachte eine Markovkette mit folgendem Übergangsgraph:
3 2
4 1
Die Markovkette ist irreduzibel und hat Periode 3.

Partition gemäß Satz 4.14 (eindeutig bis auf umnummerieren der Ck ):
C0 = {0},
C1 = {j : Π(0, j) > 0} = {2, 3},
C2 = {j : Π(2, j) > 0 oder Π(3, j) > 0} = {1, 4}.
Bemerkung 4.16. Nach Satz 4.14 lassen sich die Zustände einer irreduziblen Markov-
kette mit Periode d derart umsortieren, dass die Übergangsmatrix folgende Blockgestalt
hat:
C0 C1 C2 . . . Cd−2 Cd−1
 
C0 0 Π0 0 . . . ... 0
 .. 
C1   0 0 Π1 . 0  
..  .
. .. .. .. .. .. 
. . .
Π = ..  . . . 

. . . .

..  ..
 .. .. .. 0


 .. 
Cd−2  0

0 0 ... . Πd−2 

Cd−1 Πd−1 0 0 ... ... 0
Folglich hat auch Πn für jedes n Blockgestalt. Insbesondere ist Πnd für alle n eine Block-
diagonalmatrix.
Im Beispiel 4.15 ergibt sich damit:
C0 C1 C2
z}|{ z }| { z }| {
0 2 3 1 4
C0 { 0 1−p
 
0 p 0 0

Π= C 2 0 0 0 1 0 

1
3 0 0 0 0 1
 

 
1 1 0 0 0 0 
C2
4 1 0 0 0 0
Beispiel 4.17. 1. Irrfahrt auf Z
... ...
-2 -1 0 1 2

C0 = 2Z,
C1 = 2Z + 1.
2. Irrfahrt auf Z2
..
.
... ...
..
.
5 Stationarität 25
C0 = {(x, y) ∈ Z2 : x ≡ y mod 2}
= Menge der Punkte in Z2 , bei denen beide Koordinaten
gerade oder beide ungerade sind,
2
C1 = Z \ C0 .
5 Stationarität
Definition 5.1. Ein Wahrscheinlichkeitsmaß α heißt stationär für eine Markovkette mit
Übergangsmatrix Π, falls für alle i ∈ E gilt:
X
α(i) = α(j)Π(j, i).
j∈E
In Matrixnotation ist dies äquivalent zu
α = αΠ.
Gießt man an jedem Knoten j des Übergangsgraphen eine Menge α(j) Wasser in das
Netzwerk, so fließt α(j)Π(j, i) von j nach i. Ist α stationär, so ist die Bilanz bei jedem
Knoten ausgeglichen und das Netzwerk im Gleichgewicht.
Satz 5.2. Ist die Startverteilung µ der Markovkette (Xn )n∈N0 stationär, so hat Xn für
alle n ∈ N0 die Verteilung µ, d.h.
Pµ (Xn ∈ A) = µ(A)
für alle n ∈ N0 und A ⊆ E.

Beweis. Nach Satz 3.3 ist die Verteilung von Xn gegeben durch
µn = µΠn = µΠ Πn−1 = µΠn−1 = · · · = µΠ = µ.
Startet eine Markovkette in einer stationären Verteilung, so hat der Zustand zur Zeit
n dieselbe Verteilung wie der Zustand zur Zeit 0. In diesem Sinn ist die Kette im Gleich-
gewicht.
Beispiel 5.3 (Ehrenfest-Modell). Die Physiker Paul und Tatiana Ehrenfest haben es
1907 als vereinfachtes Modell für die Diffusion durch eine poröse Membran vorgeschla-
gen. Sie betrachteten ein Gefäß, das in zwei gleich große Kammern unterteilt ist, die
miteinander verbunden sind. Das Gefäß enthalte viele, z.B. N = 1023 , Gasmoleküle.
Modell. N Kugeln sind auf zwei Urnen U1 und U2 verteilt. Zu jeder Zeit n ∈ N0 wird
eine der N Kugeln ausgewählt und in die andere Urne gelegt. Sei Xn die Anzahl der
Kugeln in U1 zur Zeit n. Dann ist (Xn )n∈N0 eine Markovkette mit Übergangsmatrix Π
gegeben durch
i
Π(i, i − 1) = für 1 ≤ i ≤ N ,
N
i N −i
Π(i, i + 1) = 1 − = für 0 ≤ i ≤ N − 1,
N N
Π(i, j) = 0 für alle anderen Paare (i, j).
5 Stationarität 26
Der Zustandsraum ist E = {0, 1, . . . , N }. Übergangsgraph:
1
...
0
1
1 2 N −1 N
!
N 1
Behauptung. α(j) = für alle 0 ≤ j ≤ N ist eine stationäre Verteilung. Dies ist
j 2N
die Binomial (N, 12 )-Verteilung.
Wenn man die N Kugeln unabhängig voneinander mit Wahrscheinlichkeit 12 in U1 und
mit Wahrscheinlichkeit 12 in U2 legt, dann hat die Anzahl der Kugeln in U1 Verteilung α.
PN
Beweis. Zu zeigen: α(i) = j=0 α(j)Π(j, i) für alle 0 ≤ i ≤ N .
N 1 1 1
• Fall i = 0: α(1)Π(1, 0) = 1 2N · N = 2N
= α(0).
N 1 1 1
• Fall i = N : α(N − 1)Π(N − 1, N ) = N −1 2N · N = 2N
= α(N ).
• Fall 1 ≤ i ≤ N − 1:
α(i − 1)Π(i − 1, i) + α(i + 1)Π(i + 1, i)

! !
N 1 N − (i − 1) N 1 i+1
= · N · + · N ·
i−1 2 N i+1 2 N
N! 1 N −i+1 i+1

= N · +
2 N (i − 1)!(N − i + 1)! (i + 1)!(N − i − 1)!
!
N! 1 i + N − i N 1
= N · · = · = α(i).
2 N i!(N − i)! i 2N
Beispiel 5.4 (Symmetrische Irrfahrt auf Z).

(
1
2, falls j ∈ {i − 1, i + 1},
Π(i, j) = für alle i, j ∈ Z.
0, sonst,
Eine stationäre Verteilung α muss folgende Gleichung für alle i ∈ Z erfüllen: Vorlesung 7,
14.6.2022
X 1 1
α(i) = α(j)Π(j, i) = α(i − 1) + α(i + 1)
j∈Z
2 2
1 1
⇔ (α(i) − α(i − 1)) = (α(i + 1) − α(i))
2 2
⇒ α(i + 1) − α(i) = α(i) − α(i − 1)
= α(i − 1) − α(i − 2)
= α(1) − α(0).
Sei j ∈ N0 . Aufsummieren liefert :

j−1
X
α(j) − α(0) = (α(i + 1) − α(i)) = j(α(1) − α(0)).
i=0
5 Stationarität 27
Ausserdem gilt:
−1
X
α(0) − α(−j) = (α(i + 1) − α(i)) = j(α(1) − α(0))
i=−j
⇒ α(−j) − α(0) = −j(α(1) − α(0)).
Es folgt
α(j) = α(0) + j(α(1) − α(0)) für alle j ∈ Z.
Wäre α(1) − α(0) 6= 0, so wäre

lim |α(j)| = ∞.
j→∞
Wegen α(j) ∈ [0, 1] für alle j ∈ Z, ist das unmöglich. Also ist α(1) − α(0) = 0 und es
folgt:
α(j) = α(0) für alle j ∈ Z.
Wegen ( )
X X 0, falls α(0) = 0
α(j) = α(0) = 6= 1
j∈Z j∈Z ∞, falls α(0) > 0
gibt es keine stationäre Verteilung.
Beispiel 5.5. Betrachte eine Markovkette mit folgendem Übergangsgraph:
1
2
1
1
2 3 1
2
1 1
2
2
Übergangsmatrix:  
1 1
0
 12 2
1
Π= 0

2 2
0 0 1
α = ( 12 , 21 , 0) und β = (0, 0, 1) sind stationäre Verteilungen.
Bemerkung 5.6. Wenn eine Markovkette zwei verschiedene stationäre Verteilungen

besitzt, dann besitzt sie unendlich viele.
Beweis. Seien α und β stationäre Verteilungen. Für λ ∈ (0, 1) sei γλ := λα + (1 − λ)β.

Dann ist γλ ein Wahrscheinlichkeitsmaß. Es gilt:
γλ Π = (λα + (1 − λ)β)Π
= λαΠ + (1 − λ)βΠ
= λα + (1 − λ)β da α und β stationär
= γλ .
Also ist γλ stationär.

5 Stationarität 28
Beispiel 5.7. Betrachte das vereinfachte Modell für das Wetter in Los Angeles mit
E = {s, r} und Übergangsmatrix
s r !
s p 1−p
Π=
r q 1−q
mit unbekannten Übergangswahrscheinlichkeiten p und q. Man bestimme p und q so,

dass
35 1

α= ,
36 36
eine stationäre Verteilung der Markovkette ist.
Hintergrund: Los Angeles hat ca. 10 Regentage pro Jahr. Somit ist die Wahrschein-
lichkeit, dass es an einem Tag regnet
10 10 1
≈ ≈ = .
365 360 36
Es muss gelten:
αΠ = α
⇔ α(Π − Id) = 0
!
35 1 p−1 1−p

⇔ , = (0, 0)
36 36 q −q
⇔ 35(p − 1) + q = 0
⇔ q = 35(1 − p).
Für p ∈ [0, 1] ist q = 35(1 − p) ≥ 0. Es bleibt die Bedingung

34
q = 35(1 − p) ≤ 1 ⇔ ≤ p.
35
Für p ∈ [ 34
35 , 1] und q = 35(1 − p) ist α eine stationäre Verteilung.
Für p = 34 35 ergibt sich !
34 1
Π= 35 35 .
1 0
69
Für p = 70 ergibt sich !
69 1
Π= 70 70 .
1 1
2 2
Satz 5.8. Sei (Xn )n∈N0 eine Markovkette mit Übergangsmatrix Π und stationärer Ver-
teilung α mit α(i) > 0 für alle i ∈ E. Sei
α(j)Π(j, i)
Π0 (i, j) := für alle i, j ∈ E.
α(i)
Dann gilt für alle i, j ∈ E und n ∈ N0 :
Pα (Xn = j | Xn+1 = i) = Π0 (i, j).
Dies sind die Übergangswahrscheinlichkeiten rückwärts in der Zeit.

5 Stationarität 29
Beweis.
Pα (Xn+1 = i | Xn = j)
Pα (Xn = j | Xn+1 = i) = Pα (Xn = j)
Pα (Xn+1 = i)
Π(j, i)α(j)
= = Π0 (i, j).
α(i)
Definition 5.9. Sei (Xn )n∈N0 eine Markovkette mit Übergangsmatrix Π. Ein Maß α
auf E, das verschieden vom Nullmaß ist, heißt reversibel für die Markovkette, falls für
alle i, j ∈ E gilt:
α(i)Π(i, j) = α(j)Π(j, i).
Die Markovkette heißt reversibel, wenn sie ein reversibles Maß besitzt.
Gießt man an jedem Knoten j des Übergangsgraphen eine Menge α(j) Wasser in das
Netzwerk, so fließt α(i)Π(i, j) von i nach j und α(j)Π(j, i) von j nach i. Ist α reversibel,
so ist die Bilanz entlang jeder Kante im Gleichgewicht. Somit ist das Netzwerk lokal im
Gleichgewicht. Intuitiv ist klar, dass dann auch an jedem Knoten die Bilanz ausgeglichen
ist, was bei einer stationären Verteilung der Fall ist. Dies zeigt der folgende Satz.
Satz 5.10. Jede reversible Verteilung ist stationär.
Beweis. Sei α reversibel. Dann gilt für alle i ∈ E:
X X
α(j)Π(j, i) = α(i)Π(i, j) da α reversibel
j∈E j∈E
= α(i) da Π stochastische Matrix.
Bemerkung 5.11. Ist eine Markovkette reversibel mit einer reversiblen Verteilung, die
α(i) > 0 für alle i ∈ E erfüllt, so gilt
α(j)Π(j, i)
Pα (Xn = j | Xn+1 = i) = nach Satz 5.8
α(i)
α(i)Π(i, j)
= da α reversibel
α(i)
= Π(i, j) = Pα (Xn+1 = j | Xn = i)
für alle i, j ∈ E. D.h. die Übergangswahrscheinlichkeiten vorwärts und rückwärts in der

Zeit sind gleich, wenn man in der reversiblen Verteilung startet.
Bemerkung 5.12. Das Ehrenfestmodell ist reversibel mit reversibler Verteilung
!
N 1
α(j) = , 0 ≤ j ≤ N.
j 2N
Zur Erinnerung:
i
Π(i, i − 1) = für 1 ≤ i ≤ N ,
N
N −i
Π(i, i + 1) = für 0 ≤ i ≤ N − 1.
N
5 Stationarität 30
Zu zeigen:
α(i)Π(i, i + 1) = α(i + 1)Π(i + 1, i) für 0 ≤ i ≤ N − 1

! !
N N
⇔ Π(i, i + 1) = Π(i + 1, i)
i i+1
1 1
⇔ Π(i, i + 1) = Π(i + 1, i)
N − i | {z } i + 1 | {z }
= NN−i = i+1
N
Stimmt.
Beispiel 5.13. Wir betrachten eine Markovkette mit folgendem Übergangsgraphen:
1 2
Übergangsmatrix:  
0 1 0
Π = 0 0 1
 
1 0 0
Jedes reversible Maß α erfüllt:
α(1) Π(1, 2) = α(2) Π(2, 1) ⇒ α(1) = 0,

| {z } | {z }
=1 =0
α(2) Π(2, 3) = α(3) Π(3, 2) ⇒ α(2) = 0,
| {z } | {z }
=1 =0
α(3) Π(3, 1) = α(1) Π(1, 3) ⇒ α(3) = 0.
| {z } | {z }
=1 =0
(0, 0, 0) ist aber in der Definition eines reversiblen Maßes ausgeschlossen. Also ist die
Markovkette nicht reversibel.
Beispiel 5.14. Sei G = (V, E) ein Graph mit endlicher Knotenmenge V und einer Menge
E ungerichteter Kanten {i, j}. Sei di := |{e ∈ E : i ∈ e}| der Grad von i.
Die einfache Irrfahrt auf G ist eine Markovkette mit Zustandsraum V und Übergangs-
matrix (
1
, falls {i, j} ∈ E,
Π(i, j) = di
0, sonst.
Es gilt:
di Π(i, j) = dj Π(j, i)
für alle i, j ∈ V. Daher ist
di
, i ∈ V,
α(i) =
D
P
mit D := i∈V di ein reversibles Wahrscheinlichkeitsmaß.
Satz 5.15. Eine irreduzible Markovkette mit Übergangsmatrix Π besitzt genau dann ein Vorlesung 8,
reversibles Maß, wenn die beiden folgenden Bedingungen erfüllt sind: 21.6.2022
5 Stationarität 31
(a) Π(i, j) > 0 ⇒ Π(j, i) > 0

Qn
(b) Für alle n ∈ N und i0 , i1 , . . . , in = i0 mit j=1 Π(ij , ij−1 ) > 0 gilt
n
Y n
Y
Π(ij−1 , ij ) = Π(ij , ij−1 ).
j=1 j=1
D.h. für jeden Pfad mit gleichem Start- und Endpunkt ist die Wahrscheinlichkeit,
den Pfad vorwärts zu durchlaufen, gleich der Wahrscheinlichkeit, den Pfad rück-
wärts zu durchlaufen.
Beweis. “⇒": Sei die Markovkette reversibel mit reversiblem Maß α. Da die Markovkette
irreduzibel ist, gilt (Übung)
α(i) > 0 für alle i ∈ E.
Damit folgt (a) aus der Reversibilitätsgleichung.

Seien n ∈ N und i0 , i1 , . . . , in = i0 mit nj=1 Π(ij , ij−1 ) > 0. Es gilt:
Q
n n
Y Y α(ij−1 )Π(ij−1 , ij )
Π(ij−1 , ij ) =
j=1 j=1
α(ij−1 )
n
Y α(ij )Π(ij , ij−1 )
= wegen Reversibilität
j=1
α(ij−1 )
n n
Y α(in ) Y
= Π(ij , ij−1 ) = Π(ij , ij−1 ) wegen in = i0 .
j=1
α(i0 ) j=1
“⇐": Sei k ∈ E. Setze α(k) = 1. Für i ∈ E existieren wegen der Irreduzibilität n ∈ N

und i0 = k, i1 , . . . , in = i mit nj=1 Π(ij−1 , ij ) > 0. Wegen (a) ist Π(ij , ij−1 ) > 0 für alle
Q
1 ≤ j ≤ n. Setze
n
Y Π(ij−1 , ij )
α(i) = .
j=1
Π(ij , ij−1 )
Behauptung 1: α ist wohldefiniert.
Angenommen, k0 = k, k1 , . . . , km = i ist ein weiterer Pfad von k nach i mit der Eigen-
schaft m
Q
j=1 Π(kj−1 , kj ) > 0. Dann ist i0 = k, i1 , . . . , in = i = km , km−1 , . . . , k0 = k ein
Pfad von k nach k mit positiver Wahrscheinlichkeit. Aus (b) folgt
n
Y m
Y n
Y m
Y
Π(ij−1 , ij ) Π(kj , kj−1 ) = Π(ij , ij−1 ) Π(kj−1 , kj ).
j=1 j=1 j=1 j=1
Somit ist α wohldefiniert.

Behauptung 2: α ist ein reversibles Maß, d.h.
α(i)Π(i, `) = α(`)Π(`, i). (6)
für alle i, ` ∈ E. Falls Π(i, `) = 0, folgt aus (a) Π(`, i) = 0 und (6) gilt. Sei also Π(i, `) > 0.
Betrachte einen Pfad i0 = k, i1 , . . . , in = i mit nj=1 Π(ij−1 , ij ) > 0. Dann ist i0 =
Q
k, i1 , . . . , in = i, ` ein Pfad von k nach ` mit positiver Wahrscheinlichkeit. Nach Definition

von α gilt:
Π(i, `)
α(`) = α(i) .
Π(`, i)
Daraus folgt Behauptung 2.
5 Stationarität 32
Beispiel 5.16. Sei G = (V, E) ein zusammenhängender, lokal endlicher, ungerichteter

Graph. Insbesondere gehen von jedem Knoten nur endlich viele Kanten aus. Jede Kante
{i, j} ∈ E habe ein Gewicht a{i,j} > 0. Für i ∈ V sei
X
ai = a{i,j} .
j∈V:{i,j}∈E
Die Irrfahrt auf dem gewichteten Graphen G ist eine Markovkette mit Zustandsraum V
und Übergangsmatrix ( a{i,j}
Π(i, j) = ai , falls {i, j} ∈ E,
0, sonst.
Behauptung: Die Markovkette ist reversibel.
Beweis 1.
Für alle i, j ∈ V gilt:
ai Π(i, j) = a{i,j} = aj Π(j, i).
Daher ist
α(i) = ai , i ∈ V,
ein reversibles Maß. Falls der Graph G endlich ist, läßt es sich zu einem Wahrscheinlich-
keitsmaß normieren.
Beweis 2.
Wir verifizieren die Voraussetzungen von Satz 5.15.
• Da G zusammenhängend ist, ist die Markovkette irreduzibel.
(a) Es gilt Π(i, j) > 0 ⇒ {i, j} ∈ E ⇒ Π(j, i) > 0

Qn
(b) Seien n ∈ N und i0 , i1 , . . . , in = i0 ∈ V mit j=1 Π(ij , ij−1 ) > 0. Es gilt:
n n a n a n
Y Y {ij−1 ,ij } a in Y {ij ,ij−1 } Y
Π(ij−1 , ij ) = = = Π(ij , ij−1 ).
j=1 j=1
aij−1 ai0 j=1 aij j=1
Das in Satz 5.15 konstruierte reversible Maß ist gegeben durch

n n
Y Π(ij−1 , ij ) Y aij ain ai
α(i) = = = =
j=1
Π(ij , ij−1 ) j=1
aij−1 a i0 ak
mit einem festen Zustand k ∈ V. Damit ist auch α(i) = ai ein reversibles Maß.
Satz 5.17. Sei (Xn )n∈N0 eine irreduzible Markovkette mit reversiblem Maß α. Dann ist
(Xn )n∈N0 eine Irrfahrt auf einem gewichteten Graphen.
Beweis. Da die Markovkette irreduzibel ist und jedes reversible Maß die Stationaritäts-
gleichung erfüllt, gilt α(i) > 0 für alle i ∈ E. Sei V = E die Knotenmenge und
E = {{i, j} ⊆ V : Π(i, j) > 0}.
Aus der Reversibilitätsgleichung folgt Π(i, j) > 0 ⇔ Π(j, i) > 0. Daher ist E wohl-
definiert. Setze
a{i,j} = α(i)Π(i, j).
Wegen der Reversibilitätsgleichung α(i)Π(i, j) = α(j)Π(j, i) sind diese Gewichte wohl-
definiert.
Behauptung: Die Markovkette ist eine Irrfahrt auf dem gewichteten Graphen G = (V, E).
Sei X X X
ai = a{i,j} = α(i)Π(i, j) = α(i) Π(i, j) = α(i).
j∈V:{i,j}∈E j∈V:Π(i,j)>0 j∈V
Es folgt
a{i,j} α(i)Π(i, j)
= = Π(i, j).
ai α(i)
6 Starke Markov-Eigenschaft
Definition 6.1. Sei (Ω, F, P ) ein Wahrscheinlichkeitsraum. Eine Folge Fn ⊆ F, n ∈ N0 ,
von σ-Algebren heißt Filtration, falls
Fn ⊆ Fn+1 für alle n ∈ N0
gilt.
Sei (Xn )n∈N0 eine Markovkette mit Zustandsraum E. Wir definieren
Fn := σ(X0 , X1 , . . . , Xn )
:= kleinste σ-Algebra, die alle Ereignisse der Form
Xt−1 (A) mit A ⊆ E und t ∈ {0, . . . , n} enthält.
(Fn )n∈N0 ist eine Filtration, die natürliche Filtration des Prozesses (Xn )n∈N0 . Die σ-
Algebra Fn enthält die Information des Prozesses bis zur Zeit n. Im folgenden arbeiten
wir typischerweise mit dieser Filtration.
Definition 6.2. Eine Zufallsvariable τ : Ω → N0 ∪ {∞} heißt Stoppzeit bezüglich der

Filtration (Fn )n∈N0 , falls für alle n ∈ N0 gilt:
{τ = n} ∈ Fn .
Beispiel 6.3. Sei (Xn )n∈N0 eine Markovkette mit Zustandsraum E und sei (Fn )n∈N0
die natürliche Filtration. Für A ⊆ E ist die Eintrittszeit von A definiert durch
τA = inf{n ∈ N0 : Xn ∈ A}
mit der Konvention inf ∅ = ∞. Dann ist τA eine Stoppzeit, denn für alle n ∈ N0 gilt:
{τA = n} = {X0 ∈
/ A, X1 ∈
/ A, . . . , Xn−1 ∈
/ A, Xn ∈ A} ∈ Fn .
Beispiel 6.4. Für festes m ∈ N0 ist τ ≡ m eine Stoppzeit, denn

( )
Ω, falls n = m
{τ = n} = ∈ Fn für alle n ∈ N0 .
∅, 6 m
falls n =
Beispiel 6.5. Die Zufallsvariable
τA = sup{n ∈ N0 : Xn ∈ A}
ist im allgemeinen keine Stoppzeit, denn
{τA = 0} = {X0 ∈ A, Xn ∈
/ A für alle n ≥ 1} ∈
/ σ(X0 ) = F0 .
Sei (Xn )n∈N0 eine Markovkette mit Zustandsraum E und sei ∆ ∈

/ E beliebig. Wir
definieren
X∞ := ∆.
Für eine Stoppzeit τ definieren wir
(
Xn (ω), falls τ (ω) = n ∈ N0 ,
Xτ : Ω → E ∪ {∆}, ω 7→ Xτ (ω) =
∆, falls τ (ω) = ∞.
Dies ist der Wert der Markovkette zur zufälligen Zeit τ .
Wir setzen a ∧ b := min{a, b} für a, b ∈ R. Dann ist
(
Xn , auf dem Ereignis {τ ≥ n},
Xn∧τ =
Xτ , auf dem Ereignis {τ ≤ n}.
Somit ist (Xn∧τ )n∈N0 die Markovkette gestoppt zur Zeit τ .
Satz 6.6 (Starke Markov-Eigenschaft). Sei (Xn )n∈N0 eine Markovkette mit Übergangs-
matrix Π und sei τ eine Stoppzeit bezüglich der natürlichen Filtration von (Xn )n∈N0 . Sei
k ∈ E mit P (Xτ = k) > 0. Bezüglich des Wahrscheinlichkeitsmaßes
P̃ = P ( · | Xτ = k)
ist (X̃n = Xn+τ )n∈N0 eine Markovkette mit Übergangsmatrix Π und Startverteilung δk .
Die Markovkette (X̃n )n∈N0 ist unter P̃ unabhängig von (Xn∧τ )n∈N0 .
Für τ ≡ m liefert die starke Markov-Eigenschaft gerade die gewöhnliche Markov-
Eigenschaft aus Satz 2.8.
Beweis von Satz 6.6. Wir setzen Yn := Xn∧τ für n ∈ N0 .

Seien m, n ∈ N0 , A0 , . . . , Am , B0 , . . . , Bn ⊆ E.
Behauptung:
P̃ (X̃0 ∈ A0 , . . . , X̃m ∈ Am , Y0 ∈ B0 , . . . , Yn ∈ Bn )
= Pδk (X0 ∈ A0 , . . . , Xm ∈ Am )P̃ (Y0 ∈ B0 , . . . , Yn ∈ Bn ). (7)
Aus der Behauptung (7) für B0 = · · · = Bn = E folgt
P̃ (X̃0 ∈ A0 , . . . , X̃m ∈ Am ) = Pδk (X0 ∈ A0 , . . . , Xm ∈ Am ).
Also ist (X̃n )n∈N0 bezüglich P̃ eine Markovkette mit Übergangsmatrix Π und Startvertei-
lung δk . Damit folgt aus (7) die Unabhängigkeit von (X̃n )n∈N0 und (Yn )n∈N0 bezüglich P̃ .
Beweis von (7). Wir setzen
A := {X̃0 ∈ A0 , . . . , X̃m ∈ Am }, B := {Y0 ∈ B0 , . . . , Yn ∈ Bn }.
Damit ist folgende Gleichheit zu zeigen:
P̃ (A ∩ B) = Pδk (X0 ∈ A0 , . . . , Xm ∈ Am )P̃ (B).
Wir berechnen
∞
X
P̃ (A ∩ B)P (Xτ = k) = P (A ∩ B ∩ {Xτ = k}) = P ({τ = `} ∩ A ∩ B ∩ {Xτ = k})
`=0
Beachte Xτ = k ∈ E ⇒ τ < ∞
∞
X
= P (τ = `, X` ∈ A0 , . . . , X`+m ∈ Am , X0∧` ∈ B0 , . . . , Xn∧` ∈ Bn , X` = k)
`=0
Wir setzen L := {` ∈ N0 : P (X` = k) > 0}. Wegen P (Xτ = k) > 0 ist L 6= ∅. Wir
können die letzte Summe auf ` ∈ L beschränken. Es folgt:
P̃ (A ∩ B)P (Xτ = k)
X
= = `}, X0∧` ∈ B0 , . . . , Xn∧` ∈ Bn , X` ∈ A0 , . . . , X`+m ∈ Am |X` = k)P (X` = k)
P (τ| {z
| {z }
`∈L ∈F` hängt nur von X0 , . . . , X` ab
Wir wenden die Markov-Eigenschaft aus Satz 2.8 an

X
= P (τ = `, X0∧` ∈ B0 , . . . , Xn∧` ∈ Bn | X` = k)·
`∈L
P (X` ∈ A0 , . . . , X`+m ∈ Am | X` = k) P (X` = k)
| {z }
=Pδk (X0 ∈A0 ,...,Xm ∈Am ) nach Satz 2.8
∞
X
= Pδk (X0 ∈ A0 , . . . , Xm ∈ Am ) P (τ = `, X0∧` ∈ B0 , . . . , Xn∧` ∈ Bn , X` = k)
`=0
= Pδk (X0 ∈ A0 , . . . , Xm ∈ Am )P (X0∧τ ∈ B0 , . . . , Xn∧τ ∈ Bn , Xτ = k)
= Pδk (X0 ∈ A0 , . . . , Xm ∈ Am )P (B ∩ {Xτ = k}).
Es folgt:
P̃ (A ∩ B) = Pδk (X0 ∈ A0 , . . . , Xm ∈ Am ) P (B | Xτ = k) .
| {z }
=P̃ (B)
Damit ist (7) gezeigt.
Für i ∈ E sei
Ti := inf{n ≥ 1 : Xn = i}
die erste Zeit ≥ 1, zu der die Markovkette in i ist. Man nennt Ti die erste Rückkehrzeit
zu i. Für i, j ∈ E setzen wir
fij := Pi (Tj < ∞).
Sei ∞
X
Ni := 1{Xn =i}
n=1
die Anzahl der Besuche in i ab Zeit 1.
Satz 6.7. Für alle i, j ∈ E gilt:
fji fii`−1 (1 − fii ),

(
für ` ≥ 1,
Pj (Ni = `) =
1 − fji , für ` = 0.
Beweis mit vollständiger Induktion über ` ≥ 0.

Induktionsanfang:
Pj (Ni = 0) = Pj (Xn 6= i für alle n ≥ 1) = Pj (Ti = ∞) = 1 − fji .

Induktionsschluss: Sei ` ≥ 0 und sei die Behauptung für 0, 1, . . . , ` bewiesen. Es gilt:
Pj (Ni ≥ ` + 1) = 1 − Pj (Ni ≤ `)
`
X
=1− Pj (Ni = m)
m=0
`
!
fji fiim−1 (1
X
= 1 − 1 − fji + − fii )
m=1
nach Induktionsvoraussetzung. Im Fall ` = 0 ist die Summe leer.
`−1
!
X
= fji 1 − (1 − fii ) fiim
m=0
= fji (1 − (1 − fii` ))
Beachte: dies gilt auch im Fall fii = 1.
= fji fii` .
Wir setzen
T 1 := Ti , T `+1 := inf{n > T ` : Xn = i} für alle ` ∈ N.
Dann ist T ` die `-te Rückkehrzeit zu i und T ` ist eine Stoppzeit. Es gilt:
Ni = ` + 1 ⇔ T `+1 < ∞ und T `+2 = ∞

⇔ XT `+1 = i und T `+2 − T `+1 = ∞.
Es folgt:
Pj (Ni = ` + 1) = Pj (XT `+1 = i, T `+2 − T `+1 = ∞)

= Pj (T `+2 − T `+1 = ∞ | XT `+1 = i)Pj (XT `+1 = i).
Aus der starken Markov-Eigenschaft aus Satz 6.6 folgt:
Pj (T `+2 − T `+1 = ∞ | XT `+1 = i) = Pi (Ti = ∞) = 1 − fii .
Außerdem gilt:
Pj (XT `+1 = i) = Pj (Ni ≥ ` + 1) = fji fii` .
Damit folgt die Behauptung.
Korollar 6.8. Für alle i ∈ E und ` ∈ N0 gilt: Vorl. 9,

28.6.2022
Pi (Ni = `) = fii` (1 − fii ).
Satz 6.9. Für alle i ∈ E gilt:
Pi (Ti < ∞) = 1 ⇔ Pi (Ni = ∞) = 1,

Pi (Ti < ∞) < 1 ⇔ Pi (Ni < ∞) = 1 ⇔ Ei [Ni ] < ∞.
Beweis. Aus Korollar 6.8 folgt

∞ ∞
(
X X 0, falls fii = 1,
Pi (Ni < ∞) = Pi (Ni = `) = fii` (1 − fii ) =
`=0 `=0 1, falls fii < 1.
7 Rekurrenz 37
Das beweist die ersten beiden Äquivalenzen.

Wir beweisen nun die letzte Äquivalenz. Offensichtlich gilt
Ei [Ni ] < ∞ ⇒ Pi (Ni < ∞) = 1.
Es sei Pi (Ni < ∞) = 1. Nach dem bereits gezeigten ist fii < 1. Aus Korollar 6.8 folgt
∞
X ∞
X
Ei [Ni ] = `Pi (Ni = `) = `fii` (1 − fii ) < ∞.
`=0 `=1
Interpretation. Wenn eine Markovkette mit Wahrscheinlichkeit 1 in den Zustand i

zurückkehrt, dann besucht sie i unendlich oft. Wenn eine Markovkette mit Wahrschein-
lichkeit < 1 zu i zurückkehrt, besucht sie i höchstens endlich oft.
7 Rekurrenz
Definition 7.1. Ein Zustand i ∈ E heißt
• rekurrent, wenn Pi (Ti < ∞) = 1,
• transient, wenn Pi (Ti < ∞) < 1.

Außerdem heißt i positiv rekurrent, wenn
Ei [Ti ] < ∞.
Ist i rekurrent mit Ei [Ti ] = ∞, so heißt i null rekurrent.

Jeder positiv rekurrente Zustand ist rekurrent. Rekurrente Zustände werden unendlich
oft besucht, transiente Zustände höchstens endlich oft.
Satz 7.2. Ein Zustand i ∈ E ist rekurrent genau dann, wenn
∞
X
Πn (i, i) = ∞.
n=0
Beweis. Es gilt:
∞
X ∞
X
n
Π (i, i) = Pi (Xn = i)
n=0 n=0
X∞ h i
= Ei 1{Xn =i}
n=0
"∞ #
X
= Ei 1{Xn =i} nach dem Satz von der monotonen Konvergenz
n=0
= 1 + Ei [Ni ].
Satz 6.9 liefert
Ei [Ni ] = ∞ ⇔ Pi (Ti < ∞) = 1

⇔ i ist rekurrent.
Damit folgt die Behauptung.

7 Rekurrenz 38
Beispiel 7.3 (Irrfahrt auf Z). Sei p ∈ (0, 1). Übergangsgraph:
1−p 1−p 1−p

... ...
i−1 p i p i+1 p
Für alle i ∈ Z gilt:
Π(i, i + 1) = p, Π(i, i − 1) = 1 − p.
Frage: Ist 0 rekurrent oder transient?

Für alle n ∈ N0 gilt:
P0 (X2n+1 = 0) = 0,
!
2n n
P0 (X2n = 0) = p (1 − p)n .
n
P∞
Um zu entscheiden, ob n=0 P0 (X2n = 0) divergiert, verwenden wir die Stirlingsche
Formel: √ 1
n! ∼ 2π · nn+ 2 e−n für n → ∞.
Damit ergibt sich ! 1
2n (2n)! 1 (2n)2n+ 2 22n
= ∼√ · = √ .
n n!n! 2π n2n+1 πn
Also
1
P0 (X2n = 0) ∼ √ (4p(1 − p))n .
πn
• Fall p = 12 .
∞
1 X
P0 (X2n = 0) ∼ √ ⇒ P0 (X2n = 0) = ∞.
πn n=0
Wegen Satz 7.2 ist 0 rekurrent. Da die Übergangswahrscheinlichkeiten in jedem

Punkt gleich sind, sind alle i ∈ Z für die symmetrische Irrfahrt rekurrent.
• Fall p 6= 12 . Dann ist 4p(1 − p) < 1 und somit

∞
X
P0 (X2n = 0) < ∞.
n=0
Also ist 0 transient. Folglich sind für die asymmetrische Irrfahrt alle Zustände
transient.
Man kann zeigen, dass im symmetrischen Fall alle Zustände null-rekurrent ist.
Satz 7.4. Wenn zwei Zustände i, j ∈ E miteinander kommunizieren, i ↔ j, dann sind

beide rekurrent oder beide transient.
Folglich sind bei einer irreduziblen Markovkette alle Zustände rekurrent oder alle
Zustände transient. Man nennt dann die Markovkette rekurrent bzw. transient.
7 Rekurrenz 39
Beweis von Satz 7.4. Es gelte i ↔ j. Dann existieren `, m ∈ N0 mit

Π` (i, j) > 0 und Πm (j, i) > 0.
Wir setzen
a := Π` (i, j)Πm (j, i).
Dann ist a > 0. Für alle n ∈ N0 gilt:
Π`+n+m (i, i) ≥ Π` (i, j)Πn (j, j)Πm (j, i) = aΠn (j, j)
und
Πm+n+` (j, j) ≥ Πm (j, i)Πn (i, i)Π` (i, j) = aΠn (i, i).
Summation liefert:
∞
X ∞
X ∞
X ∞
X
Πk (i, i) ≥ Π`+n+m (i, i) ≥ a Πn (j, j) ≥ a2 Πn (i, i).
k=0 n=0 n=0 n=0
P∞ P∞
Also divergiert n=0 Πn (i, i) genau dann, wenn n=0 Πn (j, j) divergiert. Wegen Satz
7.2 ist i genau dann rekurrent, wenn j rekurrent ist.
Satz 7.5. Sei (Xn )n∈N0 eine irreduzible Markovkette.

(a) Ist die Markovkette rekurrent, so gilt für alle i, j ∈ E:
Ei [Nj ] = ∞.
(b) Ist die Markovkette transient, so gilt für alle i, j ∈ E:

Ei [Nj ] < ∞.
Beweis. Seien i, j ∈ E. Da die Markovkette irreduzibel ist, existiert m ∈ N0 mit

Πm (i, j) > 0.
(a) Es gilt:
hP i
∞
Ei [Nj ] = Ei n=1 1{Xn =j}
∞
X
= Pi (Xn = j)
n=1
X∞
≥ Pi (Xn = j)
n=m+1
X∞
≥ Pi (Xn = j | Xm = j)Pi (Xm = j)
n=m+1
Beachte: Pi (Xm = j) = Πm (i, j) > 0 nach Voraussetzung.
∞
X
= Πm (i, j) Pj (Xn = j)
n=1
nach der Markov-Eigenschaft.
∞
X
m
= Π (i, j) Πn (j, j)
n=1
=∞
nach Satz 7.2, da die Markovkette rekurrent ist.
7 Rekurrenz 40
(b) Ähnlich wie im Teil (a) erhält man aus der Transienz
∞
X
∞ > Ei [Ni ] ≥ Pi (Xn = i | Xm = j)Pi (Xm = j)
n=m+1
∞
X
= Πm (i, j) Pj (Xn = i)
n=1
nach der Markov-Eigenschaft.
= Πm (i, j)Ej [Ni ].
Damit folgt Ej [Ni ] < ∞.
Satz 7.6. Eine irreduzible Markovkette mit endlichem Zustandsraum ist rekurrent. Vorl. 10,
5.7.2022
Beweis. Dies liegt daran, dass mindestens ein Zustand unendlich oft besucht werden
muss. Formal: Für alle n ∈ N gilt
X
1{Xn =i} = 1.
i∈E
Damit folgt
∞ X
X ∞
XX
∞= 1{Xn =i} = 1{Xn =i} .
n=1 i∈E i∈E n=1
Erwartungswert bilden liefert für alle j ∈ E:

∞
" #
XX X
∞ = Ej 1{Xn =i} = Ej [Ni ].
i∈E n=1 i∈E
Da E endlich ist, folgt für mindestens ein i ∈ E: Ej [Ni ] = ∞ und damit nach Satz 7.5
die Rekurrenz der Markovkette.
Definition 7.7. Ein Maß α auf (E, P(E)) heißt invariant für die Markovkette mit
Übergangsmatrix Π, falls gilt:
• α(i) ∈ [0, ∞) für alle i ∈ E,
• α ist nicht das Null-Maß, d.h. es gilt nicht α(i) = 0 für alle i ∈ E,
α(j)Π(j, i) für alle i ∈ E.

P
• α(i) = j∈E
Die invarianten Wahrscheinlichkeitsmaße sind gerade die stationären Verteilungen.
Satz 7.8. Sei (Xn )n∈N0 eine irreduzible rekurrente Markovkette und sei 0 ∈ E ein
beliebiger Zustand. Sei
T0 = inf{n ≥ 1 : Xn = 0}
die erste Rückkehrzeit zu 0. Setze für i ∈ E:
"∞ #
X
α(i) = E0 1{Xn =i} 1{T0 ≥n} .
n=1
Dann gilt α(i) ∈ (0, ∞) für alle i ∈ E und α ist ein invariantes Maß für die Markovkette.
7 Rekurrenz 41
Für i 6= 0 ist α(i) die erwartete Anzahl Besuche in i bis zur Zeit T0 .
Für i = 0 gilt:
Xn = 0 für n ∈ {1, . . . , T0 } ⇔ n = T0 .
Somit ist α(0) = 1. Hier haben wir verwendet, dass P0 (T0 < ∞) = 1 ist, da die Markov-
kette rekurrent ist.
Lemma 7.9. X
α(i) = E0 [T0 ].
i∈E
Beweis.
"∞ #
X X X
α(i) = E0 1{Xn =i} 1{T0 ≥n}
i∈E i∈E n=1
∞ X
hX i
= E0 1{Xn =i} 1{T0 ≥n}
n=1 i∈E
| {z }
=1
nach dem Satz der monotonen Konvergenz.
= E0 [T0 ].
Beweis von Satz 7.8. Für alle i ∈ E folgt aus dem Satz der monotonen Konvergenz:
∞
X
α(i) = P0 (Xn = i, T0 ≥ n).
n=1
Es gilt:
P0 (X1 = i, T0 ≥ 1) = P0 (X1 = i) = Π(0, i). (8)
Für n ≥ 2 gilt:
X
P0 (Xn = i, T0 ≥ n) = P0 (Xn−1 = j, Xn = i, T0 ≥ n)
j∈E
X
= P0 (Xn−1 = j, Xn = i, T0 ≥ n)
j∈E\{0}
X
= P0 (Xn−1 = j, Xn = i, T0 ≥ n − 1) da j 6= 0.
j∈E\{0}
X
= P0 (Xn = i, T0 ≥ n − 1 | Xn−1 = j)P0 (Xn−1 = j) (9)
j∈E\{0}
Da T0 eine Stoppzeit ist, gilt:
{T0 ≥ n − 1} = {T0 ≤ n − 2}c ∈ Fn−2 .
Somit hängt das Ereignis {T0 ≥ n − 1} nur von X0 , X1 , . . . , Xn−2 ab. Anwenden der
Markov-Eigenschaft liefert:
P0 (Xn = i, T0 ≥ n − 1 | Xn−1 = j) = P0 (Xn = i | Xn−1 = j)P0 (T0 ≥ n − 1 | Xn−1 = j)

= Π(j, i)P0 (T0 ≥ n − 1 | Xn−1 = j).
7 Rekurrenz 42
Einsetzen in (9) liefert:

X
P0 (Xn = i, T0 ≥ n) = Π(j, i)P0 (Xn−1 = j, T0 ≥ n − 1). (10)
j∈E\{0}
Aus (8) und (10) folgt für alle i ∈ E:

∞
X
α(i) = P0 (Xn = i, T0 ≥ n)
n=1
X ∞
X
= Π(0, i) + Π(j, i) P0 (Xn−1 = j, T0 ≥ n − 1)
j∈E\{0} n=2
| {z }
=α(j)
X
= α(j)Π(j, i) da α(0) = 1.
j∈E
Somit ist α ein invariantes Maß. Insbesondere gilt:
α = αΠ = αΠn
für alle n ∈ N, also X

α(i) = α(j)Πn (j, i). (11)
j∈E
Wäre α(i) = 0, so würde wegen α(0) = 1 folgen, dass
Πn (0, i) = 0 für alle n ≥ 1.
Dies ist ein Widerspruch zur Irreduzibilität der Markovkette. Also gilt α(i) > 0 für alle
i ∈ E.
(11) liefert für alle n ∈ N:
X
1 = α(0) = α(j)Πn (j, 0).
j∈E
Wäre α(i) = ∞ für ein i ∈ E, so würde mit Hilfe der Irreduzibilität α(0) = ∞ folgen,
ein Widerspruch. Also ist α(i) < ∞ für alle i ∈ E.
Damit ist gezeigt, dass jede irreduzible rekurrente Markovkette mindestens ein inva-
riantes Maß besitzt.
Satz 7.10. Das invariante Maß einer irreduziblen rekurrenten Markovkette ist bis auf
Multiplikation mit einer positiven Konstanten eindeutig.
Beweis. Sei α das invariante Maß aus Satz 7.8 und sei β ein beliebiges invariantes Maß.
Wir zeigen folgenden Zusammenhang zwischen α und β:
β(i) = β(0)α(i) für alle i ∈ E.
Im Beweis von Satz 7.8 wurde gezeigt, dass für jedes invariante Maß β gilt:
β(i) > 0 für alle i ∈ E.
Definiere
β(i)
Π̃(j, i) := Π(i, j) für alle i, j ∈ E.
β(j)
7 Rekurrenz 43
Wegen
X 1 X
Π̃(j, i) = β(i)Π(i, j) = 1
i∈E
β(j) i∈E
| {z }
=β(j)
ist Π̃ eine stochastische Matrix.

Behauptung.
β(i) n
Π̃n (j, i) = Π (i, j) für alle n ∈ N, i, j ∈ E.
β(j)
Für n = 1 ist dies die Definition von Π̃. Sei die Behauptung richtig für n. Dann folgt:
X
Π̃n+1 (j, i) = Π̃(j, k)Π̃n (k, i)
k∈E
X β(k) β(i) n
= Π(k, j) Π (i, k)
k∈E
β(j) β(k)
nach der Definition von Π̃ und der Induktionsvoraussetzung.
β(i) n+1
= Π (i, j).
β(j)
Insbesondere gilt
Πn (i, j) > 0 ⇔ Π̃n (j, i) > 0.
Folglich ist die Markovkette mit Übergangsmatrix Π̃ irreduzibel. Wegen
Π̃n (i, i) = Πn (i, i) für alle n ∈ N0 , i ∈ E
folgt
∞
X ∞
X
Π̃n (i, i) = Πn (i, i) = ∞
n=0 n=0
nach Satz 7.2, da (Xn )n∈N0 rekurrent ist. Somit ist auch die Markovkette mit Übergangs-
matrix Π̃ rekurrent.
Sei P̃ die Verteilung der Markovkette mit Übergangsmatrix Π̃. Wir setzen für i ∈ E
und n ∈ N
ai (n) := β(0)P0 (Xn = i, T0 ≥ n),

bi (n) := β(i)P̃i (T0 = n).
Dann gilt für alle i ∈ E:

∞
X ∞
X
β(0)α(i) = β(0) P0 (Xn = i, T0 ≥ n) = ai (n).
n=1 n=1
Außerdem gilt:
ai (1) = β(0)P0 (X1 = i, T0 ≥ 1)

= β(0)P0 (X1 = i) = β(0)Π(0, i)
bi (1) = β(i)P̃i (T0 = 1)
= β(i)P̃i (X1 = 0) = β(i)Π̃(i, 0)
= β(0)Π(0, i) = ai (1).
7 Rekurrenz 44
Weiter gilt für alle n ∈ N:
bi (n + 1) = β(i)P̃i (T0 = n + 1)
X
= β(i) P̃i (X1 = j, T0 = n + 1)
| {z }
j∈E
= 0 für j = 0, da n ≥ 1
X
= β(i) P̃i (T0 = n + 1 | X1 = j)P̃i (X1 = j)
j∈E\{0}
X
= P̃j (T0 = n)β(i)Π̃(i, j) nach der Markov-Eigenschaft.
j∈E\{0}
X
= P̃j (T0 = n)β(j)Π(j, i)
j∈E\{0}
X
= bj (n)Π(j, i)
j∈E\{0}
Gleichung (10) aus dem Beweis von Satz 7.8 liefert

X
β(0)P0 (Xn+1 = i, T0 ≥ n + 1) = β(0)P0 (Xn = j, T0 ≥ n)Π(j, i).
j∈E\{0}
Somit erfüllen die Folgen (ai (n))n∈N und (bi (n))n∈N beide die Gleichung
X
ci (n + 1) = cj (n)Π(j, i).
j∈E\{0}
Wegen ai (1) = bi (1) folgt ai (n) = bi (n) für alle n ∈ N. Damit ergibt sich
∞
X ∞
X ∞
X
β(0)α(i) = ai (n) = bi (n) = β(i)P̃i (T0 = n) = β(i)P̃i (T0 < ∞).
n=1 n=1 n=1
Da die Markovkette mit Übergangsmatrix Π̃ irreduzibel und rekurrent ist, folgt aus
Lemma 7.11 P̃i (T0 < ∞) = 1. Damit haben wir für alle i ∈ E gezeigt: β(i) = β(0)α(i).
Lemma 7.11. Für eine irreduzible rekurrente Markovkette gilt für alle i, j ∈ E:
Pi (Tj < ∞) = 1.
Beweis. Seien i, j ∈ E. Da die Markovkette irreduzibel ist, existiert ein m ∈ N0 mit

Πm (j, i) > 0. Aus der Rekurrenz von j folgt
1 = Pj (Xn = j für ein n ≥ m + 1)

X
= Pj (Xn = j für ein n ≥ m + 1 | Xm = k)Pj (Xm = k)
k∈E
X
= Pk (Xn = j für ein n ≥ 1)Πm (j, k) nach der Markov-Eigenschaft.
k∈E
X
= Pk (Tj < ∞)Πm (j, k). (12)
k∈E
Nun ist k∈E Πm (j, k) = 1 und Πm (j, i) > 0. Wäre Pi (Tj < ∞) < 1, so wäre die rechte
P
Seite von (12) < 1, ein Widerspruch. Also gilt
Pi (Tj < ∞) = 1.
7 Rekurrenz 45
Satz 7.12. Sei (Xn )n∈N0 eine irreduzible rekurrente Markovkette.

(a) Wenn für ein invariantes Maß α
X
α(i) < ∞
i∈E
gilt, dann sind alle Zustände positiv rekurrent.
(b) Ist ein Zustand positiv rekurrent, so sind alle Zustände positiv rekurrent und es gilt
X
α(i) < ∞
i∈E
für jedes invariante Maß.

Beweis. (a) Bis auf einen Faktor ist das invariante Maß eindeutig und somit gegeben
durch das Maß aus Satz 7.8. Für dieses Maß gilt nach Lemma 7.9
X
α(i) = E0 [T0 ].
i∈E
Also ist 0 positiv rekurrent. Da man in der Definition von α den Zustand 0 durch
jeden anderen Zustand ersetzen kann, folgt die Behauptung.
(b) Ist 0 positiv rekurrent, so folgt mit Lemma 7.9

X
∞ > E0 [T0 ] = α(i)
i∈E
für das invariante Maß α aus Satz 7.8. Aus Teil (a) und der Tatsache, dass jedes
invariante Maß ein Vielfaches von α ist, folgt die Behauptung.
Eine Markovkette, deren Zustände positiv rekurrent sind, heißt positiv rekurrent.
Korollar 7.13. Eine irreduzible positiv rekurrente Markovkette besitzt genau eine sta-
tionäre Verteilung.
Satz 7.14. Eine irreduzible Markovkette ist positiv rekurrent genau dann, wenn sie
eine stationäre Verteilung besitzt. Wenn eine stationäre Verteilung α existiert, ist sie
eindeutig und erfüllt α(i) > 0 für alle i ∈ E.
Beweis. Betrachte eine irreduzible Markovkette.
„⇒“ Sei die Markovkette positiv rekurrent. Nach Korollar 7.13 gibt es eine eindeutig
bestimmte stationäre Verteilung α. Diese ist bis auf eine multiplikative Konstante
gegeben durch das invariante Maß α aus Satz 7.8, welches α(i) > 0 für alle i ∈ E
erfüllt.
„⇐“ Sei α eine stationäre Verteilung. Angenommen, die Markovkette wäre transient. Vorl. 11,
Dann folgt aus Satz 7.5 12.7.2022
hP i ∞ ∞
∞
X X
∞ > Ej [Ni ] = Ej n=1 1{Xn =i} = Pj (Xn = i) = Πn (j, i)
n=1 n=1
für alle i, j ∈ E. Insbesondere folgt
lim Πn (j, i) = 0.
n→∞
7 Rekurrenz 46
Da α eine stationäre Verteilung ist, gilt
α = αΠ = αΠn für alle n ∈ N.
Somit gilt für alle i ∈ E

X
α(i) = α(j)Πn (j, i) für alle n ∈ N.
j∈E
Da 0 ≤ Πn (j, i) ≤ 1 und
P
j∈E α(j) = 1 folgt aus dem Satz von der dominierten
Konvergenz
X
α(i) = lim α(j)Πn (j, i)
n→∞
j∈E
X
= α(j) lim Πn (j, i) = 0.
n→∞
j∈E
P
Dies ist ein Widerspruch zu i∈E α(i) = 1. Also ist die Markovkette rekurrent.
Aus Satz 7.12 (a) folgt die positive Rekurrenz.
Satz 7.15. Für die stationäre Verteilung β einer irreduziblen positiv rekurrenten Mar-
kovkette gilt:
1
β(i) = für alle i ∈ E,
Ei [Ti ]
wobei Ti := min{n ≥ 1 : Xn = i}.
Beweis. Für das invariante Maß α aus Satz 7.8 gilt:

X
α(0) = 1, α(i) = E0 [T0 ].
i∈E
Da β sich nur durch eine Konstante von α unterscheidet und ein Wahrscheinlichkeitsmaß
ist, folgt
α(0) 1
β(0) = P = .
i∈E α(i) E0 [T0 ]
Da in der Definition von α der Zustand 0 durch jeden beliebigen Zustand ersetzt werden
kann, folgt die Behauptung.
Satz 7.16. Jede irreduzible Markovkette mit endlichem Zustandsraum ist positiv rekur-
rent.
Beweis. Nach Satz 7.6 ist die Markovkette rekurrent. Nach Satz 7.8 gibt es ein invariantes
Maß α mit 0 < α(i) < ∞ für alle i ∈ E. Da E endlich ist, gilt i∈E α(i) < ∞. Somit
P
folgt positive Rekurrenz aus Satz 7.12 (a).
Beispiel 7.17. Betrachte die symmetrische Irrfahrt auf Z mit Übergangsgraph
1 1 1
2 2 2
... ...
i−1 1 i 1 i+1 1
2 2 2
7 Rekurrenz 47
In Beispiel 5.4 haben wir gesehen, dass die Markovkette das invariante Maß
α(i) = 1 für alle i ∈ Z
besitzt. Aus X
α(i) = ∞
i∈Z
folgt mit Satz 7.12, dass alle Zustände null rekurrent sind.
Beispiel 7.18. Betrachte die asymmetrische Irrfahrt auf Z mit Übergangsmatrix
Π(i, i + 1) = p,
1
Π(i, i − 1) = 1 − p, i ∈ Z, p ∈ (0, 1), p 6=
2
und Übergangsgraph
1−p 1−p 1−p

... ...
i−1 p i p i+1 p
Wir wissen bereits, dass die Markovkette transient ist.

Behauptung. Für alle a, b > 0 ist
i
p

α(i) = a + b , i ∈ Z,
1−p
ein invariantes Maß.
Zu zeigen: α(i) = j∈Z α(j)Π(j, i) = α(i − 1)p + α(i + 1)(1 − p) für alle i ∈ Z.
P
Es gilt:
pα(i − 1) + (1 − p)α(i + 1)
i−1 ! i+1 !
p p

=p a + b + (1 − p) a + b
1−p 1−p
!
pi pi+1
=a + b +
(1 − p)i−1 (1 − p)i
i
p

=a + b (1 − p + p)
1−p
i
p

=a + b = α(i).
1−p
In diesem Fall ist das invariante Maß nicht eindeutig bis auf eine Konstante.
Beispiel 7.19. Betrachte die Irrfahrt auf N0 mit Reflexion in 0 mit ortsabhängigen
Übergangswahrscheinlichkeiten. Dies ist die Markovkette mit Übergangsgraph
p0 p1 p2 p3
...
0 q1 1 q2 2 q3 3 q4 4
8 Konvergenzsatz 48
Übergangsmatrix:
Π(i, i + 1) = pi , i ∈ N0 ,
Π(i, i − 1) = qi := 1 − pi , i ∈ N,
Π(i, j) = 0 für alle anderen Paare (i, j).
Dabei seien pi ∈ (0, 1) für i ∈ N, p0 = 1.

Jedes invariante Maß α erfüllt
X
α(i) = α(j)Π(j, i) für alle i ∈ N0 .
j∈N0
Also:
α(0) = α(1)q1 ,
α(i) = α(i − 1)pi−1 + α(i + 1)qi+1 für alle i ∈ N.
Diese Gleichungen haben folgende Lösung:

p0 · · · pi−1
α(i) = α(0), i ∈ N.
q1 · · · qi
Denn für i ∈ N gilt:
p0 · · · pi−2 p0 · · · pi p0 · · · pi−1
α(0)pi−1 + α(0)qi+1 = α(0) (qi + pi ) = α(i).
q1 · · · qi−1 q1 · · · qi+1 q1 · · · qi | {z }
=1
p0 1
Außerdem gilt: α(1) = q1 α(0) = q1 α(0). Die Markovkette ist positiv rekurrent, wenn
X p0 · · · pi−1
1+ < ∞.
i∈N
q1 · · · qi
Im Spezialfall pi = p für alle i ∈ N folgt qi = q = 1 − p. Dann ist
pi−1
α(i) = α(0), i ∈ N.
qi
Die Markovkette ist positiv rekurrent genau dann, wenn
∞ i−1 ∞ i
X p 1X p p
= <∞ ⇔ <1
i=1
qi q i=0 q q
1
⇔ p<1−p ⇔ p< .
2
8 Konvergenzsatz
Hat eine Markovkette (Xn )n∈N0 eine stationäre Verteilung α als Startverteilung, so hat
Xn für alle n ∈ N0 Verteilung α. Was können wir über die Verteilung von Xn bei
einer beliebigen Startverteilung sagen? Konvergiert sie für n → ∞ gegen eine stationäre
Verteilung? Wir interessieren uns z.B. für
lim Pi (Xn = j) = lim Πn (i, j)

n→∞ n→∞
für i, j ∈ E.
8 Konvergenzsatz 49
Definition 8.1. Sei E abzählbar und seien µ, ν Wahrscheinlichkeitsmaße auf (E, P(E)).
Der Abstand von µ und ν in Totalvariation ist definiert durch
1X
dTV (µ, ν) := |µ(i) − ν(i)|.
2 i∈E
Offensichtlich ist dTV eine Metrik auf dem Raum der Wahrscheinlichkeitsmaße auf E
und es gilt
1X
0 ≤ dTV (µ, ν) ≤ (µ(i) + ν(i)) = 1.
2 i∈E
Satz 8.2 (Konvergenzsatz). Sei (Xn )n∈N0 eine irreduzible, aperiodische, positiv rekur-
rente Markovkette. Dann gilt für alle Startverteilungen µ, ν:
lim dTV (Pµ (Xn ∈ · ), Pν (Xn ∈ · )) = 0.

n→∞
Mit anderen Worten:

X
lim |Pµ (Xn = i) − Pν (Xn = i)| = 0.
n→∞
i∈E
Insbesondere gilt für die stationäre Verteilung α:
lim dTV (Pµ (Xn ∈ · ), α) = 0

n→∞
d.h. X
lim |Pµ (Xn = i) − α(i)| = 0
n→∞
i∈E
und
lim Pi (Xn = j) = α(j)
n→∞
für alle i, j ∈ E.
Bemerkung 8.3. Die Aussagen des Konvergenzsatzes gelten für irreduzible aperiodische
Markovketten mit endlichem Zustandsraum. Denn dann ist die Markovkette automatisch
positiv rekurrent.
Beispiel 8.4. Betrachte als vereinfachtes Beispiel für das Wetter die Markovkette mit
Übergangsmatrix
s r !
9 1
s 10 10
Π= 1 4
r 5 5
Gesucht: limn→∞ Πn (i, j) für i, j ∈ {r, s}.

Die Markovkette ist irreduzibel und aperiodisch. Da der Zustandsraum endlich ist, ist
sie positiv rekurrent. Die eindeutige stationäre Verteilung α erfüllt
αΠ = α
⇔ α(Π − Id) = 0
!
1 1
− 10 10
⇔ (α(s), α(r)) 1 = (0, 0)
5 − 51
α(s) α(r)
⇔ − + =0
10 5
⇔ α(s) = 2α(r)
8 Konvergenzsatz 50
Aus α(s) + α(r) = 1 folgt

2 1
α(s) = , α(r) = .
3 3
Aus dem Konvergenzsatz folgt:
2
lim Πn (i, s) = α(s) =
n→∞ 3
n 1
lim Π (i, r) = α(r) =
n→∞ 3
für i ∈ {r, s}.
Zum Beweis des Konvergenzsatzes benötigen wir einige Vorbereitungen: Vorl. 12,
19.7.2022
Lemma 8.5. Für Wahrscheinlichkeitsmaße µ und ν auf (E, P(E)) gilt:
dTV (µ, ν) = sup |µ(A) − ν(A)| = sup (µ(A) − ν(A)).

A⊆E A⊆E
Beweis. Wegen
µ(Ac ) − ν(Ac ) = 1 − µ(A) − (1 − ν(A)) = ν(A) − µ(A)
folgt die zweite Gleichung.

Für alle A ⊆ E gilt:
X
µ(A) − ν(A) = 1A (i)(µ(i) − ν(i)).
i∈E
Der Ausdruck ist maximal für
A = Amax = {i ∈ E : µ(i) > ν(i)}
Es gilt
S := sup (µ(A) − ν(A)) = µ(Amax ) − ν(Amax )

A⊆E
X
= (µ(i) − ν(i))
i∈Amax
X
= |µ(i) − ν(i)|. (13)
i∈Amax
Andererseits gilt:
X
S= (µ(i) − ν(i))
i∈Amax
X X X
= µ(i) − ν(i) − (µ(i) − ν(i))
i∈Acmax
| {z }
i∈E i∈E
| {z } | {z } =−|µ(i)−ν(i)|
=1 =1
X
= |µ(i) − ν(i)| (14)
i∈Acmax
Aufsummieren von (13) und (14) liefert:

X
2S = |µ(i) − ν(i)| = 2dTV (µ, ν).
i∈E
8 Konvergenzsatz 51
Für eine Zufallsvariable X bezeichne L(X) die Verteilung von X. Nimmt X Werte in
E an, so ist L(X) das Wahrscheinlichkeitsmaß auf (E, P(E)) mit
L(X)(A) = P (X ∈ A),
für alle A ⊆ E.
Definition 8.6. Eine Kopplung von zwei Zufallsvariablen X : ΩX → E und Y : ΩY → E

ist ein Zufallsvektor (X̃, Ỹ ) : Ω → E × E mit der Eigenschaft
L(X̃) = L(X) und L(Ỹ ) = L(Y ).
Man nennt (X̃, Ỹ ) auch eine Kopplung der Verteilungen L(X) und L(Y ).
Beispiel 8.7. Sei U ∼ Uniform(0, 1) auf (Ω, F, P ). Für p ∈ [0, 1] sei
Xp = 1{U ≤p} .
Dann gilt
P (Xp = 1) = P (U ≤ p) = p, P (Xp = 0) = 1 − p.
Also ist Xp ∼ Bernoulli(p). Dies ist eine Kopplung von Bernoulli(p), p ∈ [0, 1]. Sie besitzt
die nützliche Monotonieeigenschaft
p1 ≤ p2 ⇒ Xp1 ≤ Xp2
Satz 8.8. Seien µ und ν Wahrscheinlichkeitsmaße auf (E, P(E)). Für jede Kopplung
(X, Y ) von µ und ν gilt
P (X = Y ) ≤ 1 − dTV (µ, ν).
Außerdem gibt es eine Kopplung (X, Y ) von µ und ν, sodass Gleichheit gilt. Diese Kopp-
lung heißt optimal.
Beweis. Sei (X, Y ) eine Kopplung von µ und ν. Dann gilt für alle A ⊆ E:
P (X 6= Y ) ≥ P (X ∈ A, Y ∈
/ A)
= P (X ∈ A) − P (X ∈ A, Y ∈ A)
≥ P (X ∈ A) − P (Y ∈ A)
= µ(A) − ν(A).
Da A beliebig, folgt mit Lemma 8.5
P (X 6= Y ) ≥ sup (µ(A) − ν(A)) = dTV (µ, ν).

A⊆E
Somit ergibt sich
P (X = Y ) = 1 − P (X 6= Y ) ≤ 1 − dTV (µ, ν). (15)
Bleibt eine optimale Kopplung zu konstruieren.

Fall dTV (µ, ν) = 0: Dann ist µ = ν und (X, X) eine optimale Kopplung.
Fall dTV (µ, ν) = 1: Aus (15) folgt für jede Kopplung (X, Y ):
P (X = Y ) ≤ 1 − dTV (µ, ν) = 0
8 Konvergenzsatz 52
und daher P (X = Y ) = 0 = 1 − dTV (µ, ν). Also ist jede Kopplung optimal.
Fall dTV (µ, ν) ∈ (0, 1): Für x, y ∈ R sei
x+ := max{x, 0} der Positivteil von x,

−
x := max{−x, 0} der Negativteil von x,
x ∧ y := min{x, y} das Minimum von x und y.
Im Beweis von Lemma 8.5 wurde gezeigt:

X X
dTV (µ, ν) = (µ(i) − ν(i))+ = (ν(i) − µ(i))+ .
i∈E i∈E
Weiter gilt:
X X
1 − dTV (µ, ν) =1 − (µ(i) − ν(i))+ = 1 − (µ(i) − ν(i))
i∈E i∈E
µ(i)>ν(i)
X X
=1 − (µ(i) − µ(i) ∧ ν(i)) = µ(i) ∧ ν(i). (16)
i∈E i∈E
Seien U, Z, V, W unabhängige Zufallsvariablen auf demselben Wahrscheinlichkeitsraum

mit
(
0 mit Wahrscheinlichkeit dTV (µ, ν)
U=
1 mit Wahrscheinlichkeit 1 − dTV (µ, ν)
µ(i) ∧ ν(i)
P (Z = i) = , i ∈ E,
1 − dTV (µ, ν)
(µ(i) − ν(i))+
P (V = i) = , i ∈ E,
dTV (µ, ν)
(ν(i) − µ(i))+
P (W = i) = , i ∈ E.
dTV (µ, ν)
Dies sind wohldefinierte Wahrscheinlichkeitsverteilungen. Setze

(
(Z, Z) falls U = 1,
(X, Y ) =
(V, W ) falls U = 0.
Für alle i ∈ E gilt:
P (X = i) = P (X = i, U = 1) + P (X = i, U = 0)
= P (Z = i, U = 1) + P (V = i, U = 0)
= P (Z = i)P (U = 1) + P (V = i)P (U = 0), da U, V, Z unabhängig.
+
= µ(i) ∧ ν(i) + (µ(i) − ν(i))
= µ(i),
P (Y = i) = µ(i) ∧ ν(i) + (ν(i) − µ(i))+
= ν(i).
Somit ist (X, Y ) eine Kopplung von µ und ν. Es gilt:
P (X = Y ) =P (U = 1) + P (V = W, U = 0)
=1 − dTV (µ, ν) + P (V = W )P (U = 0),
8 Konvergenzsatz 53
da U , V , W unabhängig sind. Da die Verteilungen von V und W disjunkte Träger haben,

ist P (V = W ) = 0 und es folgt
P (X = Y ) = 1 − dTV (µ, ν).
Somit ist (X, Y ) eine optimale Kopplung.
Satz 8.9. Seien (Xn )n∈N0 und (Yn )n∈N0 unabhängige irreduzible, aperiodische, positiv
rekurrente Markovketten mit derselben Übergangsmatrix Π und Startverteilungen µ und
ν. Sei
τ = inf{n ∈ N0 : Xn = Yn }.
Dann gilt P (τ < ∞) = 1. Der Prozess
(
Xn , falls n ≤ τ ,
X̃n =
Yn , falls n ≥ τ ,
n ∈ N0 ist eine Markovkette mit Übergangsmatrix Π.

Beweis. Für n ∈ N0 setze Zn := (Xn , Yn ).
Behauptung. (Zn )n∈N0 ist eine Markovkette mit Zustandsraum E × E und Übergangs-
matrix
Π̃((i, i0 ), (j, j 0 )) = Π(i, j)Π(i0 , j 0 ), i, i0 , j, j 0 ∈ E.
Dazu seien n ∈ N, i` , i0` ∈ E, 0 ≤ ` ≤ n + 1 mit P (Z` = (i` , i0` ) für alle 0 ≤ ` ≤ n) > 0.
Setze
AL := {X` = i` für alle 0 ≤ ` ≤ L},

BL := {Y` = i0` für alle 0 ≤ ` ≤ L}.
Dann gilt:
P (Zn+1 = (in+1 , i0n+1 ) | Z` = (i` , i0` ) für alle 0 ≤ ` ≤ n)

P (An+1 ∩ Bn+1 )
=
P (An ∩ Bn )
P (An+1 ) P (Bn+1 )
= · , da (Xn )n∈N0 und (Yn )n∈N0 unabhängig sind.
P (An ) P (Bn )
= P (Xn+1 = in+1 | An )P (Yn+1 = i0n+1 | Bn )
= Π(in , in+1 )Π(i0n , i0n+1 ).
Für alle n ∈ N gilt
Π̃n ((i, i0 ), (j, j 0 )) = P (Zn = (j, j 0 ) | Z0 = (i, i0 ))

P (Xn = j, X0 = i, Yn = j 0 , Y0 = i0 )
= ,
P (X0 = i, Y0 = i0 )
= P (Xn = j | X0 = i)P (Yn = j 0 | Y0 = i0 )
da (Xn )n∈N0 und (Yn )n∈N0 unabhängig sind.
= Πn (i, j)Πn (i0 , j 0 ).
Nach Voraussetzung ist Π die Übergangsmatrix einer irreduziblen aperiodischen Mar-

kovkette. Nach Satz 4.11 existiert für alle i, j ∈ E ein n0 (i, j), sodass für alle n ≥ n0 (i, j)
gilt:
Πn (i, j) > 0.
8 Konvergenzsatz 54
Daher gilt für alle n ≥ max{n0 (i, j), n0 (i0 , j 0 )}:
Π̃n ((i, i0 ), (j, j 0 )) > 0.
Also ist (Zn )n∈N0 irreduzibel.

Außerdem gilt für alle n ≥ max{n0 (i, i), n0 (j, j)}:
Π̃n ((i, j), (i, j)) = Πn (i, i)Πn (j, j) > 0.
Insbesondere können wir für n zwei verschiedene Primzahlen wählen und es folgt, dass
(i, j) Periode 1 hat. Also ist (Zn )n∈N0 aperiodisch.
Sei α die stationäre Verteilung von (Xn )n∈N0 .
Behauptung. β(i, j) = α(i)α(j), i, j ∈ E, ist eine stationäre Verteilung für (Zn )n∈N0 .
Es gilt:
β(i, i0 )Π̃((i, i0 ), (j, j 0 )) = α(i)α(i0 )Π(i, j)Π(i0 , j 0 )

X X
i,i0 ∈E i,i0 ∈E
α(i0 )Π(i0 , j 0 )
X X
= α(i)Π(i, j)
i∈E i0 ∈E
0
= α(j)α(j ), da α stationär ist.
0
= β(j, j ).
Außerdem gilt
β(i, i0 ) = α(i)α(i0 ) = 1.
X X
i,i0 ∈E i,i0 ∈E
Insbesondere ist (Zn )n∈N0 nach Satz 7.14 positiv rekurrent. Mit Lemma 7.11 folgt für
alle i, j ∈ E
1 = P(i,j) (T(i,i) < ∞)

≤ P(i,j) (Xn = Yn für ein n ∈ N)
= P(i,j) (τ < ∞).
Somit ist
P(i,j) (τ < ∞) = 1.
Bleibt zu zeigen dass (X̃n )n∈N0 eine Markovkette mit Übergangsmatrix Π ist. Wir setzen
(
˜ := Yn , falls n ≤ τ ,
X̃n
Xn , falls n ≥ τ ,
χ := (Xτ +n , Yτ +n )n∈N0 und χ0 := (Yτ +n , Xτ +n )n∈N0 . Dann gilt:

( )
˜ )= (Xn , Yn ), falls n ≤ τ ,
(X̃n , X̃n .
(Yn , Xn ), falls n ≥ τ
Insbesondere folgt:
˜ )
(X̃n , X̃ 0
n n∈N0 = (Z0 , . . . , Zτ , χ ).
Wegen der starken Markov-Eigenschaft gilt bedingt auf (Xτ , Yτ ) = (i, i):
• χ und χ0 sind Markovketten mit Übergangsmatrix Π̃. Insbesondere haben sie die-
selbe Verteilung.
9 Ergodensatz 55
• χ und χ0 sind unabhängig von (Z0 , . . . , Zτ ).

˜ )
Daher hat (X̃n , X̃n n∈N0 dieselbe Verteilung wie (Z0 , . . . , Zτ , χ), dessen n-te Komponente
gegeben ist durch ( )
(Xn , Yn ), falls n ≤ τ
= Zn
(Xn , Yn ), falls n ≥ τ
˜ )
Also besitzt (X̃n , X̃n n∈N0 die gleiche Verteilung wie (Zn )n∈N0 und ist daher eine Mar-
kovkette mit Übergangsmatrix Π̃. Insbesondere ist die erste Komponente (X̃n )n∈N0 eine
Markovkette mit Übergangsmatrix Π.
Definition 8.10. Eine Kopplung der stochastischen Prozesse (Xn )n∈N0 und (Yn )n∈N0 Vorl. 13,
ist ein stochastischer Prozess (X̃n , Ỹn )n∈N0 mit der Eigenschaft 26.7.2022
L((X̃n )n∈N0 ) = L((Xn )n∈N0 ) und L((Ỹn )n∈N0 ) = L((Yn )n∈N0 ).
Beweis des Konvergenzsatzes (Satz 8.2). Es sei (Xn )n∈N0 eine irreduzible, aperiodische,
positiv rekurrente Markovkette mit Übergangsmatrix Π und Startverteilung µ. Weiter sei
(Yn )n∈N0 eine Markovkette mit Übergangsmatrix Π und Startverteilung ν, unabhängig
von der Markovkette (Xn )n∈N0 . Sei
τ = inf{n ∈ N0 : Xn = Yn }.
Nach Satz 8.9 ist P (τ < ∞) = 1. Der Prozess

(
Xn , falls n ≤ τ ,
X̃n =
Yn , falls n ≥ τ ,
ist nach Satz 8.9 eine Markovkette mit Übergangsmatrix Π und Startverteilung µ, hat
also dieselbe Verteilung wie (Xn )n∈N0 . Insbesondere ist (X̃n , Yn )n∈N0 eine Kopplung von
Pµ und Pν . Daher gilt für alle A ⊆ E:
Pµ (Xn ∈ A) − Pν (Xn ∈ A) = P (X̃n ∈ A) − P (Yn ∈ A)

= P (X̃n ∈ A, τ ≤ n) +P (X̃n ∈ A, τ > n)
| {z }
=P (Yn ∈A,τ ≤n)
− P (Yn ∈ A, τ ≤ n) − P (Yn ∈ A, τ > n)

= P (X̃n ∈ A, τ > n) − P (Yn ∈ A, τ > n)
≤ P (X̃n ∈ A, τ > n)
≤ P (τ > n).
Wir nehmen das Supremum über alle A ⊆ E und folgern mit Lemma 8.5:
dTV (Pµ (Xn ∈ · ), Pν (Xn ∈ · )) ≤ P (τ > n).
Mit
lim P (τ > n) = P (τ = ∞) = 0
n→∞
folgt die Behauptung.

9 Ergodensatz 56
9 Ergodensatz
Satz 9.1. Sei (Xn )n∈N0 eine irreduzible, positiv rekurrente Markovkette und sei Abschnitt
ausgelassen
T0 := min{n ≥ 1 : Xn = 0}.
Für jede Startverteilung µ gilt:

−1
1 NX
!
1
Pµ lim 1{Xn =0} = = 1.
N →∞ N E0 [T0 ]
n=0
1
D.h. die Markovkette verbringt asymptotisch den Anteil E0 [T0 ] ihrer Zeit im Zustand 0.
Bemerkung 9.2. Seien Xn , n ∈ N0 , unabhängig und identisch verteilt mit Werten
in E. OBdA sei P (X0 = i) > 0 für alle i ∈ E (ansonsten verkleinern wir E). Setze
p = P (X0 = 0). Dann folgt aus dem starken Gesetz der großen Zahlen:
−1
1 NX
lim 1{Xn =0} = E[1{X0 =0} ] = P (X0 = 0) = p fast sicher.
N →∞ N
n=0
Dies ist ein Spezialfall des Ergodensatzes, denn (Xn )n∈N0 ist eine irreduzible Markov-
kette. Es gilt:
1
T0 ∼ geometrisch(p) ⇒ E0 [T0 ] = < ∞.
p
Somit ist die Markovkette auch positiv rekurrent.
Beweis des Ergodensatzes (Satz 9.1). Seien
T 1 := T0 , T `+1 := min{n > T ` : Xn = 0} für alle ` ∈ N,
die Rückkehrzeiten zur 0.

Wegen der starken Markov-Eigenschaft sind
τ` := T `+1 − T ` für alle ` ∈ N
unabhängig und jedes τ` hat bezüglich Pµ dieselbe Verteilung wie T0 bezüglich P0 . Da

die Markovkette positiv rekurrent ist, gilt für alle ` ∈ N:
Eµ [τ` ] = E0 [T0 ] < ∞.
Aus dem starken Gesetz der großen Zahlen folgt mit T 0 := 0
1 L 1 L−1
X 1 L−1
X
T = (T `+1 − T ` ) = τ` −→ E0 [T0 ]
L L `=0 L `=0 L→∞
Pµ -fast sicher, d.h. die Konvergenz gilt für ω aus einer Menge Ω0 mit Pµ (Ω0 ) = 1.
Wir setzen
N
X −1
ν(N ) := 1{Xn =0}
n=0
als die Anzahl Besuche in 0 bis zur Zeit N − 1. Da (Xn )n∈N0 rekurrent ist, wird 0
unendlich oft besucht. Insbesondere gilt
lim ν(N ) = ∞
N →∞
9 Ergodensatz 57
Pµ -fast sicher. Für alle N ∈ N gilt
T ν(N ) ≤ N − 1 < T ν(N )+1 .
Daraus folgt
T ν(N ) N −1 T ν(N )+1 ν(N ) + 1

≤ ≤ ·
ν(N ) ν(N ) ν(N ) + 1 ν(N )
| {z } | {z } | {z }
−→ E0 [T0 ] −→ E0 [T0 ] −→ 1
N →∞ N →∞ N →∞
N −1
⇒ lim = E0 [T0 ] Pµ -fast sicher
N →∞ ν(N )
ν(N ) ν(N ) N − 1 1
⇒ lim = lim · = Pµ -fast sicher
N →∞ N N →∞ N − 1 N E0 [T0 ]
Satz 9.3 (Ergodensatz). Sei (Xn )n∈N0 eine irreduzible, positiv rekurrente Markovkette
mit stationärer Verteilung α und sei
f :E→R
eine beschränkte Funktion. Dann gilt für jede Startverteilung µ Pµ -fast sicher:
−1
1 NX X
lim f (Xn ) = f (i)α(i) = Eα [f (X0 )].
N →∞ N
n=0 i∈E
Satz 9.1 ist ein Spezialfall davon mit f (i) = 1{0} (i), i ∈ E. In dem Fall ist f (Xn ) =
1{Xn =0} und
1
Eα [f (X0 )] = Eα [1{X0 =0} ] = Pα (X0 = 0) = α(0) = .
E0 [T0 ]
Beweis von Satz 9.3. Sei C := supi∈E |f (i)|. Wir setzen für i ∈ E
N
X −1
νi (N ) = 1{Xn =i} .
n=0
Aus Satz 9.1 und Satz 7.15 folgt:

1 1
lim νi (N ) = = α(i) Pµ -fast sicher für alle i ∈ E.
N →∞ N Ei [Ti ]
9 Ergodensatz 58
Für alle N ∈ N und I ⊆ E gilt:

−1
1 NX X
SN := f (Xn ) − f (i)α(i)
N n=0 i∈E
X 1 X
= νi (N )f (i) − f (i)α(i)
i∈E
N i∈E
X νi (N )
≤ − α(i) · |f (i)|
i∈E
N
X νi (N ) X νi (N )
≤C − α(i) + C − α(i)
i∈I
N i∈E\I
N
X νi (N ) X νi (N )
≤C − α(i) + C + α(i)
i∈I
N i∈E\I
N
Nach Definition von νi (N ) gilt:

−1 −1 X
X νi (N ) 1 X NX 1 NX
= 1{Xn =i} = 1 = 1.
i∈E
N N i∈E n=0 N n=0 i∈E {Xn =i}
| {z }
=1
Damit berechnen wir

X νi (N ) X νi (N ) X νi (N )
X
=1− = α(i) − + α(i).
i∈E\I
N i∈I
N i∈I
N i∈E\I
Einsetzen liefert
X νi (N ) X
SN ≤ 2C − α(i) + 2C α(i).
i∈I
N i∈E\I
Sei ε > 0. Wähle I ⊆ E endlich, sodass

X ε
α(i) < .
i∈E\I
2C
Dann gilt für alle N ∈ N:

X νi (N )
SN ≤ 2C − α(i) + ε
i∈I
N
und es folgt:
X νi (N )
lim SN ≤ 2C lim − α(i) +ε = ε,
N →∞ N →∞
i∈I
N
| {z }
−→ 0
N →∞
da I endlich ist. Wegen ε > 0 beliebig, folgt
lim SN = 0.
N →∞
Da SN ≥ 0 für alle N ∈ N, folgt die Behauptung.

Beispiel 9.4. Betrachte eine Markovkette als vereinfachtes Modell für das Wetter mit
Zustandsraum E = {r, s, w}, r =
ˆ Regen, s =
ˆ Sonne, w =ˆ Wolken und Übergangsmatrix
r s w
 
1 1 1
r 2 4 4
1 1 1
Π= s 
 
4 2 4 
1 1 1
w 4 4 2
Ein Eiscafé macht an einem

   
 regnerischen 
   150 
 
sonnigen Tag 600 ¤ Umsatz.
  
 300 
 wolkigen  
Berechnen Sie den mittleren Umsatz pro Tag im langjährigen Mittel. Dazu sei (Xn )n∈N0
eine Markovkette mit Übergangsmatrix Π. Definiere f : E → R durch
f (r) = 150, f (s) = 600, f (w) = 300.
Gesucht ist
−1
1 NX
lim f (Xn ).
n→∞ N
n=0
Die Markovkette ist irreduzibel. Da der Zustandsraum endlich ist, ist sie positiv rekur-
rent. Es gibt eine eindeutige stationäre Verteilung α. Da Π doppelt stochastisch ist, ist
α die Gleichverteilung. Alternativ berechnet man α wie folgt:
αΠ = α ⇔ α(Π − Id) = 0
 
− 12 4
1 1
4
 1
⇔ (α(r), α(s), α(w))  4 − 21 1
4 = (0, 0, 0)
1 1
4 4 − 12
Man sieht, dass

1
α(r) = α(s) = α(w) =
3
die Gleichung löst. Damit können wir den Ergodensatz anwenden und erhalten
−1
1 NX X 1
lim f (Xn ) = f (i)α(i) = (150 + 600 + 300) = 350.
n→∞ N 3
n=0 i∈E
Der mittlere Umsatz pro Tag beträgt im langjährigen Mittel 350 ¤.
10 Monte-Carlo Simulation
Dieses Kapitel basiert auf Kapitel 7 des Buches [H0̈2] von Olle Häggström.
Problem: Wie simuliert man ein Wahrscheinlichkeitsmaß α auf einer endlichen Menge
E = {1, . . . , k}?
Eigentlich ist dies ganz einfach: Definiere g : [0, 1) → E durch
" i−1 i
!
X X
g(x) = i für x ∈ α(l), α(l) , i ∈ E.
l=1 l=1
Ist U gleichverteilt auf [0, 1), dann hat g(U ) die Verteilung α, denn für alle i ∈ E gilt:
" i−1 i
!!
X X
P (g(U ) = i) = P U∈ α(l), α(l) = α(i).
l=1 l=1
Problem: Dies funktioniert in der Praxis nur, wenn |E| klein ist.
Beispiel 10.1 (Harte-Kugel-Modell). Sei G = (V, E) ein zusammenhängender Graph
mit
• Knotenmenge V = {v1 , . . . , vk } und
• Menge ungerichteter Kanten E = {e1 , . . . , el }.
Wir betrachten das Harte-Kugel-Modell auf G:
Jedem Knoten ordnen wir zufällig den Wert 0 oder 1 zu, unter der Nebenbedingung, dass
zwei benachbarte Knoten nicht beide den Wert 1 haben können. Dabei heißen u, v ∈ V
benachbart, wenn sie durch eine Kante verbunden sind.
Elemente von {0, 1}V heißen Konfigurationen. Eine Konfiguration heißt zulässig, wenn
sich keine zwei Einsen an benachbarten Knoten befinden.
Alle zulässigen Konfigurationen sollen gleich wahrscheinlich sein.
1 1
Diese Konfiguration ist nicht zulässig.
0 1
1 0
Diese Konfiguration ist zulässig.
0 1
Das Modell wurde in der statistischen Physik eingeführt. Dabei nahm man an, dass
der zugrundeliegende Graph ein Teilwürfel von Z3 ist, d.h. etwa V = [−N, N ]3 ∩ Z3 .
Man möchte Gase modellieren, deren Teilchen nicht vernachlässigbare Radien besitzen
und sich nicht überschneiden können.
• Eine 1 bei v ∈ V bedeutet, dass sich an der Stelle v ein Teilchen befindet.
• Eine 0 bei v ∈ V steht für einen leeren Gitterplatz.
Definition 10.2. Sei ZG die Anzahl der zulässigen Konfigurationen auf G. Definiere ein
Wahrscheinlichkeitsmaß µG auf ({0, 1}V , P({0, 1}V )) durch
(
1
µG ({ξ}) = ZG , falls ξ zulässige Konfiguration,
0 sonst.
D.h. µG ist die Gleichverteilung auf der Menge der zulässigen Konfigurationen.
hier bedeutet ein dicker schwarzer

Punkt eine Eins.
Betrachte als Graph z.B. ein Quadrat in Z2 : V = [−N, N ]2 ∩ Z2 . Dann gilt

2
|{0, 1}V | = 2(2N +1) .
Das ist exponentiell in N . Auch die Anzahl der zulässigen Konfigurationen wächst ex-
ponentiell in N . Typischerweise ist man an großen N interessiert, so dass man µG nicht
naiv simulieren kann.
Bemerkung 10.3. • Für ξ ∈ {0, 1}V sei e(ξ) die Anzahl Einsen in ξ.
• Sei X eine Zufallsvariable mit Verteilung µG .
• Eine Größe von Interesse: E[e(X)] = erwartete Anzahl von Einsen in einer Konfi-
guration, die zufällig gemäß µG ausgewürfelt wird.
Es gilt:
X 1 X
E[e(X)] = e(ξ)µG (ξ) = e(ξ)1{ξ ist zulässig} .
ZG
ξ∈{0,1}V ξ∈{0,1}V
Angenommen, wir können eine Zufallsvariable X mit Verteilung µG simulieren. Dann

simulieren wir Zufallsvariablen X1 , . . . , Xn (n groß) mit Verteilung µG , unabhängig von-
einander. Nach dem starken Gesetz der großen Zahlen gilt:
n
!
1X
P lim e(Xi ) = E[e(X)] = 1.
n→∞ n
i=1
1 Pn
So bekommen wir einen Schätzer, nämlich n i=1 e(Xi ), für E[e(X)].
Um µG zu simulieren, verwendet man die sogenannte Markov Chain Monte Carlo-
Methode (MCMC, 1950). Sie hat Anwendungen u.a. in der Bildverarbeitung und der
Bayesschen Statistik.
Allgemeine Idee: Um ein Wahrscheinlichkeitsmaß α auf einer endlichen Menge E zu
simulieren, konstruieren wir eine irreduzible, aperiodische Markovkette (Xn )n∈N0 , deren
eindeutige stationäre Verteilung α ist. Dann folgt aus dem Konvergenzsatz, dass für jede
beliebe Anfangsverteilung µ die Verteilung µ(n) von Xn gegen α konvergiert. D.h. für
große n ist µ(n) eine Approximation von α. Durch verlängern der Laufzeit kann man die
Güte der Approximation verbessern.
Problem: Wie konstruiert man eine solche Markovkette?
Ein MCMC-Algorithmus für das Harte-Kugel-Modell. Da µG (ξ) > 0 genau dann, wenn
ξ zulässig ist, wollen wir eine irreduzible, aperiodische Markovkette mit Zustandsraum
E = {ξ ∈ {0, 1}V : ξ zulässige Konfiguration}
und stationärer Verteilung µG |E konstruieren.

Definition 10.4. Wir definiere die Übergangswahrscheinlichkeiten einer Markovkette

(Xn )n∈N0 folgendermaßen: Zu jeder Zeit n
1. Wähle einen Knoten v ∈ V zufällig gemäß der Gleichverteilung.
2. Wirf eine faire Münze.
3. Falls Kopf fällt und alle Nachbarn von v in Xn den Wert 0 haben, setze Xn+1 (v) =
1. Andernfalls setze Xn+1 (v) = 0.
4. Setze Xn+1 (u) = Xn (u) für alle u ∈ V \ {v}.
Lemma 10.5. Die Markovkette mit diesen Übergangswahrscheinlichkeiten ist irreduzibel
und aperiodisch.
Beweis. • Irreduzibel: Eine 1 am Knoten v lässt sich mit Zahl in eine 0 verwandeln.
Um in v eine 1 zu produzieren, erzwingt man zunächst eine 0 an allen Nach-
barpunkten und erzeugt dann mit Kopf eine 1. Damit kann man jede zulässige
Konfiguration von jeder zulässigen Konfiguration erreichen.
• Aperiodisch: Es gilt Π(ξ, ξ) > 0 für alle ξ ∈ E. Denn jede zulässige Konfiguration
enthält mindestens eine 0. Mit Hilfe von Zahl bleibt diese in einem Schritt erhalten.
Lemma 10.6. µG |E ist ein reversibles Maß für die Markovkette (Xn )n∈N0 .
Beweis. Seien ξ, η ∈ E. Zu zeigen:
µG (ξ)Π(ξ, η) = µG (η)Π(η, ξ) ⇐⇒ Π(ξ, η) = Π(η, ξ)
Sei d(ξ, η) die Anzahl der Knoten, in denen sich ξ und η unterscheiden.
Fall d(ξ, η) = 0: Dann ist ξ = η und die Behauptung klar.
Fall d(ξ, η) ≥ 2: Da sich bei einem Übergang die Konfiguration nur an einem Knoten
ändert, ist Π(ξ, η) = 0 = Π(η, ξ). Also gilt die Behauptung.
Fall d(ξ, η) = 1: Sei v der Knoten, in dem sich ξ und η unterscheiden. Dann ist oBdA
ξ(v) = 0 und η(v) = 1. In jedem Fall haben alle Nachbarn von v in ξ und η den Wert 0
und es gilt:
1 1
Π(ξ, η) = · = Π(η, ξ).
|V | 2
Definition 10.7. Der beschriebene MCMC-Algorithmus gehört zur Klasse der Gibbs
sampler. Gibbs sampler sind nützlich zum Simulieren von Wahrscheinlichkeitsmaßen α
auf Zustandsräumen der Form
E = SV
mit S und V endlich.
Der Gibbs sampler ist eine Markovkette mit folgenden Übergangswahrscheinlichkeiten:
Zu jeder Zeit n + 1, n ∈ N0 ,
1. Wähle einen Knoten v ∈ V zufällig gemäß der Gleichverteilung.
2. Wähle Xn+1 (v) gemäß der Verteilung
P (Xn+1 (v) = σ) = α(ω(v) = σ|ω(u) = Xn (u) ∀u 6= v)
für σ ∈ S. Dabei schreiben wir kurz
{ω(v) = σ} = {ω ∈ E : ω(v) = σ} etc.
3. Setze Xn+1 (u) = Xn (u) für alle u ∈ V \ {v}.

Bemerkung 10.8. Im Fall des Harte-Kugel-Modells ist α = µG die Gleichverteilung
auf der Menge der zulässigen Konfigurationen. Sei v ∈ V .
• Angenommen, Xn (u) = 0 für alle Nachbarn u von v. Dann gilt für σ ∈ {0, 1}:
α(ω(v) = σ|ω(u) = Xn (u) ∀u 6= v)
µG (ω(v) = σ, ω(u) = Xn (u) ∀u 6= v) 1
= = ,
µG (ω(u) = Xn (u) ∀u 6= v) 2
da µG die Gleichverteilung ist und ω(v) genau zwei Werte annehmen kann.
• Angenommen, Xn (u) = 1 für einen Nachbarn u von v. Dann gilt:
α(ω(v) = 0|ω(u) = Xn (u) ∀u 6= v)
µG (ω(v) = 0, ω(u) = Xn (u) ∀u 6= v)
= = 1,
µG (ω(u) = Xn (u) ∀u 6= v)
da ω(v) nur den Wert 0 annehmen kann, wenn ω(u) = 1 für einen Nachbarn von
v.
Bemerkung 10.9. α ist ein reversibles Maß für den Gibbs sampler.
Beweis. Seien ξ, η ∈ E. Zu zeigen:
α(ξ)Π(ξ, η) = α(η)Π(η, ξ).
Sei d(ξ, η) die Anzahl der Knoten, in denen sich ξ und η unterscheiden.
Fall d(ξ, η) = 0: Dann ist ξ = η und die Behauptung klar.
Fall d(ξ, η) ≥ 2: Dann ist Π(ξ, η) = 0 = Π(η, ξ) und die Behauptung klar.
Fall d(ξ, η) = 1: Sei v der Knoten, in dem sich ξ und η unterscheiden. Es gilt:
α(ξ)Π(ξ, η) =α(ξ)α(ω(v) = η(v)|ω(u) = ξ(u) ∀u 6= v)
α(ξ)α(ω(v) = η(v), ω(u) = ξ(u) ∀u 6= v)
=
α(ω(u) = ξ(u) ∀u 6= v)
α(ξ)α(η)
= .
α(ω(u) = ξ(u) ∀u 6= v)
Der Nenner ändert sich nicht, wenn wir ξ durch η ersetzen. Somit können wir auch auf
der linken Seite ξ durch η ersetzen und die Behauptung folgt.
Metropoliskette. Eine andere Möglichkeit, eine Verteilung α auf E = {1, . . . , k} zu

simulieren, bietet die Metropoliskette.
Zunächst konstruiert man sich einen ungerichteten Graph G mit Knotenmenge E. G
soll zusammenhängend sein. Die Knotengrade sollen nicht zu groß sein. Jede Kante soll
zwei verschiedene Endpunkte haben, d.h. G enthält keine Schleifen.
Sei di der Grad des Knoten i, d.h. die Anzahl der Kanten, die von i ausgehen. Wir
schreiben i ∼ j, wenn G eine Kante zwischen i und j enthält.
Definition 10.10. Die Metropoliskette zu einem gegebenen Graphen G ist eine Mar-
kovkette mit Zustandsraum E und Übergangsmatrix
 n o
1 α(j)di

 di
 min α(i)dj , 1 , falls i ∼ j,
Π(i, j) = 0, n o 6 j und i 6∼ j,
falls i =
α(l)di

 1−P 1
min , 1 , falls i = j.

l:l∼i di α(i)dl
Beachte: Π(i, j) ∈ [0, 1] und

P
j∈E Π(i, j) = 1.
Literatur 64
Bemerkung 10.11. Die Metropoliskette (Xn )n∈N0 läßt sich wie folgt erzeugen: Ange-
nommen Xn = i. Wähle j gleichverteilt aus allen Nachbarn von i und setze
 n o
 j α(j)di
mit Wahrscheinlichkeit min α(i)d ,1 ,
Xn+1 = nj o
α(j)di
 i mit Wahrscheinlichkeit 1 − min α(i)dj , 1 .
Beweis. Dann gilt für j ∼ i

( )
1 α(j)di
P (Xn+1 = j|Xn = i) = min ,1 = Π(i, j),
di α(i)dj
X 1 α(l)di

P (Xn+1 = i|Xn = i) = 1 − min ,1
l:l∼i
di α(i)dl
X 1α(l)di

=1− min , 1 = Π(i, i).
d
l:l∼i i
α(i)dl
Lemma 10.12. α ist ein reversibles Maß für die Metropoliskette.

Beweis. Zu zeigen: α(i)Π(i, j) = α(j)Π(j, i) für alle i, j ∈ E.
Fall i = j: klar.
Fall i 6∼ j: Π(i, j) = 0 = Π(j, i).
Fall i ∼ j: Angenommen α(j)d i
α(i)dj ≥ 1. Dann gilt
1
α(i)Π(i, j) = α(i) · ,
di
1 α(i)dj α(i)
α(j)Π(j, i) = α(j) · = .
dj α(j)di di
α(j)di
Ähnlich folgt im Fall α(i)dj ≤1
1 α(j)di α(j)
α(i)Π(i, j) = α(i) · = ,
di α(i)dj dj
1
α(j)Π(j, i) = α(j) · .
dj
Literatur
[BL03] P. Bonacich and T.M. Liggett. Asymptotics of a matrix valued Markov chain
arising in sociology. Stochastic Process. Appl., 104(1):155–171, 2003.
[Bré99] P. Brémaud. Markov chains. Gibbs Fields, Monte Carlo Simulation, and Queues.
Springer, 1999.
[H0̈2] O. Häggström. Finite Markov chains and algorithmic applications, volume 52 of
London Mathematical Society Student Texts. Cambridge University Press, Cam-
bridge, 2002.
[LR04] T.M. Liggett and S.W.W. Rolles. An infinite stochastic model of social network
formation. Stochastic Process. Appl., 113(1):65–80, 2004.

Skript Markovketten

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Skript Markovketten

Hochgeladen von

Copyright:

Verfügbare Formate

WS 2015/16

Notizen zur Vorlesung

26. Juli 2022

Erstellt von Jonas Keinholz.

2 Existenz und Markov-Eigenschaft 9

3 Die endlich dimensionalen Verteilungen einer Markovkette 15

4 Kommunikation und Periode 18

• Ein aktives Forschungsgebiet beschäftigt sich mit interagierenden Teilchensyste-

In diesem Beispiel sind die Xn , n ∈ N0 , nicht unabhängig. Die Abhängigkeitsstruk-

Die Zuwächse Xn+1 − Xn , n ∈ N0 , sind unabhängig und identisch verteilt. Xn+1

P (Xn+1 = j | X0 = i0 , . . . , Xn−1 = in−1 , Xn = i) = P (Xn+1 = j | Xn = i). (1)

Vergangenheit Gegenwart Zukunft

Definition 1.5. Eine Matrix Π ∈ [0, 1]E×E heißt stochastisch, falls

d.h. wenn alle Zeilensummen 1 ergeben.

Beweis. Wir zeigen zuerst folgende Behauptung: Für alle n ∈ N, i0 , . . . , in ∈ E mit

Dies folgt mit vollständiger Induktion über n ∈ N0 .

P (X0 = i0 , . . . , Xn = in , Xn+1 = in+1 ) =P (An )P (Xn+1 = in+1 | An )

P (Xn+1 = in+1 |Xn = in ) = Π(in , in+1 ).

P (X0 = i00 , . . . , Xn−1 = i0n−1 , Xn = in )

Analog ergibt sich

=P (Xn = in )Π(in , in+1 ).

Damit folgt die Behauptung:

Die Zeiten R0 = 0, R1 , R2 , . . . , zu denen n 7→ Xn den Wert 0 annimmt, bezeichnet

Beweis. Seien n ∈ N, j0 , . . . , jn−1 , i ∈ N0 mit

P (X0 = j0 , X1 = j1 , . . . , Xn−1 = jn−1 , Xn = i) > 0,

Dann gilt jn−1 = i − 1, jn−2 = i − 2, . . . , jn−i = 0. Wir setzen

P (Xn+1 = i + 1, Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 )

Wir wissen: Rk = U1 + · · · + Uk . Weiterhin hängt {Rk = n − i} ∩ A

da Uk+1 dieselbe Verteilung wie U1 hat.

P (Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 ) = P (U1 > i) · S.

Damit ergibt sich

Weiter gilt mit B := {Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 }):

1 = P (Xn+1 ∈ {0, i + 1} | Xn = i, Xn−1 = jn−1 , . . . , X0 = j0 )

2 Existenz und Markov-Eigenschaft

Xn+1 := f (Xn , Zn+1 ) für alle n ∈ N0 .

Beweis. Nach Definition gilt

Beispiel 2.2. 1. Seien ξn , n ∈ N0 , unabhängige faire Münzwürfe, d.h. Vorlesung 3,

2. Seien Zn , n ∈ N0 , unabhängig und identisch verteilt mit Werten in einer abzähl-

P (f (i, Z) = j) = Π(i, j) für alle i, j ∈ E.

• Fall E = {1, . . . , n} für ein n ∈ N.

X0 := i0 , Xn+1 := f (Xn , Zn+1 ) für n ∈ N0 .

Beweis. Folgt aus Satz 2.1.

Sei Xn die Anzahl Individuen in der n-ten Generation.

Die Übergangswahrscheinlichkeiten sind gegeben durch

mit ρ∗i der i-fachen Faltung von ρ. Sei

p = P (Zn = 0 für ein n ∈ N)

die Startverteilung der Markovkette.

Die Startverteilung ist die Verteilung von X0 . Sie ist durch

Für k ∈ E sei δk das Dirac-Maß in k, d.h.

P̃ (f (i, Z̃1 ) = j) = P (f (i, Z1 ) = j) = Π(i, j) für alle i, j ∈ E,

• Für k, l ∈ N0 sei [k, l] = {i ∈ N0 : k ≤ i ≤ l}. Für I ⊆ N0 sei XI = (Xi )i∈I .

P̃ (X[m] = i, X̃[n] = j) = P̃ (X̃[n] = j|X[m] = i)P̃ (X[m] = i). (5)

Wir berechnen die bedingte Wahrscheinlichkeit:

Für 0 ≤ ` ≤ n sei j[0,`] = (ji )i∈[0,`] . Damit erhalten wir

da X̃ unter P̃ eine Markovkette mit Übergangsmatrix Π ist. Das letzte Gleich-

P̃ (X[m] = i, X̃[n] = j) = P̃ (X[m] = i)P̃ (X̃[n] = j).

Also sind (X̃n )n∈N0 und X[m] unter P̃ unabhängig.

P (Xm+1 = j|X0 = i0 , . . . , Xm−1 = im−1 , Xm = k) = P (Xm+1 = j|Xm = k).

3 Die endlich dimensionalen Verteilungen einer

(b) Für alle n ∈ N0 , i0 , . . . , in ∈ E gilt:

P (X0 = i0 , X1 = i1 , . . . , Xn = in ) = µ(i0 ) · Π(i0 , i1 ) · Π(i1 , i2 ) · . . . · Π(in−1 , in ).

(c) Für alle n ∈ N0 , A0 , . . . , An ⊆ E gilt:

Korollar 3.2. Startverteilung und Übergangsmatrix legen die endlich-dimensionalen

Beweis von Satz 3.1.