MC Kap10

Algorithmus Analyse Verfehlte Vereinfachungen
Kapitel 10: Der Propp-Wilson Algorithmus
Peter Heinig Michael Kratzer
TUM
28.2.2007, TUM-Mathematik-Frühjahrsschule 2007
P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus
Ziele
Rückblick: Probleme bei MCMC

Ziele
Verteilung nach Verschmelzen der Ketten nur nahe an der

stationären

Ziele

stationären
Fehler lässt sich nur sehr schwer genau abschätzen

Ziele

stationären
Fehler lässt sich nur sehr schwer genau abschätzen
Sehr grobe Abschätzungen der Zahl erforderlicher

Simulationsschritte

Ziele
MCMC kann durch metastabile Verteilungen getäuscht werden.

Ziele
Abhilfe: Coupling From The Past

Ziele
Gliederung
1 Algorithmus
Ziele
Terminiert der Algorithmus?
2 Analyse
Ein 0-1-Gesetz
Der Satz von Propp-Wilson
Ezienz
3 Verfehlte Vereinfachungen
Zukunftskopplung
Neue Zufallszahlen

Ziele
Ziele des Algorithmus
Output exakt nach der stationären Verteilung verteilt

Ziele
Ziele des Algorithmus
Output exakt nach der stationären Verteilung verteilt

Der Algorithmus bestimmt selbst, wann diese Verteilung
erreicht ist

Voraussetzungen
Zeithomogene, irreduzible, aperiodische Markovkette mit

Zustandsraum S = {s1 , ..., sk } und stationärer Verteilung π,
Übergangsmatrix P und Update-Funktion Φ : S × [0, 1] → S

Voraussetzungen

Wachsende Folge ganzer Zahlen N1 , N2 , ... als Startpunkte für
die Berechnung; meist (N1 , N2 , ...) = (1, 2, 4, 8, ...)

Voraussetzungen

Wachsende Folge ganzer Zahlen N1 , N2 , ... als Startpunkte für
die Berechnung; meist (N1 , N2 , ...) = (1, 2, 4, 8, ...)
Unabhängige, auf [0, 1] gleichverteilte Zufallszahlen
, ,
U0 U−1 U−2 , ... für die Update-Funktion

Idee
Betrachte eine Vergangenheit einer bereits unendlich lange

laufenden Markov-Kette

Idee

(Die Vergangenheit besteht aus den Zufallszahlen, die in die

Update-Funktion eingehen)

Idee

(Die Vergangenheit besteht aus den Zufallszahlen, die in die

Update-Funktion eingehen)
Möglicherweise hängt der gegenwärtige Zustand nur von den

Update-Werten ab, also nicht vom Ausgangszustand

Ablauf
1 Setze m =1

Ablauf
1 Setze m =1
2 Simuliere für jedes s ∈ {s1 , ..., sk } die Markov-Kette, die im
Zeitpunkt −Nm im Zustand s beginnt bis zum Zeitpunkt 0
unter Verwendung der Update-Funktion Φ und der
Zufallszahlen U− Nm +1 −Nm
, U , . . . , U−1 , U0

Ablauf
1 Setze m =1
2 Simuliere für jedes s ∈ {s1 , ..., sk } die Markov-Kette, die im
Zeitpunkt −Nm im Zustand s beginnt bis zum Zeitpunkt 0
unter Verwendung der Update-Funktion Φ und der
Zufallszahlen U− Nm +1 −Nm
, U , . . . , U−1 , U0
3 Falls sich alle k Ketten aus Schritt 2 zum Zeitpunkt 0 im
selben Zustand s
0 benden, gib s
0 aus und halte an. Ansonsten
erhöhe m um 1 und gehe zu Schrit 2

Ablauf

Ablauf

Ablauf

Terminiert der Algorithmus immer?

Nein.

Nein.
Aber es gibt nur zwei Möglichkeiten:

Nein.
Wahrscheinlichkeit für Terminieren nach endlich vielen
Schritten ist 0.

Nein.
Schritten ist 0.

Schritten ist 1.

Die Wahl der Updatefunktion entscheidet.

Eine irreduzible, aperiodische, zeithomogene Markovkette.

Sicheres Verschmelzen, also Wahrscheinlichkeit 1.

Zwar nicht sicheres Verschmelzen, aber auch Wahrscheinlichkeit 1.

Mit Sicherheit kein Verschmelzen, also Wahrscheinlichkeit 0.

Verschmelzen möglich, aber auch Wahrscheinlichkeit 0.

Ein 0-1-Gesetz
Erster Satz: Ein 0-1-Gesetz für Propp-Wilson
Die Wahrscheinlichkeit, dass der Propp-Wilson

Algorithmus terminiert, ist entweder 0 oder 1.

Ein 0-1-Gesetz
Denitionen
a −a
b := Φ(·, U−a ) ◦ ... ◦ Φ(·, U−b+1 ) für −b < −a; F−a := id
−
F
−
− a −a
F
− b : S → S (−b ≤ −a) ist eine zufällige Abbildung. F−b (s )
ist der Zustand einer Markov-Kette, die zum Zeitpunkt −b im
Zustand s ∈S gestartet wurde, zum Zeitpunkt −a.

Ein 0-1-Gesetz
Denitionen
a −a
b := Φ(·, U−a ) ◦ ... ◦ Φ(·, U−b+1 ) für −b < −a; F−a := id
−
F
−
− a −a
F
− b : S → S (−b ≤ −a) ist eine zufällige Abbildung. F−b (s )
ist der Zustand einer Markov-Kette, die zum Zeitpunkt −b im
Zustand s ∈S gestartet wurde, zum Zeitpunkt −a.
a −a
− −a
b := F−b konstant = ∃c ∈ S : ∀s ∈ S : F−b (s ) = c

K
−
ist das Ereignis, dass Markov-Ketten, die im Zeitpunkt −b mit
allen möglichen Zuständen gestartet wurden, im Zeitpunkt −a
verschmelzen ( Koaleszenz )

Ein 0-1-Gesetz
Beweis
b −a
c ⇒ K− d .
−
Sei −d ≤ −c ≤ −b ≤ −a ≤ 0. Dann K−

Ein 0-1-Gesetz
Beweis
Sei−d ≤ −c ≤ −b ≤ −a ≤ 0. Dann K−−cb ⇒ K−−da .

−b −b −a
K−c ⇒ ∃c1 ∈ S : F−c = c1 ; Sei c2 := F
−b (c1 ) ∈ S
⇒ F−−da = F−−ba (F−−cb (F−−dc )) = F−−ba (c1 ) = c2 ⇒ K−−da

Ein 0-1-Gesetz
Beweis

−b −b −a
K−c ⇒ ∃c1 ∈ S : F−c = c1 ; Sei c2 := F
−b (c1 ) ∈ S
K−∞
0 := {Der Algorithmus terminiert in endlich vielen
n=0 K−0 n mit K00 ⊆ K−0 1 ⊆ ...

S∞
Schritten } =

Ein 0-1-Gesetz
Beweis

−b −b −a
K−c ⇒ ∃c1 ∈ S : F−c = c1 ; Sei c2 := F
−b (c1 ) ∈ S
K−∞
0 := {Der Algorithmus terminiert in endlich vielen
n=0 K−0 n mit K00 ⊆ K−0 1 ⊆ ...

S∞
Schritten } =
Stetigkeit von unten: P (K−∞ ) = limn→∞ P (K−n )
0 0

Ein 0-1-Gesetz
Beweis
Annahme: (
P K−∞
0 ) 6= 0

Ein 0-1-Gesetz
Beweis
Annahme: (
P K−∞
0 ) 6= 0
limn→∞ P (K
0
− n ) = ε > 0 ⇒ ∃m : P (K−0 m ) > 2ε

Ein 0-1-Gesetz
Beweis
Annahme: (
P K−∞
0 ) 6= 0
limn→∞ −n ) = ε > 0 ⇒ ∃m : P (K−0 m ) > 2ε
P (K
0
−im 0
P (K
−(i +1)m ) = P (K−m ) (∀i ∈ N), denn
(U−im , ..., U−(i +1)m+1 ) und (U0 , ..., U−m+1 ) sind jeweils
gleichverteilt auf [0; 1]
m

Ein 0-1-Gesetz
Beweis
Annahme: (
P K−∞
0 ) 6= 0
limn→∞ −n ) = ε > 0 ⇒ ∃m : P (K−0 m ) > 2ε
P (K
0
−im 0
P (K
−(i +1)m ) = P (K−m ) (∀i ∈ N), denn
m
im

−
Die Ereignisse K
i m i ∈N0
−( +1) sind unabhängig, da jeweils
verschiedene U s zu Grunde liegen

Ein 0-1-Gesetz
Beweis
Annahme: (
P K−∞
0 ) 6= 0
limn→∞ −n ) = ε > 0 ⇒ ∃m : P (K−0 m ) > 2ε
P (K
0
−im 0
P (K
−(i +1)m ) = P (K−m ) (∀i ∈ N), denn
m
im

−
Die Ereignisse K
i m i ∈N0
−( +1) sind unabhängig, da jeweils
verschiedene U s zu Grunde liegen

im ⇒ K 0 ∀i ∈ {0, ..., k − 1}
−km
−
Sei k ∈ N. i m K
−( +1)
0 0 −(k −1)m
Also ¬K−km ⇒ ¬K−m ∧ ... ∧ ¬K
−km

Ein 0-1-Gesetz
Beweis
0 0 −(k −1)m
K
− km ⊆ K−m ∩ ... ∩ K−km

Ein 0-1-Gesetz
Beweis
0 0 −(k −1)m
K
− km ⊆ K−m ∩ ... ∩ K−km
k m

−( −1)

0 0
P
−km ≤ P
K −m ∩ ... ∩
K
km K
− =
Q k −1 −(i −1)m
≤ (1 − ε )k

i =0 P K−im 2

Ein 0-1-Gesetz
Beweis
0 0 −(k −1)m
K
− km ⊆ K−m ∩ ... ∩ K−km
k m

−( −1)

0 0
P
−km ≤ P
K −m ∩ ... ∩
K
km K
− =
Q k −1 −(i −1)m
≤ (1 − ε )k

i =0 P K−im 2
0
k k−→
→∞
km ) = 1 − P (K−0 km ) = 1 −
ε
P K ( − 1 − 2 1

Ein 0-1-Gesetz
Beweis
0 0 −(k −1)m
K
− km ⊆ K−m ∩ ... ∩ K−km
k m

−( −1)

0 0
P
−km ≤ P
K −m ∩ ... ∩
K
km K
− =
Q k −1 −(i −1)m
≤ (1 − ε )k

i =0 P K−im 2
0
k k−→
→∞
km ) = 1 − P (K−0 km ) = 1 −
ε
P K ( − 1 − 2 1
Also P (K−∞ )
0 = 1, 0
falls P (K−∞ ) 6= 0

Zweiter Satz: Der Output ist π - verteilt

Wir denieren die Zufallsvariable
Y : [0; 1]∞ \{Folgen die nicht zum Abbruch führen} → S

Wir denieren die Zufallsvariable
Y : [0; 1]∞ \{Folgen die nicht zum Abbruch führen} → S
durch
Y ( (. . . , u−1 , u0 ) ) := Output bei Benutzung dieser Folge

Dann lautet der Satz von Propp und Wilson:
∀i ∈ {1, ..., k } : P (Y = si ) = πi .


Wir unterstellen jetzt
0
(
P K−∞ )=1

Wir unterstellen jetzt
0
(
P K−∞ )=1
d. h. ausführlich
n
P ( (. . . , u−1 , u0 ) ∈ [0; 1]∞ : ∃t ∈ N :
∃sj ∈ {s1 , . . . , sk } : ∀si ∈ {s1 , . . . , sk } :
o
Φ(Φ(· · · Φ(Φ(si , u−t ), u−t +1 ), . . . , u−1 ), u0 ) = sj ) =1


Beweismethode: Kopplungsargument

Wir erzeugen eine weitere, besondere, Markovkette und
koppeln sie an die anderen:

Die Simulation werde ein weiteres Mal

durchgeführt.


durchgeführt.
Die Updatefunktion sei dieselbe.


durchgeführt.
Die Updatefunktion sei dieselbe.
Alle Zufallszahlen U−NM , U−NM +1 , . . . , U0 werden
wiederverwendet.



Aber wir betrachten nur eine Kette; welchen Anfangszustand
soll sie bekommen?


soll sie bekommen?
Der Anfangszustand der Kette sei nach der stationären
Verteilung π zufällig gewählt, und werde der Simulation
übergeben.


soll sie bekommen?
übergeben.
Es bezeichne Y
e den Output.


soll sie bekommen?
übergeben.
Es bezeichne Y
e den Output.
Weil π stationär ist, hat auch Y
e die Verteilung π.


soll sie bekommen?
übergeben.
Es bezeichne Y
e den Output.
0
Falls K− NM eingetreten ist, so liefert jeder Anfangszustand bei
−NM denselben Output Y zum Zeitpunkt 0.


soll sie bekommen?
übergeben.
Es bezeichne Y
e den Output.
0
Falls K− NM eingetreten ist, so liefert jeder Anfangszustand bei
−NM denselben Output Y zum Zeitpunkt 0.
Also gilt die Inklusion
0
K− NM ⊂ {Y = Y
e}
oder gleichwertig
e} ⊂ K0 .
{Y 6= Y −NM
e } := {Y = Y

Also
∀ε > 0 : |P (Y = si ) − πi | < ε


Ezienz
Wie rasch sollten wir in die Vergangenheit hineingehen?

Ezienz
Wir denieren N
∗ dadurch, dass −N ∗ der gröÿte Zeitpunkt ist,
bei dem zum Zeitpunkt 0 die Ketten verschmolzen sind.
Es ist N
∗ eine Zufallsvariable und hängt von ,
U0 U−1 U−2, , ...
ab.

Ezienz
Wir denieren N
Es ist N
U0 U−1 U−2, , ...
ab.
Simulationen, die bei −N mit −N < −N ∗ beginnen, sind

verschwendet.

Ezienz
Wir denieren N
Es ist N
U0 U−1 U−2, , ...
ab.

verschwendet.
Also: Wie sollten wir unsere Startzeitpunkte −N1 , −N2 , ... am

besten wählen?

Ezienz
Wir denieren N
Es ist N
U0 U−1 U−2, , ...
ab.

verschwendet.
Also: Wie sollten wir unsere Startzeitpunkte −N1 , −N2 , ... am

besten wählen?
Problem: N
∗ ist a priori nicht bekannt.

Ezienz
Startzeitpunkte

Ezienz
Startzeitpunkte
1. Versuch: (−N1 , −N2 , . . . ) = (−1, −2, −3, −4, . . . ).

Ezienz
Startzeitpunkte
1. Versuch: (−N1 , −N2 , . . . ) = (−1, −2, −3, −4, . . . ).

Insgesamt werden 1 + 2 + 3 + ... + N ∗ = N ∗ (N ∗ +1) Schritte
2
simuliert, also quadratisches Wachstum in N .
∗

Ezienz
Startzeitpunkte
1. Versuch: (−N1 , −N2 , . . . ) = (−1, −2, −3, −4, . . . ).

2
∗
2. Versuch: (−N1 , −N2 , ...) = (−1, −2, −4, −8, ...).

Ezienz
Startzeitpunkte
1. Versuch: (−N1 , −N2 , . . . ) = (−1, −2, −3, −4, . . . ).

2
∗
2. Versuch: (−N1 , −N2 , ...) = (−1, −2, −4, −8, ...).

Das liefert lineares Wachstum in N .
∗

Ezienz
Startzeitpunkte
1. Versuch: (−N1 , −N2 , . . . ) = (−1, −2, −3, −4, . . . ).

2
∗
2. Versuch: (−N1 , −N2 , ...) = (−1, −2, −4, −8, ...).

∗
3. Versuch: (−N1 , −N2 , ...) = (−b0 , −b1 , −b2 , −b3 , ...). für
ein b >1

Ezienz
Startzeitpunkte
1. Versuch: (−N1 , −N2 , . . . ) = (−1, −2, −3, −4, . . . ).

2
∗
2. Versuch: (−N1 , −N2 , ...) = (−1, −2, −4, −8, ...).

∗
3. Versuch: (−N1 , −N2 , ...) = (−b0 , −b1 , −b2 , −b3 , ...). für
ein b >1
Dabei zeigt sich:
Optimal ist ein b nahe bei 2

Verfehlte Vereinfachungen

Zukunftskopplung
Erste Vereinfachung: In die Zukunft simulieren
Simulation von vergangenen Startzeitpunkten ist aufwändig:

Zukunftskopplung

zu viele Schritte
Updatewerte U0 , U−1 , U−2 , ... müssen gespeichert werden

Zukunftskopplung

zu viele Schritte
Updatewerte U0 , U−1 , U−2 , ... müssen gespeichert werden
Warum lassen wir die Simulation nicht so lange laufen, bis alle
Ketten verschmelzen?

Zukunftskopplung
Intuition zur ersten verfehlten Vereinfachung

Zukunftskopplung
Wir bestimmen nun nicht mehr den
Zustand zu einem festen

Zeitpunkt, sondern zu einem
zufälligen.

Zukunftskopplung
Wir bestimmen nun nicht mehr den
Zustand zu einem festen

Zeitpunkt, sondern zu einem
zufälligen.
Dies verzerrt das Ergebnis.

Neue Zufallszahlen
Zweite Vereinfachung: Immer wieder neue Zufallszahlen
Vorschlag: Algorithmus genau wie gehabt, mit

(N1 , N2 , . . . ) = (1, 2, 4, 8, . . . )
Unterschied: Neuerzeugung von Zufallszahlen für jeden
Zeitpunkt in jedem Schleifendurchlauf
Nachteil: Auch das verfälscht den Output.

Neue Zufallszahlen
Intuition zur zweiten verfehlten Vereinfachung
Hier legt sich der Algorithmus nicht

auf eine einzige Vergangenheit fest.

Zusammenfassung

Zusammenfassung
Propp-Wilson liefert exakt die stationäre Verteilung
Anzahl an Simulationsschritten wächst linear in N

∗

Zusammenfassung

∗
Problem: Eine Markov-Kette für jeden Zustand s ∈S

Mächtigkeit des Zustandsraumes |S | meist sehr groÿ

Zusammenfassung

∗
Problem: Eine Markov-Kette für jeden Zustand s ∈S

Mächtigkeit des Zustandsraumes |S | meist sehr groÿ
Lösung: Sandwiching → Kapitel 11

Danke für die Aufmerksamkeit!


MC Kap10

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

MC Kap10

Hochgeladen von

Copyright:

Verfügbare Formate

Algorithmus Analyse Verfehlte Vereinfachungen

Kapitel 10: Der Propp-Wilson Algorithmus

Peter Heinig Michael Kratzer

28.2.2007, TUM-Mathematik-Frühjahrsschule 2007

P. Heinig, M. Kratzer TUM

Rückblick: Probleme bei MCMC

P. Heinig, M. Kratzer TUM

Rückblick: Probleme bei MCMC

Verteilung nach Verschmelzen der Ketten nur nahe an der

P. Heinig, M. Kratzer TUM

Rückblick: Probleme bei MCMC

Verteilung nach Verschmelzen der Ketten nur nahe an der

Fehler lässt sich nur sehr schwer genau abschätzen

P. Heinig, M. Kratzer TUM

Rückblick: Probleme bei MCMC

Verteilung nach Verschmelzen der Ketten nur nahe an der

Fehler lässt sich nur sehr schwer genau abschätzen

Sehr grobe Abschätzungen der Zahl erforderlicher

P. Heinig, M. Kratzer TUM

MCMC kann durch metastabile Verteilungen getäuscht werden.

P. Heinig, M. Kratzer TUM

Abhilfe: Coupling From The Past

P. Heinig, M. Kratzer TUM

P. Heinig, M. Kratzer TUM

Ziele des Algorithmus

Output exakt nach der stationären Verteilung verteilt

P. Heinig, M. Kratzer TUM

Ziele des Algorithmus

Output exakt nach der stationären Verteilung verteilt

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

Zeithomogene, irreduzible, aperiodische Markovkette mit

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

Zeithomogene, irreduzible, aperiodische Markovkette mit

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

Zeithomogene, irreduzible, aperiodische Markovkette mit

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

Betrachte eine Vergangenheit einer bereits unendlich lange

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

Betrachte eine Vergangenheit einer bereits unendlich lange

(Die Vergangenheit besteht aus den Zufallszahlen, die in die

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

Betrachte eine Vergangenheit einer bereits unendlich lange

(Die Vergangenheit besteht aus den Zufallszahlen, die in die

Möglicherweise hängt der gegenwärtige Zustand nur von den

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

erhöhe m um 1 und gehe zu Schrit 2

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

P. Heinig, M. Kratzer TUM

Der Propp-Wilson Algorithmus

(Die Vergangenheit besteht aus den Zufallszahlen, die in die

(Die Vergangenheit besteht aus den Zufallszahlen, die in die

Wir denieren die Zufallsvariable