Seminar zur Wahrscheinlichekitstheorie

Totalvariationsabstand und Kopplung

1 Totalvariationsabstand
Wenn zwei Wahrscheinlichkeitsverteilungen und auf einem messbaren Raum
(, A) gegeben sind, dann ist man vielleicht daran interessiert, den Abstand
zwischen diesen Verteilungen zu messen. Also bedarf es der Einfhrung einer
geeigneten Metrik, die dies ermglichen wird:
Denition 1.1. Sei (, A) ein messbarer Raum, und Wahrscheinlichkeits-
mae darauf. Dann heit
|| ||
TV
:= max
A
|(A) (A)|
der Totalvariationsabstand zwischen und .
Die Denition ist sehr naheliegend, das heit als Wert fr den Abstand zwi-
schen zwei W-Maen nimmt man die grtmgliche Dierenz (zum Betrag)
zwischen ihnen fr irgendeine Teilmenge von . In unserem Fall haben wir ins-
besodere ist endlich und A ist die Potenzmenge von .
Beispiel 1.1. Erinnern wir uns ans Beispiel mit dem Frosch, = {e, w}, so
hatte er die Mglichkeiten mit Wahrscheinlichkeit p von Osten nach Westen und
mit Wahrscheinlichkeit q von Westen nach Osten zu springen. Das heit seine
Transaktionsmatrix sah so aus
_
1 p p
q 1 q
_
mit der Stationrerverteilung
= (
q
p+q
,
p
p+q
). Nehmen wir wieder an, dass der Frosch an dem stlichen Blatt
startet (d.h.
0
= (1, 0)) und denieren ferner

t
:= |
t
(e) (e)|
Dann gilt
||
t
||
TV
=
t
= |P
t
(e, e) (e)| = |P
t
(e, w) (w)|
Beweis. Per Denition ist ||
t
||
TV
= max
A
|
t
(A) (A)|.
Fr A = und fr A = ist die Dierenz aber gleich 0.
||
t
||
TV
= max{|
t
(e) (e)|, |
t
(w) (w)|}
es gilt aber |
t
(e) (e)| = |
t
(w) (w)|, denn
t
(e) = (
0
P
t
)(e) = P
t
(e, e)
|
t
(e) (e)| = |P
t
(e, e) (e)| = |1P
t
(e, w) (e)| = |(w) P
t
(e, w)| =
= |
t
(w) (w)|
1
Zum Nachweis, dass der in Def 1.1 denierte Totalvariationsabstand tatsch-
lich eine Metrik ist, bentigen wir eine quivalente, sehr ntzliche Darstellung
von || ||
TV
.
Satz 1.1. Sei (, A) ein messbarer Raum, und Wahrscheinlichkeitsmae
darauf. Dann gilt
|| ||
TV
=
1
2

x
|(x) (x)|. (1)
Beweis. Setze B := {x : (x) (x)} und sei A beliebig. Dann gilt
(A) (A) (A B) (A B) (B) (B)
Die erste Ungleichung ist richtig, weil aus A = (A B) (A B
c
) folgt
(A) = (A B) + (A B
c
) und (A) = (A B) + (A B
c
) .
(A) (A) = (A B) (A B) + (A B
c
) (A B
c
)
. .
0
denn (A B
c
) {x : (x) < (x)}.
Und die zweite aus (B)(B) = (AB)(AB)+(A
c
B) (A
c
B)
. .
0
.
Ganz analog weist man nach, dass (A) (A) (B
c
) (B
c
) ist.
Aus

x
(x) =

x
(x) = 1 folgt durch Subraktion auerdem, dass
_

xB
(x) (x)
_

_

xB
c
(x) (x)
_
= 0 ist.
(B) (B) = (B
c
) (B
c
) und |(A) (A)| (B) (B) A
(B) (B) ist unsere obere Schranke fr || ||
TV
.
Setze A = B, dann erhalten wir || ||
TV
= (B) (B) =
=
1
2
((B) (B) + (B
c
) (B
c
)) =
1
2

x
|(x) (x)|
Bemerkung. Aus dem Beweis geht insbesondere hervor, dass
|| ||
TV
=

x,(x)(x)
((x) (x)) =

x,(x)>(x)
((x) (x)) (2)
und
|| ||
TV
=

x,(x)<(x)
((x) (x)) (3)
gilt.
2
Satz 1.2. Sei (, A) ein messbarer Raum und Z die menge der Wahrschein-
lichkeitsmae auf diesem Raum. Dann ist die in der Denition 1.1 denierte
Abbildung eine Metrik auf Z.
Beweis. Fr beliebige elemente , und aus Z gilt per Denition
|| ||
TV
= max
A
|(A) (A)| 0
Gelte || ||
TV
= 0 (A) (A) = 0 A =
Andererseits impliziert = schon || ||
TV
= 0.
Die Symmetrie von || ||
TV
ist klar und die Dreiecksungleichung folgt nun
leicht mit (1)
|| ||
TV
=
1
2

x
|(x) (x)| =
1
2

x
|(x) (x) + (x) (x)|

1
2

x
(|(x) (x)| +|(x) (x)|) = || ||
TV
+|| ||
TV
Es gibt noch 2 weitere ntzliche, quivalente Umformungen von || ||
TV
Satz 1.3. Sei (, A) ein messbarer Raum, und Wahrscheinlichkeitsmae
darauf, f : R messbar. Dann gilt
|| ||
TV
=
1
2
sup
f
_

x
f(x)(x)

x
f(x)(x) : max
x
|f(x)| 1
_
(4)
Beweis. Richtung
Sei also f beliebig mit max
x
|f(x)| 1 gegeben. Dann erhalten wir folgendes
1
2

x
f(x)(x)

x
f(x)(x)

1
2

x
|f(x)||(x) (x)|

1
2

x
|(x) (x)| = || ||
TV
Die erste Ungleichheit folgt aus Dreiecksungleichung fr Betrag, zweite unter
Benutzung der Voraussetzung und die letzte Gleichheit aus (1). Weil diese Un-
gleichungskette fr alle f erfllt ist, gilt sie somit auch frs Supremum ber
diese menge.
|| ||
TV

1
2
sup
f
_

x
f(x)(x)

x
f(x)(x) : max
x
|f(x)| 1
_
Richtung
Wir konstruiren nun ein f

welches die Gleichheit erfllt, dann wird oensicht-

lich das Supremum ber die Menge || ||
TV
sein und unseren Beweis
vollenden.
f

:=
_
1, falls x mit (x) (x)
1, falls x mit (x) < (x)
1
2
_

x
f

(x)(x)

x
f

(x)(x)
_
=
1
2

x
f

(x)((x) (x))
=
1
2
_

x:(x)(x)
((x) (x)) +

x:(x)<(x)
((x) (x))
_
(2)+(3)
= ||||
TV
3
2 Kopplung
Fr die letzte quvalente Darstellung von || ||
TV
bentigen wir die Einfh-
rung eines neuen Begris.
Denition 2.1. Sei (, A) ein messbarer Raum, und Wahrscheinlichkeits-
mae darauf. Seien ferner X und Y zufallsvariablen, beide deniert auf dem
selben W-Raum (X, M, P) mit P
X
= und P
Y
= . Dann wird das Paar (X, Y )
als Kopplung von und bezeichnet.
Beispiel 2.1. Sei (, A) = ({0, 1}, P({0, 1})), (0) = (1) = 0, 5 = (0) = (1).
Das heit also = und beide knnen als Wahrscheinlichkeitsverteilungen des
fairen Mnzenwurfs angesehen werden. Nun gibt es zwei Mglichkeiten diese zu
koppeln:
1. Wir whlen X und Y als unabhngig von einander mit
P(X = x, Y = y) = 0, 25 fr alle (x, y) aus {0, 1}
2
2. Oder wir setzen Y = X und P(X = 0, Y = 0) = 0.5 = P(X = 1, Y = 1),
P(X = Y ) = 0
Bemerkung. Wenn eine Kopplung (X, Y ) von und mit q = P
(X,Y )
als ihre
Wahrscheinlichkeitsverteilung auf gegeben ist, so gengt diese per De-
nition

y
q(x, y) =

y
P(X = x, Y = y) = P(X = x) = (x)
und

x
q(x, y) =

y
P(X = x, Y = y) = P(Y = y) = (y)
Andererseits wenn uns eine Wahrscheinlichkeitsverteilung q auf vorliegt,
welche

y
q(x, y) = (x) und

x
q(x, y) = (y)
erfllt, dann existiert ein Paar von Zufallsvariablen (X, Y ) beide deniert auf
dem selben W-Raum mit der Zielmenge , so dass q der gemeinsamen Ver-
teilung von (X, Y ) entspricht (das hat zur Folge, dass (X, Y ) eine Kopplung von
und ist).
Beweis. Sei = {x
1
, ..., x
n
}. Wir denieren sowohl X, als auch Y auf
([0, 1), P[0, 1), ), auf dem halboenen null-eins Intervall mit einer Borel--
Algebra und dem Lebesgue Ma. Und zwar so, dass (X
1
{x}) = (x) fr
alle x erfllt ist. Das ist nicht schwer, ist endlich, also haben wir eine
endliche Anzahl von (x) Werten.
Sei z.B (x
1
) = z
1
, so setze X(a) = x
1
fr alle a [0, z
1
), dann gilt (X
1
{x
1
}) =
([0, z
1
)) = z
1
0 = z
1
= (x
1
). Fr (x
2
) = z
2
setzen wir diesmal X(a) = x
2
fr alle a [z
1
, z
1
+ z
2
) und so weiter.
Nun betrachtet man q(x
i
, x
1
) fr alle i {1, ..., n} und legt dadurch sein Y
wie folgt fest: Y
1
(x
1
) besteht diesmal aus einer Vereinigung von n Intervallen
4
[a
1
, b
1
) [a
2
, b
2
) ... [a
n
, b
n
), so dass [a
1
, b
1
) X
1
{x
1
}, [a
2
, b
2
) X
1
{x
2
},
usw. und ([a
i
, b
i
)) = q(x
i
, x
1
).
Nun geht man zu Y
1
(x
2
) ber, hier whlt man eine Vereinigung von n Inter-
vallen [c
1
, d
1
) [c
2
, d
2
) ... [c
n
, d
n
) wieder mit [c
1
, d
1
) X
1
{x
1
}, [c
2
, d
2
)
X
1
{x
2
}, usw, so dass es mit ([c
i
, d
i
)) = q(x
i
, x
2
) passt. Selbstverstndlich
sind [a
i
, b
i
) und [c
i
, d
i
) so gewhlt, dass [a
i
, b
i
) [c
i
, d
i
) = fr alle i gilt.
So eine Einteilung existiert und fhrt zu keinen Komplikationen, weil q ein W-
Ma auf ist.
Wir halten also fest, dass eine Kopplung entweder durch die Angabe eines Paa-
res (X, Y ), oder durch die Angabe eines W-Maes q auf speziziert werden
kann.
Greifen wir wieder das Beispiel 2.1 auf. Man knnte die Kopplung im ersten Fall
also durch angabe des q
1
(x, y) = 0, 25 fr alle (x, y) auf {0, 1}
2
spezizieren, im
zweiten Fall q
2
(0, 0) = q
2
(1, 1) = 0, 5 und 0 sonst.
Satz 2.1. Sei (, A) ein messbarer Raum, und Wahrscheinlichkeitsmae
darauf, (X, Y ) ihre Kopplung. Dann gilt
|| ||
TV
= inf
(X,Y )
{P(X = Y ) : (X, Y ) ist eine Kopplung} (5)
Beweis. Richtung
Sei also (X, Y ) eine beliebige Kopplung von und , A auch beliebig, so
folgt
|(A) (A)| = |P(X A) P(Y A)| =
|P(X A, X = Y ) +P(X A, X = Y ) P(Y A, Y = X) P(Y A, Y = X)|
= |P(X A, X = Y ) P(Y A, Y = X)| P(X = Y )
Die letzte Abschtzung stimmt, da sowohl {X A} {X = Y }, als auch
{Y A} {Y = X} beide Teilmengen von {X = Y } sind. Da diese Unglei-
chungskette fr alle A erfllt ist
max
A
|(A) (A)|
. .
||||
TV
P(X = Y ).
Dies widerrum ist fr alle Kopplungen (X, Y ) von und erfllt.
|| ||
TV
inf
(X,Y )
{P(X = Y ) : (X, Y ) ist eine Kopplung} .
Richtung
Es reicht eine Kopplung zu nden fr welche die Gleichheit gilt, dann folgt
automatisch die Behauptung. Wegen der Bemerkung zuvor gengt es aber so
ein q mit

x
q(x, y) = (y),

y
q(x, y) = (x) und fr die Gleichheit in dem
Satz brauchen wir eine dritte Bedingung

x
q(x, x) = 1 || ||
TV
, denn

x
q(x, x) = P(X = Y ).
Wir denieren unser q wie folgt:
5
q(x, x) := (x) (x)
q(x, y) :=
((x)(x)(x))((y)(y)(y))
||||
TV
Um zu sehen, dass dieser q alle bentigte Eigenschaften erfllt, weisen wir sie
nach. Sei hier fr wieder B := {x : (x) (x)}
1) Dritte Eigenschaft ist erfllt:

x
q(x, x) =

x
(x) (x) =

xB
(x) +

xB
c
(x)
=

xB
(x) +

xB
c
(x) +

xB
(x)

xB
(x) = 1

xB
((x) (x))
(2)
= 1 || ||
TV
2) Unser q ist ein W-Ma ( 0 ist klar):

x=y
q(x, y) =

yB
c

xB
q(x, y)
(2)
=

yB
c
((y) (y) (y))
(3)
= || ||
TV
wegen 1) erhalten wir

x
q(x, x) +

x=y
q(x, y) = 1
3) Die erste und zweite Eigenschaften sind erfllt:

y
q(x, y) = q(x, x)+

y,y=x
q(x, y) =
_
(x) + ((x) (x)) x B
(x), x B
c
= (x)

x
q(x, y) analog
6