Stochastik I

Vorlesungsmitschrift
Ulrich Horst
Institut f ur Mathematik
Humboldt-Universitat zu Berlin
ii
Inhaltsverzeichnis
1 Grundbegrie 1
1 Wahrscheinlichkeitsraume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2 Diskrete Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3 Transformation von Wahrscheinlichkeitsraumen . . . . . . . . . . . . . . . . . . . . . . 5
4 Zufallsvariable, Erwartungswert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
5 Ungleichungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
6 Varianz und Kovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
7 Schwaches und starkes Gesetz der groen Zahlen . . . . . . . . . . . . . . . . . . . . . 11
8 Vergleich von Konvergenzbegrien, gleichmaige Integrierbarkeit . . . . . . . . . . . . 12
9 Verteilung einer Zufallsvariablen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
10 Schwache Konvergenz von Wahrscheinlichkeitsmaen . . . . . . . . . . . . . . . . . . . 15
11 Dynkin-Systeme, Eindeutigkeitssatz, Satze uber monotone Klassen . . . . . . . . . . . 16
2 Unhabhangigkeit 19
1 Unabhangige Ereignisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2 Unabhangige Zufallsvariablen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3 Starkes Gesetz der groen Zahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4 Gemeinsame Verteilung, Faltung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1 Fouriertransformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
5 Der zentrale Grenzwertsatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
iii
Kapitel 1
Grundbegrie
1 Wahrscheinlichkeitsraume
a) Was kann alles passieren?
b) Mit welchen Wahrscheinlichkeiten treten diese oder jene Ereignisse auf?
a) Menge ,= der moglichen Ereignisse
Beispiel 1.1. a) Ein M unzwurf: = 0, 1.
b) n M unzw urfe: = (X
1
, . . . , X
n
) : X
i
0, 1.
c) unendlich viele M unzw urfe: =
_
(X
i
)
iN
: X
i
0, 1
_
.
d) Zufallszahl zwischen 0 und 1: = [0, 1].
e) Stetige stochastische Prozesse, z.B. Brownsche Bewegung auf R:
= ( ([0, 1]) oder = ( ( [0, ) ).
Ereignis A :

A tritt ein, falls auftretendes in A liegt.

Elementares Ereignis: A = , ,
unmogliches Ereignis: A = ,
sicheres Ereignis: A = ,

A tritt nicht ein: A

c
.
Kombination von Ereignissen
A
1
A
2
,

i
A
i

mindestens eins der A

i
tritt ein,
A
1
A
2
,

i
A
i

jedes der A
i
tritt ein,

mn
A
m

unendlich viele der A

i
treten ein,

mn
A
m

bis auf endlich viele treten alle A

i
auf,
limsup A
n
=

mn
A
m
, liminf A
n
=

mn
A
m
.
Beispiel 1.2. zu a)

1 tritt ein: A = 1.
zu b) Genau k Einsen treten auf: A = (X
1
, . . . , X
n
) :

n
i=1
X
i
= k.
1
2 KAPITEL 1. GRUNDBEGRIFFE
zu c) Relative Haugkeit von 1 ist p: A =
_
(X
1
, . . . , X
n
) : lim
1
n

n
i=1
X
i
= p
_
.
zu d) Zahl zwischen a und b: A = [a, b].
zu e) Niveau c wird uberschritten (bis zur Zeit 1): A = ( ([0, 1]) : max
0t1
(t) c.
Kollektion / der im Modell zugelassenen Ereignisse soll abgeschlossen sein unter abzahlbaren
Mengenoperationen.
Denition 1.3. / T () heit -Algebra, falls
1. /,
2. A / impliziert A
c
/,
3. A
1
, A
2
, . . . / impliziert

n=1
A
n
/.
Bemerkung 1.4. 1. Sei / eine -Algebra. Dann gilt:
/,
A
1
, A
2
, . . . / impliziert

n=1
A
n
= (

n=1
A
n
)
c
/.
2. T () ist eine -Algebra.
3. Seien /
i
-Algebren, i I, dann ist

iI
/
i
wieder eine -Algebra.
4. Typische Konstruktion einer -Algebra /: Sei /
0
Klasse von Ereignissen, die jedenfalls dazu-
gehoren sollen. Deniere:
/ =

B -Algebra
,
0
B
B
= die kleinste -Algebra, die /
0
enthalt
=: (/
0
) ,
(/
0
) heit die von /
0
erzeugt -Algebra.
Beispiel 1.5. Sei ein topologischer Raum und /
0
die Familie der oenen Teilmengen auf .
B () = (/
0
) heit Borelsche -Algebra auf oder -Algebra der Borelschen Teilmengen von .
B () enthalt im Allgemeinen nicht alle Mengen.
Denition 1.6. Sei ,= und / eine -Algebra auf . Eine Abbildung P : / [0, ] heit Ma auf
(, /), falls P() = 0 und P(

i=1
A
i
) =

i=1
P(A
i
) f ur A
1
, A
2
, . . . /, die paarweise disjunkt sind
(-Additivitat). P heit Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsma, falls P() = 1,
(, /, P) heit dann Wahrscheinlichkeitsraum. (Axiome von Kolmogorov)
Beispiel 1.7. zu a) = 0, 1, / = , 0 , 1 , 0, 1 = T (), faire M unze: P(0) = P(1) =
1
2
.
zu c)

X
1
, . . . ,

X
n
0, 1, P
__
(X
i
)
i
: X
1
=

X
1
, X
2
=

X
2
, . . . , X
n
=

X
n
__
= 2
n
.
/
0
=B : B hangt nur von endlich vielen W urfen ab
=A0, 1 0, 1 . . . : A T (0, 1
n
) , n = 1, 2, . . . .
P ist fortsetzbar auf (/
0
).
2. DISKRETE MODELLE 3
zu e) / = B (R), P( ( ([ 0, ) ) : (t) [a, b]) =
1

2t
_
b
a
e

x
2
2
dx.
Einfache Rechenregeln 1.8. Sei (, /, P) ein Wahrscheinlichkeitsraum und seien A
1
, . . . , A
n
paar-
weise disjunkt. Dann gilt: P(

n
i=1
A
i
) =

n
i=1
P(A
i
).
Insbesondere gilt: P(A
c
) = 1 P(A).
Sind A, B / mit A B, so folgt: P(B) = P(A) +P(BA).
A, B / impliziert P(A B) = P(A) +P(BA B) = P(A) +P(B) P(A B).
Mit vollstandiger Induktion: P
_
iI
A
i
_
=

,=JI
(1)
]J]+1
P
_

jJ
A
j
_
mit J endliche Menge.
F ur I = 1, . . . , n gilt: P
_
iI
A
i
_
=

n
k=1
(1)
k+1

1i
1
...i
k
n
P
_

k
j=1
A
i
j
_
.
Satz 1.9. Sei / eine -Algebra auf und P : / R eine Abbildung mit P() = 1. Dann sind die
folgenden Aussagen aquivalent:
1) P ist eine Wahrscheinlichkeitsverteilung.
2) P ist additiv (d.h. AB = impliziert P(A B) = P(A)+P(B)) und isoton stetig, d.h. A
n
/,
A
n
A impliziert P(A
n
) P(A).
3) P ist additiv und antiton stetig.
Korollar 1.10. Seien A
1
, A
2
, . . . /. Dann gilt: P(

i
A
i
)

n=1
P(A
n
).
Lemma 1.11. [Borel-Cantelli] Sei (, /, P) ein Wahrscheinlichkeitsraum und seien A
1
, A
2
, . . . /
mit

i=1
P(A
i
) < . Dann gilt:
P
_
limsup
n
A
n
_
= 0.
Beispiel 1.12. 1. = [0, 1], / Borelsche -Algebra = ([a, b] : 0 a b 1),
P = Lebesgue Ma

[0,1]
, P([a, b]) = b a (Existenz und Eindeutigkeit vorausgesetzt) Gleichver-
teilung auf [a, b].
2. ,= , ,

(A) =

(A) =
_
1, A
0, / A
= 1
A
() Dirac Ma.
3. ,= , I abzahlbar,
i
R,

i=1

i
= 1,
i
, P =

i
.
2 Diskrete Modelle
Sei ,= eine (hochstens) abzahlbare Menge und / = T ().
Satz 2.1. Sei p : [0, 1],

p () = 1 (p Gewichtung der Falle). P(A) :=

A
p (), A
deniert ein Wahrscheinlichkeitsma auf . Jedes Ma auf ist von dieser Form.
Beispiel 2.2. 1. 0 < [[ < , p () = const. =
1
]]
.
Laplace Modell: F ur A dann P(A) =
]A]
]]
. P ist Gleichverteilung auf .
Zufallige Permutationen:
M = 1, . . . , n, Menge aller Permutationen von M, d.h. aller Bijektionen : M M.
4 KAPITEL 1. GRUNDBEGRIFFE
Dann [[ = n!. P sei Gleichverteilung auf .
Frage z.B.: P(

mindestens ein Fixpunkt), A

i
= : (i) = i
P(

mindestens ein Fixpunkt) =P

_
n
_
i=1
A
i
_
=
n

k=1
(1)
k+1

1i
1
...n
P(A
i
1
. . . A
i
k
) .
Mit P(A
i
1
A
i
2
. . . A
n
) =
(nk)!
n!
, gegeben
_
n
k
_
Summanden, gilt:
P
_
n
_
i=1
A
i
_
=
n

k=1
(1)
k+1
_
n
k
_
(n k)!
n!
=
n

k=1
(1)
k
1
k!
.
Es folgt: P(

kein Fixpunkt) =

n
k=0
(1)
k
1
k!
e
1
.
P(

genau k Fixpunkte) =
1
n!
..
mogliche Falle

_
n
k
_
. .
Fixpunkte werden festgelegt
(n k)!
nk

j=0
(1)
j
1
j!
. .
obige Forml f ur nk
=
1
k!
nk

j=0
(1)
j
j!
1

1
k!
e
1
.
Poisson-Verteilung mit Parameter = 1.
2. n Experimente mit Zustandsraum S:
0 < [S[ < , = (X
1
, . . . , X
n
) : X
i
S, [[ = [S[
n
, S
0
S Erfolg, falls S
0
auftritt.
p :=
]S
0
]
]S]
, A
k
:= genau k Erfolge,
p (A
k
) =
[A
k
[
[[
=
_
n
k
_
[S
0
[
k
[SS
0
[
nk
[S[
n
=
_
n
k
_
p
k
(1 p)
nk
.
Binomialverteilung mit Parametern n, p.
F ur p =

n
konvergiert die Binomialverteilung f ur festes k gegen die Poisson-Verteilung
k
e
k

1
k!
.
3. Meinungsumfragen, ...
N Kugeln, K rote, N K schwarze, Stichprobe von n Kugeln (ohne Zur ucklegen), davon k rote
Modell:
) Gesamtheit aller Teilmengen von 1, . . . , N mit genau n Elementen, d.h.
= T (1, . . . , N) : [[ = n ,
[[ =
_
N
n
_
.
3. TRANSFORMATION VON WAHRSCHEINLICHKEITSR

AUMEN 5
) P Gleichverteilung auf ,
A
k
:= genau k rote P(A
k
) =
]A
k
]
]]
=
(
K
k
)(
NK
nk
)
(
N
n
)
hypergeometrische Verteilung
F ur
K
N
=: p fest konvergiert die hypergeometrische Verteilung f ur N gegen die Binomial-
verteilung
_
n
k
_
p
k
(1 p)
nk
.
3 Transformation von Wahrscheinlichkeitsraumen
(, /),
_

,

/
_
seien messbare Raume (jeweils Menge mit -Algebra).
Denition 3.1. Eine Abbildung T :

heit messbar (/

/-messbar), falls
T
1
_

A
_
/ =:
_
T

/
_
f ur alle

A

/.
Bemerkung 3.2. 0. Wenn / = T (), dann ist T messbar f ur alle

A.
1. Sei

A =
_

/
0
_
mit

/
0
T (). T :

ist messbar genau dann, wenn T
1
_

A
_
/ f ur
alle

A

/
0
.
Denition 3.3. Seien ,

Mengen,

/ eine -Algebra auf

und T :

gegeben. Dann heit
(T) :=
_
T
1
_

A
_
:

A

/
_
die von T erzeugte -Algebra (es ist eine!).
Satz 3.4. Sei P eine Wahrscheinlichkeitsverteilung auf (, /),
_

,

/
_
ein messbarer Raum und
T :

messbar. Dann ist durch

P
_

A
_
:= P
_
T
1
_

A
__
= P
_
T

/
_
,

A

/ eine Wahrschein-
lichkeitsverteilung auf
_

,

/
_
deniert, genannt das Bildma von P unter der Abbildung T, oder Ver-
teilung von T unter P.
Schreibweise: T (P), P
T
.
Bemerkung 3.5. 1. Nimmt T nur abzahlbar viele Werte
1
,
n
, . . . an, so ist

P = T (P) =

i
P[T =
i
]

i
.
2. Satz 3.4 lost manche Existenzprobleme:
Beispiel 3.6. Existenz des Lebesgue-Maes auf [0, 1] vorausgesetzt, existiert exaktes Modell f ur un-
endlich viele faire M unzw urfe: = [0, 1], / = B ([0, 1]), P = Lebesgue-Ma

[0,1]
,

=
__

X
1
,

X
2
, . . .
_
:

X
i
0, 1
_
, X
i
:

0, 1 , X
i
_
_

X
n
_
nN
_
:=

X
i
.
Projektion auf i-te Koordinate,

/ := (X
i
= 1 : i = 1, 2, . . .) .
6 KAPITEL 1. GRUNDBEGRIFFE
Die binare Darstellung von [0, 1] liefert Abbildung
T :

, (T
1

1
, T
2

2
, . . .) , X
i
T = T
i
.
Bei Zahlen, deren Darstellung nicht eindeutig ist, z.B. 0, 5, allgemein 2
i
, wahlen wir die unendliche
Reihe, d.h.
0, 5 =

i2
2
i
.
T ist messbar: T
1
(X
i
= 1) = T
i
= 1 ist Vereinigung von 2
i
Intervallen.
Sei

P das Bild von P unter T. Dann f ur x
1
, . . . , x
n
0, 1:

P[X
1
= x
1
, . . . , X
n
= x
n
] =P[T
1
= x
1
, . . . , T
n
= x
n
]
=P
_
T
1
(X
1
= x
1
, . . . , X
n
= x
n
)

=P
_
T
1
_
X
1
1
(x
1
) , . . . , X
1
n
(x
n
)
_
=P
_
(X
1
T)
1
(x
1
) , . . . , (X
n
T)
1
(x
n
)
_
=P
_
Intervall der Lange 2
n

=2
n
,
da T
1
= x
1
, . . . , T
n
= x
n
Intervall der Lange 2
n
.
4 Zufallsvariable, Erwartungswert
Sei (, /, P) Wahrscheinlichkeitsraum.
Denition 4.1. X : R (oder R) heit Zufallsvariable, falls X messbar ist, d.h. X
1
(B) /
f ur alle Borelschen B R.
Bemerkung 4.2. 1. X : R ist eine Zufallsvariable genau dann, wenn X c / f ur alle
c R, da ([ , c) : c R) = B (R).
2. Wenn / = T (), dann ist jedes X : R eine Zufallsvariable.
3. X sei eine Zufallsvariable und h : R R messbar. Dann ist hX = h(X) eine Zufallsvariable.
Insbesondere ist [X[, X
2
, [X[
p
und e
X
eine Zufallsvariable.
4. Die Menge der Zufallsvariablen ist abgeschlossen unter abzahlbaren Operationen. D.h. f ur Zu-
fallsvariablen X
1
, X
2
, . . . ist auch

i
X
i
Zufallsvariable (soweit sinnvoll) oder sup X
i
, inf X
i
,
liminf X
i
, limsup X
i
.
Wichtige Spezialfalle 4.3. 1) Indikator (charakteristische) Funktion von A /: 1
A
1
A
c =
_

_
, f ur c < 0
A
c
, f ur 0 c 1
, 1 c
/.
2) Elementare Zufallsvariable: X =

n
i=1

i
1
A
i
,
i
R.
Sei X eine Zufallsvariable mit X () endlich. Dann gilt X =

X()
1
X=]
.
4. ZUFALLSVARIABLE, ERWARTUNGSWERT 7
Satz 4.4. 1. Jede Zufallsvariable ist von der Form X = X
+
X

mit
X
+
= max (X, 0) , X

= max (X, 0) = min (X, 0) .

Insbesondere sind X
+
, X

Zufallsvariablen.
2. Zu jeder Zufallsvariable X 0 existiert eine isotone Folge (X
n
) von positiven Zufallsvariablen
mit sup X
n
= X.
Denition 4.5. [Normaldarstellung einer elementaren Zufallsvariablen]Sei X 0, X =

n
i=1

i
1
A
i
mit
i
R, A
i
/, A
i
A
j
= f ur alle i ,= j und

A
i
= . Diese Darstellung ist nicht eindeutig,
jede elementare Zufallsvariable besitzt eine solche Darstellung, z.B. X =

X()
1
X=]
.
Lemma 4.6. Sei X =

m
i=1

i
1
A
i
=

n
j=1

j
1
B
j
eine Normaldarstellung f ur eine elementare Zu-
fallsvariable 0. Dann gilt:

m
i=1

i
P(A
i
) =

n
j=1

j
P(B
j
).
Denition 4.7. Ist

i
1
A
i
Normaldarstellung f ur elementare Zufallsvariable X 0, so denieren
wir
E(X) :=
_
XdP :=
n

i=1

i
P(A
i
) .
Dies ist unabhangig von der Darstellung.
Eigenschaften 4.8. 0) E(1
A
) = P(A).
1) E(X) = E(X), R
+
.
2) E(X +Y ) = E(X) +E(Y ).
3) Aus X Y folgt E(X) E(Y ).
4) E(X) =

X()
P[X = ]. F ur X =

n
i=1

i
1
A
i
,
i
R
+
, A
i
/ nicht notwendig
Partition folgt: E(X) =

i
P(A
i
).
Lemma 4.9. Seien X
n
, X 0 elementare Zufallsvariablen, X
n
X
n+1
und X sup X
n
. Dann gilt:
E(X) sup E(X
n
).
Korollar 4.10. Seien X
n
, Y
n
elementare Zufallsvariablen 0, X
n
X
n+1
, Y
n
Y
n+1
und sup X
n
=
sup Y
n
. Dann gilt: sup E(X
n
) = sup E(Y
n
).
Denition 4.11. Sei X 0 eine Zufallsvariable auf und X
n
0 elementare Zufallsvariablen mit
X
n
X. Dann heit E(X) = sup E(X
n
) Erwartungswert von X, unabhangig von der Folge (X
n
)
n
wegen 4.10.
Eigenschaften 4.12. 0) X = 0 P-f.s. (d.h. P[X = 0] = 1) impliziert E(X) = 0.
1) E(X) = E(X), R
+
.
2) E(X +Y ) = E(X) +E(Y ).
3) X Y impliziert E(X) E(Y ).
4) Ist X () abzahlbar, so ist E(X) =

X()
P[X = ].
8 KAPITEL 1. GRUNDBEGRIFFE
Beispiel 4.13. Fairer M unzwurf
T () := min k : (k) = 1, Zeitpunkt des ersten Auftretens von

1. T (0, 0, 0, . . .) = .
P[T = k] = P[X
1
= 0, X
2
= 0, . . . , X
k1
= 0, X
k
= 1] = 2
k
.
Aus P[T = ] 2
k
f ur alle k N folgt P[T = ] = 0. Also, da X () abzahlbar:
E(T) =

k=1
kP[T = k] =
n

k=1
k2
k
= 2.
Satz 4.14. [von der monotonen Konvergenz] Seien X
n
0 Zufallsvariablen und X
n
X. Dann gilt:
E(X
n
) E(X).
Korollar 4.15. Seien X
n
Zufallsvariablen und X
n
0. Dann gilt: E(

n=1
X
n
) =

n=1
E(X
n
).
Denition 4.16. F ur eine Zufallsvariable X auf denieren wir den Erwartungswert durch
E(X) := E
_
X
+
_
E
_
X

_
,
falls min (E(X
+
) , E(X

)) < . Es sei
/
1
(, /, P) = /
1
= X : X reelle Zufallsvariable auf mit E([X[) < .
F ur alle X /
1
: |X|
1
= E([X[). X heit integrierbar, falls E([X[) < .
Satz 4.17. /
1
(, /, P) ist ein Vektorraum, ||
1
ist eine Halbnorm.
Lemma 4.18. [Lemma von Fatou] Seien X
n
Zufallsvariablen 0. Dann gilt:
E(liminf X
n
) liminf E(X
n
) ,
es reicht auch X
n
Y /
1
.
Bemerkung 4.19. E(liminf X
n
) < liminf E(X
n
) ist moglich, auch wenn Limiten existieren: z.B.
auf [0, 1] mit Gleichverteilung
E(X
n
) =
_
1
0
X
n
d = 1 n, X
n
0 und E(limX
n
) = 0, limE(X
n
) = 1.
1
n
X
n
2n
Oder: Fairer M unzwurf: Einsatz verdoppeln, bis 1 auftritt. Einsatz in der n-ten Runde:
X
n
= 2
n1
1
T>n1]
mit T Wartezeit auf die erste 1.
Wir berechnen E(X
n
) = 2
n1
P[T > n 1] = 2
n1 1
2
n1
= 1, X
n
() 0 f ur alle ,= (0, . . .), also
X
n
0 P-fast sicher.
Es folgt E(limX
n
) = 0.
Satz 4.20. [Konvergenzsatz von Lebesgue] Seien X
n
Zufallsvariablen mit [X
n
[ Y /
1
P-fast sicher
und X
n
X (punktweise). Dann gilt E(X
n
) E(X) und |X
n
X|
1
0, d.h. E([X
n
X[) = 0.
5. UNGLEICHUNGEN 9
5 Ungleichungen
Satz 5.1. [Jensensche Ungleichung] Sei h eine reelle konvexe Funktion auf einem Intervall I, X /
1
mit X () I. Dann gilt: h(E(X)) E(h(X)) , insbesondere ist E(X) I.
Beispiel 5.2. Mit h(t) = t
2
folgt (E(X))
2
E
_
X
2
_
. Allgemeiner: Sei 0 < p < q und h(t) = t
q
p
.
Dann gilt f ur alle Zufallsvariablen X: E([X[
p
)
1
p
(E([X[
q
))
1
q
,
q
p
> 1, I = R
+
und f ur alle n N:
(E(min [X[
p
, n))
p
q
E((min [X[ , n)
q
) .
Denition 5.3. Wir denieren /
q
:= X : X reelle Zufallsvariable, E([X[
q
) < , und f ur alle
X /
q
|X|
q
:= E([X[
q
)
1
q
.
Bemerkung 5.4. 1. F ur 0 < p < q folgt /
p
/
q
und f ur alle X /
q
gilt: |X|
p
|X|
q
.
2. F ur alle p 1 ist
/
p

ein Banachraum, z.B. folgt aus X, Y /

p
auch X +Y /
p
und
[X +Y [
p
2
p
([X[
p
+[Y [
p
) .
Satz 5.5. Sei X eine Zufallsvariable und h eine isotone Funktion auf R (es reicht isoton auf X (),
dann aber isoton auf R fortsetzbar). Dann gilt f ur alle c X ()
h(c) P[X c] E(h(X)) .
Spezialfalle 5.6. 1. Es gilt P[[X[ c]
E(]X])
c
f ur alle c > 0. Insbesondere: Es gilt E([X[) = 0
genau dann, wenn X = 0 P-fast sicher. Weiter folgt aus E([X[) < auch [X[ < P-fast
sicher.
2. Tschebyschesche Ungleichung: Sei X eine integrierbare Zufallsvariable und c > 0. Dann gilt:
P[[X E(X)[ c]
E
_
(X E(X))
2
_
c
2
=
var (X)
c
2
.
6 Varianz und Kovarianz
Erinnerung: E(X)

Mittelwert von X.
Denition 6.1. F ur eine Zufallsvariable X /
1
wird der

mittlere quadratische Prognosefehler

E
_
(X E(X))
2
_
als Varianz von X bezeichnet,
var (X) := E
_
(X E(X))
2
_
.
(X) :=
_
var (X) heit Streuung von X. Es gilt: var (X) = E
_
X
2
_
E(X)
2
.
Bemerkung 6.2. Folgende Aussagen sind aquivalent:
1) var (X) = 0,
2) X = E(X) P-fast sicher,
3) X P-fast sicher konstant.
10 KAPITEL 1. GRUNDBEGRIFFE
Es ist var (X) < genau dann, wenn X /
2
.
Beispiel 6.3. n-facher M unzwurf mit Parameter p: p [0, 1], = 0, 1
n
, / = T (), X
i
() =
i
,
S
n
=

n
i=1
X
i
(Haugkeit f ur das Auftreten von 1).

:= p
S
n
()
(1 p)
nS
n
()
f ur .
P
p
:=

ist ein Wahrscheinlichkeitsma, da:

=
n

k=0
_
n
k
_
p
k
(1 p)
nk
=(p + 1 p)
n
= 1.
Weiter gilt:
P[X
i
= 1] = p. ()
Also:
E
p
(S
n
) =
n

k=0
kP
p
[S
n
= k]
=
n

k=0
k
_
n
k
_
p
k
(1 p)
nk
=
n

k=1
np
_
n 1
k 1
_
p
k1
(1 p)
n1(k1)
=np
n1

k=0
_
n 1
k
_
p
k
(1 p)
n1k
=np.
Mit () folgt E(S
n
) =

n
i=1
E(X
i
) = np. Wir wollen var (S
n
) = E
_
S
2
n
_
E(S
n
)
2
berechnen. Dazu
bestimmen wir:
E
p
_
S
2
n
_
=
n

k=0
k
2
P[S
n
= k]
=
n

k=0
k
2
_
n
k
_
p
k
(1 p)
nk
=
n

k=0
k (k 1)
_
n
k
_
p
k
(1 p)
nk
+
n

k=0
k
_
n
k
_
p
k
(1 p)
nk
=n(n 1) p
2
+np.
Wir erhalten var (S
n
) = np (1 p).
Satz 6.4. [Cauchy-Schwarz] Seien X, Y /
2
. Dann ist X Y /
1
und es gilt:
[E(X Y )[
_
E(X
2
) E(Y
2
).
Denition 6.5. F ur X, Y /
2
heit
E((X EX) (Y EY )) =: cov (X, Y )
die Kovarianz von X und Y .
(X, Y ) :=
cov (X, Y )
(X) (Y )
7. SCHWACHES UND STARKES GESETZ DER GROSSEN ZAHLEN 11
heit Korellationskoezient (falls (X) , (Y ) > 0). X, Y heien unkorelliert, falls cov (X, Y ) = 0.
Es gilt:
cov (X, Y ) = E(X Y ) E(X) E(Y ) .
Rechenregeln 6.6. 1) var (aX +b) = a
2
var (X) f ur alle a, b R.
2) var (X +Y ) = var (X) + var (Y ) + 2cov (X, Y ).
3) [cov (X, Y )[ (X) (Y ) nach Satz 6.4.
4) [ (X, Y )[ 1.
7 Schwaches und starkes Gesetz der groen Zahlen
Es seien X
1
, X
2
, . . . /
2
(, /, P).
Annahmen:
1) Unkorelliertheit: cov (X
i
, X
j
) = 0 f ur alle i ,= j.
2) Konvergierende Varianzen: lim
n
1
n
2

n
i=1
var(X
i
) = 0.
S
n
:= X
1
+. . . +X
n
Ziel: Zufall mittelt sich aus:
S
n
()
n

E(S
n
)
n
.
Satz 7.1. Es gilt: E
_
_
S
n
n

E(S
n
)
n
_
2
_
0.
Bemerkung 7.2. Rein funktionalanalytisch: Im Hilbertraum konvergiert das Mittel von orthogonalen
normbeschrankten Vektoren gegen 0: Seien X
1
, X
2
, . . . H, X
i
, X
j
= 0. Dann folgt:
1
n

n
i=1
X
i
0.
Hier H =
/
2

, X, Y = E(X Y ).
Satz 7.3. [Schwaches Gesetz der groen Zahlen] Sei E(X
i
) = m f ur alle i = 1, . . .. Dann gilt f ur alle
> 0:
lim
n
P
_

S
n
n
m

_
= 0
(stochastische Konvergenz gegen m).
Beispiel 7.4. 0 1 Experimente mit Parameter p [0, 1]: Sei X
i
() =
i
, also E(X
i
) = p
i
und
var (X
i
) = p
i
(1 p
i
)
1
4
. F ur p
i
= p gilt dann:
P
_

S
n
n
p

_
0.
Von stochastischer zu fast sicherer Konvergenz:
Lemma 7.5. Seien Z
1
, Z
2
, . . . Zufallsvariablen auf (, /, P) und es gelte f ur alle > 0:

n=1
P[[Z
n
[ ] < .
Dann gilt limZ
n
= 0 P-fast sicher.
12 KAPITEL 1. GRUNDBEGRIFFE
Satz 7.6. [Starkes Gesetz der groen Zahlen] Seien X
1
, X
2
, . . . /
2
unkorelliert mit sup
iN
var (X
i
) <
. Dann gilt:
S
n
n

E(S
n
)
n
0 P fast sicher.
Beispiel 7.7. M unzwurf mit Parameter
1
2
. Y
i
= 2X
i
1, E(Y
i
) = 0, S
n
:= Y
1
+ . . . + Y
n
f uhrt
zu einem random walk auf Z. Nach Satz 7.6 gilt
S
n
n
0 P-fast sicher, d.h. die Fluktuation wachst
langsamer als linear. Prazisierung: Satz vom iterierten Logarithmus:
limsup
S
n

nlog log n
= + 1 P fast sicher,
liminf
S
n

nlog log n
=1 P fast sicher.
8 Vergleich von Konvergenzbegrien, gleichmaige Integrier-
barkeit
Denition 8.1. Seien X
1
, X
2
, . . . Zufallsvariablen auf (, /, P).
1) /
p
-Konvergenz (p 1): E([X
n
X[
p
) 0.
2) Stochastische Konvergenz f ur alle > 0: P[[X
n
X[ ] 0.
3) P-fast sichere Konvergenz: X
n
X P-fast sicher.
Satz 8.2.
1)
+Q
2)
f ur Teilfolgen
y
3)
falls sup ]X
n
] 1
p
]e
9e
Satz 8.3. Sei X
n
/
1
und X eine Zufallsvariable. Dann sind aquivalent:
1. X
n
X in /
1
(Daraus folgt E(X
n
) E(X).)
2. X
n
X stochastisch und (X
n
)
n
ist gleichmaig integrierbar.
Korollar 8.4. Sei X
n
/
1
, X
n
X P-fast sicher und X
n
gleichmaig integrierbar. Dann gilt:
E(X
n
) E(X) .
Denition 8.5. (X
i
)
iI
/
1
heit gleichmaig integrierbar, falls lim
c
sup
iI
_
M
[X
i
[ dP = 0 mit
M = [X
i
[ c.
Satz 8.6. Seien (X
i
)
iI
Zufallsvariablen auf (, /, P). Dann sind aquivalent:
1. (X
i
)
iI
ist gleichmaig integrierbar.
2. sup
i
E([X
i
[) < und f ur alle > 0 existiert ein > 0, so dass f ur alle i I und A / aus
P(A) < folgt, dass
_
A
[X
i
[ dP < .
Bemerkung 8.7. 1) Wenn Y /
1
und [X
i
[ Y f ur alle i I, dann ist (X
i
)
iI
gleichmaig
integrierbar. Insbesondere ist jede integrierbare Zufallsvariable auch gleichmaig integrierbar.
9. VERTEILUNG EINER ZUFALLSVARIABLEN 13
2) Seien (X
i
)
iI
und (Y
i
)
iI
gleichmaig integrierbar. Dann ist auch (X
i
+Y
i
) gleichmaig in-
tegrierbar f ur alle , R.
Nach 1) ist insbesondere jede endliche Teilmenge von /
1
gleichmaig integrierbar.
Satz 8.8. Sei g : R
+
R
+
mit lim
x
g(x)
x
= . Dann folgt aus sup
i
E(g ([X
i
[)) < , dass
(X
i
)
iI
gleichmaig integrierbar ist.
Folgerung 8.9. 1. Aus p > 1 und sup E([X
i
[
p
) < folgt, dass (X
i
)
iI
gleichmaig integrierbar
ist.
2. Aus sup E
_
[X
i
[ log
+
[X
i
[
_
< folgt, dass (X
i
)
iI
gleichmaig integrierbar ist.
Anwendung 8.10. [Anwendung vom Gesetz der groen Zahlen] Annahme: X
1
, X
2
, . . . /
1
(, /, P),
E(X
n
) = m f ur alle n, S
n
=

n
i=1
X
n
,
1
n
S
n
m P-fast sicher.
Frage: Wann gilt
1
n
S
n
1
1
m?
Antwort: Z.B. wenn sup E
_
[X
i
[ log
+
[X
i
[
_
< , denn: g (t) = t log
+
t, t 0 konvex und es folgt:
E
_
g
_
S
n
n
__

1
n

E(g (X
i
)) < .
Bemerkung 8.11. [Bemerkung zu Lebesgue] Sei X
n
/
1
(, /, P), X
n
X P-fast sicher und
X
n
0. Dann gilt X
n
1
1
X genau dann, wenn E(X
n
) E(X).
Satz 8.12. [Riesz-Fischer] Sei X
n
/
1
mit
_
[X
n
X
m
[ dP 0 f ur n, m (d.h. (X
n
)
n
ist
Cauchy in /
1
). Dann existiert ein X /
1
mit X
n
1
1
X und X
n
k
X P-fast sicher f ur eine
geeignete Teilfolge, d.h. insbesondere /
1
ist vollstandig, also
/
1

ist Banachraum.
9 Verteilung einer Zufallsvariablen
Sei (, /, P) ein Wahrscheinlichkeitsraum und X : R eine Zufallsvariable. Sei die Verteilung
von X: (A) := P[X A], A B
_
R
_
. ist ein Wahrscheinlichkeitsma auf
_
R, B
_
R
__
.
Annahme: P[X R] = 1, d.h. (R) = 1.
Denition 9.1. Die durch F (b) = (( , b] ) = P[X b], b R auf R denierte Funktion heit
Verteilungsfunktion von X bzw. .
Satz 9.2. 1. F ist isoton, rechtsseitig stetig und lim
x
F (x) = 0, sowie lim
x+
F (x) = 1.
2. Zu jedem solchen F existiert genau ein Wahrscheinlichkeitsma auf (R, B (R)) mit F (b) =
(( , b] ).
Bemerkung: Sei Y eine Zufallsvariable auf mit Gleichverteilung auf (0, 1), z.B. (, /, P) =
((0, 1) , B, ), Y (x) = x. Dann hat Y (x) die Verteilung .
Bemerkung 9.3. F ur alle x R ist
Sprunghohe von F in x =F (x) F (x)
= lim
n

__
x
1
n
, x
__
=(x) .
14 KAPITEL 1. GRUNDBEGRIFFE
Insbesondere ist F genau dann stetig, wenn (x) = 0. heit dann stetig. Wenn -additiv ist,
dann existiert eine hochstens abzahlbare Menge S R mit (x) = 0 f ur alle x S
c
, da es hochstens
n Punkte geben kann mit (x
i
) >
1
n
.
Denition 9.4. F bzw. heit diskret, falls es eine abzahlbare Menge S R gibt mit (S) = 1.
Dann ist =

xS
(x)
x
, F (b) =

xb
(x). (x) ist beliebig wahlbar mit

(x) = 1.
Beispiel 9.5. S = Q,
x
(0, 1) mit

xQ

x
= 1, =

xQ

x
, F (b) =

xb

x
, F streng
isoton.
Denition 9.6. bzw. F heit absolut stetig, falls es eine Dichtefunktion f 0 gibt mit F (b) =
_
b

f (t) dt, bzw. (A) =

_
A
f (t) dt =
_
R
(1
A
f) (t) dt. Insbesondere:
_

f (t) dt = 1.
Bemerkung 9.7. Jedes f 0 mit
_

f (t) dt = 1 deniert ein Wahrscheinlichkeitsma auf R

durch (A) :=
_
A
f (t) dt. Zugehoriges F: F (b) =
_
b

f (t) dt.
Beispiel 9.8. 1. Gleichverteilung auf [a, b]
f
1
(ba)
F 1
a
b a
b
2. Exponentialverteilung:
f (x) =
_
e
x
, 0
0, sonst
F (x) =
_
1 e
x
, x 0
0, sonst.
1
f
F
3. Normalverteilung: A
_
m,
2
_
, m R,
2
> 0, f
m,
2 (x) =
1

2
e

(xm)
2
2
2
und F
m,
2 (x) =
_
x

f
m,
2 (t) dt =
1

2
_ xm

t
2
2
dt = F
0,1
_
xm

_
.
Berechnung von E(X) bzw. allgemeiner E(h(X)) mit Hilfe der Verteilung von X:
Satz 9.9. Sei h 0 messbar auf R. Dann gilt: E(h(X)) =
_
R
h(x) (dx).
Bemerkung: Es gilt: E(h(X)) =
_

h(x) f (x) dx, falls absolut stetig mit Dichte f ist. Weiter
gilt: E(h(X)) =

S
h(x) (x), falls diskret mit (S) = 1.
10. SCHWACHE KONVERGENZ VON WAHRSCHEINLICHKEITSMASSEN 15
m m
Sei nun X A
_
m,
2
_
verteilt: E(X) =
_

x f
m,
2 (x) dx = m +
_

(x m) f (x) dx, wegen

Symmetrie. p-tes zentrales Element:
E([X m[
p
) =
_

[x m[
p
f
m,
2 (x) dx
=
_

[x[
p
f
0,
2 (x) dx
=2
_

0
[x[
p
f
0,
2 (x) dx
=
1

2
p
2

p
_

0
y
p+1
2
1
e
y
dy.
Erinnerung: (q) =
_

0
y
q1
e
y
dy, (q + 1) = q(q), (1) = 1,
_
1
2
_
=

.
Es folgt: E([X m[
p
) =
1

2
p
2

_
p+1
2
_

p
und
p = 1: E([X m[) =
1

2
1
2
(1) =
_
2

,
p = 2: E
_
[X m[
2
_
=
1

2
_
3
2
_

2
=
1

2
1
2

_
1
2
_

2
=
2
,
p = 3: E
_
[X m[
3
_
=
2
3
2

3
=
_
8

3
,
p = 4: E
_
[X m[
4
_
= 3
4
.
10 Schwache Konvergenz von Wahrscheinlichkeitsmaen
Sei (S, o) ein Messraum mit S topologischer Raum, o = B (S) und (
n
)
n
eine Folge von Wahrschein-
lichkeitsmaen auf (S, o). Suchen Konvergenzbegri
n
. F ur alle A o:
n
(A) (A)? F ur
viele Zwecke, z.B. zentralen Grenzwertsatz zuviel verlangt.
Denition 10.1. Seien
n
, Wahrscheinlichkeitsmae auf (S, o). Dann
n
schwach, falls
_
fd
n

_
fd f ur alle stetigen, beschrankten reellen Funktionen f auf S.
Beispiel 10.2. 1) X
n
, X S, X
n
X, dann folgt:
X
n

X
schwach, denn: Aus f stetig folgt
f (x
n
) f (x), f (x
n
) =
_
fd
x
n
f (x) =
_
fd
x
. Dies hatte man oben nicht: A = x. Dann
1
A
(x
n
) = 0 f ur x
n
,= x. Daraus folgt:
n
(A) = 0 , (A).
16 KAPITEL 1. GRUNDBEGRIFFE
2) A
_
0,
1
n
_

0
schwach:
n
:= A
_
0,
1
n
_
. Es gilt:
_

fd
n
=
_
f (x)
1
_
2
1
n
e

x
2
2
1
n
dx =
1

2
_

f
_
y

n
_
e

y
2
2
dy.
Mit f
_
y

n
_
f (0) folgt mit Lebesgue:
_
fd
n

1

2
_
f (0) e

y
2
2
d = f (0)
1

2
_
e

y
2
2
dy =
f (0) =
_

f (x) d
0
.
Satz 10.3. Sei S ein metrischer Raum mit (
n
)
n
, Wahrscheinlichkeitsmae auf (S, o). Dann sind
aquivalent:
1.
n
schwach.
2.
_
fd
n

_
fd f ur alle gleichmaig stetigen f (
b
(S).
3. limsup
n
(F) (F) f ur alle F S abgeschlossen.
4. liminf
n
(G) (G) f ur alle G S oen.
5. lim
n
(A) = (A) f ur alle -randlosen A o, d.h. f ur alle A o mit (A) = 0.
Korollar 10.4. Sei (, /, P) ein Wahrscheinlichkeitsraum und X
n
, X messbare Abbildungen von
nach S mit Verteilungen
n
, . Es konvergiere (X
n
) stochastisch gegen X, d.h. f ur alle > 0 gilt:
P[d (X
n
, X) ] 0. Dann konvergiert (
n
) schwach gegen .
Korollar 10.5. F ur Wahrscheinlichkeitsmae
n
, auf (R, B (R)) mit Verteilungsfunktionen F
n
, F
sind aquivalent:
1)
_
fd
n

_
fd f ur alle f ( (R) mit kompaktem Trager.
2)
n
schwach.
3) F
n
(x) F (x) f ur alle Stetigkeitsstellen x von F. (Dass dies f ur Unstetigkeitsstellen nicht
klappt, mache man sich f ur die Verteilungsfunktion von Diracmaen klar.)
4)
n
(( a, b]) (( a, b]) f ur alle -randlosen ( a, b] .
11 Dynkin-Systeme, Eindeutigkeitssatz, Satze uber monotone
Klassen
Denition 11.1. Sei ,= . T T () heit Dynkin-System, falls
i) T,
ii) A T impliziert A
c
T,
iii) f ur A
1
, A
2
, . . . paarweise disjunkt aus T ist auch

i=1
A
i
T.
Beispiel 11.2. Wenn P
1
, P
2
Wahrscheinlichkeitsmae auf (, /) sind, ist A / : P
1
(A) = P
2
(A)
ein Dynkin-System.
11. DYNKIN-SYSTEME, EINDEUTIGKEITSSATZ, S

ATZE

UBER MONOTONE KLASSEN 17
Bemerkung 11.3. 1. Wenn A, B T Elemente eines Dynkin-Systems mit A B sind, so folgt
BA = (A

B
c
)
c
T.
2. Jedes durchschnittsstabile Dynkin-System ist eine -Algebra.
Satz 11.4. Ist M T () durchschnittsstabil, so stimmt das von M erzeugt Dynkin-System T(M) =

1 Dynkin-System
1M
T mit der von M erzeugten -Algebra (T) uberein.
Satz 11.5. Stimmen zwei Wahrscheinlichkeitsmae auf einem durchschnittsstabilen Erzeuger E der
-Algebra / uberein, so sind sie gleich.
Beispiel 11.6. 1. Ein Wahrscheinlichkeitsma auf R ist durch seine Verteilungsfunktion F ein-
deutig bestimmt: (( , b]) = F (b), ( , b] : b R durchschnittsstabiler Erzeuger von
B (R).
2. P
p
auf = (X
1
, X
2
, . . .) : X
i
0, 1 ist eindeutig festgelegt durch
P
p
[ X
1
= x
1
, . . . , X
n
= x
n
. .
durchschnittsstabiler Erzeuger der
Algebra auf
] = p
k
(1 p)
nk
f ur k =

n
i=1
X
i
. Im Fall p =
1
2
haben wir die Existenz bereits bewiesen, falls p ,=
1
2
zeigen wir
diese spater.
Satze uber monotone Klassen
Ein Vektorraum 1 reeller Funktionen auf heit monotoner Vektorraum, falls aus 1 1, f
n
1
und f
n
f beschrankt folgt, dass f 1.
Lemma 11.7. Jeder monotone Vektorraum 1 ist abgeschlossen gegen uber gleichmaiger Konvergenz.
Satz 11.8. [ uber monotone Klassen,

Algebraform] Sei / eine Menge von beschrankten Funktionen

auf , die abgeschlossen bzgl. Multiplikationen ist und 1 ein monotoner Vektorraum mit / 1.
Dann ist jede beschrankte, (/)-messbare Funktion in 1 enthalten. (/) = kleinste Mengensystem
(-Algebra) bzgl. derer alle Funktionen aus / messbar sind = (f > : f /, R).
Beispiel: topologischer Raum, / = 1
U
: U oen in .
Satz 11.9. [ uber monotone Klassen,

Verbandsform] Sei K ein min-stabiler konvexer Kegel positiv

beschrankter Funktionen mit 1 K. Es sei 1 ein monotoner Vektorraum mit K 1. Dann ist jede
beschrankte (K)-messbare Funktion in 1 enthalten.
Korollar 11.10. Seien
1
,
2
Wahrscheinlichkeitsmae auf (S, o). F ur alle f (
b
(S) mit
_
fd
1
=
_
fd
2
gilt:
1
=
2
.
18 KAPITEL 1. GRUNDBEGRIFFE
Kapitel 2
Unhabh

angigkeit
1 Unabhangige Ereignisse
Sei (, /, P) ein Wahrscheinlichkeitsraum.
Denition 1.1. Eine Kollektion A
i
, i I von Ereignissen heit unabhangig, falls f ur alle J I
endlich P
_
iJ
A
i
_
=

iJ
P(A
i
). Eine Kollektion B
i
, i I von Ereignissystemen B
i
/ heit
unabhangig, falls f ur alle J I endlich und f ur alle A
i
B
i
gilt P
_
iJ
A
i
_
=

iJ
P(A
i
).
Satz 1.2. Seien B
i
, i I durchschnittsstabil und unabhangig. Dann gilt:
1. (B
i
), i I sind unabhangig.
2. Allgemeiner: Sind J
k
, k K disjunkte Teilmengen von I, so sind
_
iJ
k
B
i
_
, k K un-
abhangig.
Beispiel 1.3. Seien A
i
, i I unabhangig, B
i
:= A
i
oder A
c
i
. Dann sind B
i
, i I unabhangig.
Bemerkung 1.4. Paarweise Unabhangigkeit reicht nicht: Wir betrachten zwei W urfe eines W urfels
mit Gleichverteilung und denieren A :=

1. Wurf 3, B :=

2. Wurf 5, sowie C :=

Summe = 7.
Es gilt: P(A) = P(B) = P(C) =
1
6
, P(A B) = P(A C) = P(B C) =
1
36
aber P(A B C) =
0 ,= P(A) P(B) P(C).
Beispiel 1.5. Unabhangige 0-1-Experimente mit Erfolgsparameter p [0, 1]
= (X
1
, X
2
, . . .) : X
i
0, 1, X
i
() =
i
. Gesucht ist eine Wahrscheinlichkeitsverteilung P
p
mit a) P
p
[X
i
= 1] = p, b) X
i
= 1, i N unabhangig P
p
[X
1
= x
1
, . . . , X
n
= x
n
] = P
p
[X
1
= x
1
]
. . . P
p
[X
n
= x
n
] = p
k
(1 p)
nk
f ur k =

x
i
. Wir wissen, dass P
p
durch diese Gleichverteilung
eindeutig bestimmt ist.
Satz 1.6. [0-1-Gesetz von Kolmogorov] Sei B
i
, i I eine unabhangige Kollektion von -Algebren.
Wir denieren B

:=

n=1
(

m=n
B
m
). Dann ist P(A) 0, 1 f ur alle A B

.
Vorstellung zu B

: B
i
= zum Zeitpunkt i eintretende Ereignisse, B

= unendlich ferne Zukunft,

fail eld, z.B. beim M unzwurf: A =

1 kommt unendlich oft vor, A =

Der Grenzwert lim

1
n

n
i=1
X
i
existiert.
Lemma 1.7. Aus B, B unabhangig, folgt P(A) 0, 1 f ur alle A B.
19
20 KAPITEL 2. UNHABH

ANGIGKEIT
Speziell: Sind A
1
, A
2
, . . . / unabhangig und A

:= limsup A
n
=

n=1

m=n
A
m
=

A
n
tritt
unendlich oft ein, dann folgt P(A

) 0, 1.
Lemma 1.8. [Borel-Cantelli]
1. Aus A
1
, A
2
, . . . /,

i=1
P(A
i
) < folgt: P(limsup A
n
) = 0.
2. Wenn A
1
, A
2
, . . . / unabhangig sind und

P(A
i
) = , dann gilt: P(limsup A
n
) = 1. (Es
gen ugt, dies f ur eine Teilfolge zu haben.)
Beispiel 1.9. 0-1-Experimente mit Parameter p (0, 1), binarer

Text der Lange N: x

1
, . . . , x
N
,
P
p
[

Text kommt irgendwann vor = 1]

=
_
_
y
1
, . . . , y
N
. .
Block 1
, y
N+1
, . . . , y
2N
. .
Block 2
, . . .
_
_
A
i
=

i-ter Block ist der Text. Dann folgt: A

1
, . . . sind unabhangig, P(A
i
) = p
k
(1 p)
Nk
=: ,
k =

x
i
. P(A

) kommt unendlich oft vor. Sogar nach starkem Gesetz der groen Zahlen: Aus
1
A
1
, . . . paarweise unabhangig folgt
1
n

n
i=1
1
A
i
E(1
A
i
) = .
2 Unabhangige Zufallsvariablen
Denition 2.1. Eine Kollektion X
i
, i I von Zufallsvariablen auf (, /, P) heit unabhangig, falls
die -Algebren (X
i
), i I unabhangig sind,
_
(X
i
) = X
1
i
_
B
_

R
___
d.h. f ur alle J I endlich und
A
i
B
_

R
_
gilt P(

J
[X
i
A
i
]) =

J
P[X
i
A
i
].
Bemerkung 2.2. Seien X
i
, i I unabhangig und h
i
:

R

R messbar. Dann gilt: h
i
(X
i
), i I
sind unabhangig, da (h X
i
) (X
i
) f ur alle i I.
Satz 2.3. Seien X
i
, i J unabhangig, J endlich und X
i
0. Dann gilt: E
_
iJ
X
i
_
=

J
E(X
i
).
Korollar 2.4. Seien X, Y /
1
und X, Y unabhangig. Dann folgt X Y /
1
und E(X Y ) =
E(X) E(Y ). Insbesondere: Seien X, Y /
2
unabhangig, so sind X, Y unkorelliert.
3 Starkes Gesetz der groen Zahlen
Satz 3.1. [Kolmogorov, 1930] Seien X
1
, X
2
, . . . /
1
, X
1
, X
2
, . . . unabhangig, identisch verteilt,
E(X
i
) = m. Dann gilt:
1
n

n
i=1
X
i
() m f ur P-fast alle .
(Erinnerung: In 7 brauchten wir X
1
, X
2
, . . . /
2
.)
Satz 3.2. [Etemadi, 1983] Seien X
1
, X
2
, . . . /
1
, X
1
, X
2
paarweise unabhangig und identisch verteilt,
E (X
i
) = m. Dann gilt
1
n

n
i=1
X
i
() m f ur P-fast alle .
Korollar 3.3. Seien X
1
, X
2
, . . . identisch verteilt, paarweise unabhangig mit X
i
0. Dann gilt:
1
n

n
i=1
X
i
m P-fast sicher.
Beispiel 3.4. Seien X
0
= 1, X
n
= X
n1
Y
n
, wobei Y
1
, Y
2
, . . . > 0 unabhangig, identisch verteilt sind
und m = E(Y
1
). Dann folgt: E(X
n
) =

n
i=1
E(Y
i
) = m
n
. Was tut X
n
()?
4. GEMEINSAME VERTEILUNG, FALTUNG 21
Z.B. Spiel: Setze Halfte des vorhandenen Kapitals, mit Wahrscheinlichkeit
1
2
verloren, mit Wahr-
scheinlichkeit
1
2
erhalte man das c-fache des Einsatzes zur uck (fair: c =
1
2
, superfair c > 2).
X
n
einmal setzen

1
2
X
n
+
_
c
1
2
X
n
mit Wahrscheinlichkeit
1
2
0 mit Wahrscheinlichkeit
1
2
= X
n
Y
n+1
,
wobei Y
n
=
_
1+c
2
mit Wahrscheinlichkeit
1
2
1
2
mit Wahrscheinlichkeit
1
2
(Existenz von Modell spater). E(Y
n
) =
2+c
4
.
Annahme: log Y
1
/
1
(im Spiel erf ullt), dann folgt
1
n
log X
n
() =
1
n

n
i=1
log Y
i
E(log Y
1
) =:
P- fast sicher.
) < 0: Es existiert ein > 0 mit + < 0 und damit folgt: f ur P-fast alle und f ur alle
n n
0
: X
n
() e
n(+)
, d.h. X
n
() 0 exponentiell schnell.
) > 0: X
n
() e
n()
, d.h. X
n
() exponentiell schnell.
< 0: Exponentieller Bankrott
> 0: Exponentieller Gewinn
Es ist = E(log Y
1
) log E(Y
1
) = log m (Jensen) (< falls Y
1
nicht deterministisch).
Beim Spiel:
E(log Y
1
) =
1
2
log
1 +c
2
+
1
2
log
1
2
=
1
2
log
1 +c
4
< 0
falls c < 3. F ur 2 < c < 3 ist das Spiel superfair, trotzdem exponentiell schneller Bankrott!
Unter den Voraussetzungen von 3.1: Wie ist es mit der Verteilung von X
i
?
Dazu sei
n
(, A) :=
1
n

n
i=1
1
A
(X
i
()), , A B (R), Haugkeit des Besuches in A, d.h.

n
(, ) =
1
n

n
i=1

X
i
()
,

empirische Verteilung der ersten n Beobachtungen.

Satz 3.5. Mit Voraussetzungen von 3.1 gilt P-fast sicher
n
(, ) schwach, mit Verteilung von
X
i
, d.h. f ur f (
b
gilt
1
n

n
i=1
f (X
i
())
_
fd.
4 Gemeinsame Verteilung, Faltung
Vorbemerkung: Annahme wie in 3.2, S
n
=

n
i=1
X
i
, es folgt var
_
1

n
S
n
_
=
1
n
var (S
n
) = var (X
1
).
Spater: Verteilung von
1

n
(S
n
ES
n
) Normalverteilung.
Bisher: Verteilung einer Zufallsvariablen X, (A) = P(X A), A B (R).
Denition 4.1. Die gemeinsame Verteilung von Zufallsvariablen X
1
, . . . , X
n
auf (, /, P) ist de-
niert als die Verteilung von (X
1
() , . . . , X
n
()), ist also ein Wahrscheinlichkeitsma auf R
n
:

_

A
_
= P
_

X

A

,

A B (R
n
).
Bemerkung 4.2.

X ist messbar bez uglich B (R
n
) = (A
1
. . . A
n
: A
i
B (R)) bzw. A
i
=
(, a
i
] .
Satz 4.3. Seien X
1
, . . . , X
n
Zufallsvariablen mit Verteilungen
1
, . . . ,
n
. Dann gilt: X
1
, . . . , X
n
un-
abhangig genau dann, wenn =

n
i=1

i
, d.h. (A
1
. . . A
n
) =

n
i=1

i
(A
i
) f ur alle A
1
, . . . , A
n

B (R).
22 KAPITEL 2. UNHABH

ANGIGKEIT
Bemerkung:
1. ist festgelegt durch
1
, . . . ,
n
.
2. Sei : R
n
R B (R
n
)-messbar und entweder nichtnegativ oder -integrierbar. Dann gilt nach
Fubini:
_
(x
1
, . . . , x
n
) d (x
1
, . . . , x
n
) =
_ _
. . .
_
(x
1
, . . . , x
n
)
1
(dx
1
)
_
. . .
n
(dx
n
).
3. Wenn alle
i
absolut stetig mit zugehoriger Dichte f
i
sind, dann ist absolut stetig mit Dichte

f =

n
i=1
f
i
(Tensor-Produkt),

f : (x
1
, . . . , x
n
) f
1
(x
1
) . . . f
n
(x
n
) (Tensor).
Beispiel 4.4. 1. Seien X, Y gleichverteilt auf [0, 1] und X, Y unabhangig. Dann ist die gemeinsame
Verteilung von X, Y auf [0, 1] die Gleichverteilung auf [0, 1] [0, 1]. F ur X = Y bekommt man
die Gleichverteilung auf der Diagonalen in [0, 1].
2. Seien X, Y normalverteilt mit Parametern m,
2
und unabhangig. Dann hat X, Y die Verteilung
mit Dichte f (x, y) =
1
2
2
e

(xm)
2
+(ym)
2
2
2
.
R =

X
2
+Y
2
hat die Dichte
_
r
1

2
e

r
2
2
2
f ur r > 0
0 falls r 0
f ur m = 0 und := (X, Y ) (Winkel),
ist also gleichverteilt auf [0, 2].
F ur x R deniere T
x
(y) = x +y (Translation).
Satz 4.5. Seien X
1
, X
2
unabhangige Zufallsvariablen mit Verteilung
1
,
2
. Dann gilt:
1. Die Verteilung von X
1
+ X
2
ist gegeben durch die Faltung
1

2
:=
_

1
(dx
1
)
2
T
1
x
, d.h.
(
1

2
) (A) =
_

1
(dx
1
)
2
(Ax
1
).
2. Hat
2
Dichte f
2
, so gilt: (
1

2
) () =
_

1
(dx
1
) f
2
(x x
1
). Hat
1
zusatzlich Dichte f
1
, so
gilt: (
1

2
) () =
_
f
1
(x
1
) f
2
(x x
1
) dx.
Beispiel 4.6. X
1
, X
2
: R seien unabhangige Zufallsvariablen.
1. Seien X
1
, X
2
Poisson verteilt mit Parametern
1
,
2
, d.h. P[X
i
= k] = e

i

k
i
k!
. Dann ist X
1
+X
2
Poisson verteilt mit Parameter
1
+
2
.
2. Seien X
1
, X
2
normalverteilt mit Mittelwerten m
1
, m
2
und Varianzen
2
1
,
2
2
. Dann ist X
1
+X
2
normalverteilt A
_
m
1
+m
2
,
2
1
+
2
2
_
(mit Fourier-Transformation).
3. Seien X
1
, X
2
-verteilt mit p
i
, , d.h. mit Dichten f
i
(x) =
_

p
i
(p
i
)
x
p
i
1
e
x
, x 0
0, sonst.
Dann ist
X
1
+X
2
-verteilt mit p
1
+p
2
, (auch mit Fouriertransformation).
Speziell (p = 1):Summen von n unabhangigen -exponentialverteilten Zufallsvariablen T
1
, . . . , T
n
sind -verteilt mit n, , d.h. mit Dichte f
n,
(x) =

n
(n)
x
n1
e
x
(x 0).
Anwendung 4.7. Das Wartezeitenproblem: Seien T
1
, . . . , T
n
unabhangige, -exponentialverteilte Zu-
fallsvariablen, also insbesondere E(T
1
) =
_

0
xe
x
dx =
1

0
te
t
dt =
1

. Sei t R
+
. Frage:
E(Y ) =?, E(X) =?
Behauptung: E(Y ) =
1

, E(X) =
1

(1 e
t
)
1

f ur groe t. Genauer: Sind X, Y unabhangig,

so ist Y -exponentialverteilt und X -exponentialverteilt gestaucht auf [0, t], d.h. P[X s] = e
s
f ur 0 s t, P[X = t] = e
t
. Dann insbesondere E(X) =
_
t
0
se
s
ds+te
t
= . . . =
1

(1 e
t
).
5. DER ZENTRALE GRENZWERTSATZ 23
T
i+1 0 T
1
T
2
T
i
t
X Y
4.1 Fouriertransformation
Sei M
1
+
(R
n
) die Menge aller Wahrscheinlichkeitsmae auf (R
n
, B (R
n
)). F ur M
1
+
deniert man :
R
n
C durch (x) =
_
e
ix,y)
(dy) =
_
cos x, y (dy). heit dann Fourier-Transformierte von .
Satz 4.8. F ur jedes M
1
+
(R
n
) gilt:
1. (0) = 1.
2. [ [ 1.
3. ist gleichmaig stetig.
4. (x) = (x).
5. ist positiv denit, d.h. f ur alle c
1
, . . . , c
n
C und x
1
, . . . , x
m
R
n
gilt

j,k
c
j
c
k
(x
j
x
k
)
0.
Satz 4.9. [Eindeutigkeitssatz] Seien
1
,
2
M
1
+
(R
n
),
1
=
2
. Dann folgt:
1
=
2
.
Satz 4.10. Ist : R
n
C stetig, positiv-denit, (0) = 1, so existiert (genau) ein M
1
+
(R
n
)
mit = .
Satz 4.11. i) Konvergiert eine Folge (
n
) in M
1
+
(R
n
) schwach gegen M
1
+
(R
n
), so konvergiert
(
n
) lokal gleichmaig, d.h. gleichmaig auf jeder kompakten Menge, gegen .
ii) Konvergiert f ur
n
M
1
+
(R
n
) die Folge (
n
) punktweise gegen eine in 0 stetige Funktion , so
existiert M
1
+
(R
n
) mit = und die Folge (
n
) konvergiert schwach gegen .
Sei jetzt (, /, P) ein Wahrscheinlichkeitsraum, X : R
n
Zufallsvariable, P
X
die Verteilung
von X, d.h. P
X
(A) = P[X A], A B (R
n
). Dann heit
X
:=

P
X
die charakteristische Funktion von
X. Es ist
X
(u) =
_
e
iu,y)
P
X
(dy) =
_
e
iu,X)
dP = E(exp (i u, X)) nach Variablentransformation.
Bemerkung: Seien X
1
, . . . , X
n
reelle Zufallsvariablen. Dann gilt: X
1
, . . . , X
n
unabhangig genau dann,
wenn

P
(X
1
,...,X
n
)
(u) =

P
X
j
(u
j
), d.h.

P
(X
1
,...,X
n
)
=

P
X
j
.
Satz 4.12. Seien X
1
, . . . , X
n
unabhangige reelle Zufallsvariablen, R, S :=

n
i=1
X
i
. Dann gilt

S
(u) =

n
j=1

X
j
(u).
Satz 4.13. F ur alle x R
n
gilt:
_
1
2
_n
2
_
e
ix,y)
e

1
2
|y|
2
dy = e

1
2
|x|
2
. F ur n = 1 bedeutet dies:

A (0, 1) (x) = e

1
2
|x|
2
.
5 Der zentrale Grenzwertsatz
Denition 5.1. Seien X
1
, X
2
, . . . /
2
(, /, P) unabhangig, S
n
=

n
j=1
X
j
und S

n
=
S
n
E(S
n
)

var(S
n
)
(Standardisierung). Dann ist E(S

n
) = 0, var (S

n
) = 1. Man sagt, dass X
1
, X
2
, . . . die zentrale Grenz-
werteigenschaft besitzen, falls die Verteilung von S

n
f ur n gegen A (0, 1) konvergiert (schwach),
d.h. falls f ur alle b R limP[S

n
b] =
1

2
_
b

y
2
2
dy =: (b).
24 KAPITEL 2. UNHABH

ANGIGKEIT
Satz 5.2. [Zentraler Grenzwertsatz] Seien X
1
, X
2
, . . . /
2
, unabhangig. Dann hat (X
n
) die zentrale
Grenzwerteigenschaft, falls
a) lim

n
j=1
E[]X
j
E(X
j
)]
3
]
(

n
j=1
var(X
j
))
3
2
= 0 oder
b) X
1
, X
2
, . . . identisch verteilt.
(F ur Dirac-Mae o.a. mit var = 0 macht die Aussage keinen Sinn.)
Bemerkung 5.3. 1. Bald Verallgemeinerung von 5.1 mit Fourier-Transformation.
2. a) folgt z.B. aus i) sup
j
E
_
[X
j
E(X
j
)[
3
_
< und ii) liminf
1
n

n
j=1
var (X
j
) > 0
Notiz: Y
n
k
=
X
k
E(X
k
)

var(S
n
)
, Y
n
k
Zufallsvariable, 1 k n, f ur alle n sind Y
n
1
, . . . , Y
n
n
unabhangig,
S

n
:=

n
k=1
Y
n
k
, E(Y
n
k
) = 0, var (S

n
) = 1,
n
:=

E
_
[Y
n
k
[
3
_
. Dies f uhrt zu den allgemeinen
Bedingungen
a) lim
n
= 0
b) Es existiert ein Y /
2
so, dass Y
n
k
dieselbe Verteilung haben wie
Y

n
.
Satz 5.4. (Y
n
k
) Dreiecksschema wie oben. Es gelte a) oder b). Dann gilt P
S

n
A (0, 1) schwach.
Bemerkung: Damit ist auch 5.3 bewiesen.
Bemerkung 5.5. Seien
1
, . . . ,
m
Wahrscheinlichkeitsmae auf R, = R
m
, / = B (R
m
), P =

1
. . .
m
(Existenz spater). Da P auf einem durchschnittsstabilen Erzeuger deniert ist, ist dies
somit eindeutig. F ur = (X
1
, . . . , X
m
) sei X
k
() Projektion auf die k-te Koordinate. Dann sind
X
1
, . . . , X
n
unabhangig und jedes X
k
hat die Verteilung
k
.
Anwendung 5.6. 1. Ruin-Wahrscheinlichkeit f ur Versicherungsgesellschaft: n Vertrage, bei Schaden
jeweils Leistung X
i
0.
Annahme: X
i
/
2
unabhangig, identisch verteilt, E(X
i
) = m, var (X
i
) =
2
.
Pro Vertrag Pramie = m +
2
= erwartete Leistung + Risikozuschlag. Einnahmen sind also
n, Ausgaben S
n
=

n
i=1
X
i
. F ur ein Anfangskapital K und den Ruin R := [S
n
> K +n] berechnen
wir P[R] = P
_
S

n
>
K+nnm

n
_
A (0, 1)
__
K+n
2

n
,
__
= 1 (. . .) 0.
F ur = 60, = 0, 5 , n = 2000 a) K = 0: P(R) 1 (1, 343) 9% b) K = 1500:
P(R)
3
100
.
2. Stirlingsche Formel: n!

2e
n
n
n+0,5
Seien X
1
, X
2
, . . . /
2
unabhangig,
2
n
:= var (X
n
) > 0, s
n
:=
_
n
k=1

2
k
_1
2
. Zu > 0 deniere
L
n
() :=

n
k=1
_
M
_
X
k
E
s
n
_
2
dP, M :=
_

X
k
E
s
n

_
.
Lindeberg-Bedingung: limL
n
() = 0 f ur alle > 0.
Ziel:
Satz 5.7. (X
n
) erf ullt die Lindeberg-Bedingung genau dann, wenn (X
n
) die zentrale Grenzwerteigen-
schaft hat.
Bemerkung 5.8. 1. Wenn X
n
identisch verteilt sind, so erf ullen sie die Lindeberg-Bedingung.
5. DER ZENTRALE GRENZWERTSATZ 25
2. Aus a) folgt die Lyapunov-Bedingung: Es existiert ein > 0, so dass lim

]X
k
EX
k
]
2+
dP
s
2+
n
= 0.
Aus dieser folgt wiederum die Lindeberg-Bedingung.
3. Wenn (X
n
) gleichmaig beschrankt ist und S
n
, dann gilt die Lyapunov-Bedingung f ur alle
> 0.
Lemma 5.9. Aus der Lindeberg-Bedingung folgt die Feller-Bedingung: lim
n
max
1kn

k
s
k
= 0.
Bemerkung 5.10. Aus der Lindeberg-Bedingung folgt die zentrale Grenzwerteigenschaft und die
Feller-Bedingung. Tatsachlich gilt auch die Umkehrung.
Lemma 5.11. F ur alle t R und n N gilt:

e
it
1 it . . .
(it)
n1
(n1)!

]t]
n
n!
.
Satz 5.12. Sei X /
0
. Dann existieren die Ableitungen
t
X
,
tt
X
und
t
X
= i
_
Xe
iuX
dP, sowie

tt
X
(u) =
_
X
2
e
iuX
dP. Insbesondere sind
t
X
,
tt
X
stetig,
t
X
(0) = iE(X),
tt
X
(0) = E
_
X
2
_
und
[
tt
X
[ E
_
X
2
_
. Schlielich gilt:
X
(u) = 1 +iuE(X) +
1
2
(u) u
2
E
_
X
2
_
mit [ (u)[ 1.
Satz 5.13. (X
n
)
n
erf ulle die Feller-Bedingung. Ist dann lim
n

n
k=1
_

X
k
_
u
s
n
_
1
_
=
1
2
u
2
f ur
alle u R, so hat (X
n
) die zentrale Grenzwerteigenschaft (und umgekehrt).
Folgerung: (X
n
) erf ulle die Lindeberg-Bedingung. Dann hat (X
n
) die zentrale Grenzwerteigenschaft
(5.7).