Sie sind auf Seite 1von 402

Wahrscheinlichkeitstheorie, Statistik und Datenanalyse

Prof. Dr. Wolfgang von der Linden DI Alexander Prüll

10. Dezember 2002

Inhaltsverzeichnis

I Einführung

11

1 Statistische und klassische Definition von „Wahrscheinlichkeit”

 

13

1.1 Klassische Definition

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

13

1.2 Bertrand Paradoxon

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

16

1.3 Statistische Definition

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

18

2 Definition von Mittelwert, Momenten und marginaler Verteilung

 

21

2.1 Verteilungen einer diskreten

 

Zufallsvariablen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

21

2.2 Verteilungen mehrerer diskreter

 

Zufallsvariablen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

25

3 Einführung in die Kombinatorik

 

29

3.1 Vorbemerkungen

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

29

3.2 Geordnete Stichproben

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

31

3.2.1

Beispiele

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

32

3.3 Unterpopulationen und Partitionierungen

 

33

3.3.1 Vollständige Paarungen einer Population

 

39

3.3.2 Beispiel: der Random-Walk

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

39

3.3.3 Beispiel: Korrektur bei der Informationsübertragung

 

42

3.4 Anwendung auf Besetzungszahl-Probleme

 

43

3.5 Geometrische und hypergeometrische Verteilung

 

47

3.5.1 Fragestellung 1 ohne Zurücklegen

 

47

3.5.2 Fragestellung 1 mit Zurücklegen

47

3.5.3 Fragestellung 2 ohne Zurücklegen

49

3.5.4 Fragestellung 2 mit Zurücklegen

52

4 Grenzwertsätze

 

55

4.1 Stirlingsche Formel

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

55

4.2 Lokaler Grenzwertsatz (de Moivre)

 

56

4.3 Integralsatz von de-Moivre

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

58

4.4 Bernoullis Gesetz der großen Zahlen

 

61

4.5 Der Satz von Poisson

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

62

 

3

5

Begriffsdefinitionen und Diskussion

67

5.1 Das Schätzexperiment mit drei Urnen

 

67

5.2 Orthodoxe Statistik versus Bayessche Wahrscheinlichkeitstheorie

 

71

5.2.1 Orthodoxe Statistik

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

71

5.2.2 Signifikanz-Test

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

72

5.2.3 Bayessche Wahrscheinlichkeitstheorie

 

75

6 Boolsche Algebren und Borel-Körper

 

79

6.1 Halbordnung

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

79

6.2 Boolsche Algebra

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

80

6.2.1 Beispiele:

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

84

6.2.2 Normierung .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

85

7 Axiomatische Wahrscheinlichkeitstheorie

 

87

7.1 Regeln der Wahrscheinlichkeitsrechnung

 

88

7.2 Bedingte Wahrscheinlichkeiten

 

89

8 Bayessche Wahrscheinlichkeitstheorie

 

93

8.1 Was ist Wahrscheinlichkeit?

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

93

8.2 Das Universalgesetz der Wahrscheinlichkeitstheorie

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

94

8.3 Aussagenlogik

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

94

8.4 Herleitung der Wahrscheinlichkeits-

 

rechnung

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

95

8.5 Spezielle Propositionen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

102

8.5.1 Indizierte Propositionen

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

102

8.5.2 Kontinuierliche Propositionen

 

103

8.6 Einfache Beispiele

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

104

8.6.1 Propagatoren

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

104

8.6.2 Das 3 Türen Problem

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

106

8.6.3 Detektor für seltene Teilchen

 

106

8.6.4 Ist die Münze symmetrisch?

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

108

8.6.5 Produktionsrate des Wettbewerbers

 

111

8.6.6 Anzahl der Fische

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

113

8.6.7 Beste Auswahl aus N Vorschlägen

 

115

9 Kontinuierliche Variablen

 

121

9.1 Verteilungsfunktion und Dichtefunktion

 

121

9.1.1 Beispiel eines kontinuierlichen Problems

 

122

9.1.2 Beispiel eines diskreten Problems

 

123

9.2 Weitere Definitionen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

124

9.2.1 Definition von Mittelwert, Momenten

 

und marginaler Verteilung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

124

9.2.2 Definition einer Stichprobe

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

125

4

9.3 Ordnungs-Statistik

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

125

 

9.3.1

Wahrscheinlichkeitsverteilung von Maximalwerten

 

126

9.4 Gängige Wahrscheinlichkeitsverteilungen

 

127

 

9.4.1 Gleich-Verteilung im Intervall [a, b]

127

9.4.2 β -Verteilung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

128

9.4.3 Γ-Verteilung, χ 2 -Verteilung

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

131

9.4.4 Exponential-Verteilung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

135

9.4.5 Normal-Verteilung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

135

9.4.6 Student- t-Verteilung, Cauchy-Verteilung

.

.

.

.

.

.

.

.

.

.

.

.

.

139

9.4.7 Multivariate Normal-Verteilung

 

141

9.5 Transformationseigenschaften

 

143

 

9.5.1 Beispiele mit einer Variablen

 

143

9.5.2 Beispiel mit zwei Variablen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

144

9.6 Aufenthaltswahrscheinlichkeit des harmonischen Oszillators

 

145

10 Der zentrale Grenzwertsatz

 

149

10.1 Charakteristische Funktion

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

149

 

10.1.1 Alternative Beschreibung einer

 
 

Zufalls-Variablen

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

149

 

10.1.2 Das Shift-Theorem

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

150

10.1.3 Erzeugung von Momenten

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

150

10.2 Summe von Zufalls-Variablen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

155

 

10.2.1 Beispiel: Summe von exponentiell verteilten Zufallszahlen

 

161

10.2.2 Beispiel: Summe gleichverteilter Zufallszahlen

 

162

10.2.3 Monte-Carlo-Integration

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

164

10.3 Zentraler Grenzwertsatz:

 
 

multivariater Fall

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

166

11 Laser-Speckle

 

167

11.1 Das Statistische Modell

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

167

11.2 Signal-zu-Rauschen (S/R) Verhältnis

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

171

11.3 Verbesserung des Signal-zu-Rauschen Verhältnisses

 

171

11.4 Die Standard-Form der χ 2 -Verteilung

 

172

II Poisson

 

175

12

Poisson-Prozess, Poisson-Punkte und Wartezeiten

 

177

12.1 Stochastische Prozesse

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

177

12.2 Poisson Punkte

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

178

12.3 Intervall-Verteilung der Poisson-Punkte

 

179

 

12.3.1

Alternative Sicht der Poisson Punkte

 

179

12.4 Wartezeiten-Paradoxon

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

180

 

5

12.4.1

Verteilung der Intervall-Längen eines zufällig ausgewählten In-

 

tervalls

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

181

 

12.5 Poisson-Prozess

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

182

12.6 Ordnungsstatistik des Poisson-Prozesses

 

183

12.7 Alternative Herleitung des Poisson-Prozesses

 

183

12.8 Shot-Noise

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

186

12.9 Die Hartnäckigkeit des Pechs

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

187

12.10Schätzen der Halbwertszeit aus einer

 
 

Stichprobe

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

189

III

Zuweisen von Wahrscheinlichkeiten

 

193

13 Vorbemerkungen

 

195

14 Uninformative Prioren für Parameter

 

197

 

14.1 Jeffreys’ Prior für Skalen-Variablen

 

198

14.2 Prior für die Parameter einer Geraden

 

200

15 Der entropische Prior für diskrete Probleme

 

205

 

15.1 Shannon-Entropie

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

206

15.2 Eigenschaften der Shannon-Entropie

 

210

15.3 Axiomatische Ableitung der Shannon-Entropie

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

211

15.4 Eigenschaften der Entropie

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

217

15.5 MaxentPrinzip

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

218

15.6 Maxwell-Boltzmann-Verteilung

 

221

15.7 Bose-Einstein-Verteilung

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

222

15.8 Fermi-Dirac-Verteilung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

224

15.9 Vergleich mit Zufallsexperiment

 

225

16 Maxent bei kontinuierlichen Variablen

 

229

17 Das invariante Riemann-Maß

 

237

18 Fehlerbehaftete überprüfbare Information

 

239

 

18.1

Beispiele

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

252

 

18.1.1 Invertieren der Laplace-Transformation

 

253

18.1.2 Abel-Inversion

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

255

IV Parameterschätzen

261

19

Entscheidungstheorie

263

19.1

Elemente der Entscheidungstheorie

263

6

19.1.1

Beispiel: Qualitätskontrolle

265

 

19.1.2

Beispiel: Optimale Produktionsrate

 

267

20

Parameter-Schätzen

 

271

20.1 Unverzerrte Schätzwerte

 

.

.

.

.

.

.