Sie sind auf Seite 1von 139
U L T M Ä T · I S S R C I E E
U
L
T
M
Ä
T
·
I
S
S
R
C
I
E
E
V
N
I
D
N
O
U
·
·
D
O
O
D
C
N
E
A
N
R
U
D
O
C
·

Statistik II

Universität Ulm Abteilung Stochastik

Vorlesungsskript Prof. Dr. Volker Schmidt Stand: Wintersemester 2007/08

Ulm, im Februar 2008

INHALTSVERZEICHNIS

2

Inhaltsverzeichnis

1 Einleitung und Grundlagen

 

6

1.1 Einige Grundbegriffe und Ergebnisse der Matrix–Algebra

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6

1.1.1 Spur und Rang

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6

1.1.2 Eigenwerte und Eigenvektoren

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

7

1.1.3 Diagonalisierungsverfahren

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

8

1.1.4 Symmetrie und Definitheit; Faktorisierung

 

9

1.2 Multivariate Normalverteilung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

10

1.2.1 Definition und grundlegende Eigenschaften

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

10

1.2.2 Charakteristiken der multivariaten Normalverteilung

 

12

1.2.3 Randverteilungen und Unabhängigkeit von Teilvektoren; Faltungsstabilität

 

14

1.2.4 Lineare Transformation von normalverteilten Zufallsvektoren

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

16

1.2.5 Singuläre multivariate Normalverteilung

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

18

1.3 Lineare und quadratische Formen normalverteilter Zufallsvektoren

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

19

1.3.1 Definition, Erwartungswert und Kovarianz

 

19

1.3.2 Nichtzentrale χ 2 –Verteilung

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

21

1.3.3 Verteilungs– und Unabhängigkeitseigenschaften linearer und quadratischer Formen

 

23

2 Lineare Modelle; Designmatrix mit vollem Rang

 

27

2.1 Methode der kleinsten Quadrate

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

28

2.1.1 Normalengleichung .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

28

2.1.2 Güteeigenschaften des KQ–Schätzers β

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

30

2.1.3 Erwartungstreue Schätzung der Varianz σ 2 der Störgrößen

 

32

2.2 Normalverteilte Störgrößen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

34

2.2.1 Maximum–Likelihood–Schätzer

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

34

2.2.2 Verteilungs– und Unabhängigkeitseigenschaften von β und S 2

 

35

2.2.3 Tests für die Regressionskoeffizienten; Quadratsummenzerlegung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

37

2.2.4 Konfidenzbereiche; Prognose von Zielvariablen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

41

2.2.5 Konfidenzband

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

43

3 Beliebige Designmatrix; verallgemeinerte Inverse

 

46

3.1 Varianzanalyse als lineares Modell

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

46

3.1.1 Einfaktorielle Varianzanalyse; ANOVA–Nullhypothese

 

46

3.1.2 Reparametrisierung der Erwartungswerte

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

3.1.3 Zweifaktorielle Varianzanalyse

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

51

3.2 Schätzung der Modellparameter

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

53

3.2.1

KQ–Schätzer für β

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

54

INHALTSVERZEICHNIS

3

3.2.2 Erwartungswertvektor und Kovarianzmatrix des KQ–Schätzers β

 

58

3.2.3 Schätzbare Funktionen .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

60

3.2.4 Beste lineare erwartungstreue Schätzer; Gauß–Markow–Theorem

 

63

3.3 Normalverteilte Störgrößen

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

66

3.3.1 Maximum–Likelihood–Schätzer

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

67

3.3.2 Tests linearer Hypothesen

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

70

3.3.3 Konfidenzbereiche

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

74

3.4 Beispiele .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

76

3.4.1 F–Test der ANOVA-Nullhypothese

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

76

3.4.2 F–Tests für die zweifaktorielle Varianzanalyse

 

78

3.4.3 Zweifaktorielle Varianzanalyse mit hierarchischer Klassifikation

 

82

4 Verallgemeinerte lineare Modelle

 

85

4.1 Definition und grundlegende Eigenschaften

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

85

4.1.1 Exponentialfamilie

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

85

4.1.2 Verknüpfung der Parameter; natürliche Linkfunktion

 

87

4.2 Beispiele .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

87

4.2.1 Lineares Modell mit normalverteilten Störgrößen

 

87

4.2.2 Binäre kategoriale Regression

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

88

4.2.3 Poisson–verteilte Stichprobenvariablen mit natürlicher Linkfunktion

.

.

.

.

.

.

.

.

.

.

.

.

.

89

4.3 Maximum–Likelihood–Schätzer für β

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

89

4.3.1 Loglikelihood–Funktion und ihre partiellen Ableitungen

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

89

4.3.2 Hesse–Matrix

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

92

4.3.3 Maximum–Likelihood–Gleichung und numerische Lösungsansätze

 

93

4.3.4 Asymptotische Normalverteiltheit von ML–Schätzern; asymptotische Tests

 

95

4.4 Gewichteter KQ–Schätzer bei kategorialer Regression

 

96

4.4.1 Schätzung des Erwartungswertvektors

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

96

4.4.2 Asymptotische Normalverteiltheit des KQ–Schätzers

 

98

4.4.3 Bewertung der Anpassungsgüte .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

100

5 Tests von Verteilungsannahmen

 

101

5.1 Kolmogorow–Smirnow–Test

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

101

5.1.1 Empirische Verteilungsfunktion; KS–Teststatistik

 

101

5.1.2 Asymptotische Verteilung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

102

5.1.3 Güteeigenschaften; punktweise und gleichmäßige Konsistenz

 

105

5.2 χ 2 –Anpassungstest

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

107

5.2.1 Klassenbildung; Pearson–Statistik

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

107

5.2.2 Asymptotische Verteilung

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

109

INHALTSVERZEICHNIS

4

5.2.3

Güteeigenschaften; lokale Alternativen

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5.3 χ 2 –Anpassungstest von Pearson–Fisher

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5.3.1 Pearson–Fisher–Teststatistik

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5.3.2 Multivariater zentraler Grenzwertsatz für ML–Schätzer

.

.

.

.

.

.

.

.

.

.

.

.

.

5.3.3 Fisher–Informationsmatrix und zentraler Grenzwertsatz im vergröberten Modell

6

5.3.4 Asymptotische Verteilung der Pearson–Fisher–Statistik

.

.

.

5.4 Beispiele .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5.4.1 χ 2 –Anpassungstest auf Poisson–Verteilung

 

5.4.2 χ 2 –Anpassungstest auf Normalverteilung

.

.

.

.

.

.

.

.

.

.

.

5.4.3 Anpassungstests vom Shapiro–Wilk–Typ

 

Nichtparametrische Lokalisationstests

 

6.1 Zwei einfache Beispiele von Einstichproben–Problemen

 

6.1.1 Binomialtest

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6.1.2 Iterationstest auf Zufälligkeit

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

6.2 Vorzeichenrangtest von Wilcoxon

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6.2.1 Modellbeschreibung; Mediantest

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

6.2.2 Verteilung der Teststatistik T

6.2.3 Asymptotische Verteilung

.

.

+ für kleine Stichprobenumfänge .

n

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6.3 Zweistichproben–Probleme

.

6.3.1 Iterationstest von Wald–Wolfowitz

6.3.2 Rangsummentest von Wilcoxon für Lagealternativen

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.