Sie sind auf Seite 1von 139

18.443. Statistics for Applications.

by

Dmitry Panchenko

Department of Mathematics Massachusetts Institute of Technology

Contents

1

Estimation theory.

 

1

1.1

Introduction

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

1

2

3

 

2.1

Some probability distributions.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

3

3

8

 

3.1

Method of moments.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

8

4

13

 

4.1

Maximum likelihood

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

14

5

17

 

5.1

Consistency of MLE.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

17

5.2

Asymptotic normality of MLE. Fisher information.

.

.

.

.

.

.

.

.

.

.

20

6

24

 

6.1

Rao-Cr´amer

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

25

7

28

 

7.1

Efficient

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

29

8

32

 

8.1

Gamma distribution.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

32

8.2

Beta distribution.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

33

9

35

 

9.1

Prior and posterior distributions.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

35

10

38

 

10.1

Bayes estimators.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

38

10.2

Conjugate prior distributions.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

39

 

ii

11

42

 

11.1

Sufficient statistic.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

42

12

45

 

12.1

Jointly sufficient statistics.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

46

12.2

Improving estimators using sufficient statistics. Rao-Blackwell theorem.

47

13

49

 

13.1

Minimal jointly sufficient statistics.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

13.2

α 2 distribution.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

51

14

53

 

14.1

Estimates of parameters of normal distribution.

 

.

.

.

.

.

.

.

.

.

.

.

.

53

15

56

 

15.1

Orthogonal transformation of standard normal sample.

 

.

.

.

.

.

.

.

.

56

16

60

 

16.1

Fisher and Student distributions.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

60

17

63

 

17.1

Confidence intervals for parameters of normal distribution.

 

.

.

.

.

.

.

63

18 Testing hypotheses.

 

67

 

18.1

Testing simple hypotheses.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

67

18.2

Bayes decision rules.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

69

19

71

 

19.1

Most powerful test for two simple hypotheses.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

73

20

76

 

20.1

Randomized most powerful

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

76

20.2

Composite hypotheses. Uniformly most powerful

 

.

.

.

.

.

.

.

.

79

21

81

 

21.1

Monotone likelihood ratio.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

81

21.2

One sided hypotheses.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

82

22

86

 

22.1

One sided hypotheses

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

86

 

iii

23

89

 

23.1

Pearson’s theorem.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

89

24

94

 

24.1

Goodness-of-fit test.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

94

24.2

Goodness-of-fit for continuous

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

96

25

99

 

25.1

Goodness-of-fit for composite

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

99

26

103

 

26.1

Test of

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

103

27

107

 

27.1

Test of homogeneity.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

107

28

110

 

28.1

Kolmogorov-Smirnov test.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

110

29 Simple linear regression.

 

116

 

29.1

Method of least squares.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

116

29.2

Simple linear regression.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

118

30

120

 

30.1

Joint distribution of the estimates.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

120

31

124

 

31.1

Statistical inference in simple linear

 

.

.

.

.

.

.

.

.

.

.

.

.

124

32

128

 

32.1

Classification problem.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

128

 

iv

List of Figures

2.1

4.1

5.1

5.2

5.3

9.1

9.2

14.1

14.2

15.1

16.1

17.1

17.2

19.1

20.1

20.2

21.1

21.2

23.1

23.2

23.3

24.1

Poisson Distribution

 

.

.

.

.

.

.

.

.

.

.

.

.

Maximum Likelihood Estimator (MLE) .

.

Maximize over χ .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

Diagram (t 1) vs. log t

.

.

.

.

.

.

.

.

.

.

Lemma: L(χ) L(χ 0 ) .

.

.

.

.

.

.

.

.

.

.

.

Prior

.

.

.

.

.

.

.

.

.

.

.

Posterior distribution.

 

.

.

.

.

.

.

.

.

.

.

.

Unit Vectors Transformation.

.

.

.

.

.

.

.

Unit Vectors Fact.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

Unit Vectors.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

Cumulative Distribution Function.

.

.

.

.

2

P.d.f. of α n1 distribution and ϕ confidence

t n1 distribution.

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

Bayes Decision Rule.

.

.

.

.

.

.

.

.

.

.

.

.

Graph of F (c).

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

Power function.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

One sided hypotheses.

.

.

.

.

.

.

.

.

.

.

.

Solving for T .

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

Projections of

 

.

.

.

.

.

.

.

.

.

.

.

Rotation of the coordinate system.

.

.

.

.

Distribution of T under H 1 and H 2

 

.

.

.

v

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

15

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

18

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

19

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

20

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

36

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

37

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

54

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

55

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

58

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

61

 

.

.

.

.

.

.

.

.

.

64

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

65

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

72

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

78

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

80

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

82

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

84

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

89

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

93

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

93

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

95

24.2

24.3

25.1

25.2

28.1

28.2

28.3

29.1

31.1

32.1

Discretizing continuous Total of 4 Sub-intervals.

Free parameters of a three point distribution.

Goodness-of-fit for Composite

C.d.f. and empirical d.f.

. F n and F 0 in the example.

The case when F =

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

F

0

.

The least-squares line.

Confidence

Example.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

vi

.

.

.

.

.

.

.

.

.

.

.

.

.

.

97

.

.

.

.

.

.

.

.

.

.

.

.

.

.

97

.

.

.

.

.

.

.

.

.

.

.

.

.

100

.

.

.

.

.

.

.

.

.

.

.

.

.

.

102

.

.

.

.

.

.

.

.

.

.

.

.

.

.

111

.

.

.

.

.

.

.

.

.

.

.

.

.

.

113

.

.

.

.

.

.

.

.

.

.

.

.

.

.

114

.

.

.

.

.

.

.

.

.

.

.

.

.

.

116

.

.

.

.

.

.

.

.

.

.

.

.

.

.

125

.

.

.

.

.

.

.

.

.

.

.

.

.

.

131

List of Tables

26.1

Contingency table.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

103

26.2

Montana outlook poll.

.

.

.

.

.

.