Sie sind auf Seite 1von 269

Theorie statistischer Signale

Communications 2

Prof. Dr.-Ing. Andreas Czylwik

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale

WS 2010/2011

S. 1

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

Organisatorisches

Vorlesung 2 SWS

Übung 2 SWS

Folienkopien sind verfügbar: http://nts.uni-duisburg.de

Prüfung: schriftlich



Forschungsthemen im Fachgebiet Nachrichtentechnische Systeme

Studien- und Diplomarbeiten

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 2

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

Literatur

Literatur zur Vorlesung:

A. Papoulis: Probability, random variables, and stochastic processes, McGraw-Hill

E. Hänsler: Statistische Signale, Springer-Verlag

 E. Hänsler: Statistische Signale, Springer-Verlag N T S UNIVERSITÄT D U I S B U
N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale

WS 2010/2011

S. 3

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

Inhalt

1 Einführung

2 Wahrscheinlichkeit

3 Zufallsvariablen

4 Funktionen einer Zufallsvariablen

5 Zwei Zufallsvariablen, Folgen von Zufallsvariablen

6 Zufallsprozesse

7 Transformation von Zufallsprozessen durch Systeme

8 Schätz- und Detektionstheorie

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 4

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

1 Einführung

Deterministische statistische Ansätze

 Deterministische ⇔ statistische Ansätze  Anwendung statistischer Ansätze  Modellierung von

Anwendung statistischer Ansätze

Modellierung von Rauschen

Modellierung von Nachrichtensignalen

Optimierung von Sende- und Empfangsverfahren

Detektions- und Entscheidungsverfahren

Schätzung gestörter Parameter

Beobachtung von Börsenkursen

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 5

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

1 Einführung

Beispiele zufälliger Größen

thermisches Rauschen

Schrotrauschen

Rauschen von Verstärkern

Audio- und Videosignale

Datensignale

Funkkanal

Eintreffen von Anrufen in einer Vermittlungsstelle

Einfahrt von Fahrzeugen auf eine Autobahn

 Einfahrt von Fahrzeugen auf eine Autobahn UNIVERSITÄT D U I S B U R G

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale

WS 2010/2011

S. 6

Fachgebiet

Nachrichtentechnische Systeme

N T S
N
T
S

Theorie statistischer Signale

2 Wahrscheinlichkeit

Ereignisse können als Mengen aufgefasst werden.

Rechenregeln der Mengenlehre

Vereinigung: A B

Assoziativgesetz:

Kommutativgesetz: A B = B A

leere Menge, Teilmenge: A ∪ ∅ = A , A B = A wenn B A

(A B) C = A (B C) = A B C

Schnitt: A B

Assoziativgesetz:

Kommutativgesetz: A B = B A

disjunkte Mengen A, B : A B =

leere Menge, Teilmenge: A ∩ ∅ = , A B = B wenn B A

(A B) C = A (B C) = A B C

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 7

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Distributivgesetz:

 

A (B C) = (A B) (A C)

 

Gleichheit:

A = B,

wenn

A B

und

B A

 

Komplement:

∅ =

H

,

H

= ∅,

A

=

A

,

A

A

=

H

,

A

A

= ∅

 

B

A

A

B

 
   

A

=

B

A

=

B

de Morgansches Gesetz:

A

B

=

A

B

 
   
 

A

B

=

A

B

 
   
N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 8

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Grundbegriffe

Definition 2.1: Wahrscheinlichkeitsraum

Wahrscheinlichkeitsraum = (H, A, P)

H = Ergebnismenge = Menge aller Elementarereignisse

A = Ereignisfeld = Menge von Ereignissen (Teilmengen von H)

P = Wahrscheinlichkeitsmaß

Definition 2.2: Ergebnismenge H = {η 1 , η 2 , η 3 ,

}

Ergebnismenge H = Menge aller möglichen Ergebnisse η eines Zufallsexperiments

Nach einem Zufallsexperiment gibt es genau ein Ergebnis = Elementarereignis

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale

WS 2010/2011

S. 9

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Ergebnisse (Elementarereignisse) sind disjunkt; d.h. sie können nicht gleichzeitig auftreten.

Formelzeichen in der Literatur: häufig statt H und ω statt η

Beispiel 2.1: Würfeln

Elementarereignisse η i sind die Seiten i = 1

H = {η 1 , η 2 , η 3 , η 4 , η 5 , η 6 }

6 des Würfels:

Beispiel 2.2: Werfen einer Roulette-Kugel

Elementarereignisse η i sind die Zahlen i = 0

 Elementarereignisse η i sind die Zahlen i = 0 H = { η 0 ,

H = {η 0 , η 1 ,

,

η 36 }

36:

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 10

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Definition 2.3: Ereignisfeld A  Ereignisfeld = Menge von beliebig ausgewählten Teilmengen der Ergebnismenge H
Definition 2.3: Ereignisfeld A
 Ereignisfeld = Menge von beliebig ausgewählten Teilmengen
der Ergebnismenge H mit den Eigenschaften:
aus
,
aus
A
,
A
,
 ∈
A
folgt
 A
A.
1
2
i


H

A

,

A

A

folgt

A

A

Ein Zufallsexperiment hat genau ein Ergebnis, kann aber mehrere Ereignisse zur Folge haben.

Zwei Ereignisse, die kein Elementarereignis gemeinsam haben, sind disjunkt (unvereinbar).

Maximal mögliche Anzahl von Ereignissen im Ereignisfeld bei N Elementarereignissen (Potenzmenge): N max = 2 N

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 11

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Beispiel 2.1 Fortsetzung: Würfeln, H = {η 1 , η 2 , η 3 , η 4 , η 5 , η 6 }

mögliche Ereignisfelder:

A 1 = {, {η 1 , η 3 , η 5 }, {η 2 , η 4 , η 6 }, H} A 2 = {, {η 1 }, {η 2 }, { η 1 , η 2 }, {η 2 , η 3 , η 4 , η 5 , η 6 }, {η 1 , η 3 , η 4 , η 5 , η 6 } {η 3 , η 4 , η 5 , η 6 }, H}

Beispiel 2.3: A = Potenzmenge (alle möglichen Teilmengen) von H = {η 1 , η 2 , η 3 }

 unmögliches Ereignis: ∅ einelementige Ereignisse: zweielementige Ereignisse: {η 1 }, {η 2 }, {η
unmögliches Ereignis: ∅
einelementige Ereignisse:
zweielementige Ereignisse:
{η 1 }, {η 2 }, {η 3 }
{η 1 , η 2 }, { η 2 , η 3 }, {η 1 , η 3 }
sicheres Ereignis: H = {η 1 , η 2 , η 3 }
Gesamtzahl von Ereignissen:
N
N
N !
N
N
N
=
2
=
 =
(2.1)
max
k
k
!
(
N
k
)!
k =
0
k
=
0
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
Theorie statistischer Signale
WS 2010/2011
N
T
S
D U I S B U R
E S S E N
G
Fachgebiet
S. 12
Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Definition 2.4: Wahrscheinlichkeit P, axiomatische Definition nach Kolmogoroff

Axiome:

1. P(A) 0

2. P(H) = 1

3. P(A B) = P(A) + P(B), wenn A und B disjunkt sind

Die Wahrscheinlichkeit ist eine 1. nichtnegative, 2. normierte und 3. additive Funktion über dem Ereignisfeld.

Eigenschaften:normierte und 3. additive Funktion über dem Ereignisfeld.  Wertebereich:  unmögliches Ereignis: 0 ≤ P

Wertebereich:

unmögliches Ereignis:

0 P 1 P() = 0

(2.2)

(2.3)

N T S
N
T
S

UNIVERSITÄT

D U I S B E S S E N

UNIVERSITÄT D U I S B E S S E N U R

U R

   

G

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 13

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

nicht disjunkte Ereignisse A und B:

A

B

=

A

(

A

B

)

 

H

A
A
B
B
 
 

B

=

(

A

B

)

(

A

B

)

P

(

A

B

)

=

P

(

A

)

+

P

(

A

B

)

P

(

B

)

=

P

(

A

B

)

+

P

(

A

B

)

 
 

P

(

A

B

)

=

P

(

A

)

+

(

P B

)

P

(

A

B

)

 

(2.4)

 

Definition 2.5: Verbundwahrscheinlichkeit

   
 

P(A B) = Verbundwahrscheinlichkeit = Wahrscheinlichkeit, dass beide Ereignisse A und B gleichzeitig auftreten

N T S
N
T
S

UNIVERSITÄT

D U I S B E S S E N

UNIVERSITÄT D U I S B E S S E N U R

U R

   

G

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale

WS 2010/2011

S. 14

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Klassischer Definitionsversuch der Wahrscheinlichkeit

Ergebnismenge H mit N gleichwahrscheinlichen Ergebnissen

Ereignis A, das N A Ergebnisse enthält:

N

Anzahl günstiger Ergebnisse

A

P

(

A

) =

=

N Anzahl aller möglichen Ergebnisse

konzeptionelles Problem: gleichwahrscheinlich ist nicht definiert

(2.5)

Definition 2.6: Relative Häufigkeit

n-maliges Ausführen des Zufallsexperiments

Ereignis A tritt n A mal auf

~

P

(

A

) =

n A

Anzahl der Ereignisse A

=

n Anzahl aller Zufallsexperimente

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 15

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Relative Häufigkeit ist Schätzwert für die Wahrscheinlichkeit

Definitionsversuch der Wahrscheinlichkeit als Grenzwert der relativen Häufigkeit:

(2.6)Wahrscheinlichkeit als Grenzwert der relativen Häufigkeit: Definition 2.7: Bedingte Wahrscheinlichkeit P ( A | B )

als Grenzwert der relativen Häufigkeit: (2.6) Definition 2.7: Bedingte Wahrscheinlichkeit P ( A | B )

Definition 2.7: Bedingte Wahrscheinlichkeit P(A | B) P(A | B) = bedingte Wahrscheinlichkeit = Wahrscheinlichkeit des Ereignisses A unter der Bedingung, dass das Ereignis B aufgetreten ist (P(B) > 0)

dass das Ereignis B aufgetreten ist ( P ( B ) > 0) P ( A
dass das Ereignis B aufgetreten ist ( P ( B ) > 0) P ( A

P

(

A

|

B

) =

P

(

A

B

)

P B

(

)

N T S
N
T
S

UNIVERSITÄT

UNIVERSITÄT D U I S B E S S E N U R G

D U I S B

E S S E N

U R G

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 16

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Eigenschaften der bedingten Wahrscheinlichkeit:

P(A | B) 0

P(H | B) = 1

P(A 1 A 2 | B) = P(A 1 |B) + P(A 2 |B), wenn A 1 und A 2 disjunkt sind

(2.7)

(2.8)

(2.9)

ausgewählte Mengensituationen:

sind (2.7) (2.8) (2.9)  ausgewählte Mengensituationen:  A ∩ B = ∅ P ( A

A B =

P

(

A

|

B

)

=

P

(

A

B

)

P B

(

)

= 0

A H
A
H
B
B
N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 17

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Theorie statistischer Signale 2 Wahrscheinlichkeit  A ⊂ B P ( A | B B ⊂

A B

P

(

A

|

B

Signale 2 Wahrscheinlichkeit  A ⊂ B P ( A | B B ⊂ A )

B A

)

P

( |

A

B

A B = A

 
 

P

(

A

B

)

P

(

A

)

=

=

 

(

P B

)

P

(

B

)

P

)

A B = B

 

P

(

A

B

)

P

(

B

)

=

=

 

(

P B

)

P

(

B

)

= 1

(

A

)

B A
B
A

H

B A H A H B
A
A

H

B

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 18

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Beispiel 2.4: Würfeln, H = {η 1 , η 2 , η 3 , η 4 , η 5 , η 6 }

Ereignisse:

A = Ergebnis ist gerade

B = Ergebnis ist ungerade

C = Ergebnis ist Primzahl

P ( η i
P (
η
i

P

P

(

(

) =

) =

1

6

 

P ( B

)

=

P ( C

)

C

)

=

1

 

6

) =

 

P

(

A

C

)

 

P

(

A

)

A

A

P

(

C

|

A

=

=

3

1

3

1

6

=

1

2

P

P

(

(

H

η 1 η 3 η 5 η 2 η 4 η 6
η 1
η 3
η 5
η 2
η 4
η 6

C

B

A

B

C

C

|

B

)

)

=

=

1

3

P ( B

C

)

P ( B

)

=

2

3

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 19

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Beispiel 2.5: Ziehen von zwei Kugeln aus einer Kiste mit drei weißen Kugeln w 1 , w 2 , w 3 und zwei roten Kugeln r 1 , r 2

gesucht: Wahrscheinlichkeit, dass zuerst eine weiße und als zweites eine rote Kugel gezogen wird (Ereignis A)

Ergebnismenge = Menge aller geordneten Paare:

H = {w 1 w 2 , w 1 w 3 , w 1 r 1 , w 1 r 2 , w 2 w 1 , w 2 w 3 , w 2 r 1 ,

}

die Elementarereignisse sind gleichwahrscheinlich

Abzählen liefert:

w 1 w 2 w 2 w 1 w 3 w 1 r 1 w 1 r 2 w 1 w 1 w 3 w 2 w 3 w 3 w 2 r 1 w 2 r 2 w 2 w 1 r 1 w 2 r 1 w 3 r 1 r 1 w 3 r 2 w 3 w 1 r 2 w 2 r 2 w 3 r 2 r 1 r 2 r 2 r 1

2 w 1 r 1 w 2 r 1 w 3 r 1 r 1 w

H

N

6

20

3

10

A

P

(

A

) =

N

=

=

2 r 1 r 2 r 2 r 1 H N 6 20 3 10 A

A

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 20

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Lösungsansatz mit bedingten Wahrscheinlichkeiten:

Wahrscheinlichkeit, dass zuerst eine weiße Kugel gezogen wird (Ereignis W 1 ):

zuerst eine weiße Kugel gezogen wird (Ereignis W 1 ): P ( W 1 ) =

zuerst eine weiße Kugel gezogen wird (Ereignis W 1 ): P ( W 1 ) =

P ( W

1

)

=

3

5

Wahrscheinlichkeit, dass die als zweites gezogene Kugel rot ist (Ereignis R 2 ) unter der Bedingung, dass die zuerst gezogene Kugel weiß ist:

=

Wahrscheinlichkeit, dass die erste Kugel weiß und die zweite rot ist (Ereignis W 1 R 2 ):

2

4

1

2

P

(

R

2

|

W

1

)

=

1

3

3

(

P W

1

R

 

)

= P ( R

 

|

W

1

)

P ( W

1

)

 

2

2

=

2 5

=

10

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 21

Fachgebiet

Nachrichtentechnische Systeme

N T S
N
T
S

Theorie statistischer Signale

2 Wahrscheinlichkeit

Bedingte Wahrscheinlichkeiten:

P

(

A

|

B

) =

P

(

B

|

A

) =

P

(

A

 

P

(

A

B

)

 

P

(

B

)

 

P

(

A

B

)

 

P

(

A

)

B

)

=

P

(

A

|

B

)

P B

(

)

=

P B

(

|

A

)

P

(

A

)

(2.10)

(2.11)

(2.12)



Bayes-Theorem ( für P(A) > 0 bzw. P(B) > 0)

P

(

A

|

B

)

(

P B

)

 

P

(

A

)

P

(

B

|

A

)

P

(

A

)

 

P

(

B

)

P

(

B

|

A

) =

bzw.

P

(

A

|

B

) =

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 22

Fachgebiet

Nachrichtentechnische Systeme

(2.13)

(2.14)

N T S
N
T
S

Theorie statistischer Signale

2 Wahrscheinlichkeit

Definition 2.8: Statistische Unabhängigkeit Zwei Ereignisse A, B heißen statistisch unabhängig, wenn gilt:

P(A B) = P(A) P(B).

(2.15)

gilt: P ( A ∩ B ) = P ( A ) ⋅ P ( B

Folgerung für statistisch unabhängige Ereignisse

P(A | B) = P(A),

P(B | A) = P(B)

(2.16)

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 23

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Beispiel 2.6:

Zweimaliges Ziehen einer von drei Kugeln (1 2 3) Die Kugel wird nach dem ersten Ziehen zurückgelegt.

 Ereignis A = {erste Zahl = 1} H A  Ereignis B = {zweite
Ereignis A = {erste Zahl = 1}
H
A
Ereignis B = {zweite Zahl = 3}
11
12
13
jedes Elementarereignis ist
gleichwahrscheinlich:
21
22
23
P(11) = P(12) = P(13) =
= 1/9
B
31
32
33
P(A) = 3 ⋅ 1/9 = 1/3
P(B) = 3 ⋅ 1/9 = 1/3
P(A ∩ B) = P(13) = 1/9 = P(A) ⋅ P(B)
⇒ Die Ereignisse A und B sind statistisch unabhängig.
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
Theorie statistischer Signale
WS 2010/2011
N
T
S
D U I S B U R
E S S E N
G
Fachgebiet
S. 24
Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Beispiel 2.7: Zweimaliges Ziehen einer von drei Kugeln (1 2 3) Die Kugel wird nach dem ersten Ziehen nicht zurückgelegt.

 Ereignis A = {erste Zahl = 1} A  Ereignis B = {zweite Zahl
Ereignis A = {erste Zahl = 1}
A
Ereignis B = {zweite Zahl = 3}
12
13
jedes Elementarereignis ist
gleichwahrscheinlich:
B
21
23
P(12) = P(13) = P(21) =
= 1/6
31
32
P(A) = 2 ⋅ 1/6 = 1/3
P(B) = 2 ⋅ 1/6 = 1/3
P(A ∩ B) = P(13) = 1/6 ≠ P(A) ⋅ P(B)
⇒ Die Ereignisse A und B sind statistisch abhängig.
Prof. Dr.-Ing. Andreas Czylwik
UNIVERSITÄT
Theorie statistischer Signale
WS 2010/2011
N
T
S
D U I S B U R
E S S E N
G
Fachgebiet
S. 25
Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Definition 2.9: Statistische Unabhängigkeit Drei Ereignisse A, B, C heißen statistisch unabhängig, wenn gilt:

Alle Paare von Ereignissen sind statistisch unabhängig P(A B) = P(A) P(B), P(A C) = P(A) P(C), P(B C) = P(B) P(C)

und

P(A B C) = P(A) P(B) P(C).

(2.17)

(2.18)

(2.19)

(2.20)

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 26

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Definition 2.10: Statistische Unabhängigkeit, Verallgemeinerung

n Ereignisse A 1 , A 2 ,

, A n heißen statistisch unabhängig,

wenn für alle Gruppen von k Ereignissen statistische Unabhängigkeit vorliegt (k < n) und :

P(A 1 A 2

A n ) = P(A 1 ) P(A 2 )

P(A n ).

(2.21)

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 27

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

2 Wahrscheinlichkeit

Beispiel 2.8: Statistische Unabhängigkeit

 

gegeben: 3 Ereignisse A, B, C

 
 

und

0 <

p < 1.

 

Für die Schnittmengen gilt:

 

A

 

A B = A C = B C =A B

C .

 

Frage: Gibt es einen Wert p, für den die Ereignisse unabhängig voneinander sind?

B

Antwort: Nein, da

 
 

P(A B) = P(A C) = P(B C) = p 2 = P(A B

 

gelten müsste.

 

UNIVERSITÄT

     

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

D U I S B U R E S S E N

G

 

Fachgebiet

S. 28

 

Nachrichtentechnische Systeme

mit P(A) = P(B) = P(C) = p

C
C

C ) = p 3

N T S
N
T
S

Theorie statistischer Signale

2 Wahrscheinlichkeit

Satz von der totalen Wahrscheinlichkeit

 
 

gegeben:

 

n disjunkte Ereignisse A 1 , A 2 ,

,

A

n

 

d.h. A i A j =

für i j

 

ein Ereignis

B

A 1 A 2

A n

= H

 

(

P B

)

=

n

(

P B

|

A

i

)

P

(

A

i

)

(2.22)

   

i = 1

A 3 A 4 A 1 A 2 A 5 A 6 B A 7
A 3
A 4
A 1
A 2
A 5
A 6
B
A 7
A
A
A
9
8
10

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 29

Fachgebiet

Nachrichtentechnische Systeme

N T S
N
T
S

Theorie statistischer Signale

2 Wahrscheinlichkeit

Beweis des Satzes von der totalen Wahrscheinlichkeit

mit Def. 2.7:

)

n

1

i =

n

=

1

i

P ( B

P ( B

|

A

i

)

P

(

A

i

)

P ( B

A

i

)

=

=

A i sind disjunkt, daher sind auch B A i disjunkt, 3. Axiom der Wahrscheinlichkeit direkt anwendbar:

P ( B ) = P [( B ∩ A ) ∪ ( B ∩
P
(
B
)
= P
[(
B ∩ A
)
(
B ∩ A
)
(
1
2
Distributivgesetz:
P B
(
)
= P B
[
(
A
A
)]
1
2
A n
= P B
(
H
)
=
P B
(
)

B A

n

)]

qed.

Anschauliche Deutung: P(B) ist Summe aller Wahrscheinlich- keiten der Schnittmengen von B mit den Ereignissen A i

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 30

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

3 Zufallsvariablen

Definition 3.1: Reelle Zufallsvariable x(η)

Gegeben sei ein Wahrscheinlichkeitsraum (H, A, P).

Eine Zufallsvariable x(η) ist eine eindeutige Abbildung der Ergebnismenge H eines Zufallsexperiments auf die Menge der reellen Zahlen R.

Eigenschaften der Abbildung:

1. {η | x(η) x} A

für jedes

x R

2. P({η | x(η) = −∞}) = P({η | x(η) = +∞}) = 0

x(η = η i ) = x i

heißt Realisierung der Zufallsvariablen.



mögliche Abbildungen:

η i

Α i

x(η i )

x(Α i )

N T S
N
T
S

UNIVERSITÄT

   

D U I S B U R E S S E N

G

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 31

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

3 Zufallsvariablen

Beispiel der Definition einer Zufallsvariablen x(η)

Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6
Zufallsexperiment
η 2
η 1
η 5
η 7
η 3
η 4
η 6
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x
Zufallsexperiment η 2 η 1 η 5 η 7 η 3 η 4 η 6 x

x(η 1 ) x(η 2 )

x(η 3 )

x(η 4 )

x(η 5 )

x(η 6 )

x(η 7 )

xR

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale

WS 2010/2011

S. 32

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

3 Zufallsvariablen

Definition 3.2: Wahrscheinlichkeitsverteilungsfunktion F x (x) kurz: Wahrscheinlichkeitsverteilung, Verteilung F x (x) = P({η | x(η) x})

(3.1)



Eigenschaften:

1.

F x (−∞) = 0,

2.

F x (+∞) = 1,

3.

F x (x) wächst monoton mit x,

4.

0 F x (x) 1.

(3.2)

(3.3)

(3.4)

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 33

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

3 Zufallsvariablen

Beispiel 3.1: diskrete Zufallsvariable

i 1 2 3 4 5 6 7 x( η i ) P( η i
i
1
2
3
4
5
6
7
x( η i )
P( η i )
–0,4
0,2
1,1
2
2,7
3,5
5
0,04
0,1
0,1
0,22
0,32
0,14
0,08
F
x (x)
1
0,8
0,6
0,4
0,2
−1
0
1
2
3
4
5

x

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale

WS 2010/2011

S. 34

Fachgebiet

Nachrichtentechnische Systeme

N T S
N
T
S

Theorie statistischer Signale

3 Zufallsvariablen

Wahrscheinlichkeitsverteilungsfunktion für wertdiskrete Zufallsvariablen:

F ( x ) = P ( x ( η ) ≤ x ) =
F
(
x
)
= P
(
x (
η
)
x
)
=
∑ P
(
η
)
x
i
i
|
x (
η
) ≤
x
i
N
N
F
(
x
)
= ∑
P
(
η
)
s(
x
x (
η
))
=
p
s(
x
x
))
x
i
i
i
i
i =
1
i =
1

(3.5)

(3.6)

, N = Anzahl der Elementarereignisse und der Sprungfunktion s(x):

mit

x(η i ) = x i ,

P(η i ) = p i

s(x) 1 x
s(x)
1
x

1

für

x

0

0

sonst

s(

x

) =

(3.7)

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale

WS 2010/2011

S. 35

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

3 Zufallsvariablen

wertkontinuierliche Zufallsvariablen: Ergebnismenge H hat unendlich viele Elementarereignisse η i

Wahrscheinlichkeitsverteilungsfunktion für wertkontinuierliche Zufallsvariablen:

(

η

F

x

(

x

)

P

(

x

(

η

)

x

)

P

(

η

) d

∫ ( η F x ( x ) P ( x ( η ) ≤ x

=

=

η

(3.8)

η

|

x

) x

Beispiel 3.2: gleichverteilte wertkontinuierliche Zufallsvariable Wertebereich:

x

1

x

2

Zufallsvariable  Wertebereich: x 1 x 2 F x ( x ) =  0 

F

x

(

x

) =

0

x

x

1

1

x

2

x

1

für

für

für

x

x

1

x

<

x

1

x

x

2

<

x

2

(3.9)

F x (x) 1 x 1 x 2 x
F x (x)
1
x 1
x 2
x
x 1 ≤ x ≥ x 2 < x 2 (3.9) F x (x) 1 x
N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 36

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

3 Zufallsvariablen

Definition 3.2: Wahrscheinlichkeitsdichtefunktion f x (x) kurz: Wahrscheinlichkeitsdichte

d F

(

d x

x

)

(3.10)



f

x

( x

) =

x

Zusammenhang mit der Wahrscheinlichkeitsverteilung:

F x

(x)

x

=

f

x

−∞

(u) du

(3.11)

Eigenschaften:

1.

2. f x (x) 0,

3.

x

f x (−∞) = f x (+∞) = 0,

(3.12)

(3.13)

(3.14)

f

x

(

) d

x

=1

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 37

Fachgebiet

Nachrichtentechnische Systeme

Theorie statistischer Signale

3 Zufallsvariablen

Wahrscheinlichkeitsdichtefunktion für wertdiskrete Zufallsvariablen:

N N d F ( x ) d d x d x i = 1
N
N
d F
(
x
)
d
d x
d x
i =
1
i =
1

f

x

( x

) =

x

=

p

i

s(

x

x

i

)

=

p

i

δ(

x

x

i

)

(3.15)

Zuhilfenahme verallgemeinerter Funktionen notwendig

Dirac'sche Delta-Funktion δ(x):

δ( x ) =

mit

 ∞


0

∞

für

x

=

0

sonst

δ( x ) d x =1

−∞

δ(x) 1 x
δ(x)
1
x

(3.16)

(3.17)

N T S
N
T
S

UNIVERSITÄT

D U I S B U R G E S S E N

Prof. Dr.-Ing. Andreas Czylwik

Theorie statistischer Signale WS 2010/2011

S. 38

Fachgebiet

Nachrichtentechnische Systeme