Klausur im Lehrgebiet

Grundlagen der Statistischen

Nachrichtentheorie
- Prof. Dr.-Ing. Thomas Sikora -

Name: . . . . . . . . . . . . . . . . . . . . . . . . . . . . Vorname: . . . . . . . . . . . . . . . . . . . . . . . . .

Matr.Nr: . . . . . . . . . . . . . . . . . . . . . . . . . . .

Ich bin mit der Veröffentlichung des Klausurergebnisses

unter meiner verkürzten Matrikelnummer einverstanden:  Ja

Aufgabe P
1 2 3 4

Max. Punktezahl 10 10 10 10 40

Erreichte Punktezahl

Hinweise:
1. Schreiben Sie die Lösungen jeweils direkt auf den freien Platz unterhalb der Aufgabenstellung.

2. Die Rückseiten können bei bedarf zusätzlich beschrieben werden. Nummerierungen in diesem
Fall nicht vergessen.

3. Sollte auch der Platz auf der Rückseite nicht ausreichen, bitte kein eigenes Papier verwenden.
Die Klausuraufsicht teilt auf Anfrage zusätzlich leere Blätter aus.

4. Nichtprogrammierbare Taschenrechner sind als Hilfsmittel erlaubt!

5. Es ist ein einseitig beschriebenes DIN A4-Blatt zur Lösung dieser Klausur zugelassen!

6. Bearbeitungszeit: 90 min.

7. Bitte keinen Bleistift und keinen Rotstift verwenden!

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 1

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

Inhaltsverzeichnis

Inhaltsverzeichnis

1 Wahrscheinlichkeit und Zufallsvariablen 3

2 Verteilungsfunktion und Erwartungswerte 7

3 Rauschreduktion 10

4 WK-Filter und Lineare Prädiktion 14

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 2

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

1 Wahrscheinlichkeit und Zufallsvariablen

1 Wahrscheinlichkeit und Zufallsvariablen 10 Punkte

1.1 Erläutere anhand der Kolmogoroff-Axiome welche der folgenden Aussagen 4P

stimmen bzw. nicht stimmen.

a) P(Ω ∪ (Z ∩ Z)) = 0, 5 1P
Falsch, denn P(Ω ∪ (Z ∩ Z)) = P(Ω ∪ Z) = P(Ω) := 1
Das sichere Ergebnis hat die Wahrscheinlichkeit Eins.
b) P(E ∪ E) = 0 1P
Falsch, denn P(E ∪ E) = P(Ω) := 1
Das sichere Ergebnis hat die Wahrscheinlichkeit Eins.
c) P(B ∩ C) = −0, 1 1P
Falsch, denn P(B ∩ C) :> 0
Die Wahrscheinlichkeit ist nichtnegativ.
d) P(B) − P(A) + P(A ∪ B) = 1, mit A ∩ B = ∅ 1P
Richtig, denn P(A ∪ B) := P(A) + P(B), da A ∩ B = ∅. Somit bleibt
P(B) − P(A) + P(A) + P(B) = P(B) + P(B) = P(B ∪ B) = P(Ω) = 1

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 3

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

1 Wahrscheinlichkeit und Zufallsvariablen

1.2 4P
Ein Memory Spiel enthält 11 Karten. Davon zeigen 2 ein Kreuz, 4 einen Kreis
und 5 einen Stern. Die Karten werden verdeckt auf einen Tisch gelegt und
gemischt, sodass nicht bekannt ist, welches Symbol auf der unteren Seite der
Karte abgebildet ist.

a) Es werden nacheinander zwei beliebige Karten aufgedeckt. Wie groß ist die 1P
Wahrscheinlichkeit, das die Symbole Kreuz und Kreis zu sehen sind?
2 4 8 4
P(ω1 , ω2 ) = 11 · 10 = 110 = 55 ,
4 2 8 4
P(ω2 , ω1 ) = 11 · 10 = 110 = 55 ,
8
P(Kreuz und Kreis) = P(ω1 , ω2 ) + P(ω2 , ω1 ) = 55 , mit
P(ω1 ): Wahrscheinlichkeit, dass die Karte ein Kreuz abbildet
P(ω2 ): Wahrscheinlichkeit, dass die Karte einen Kreis abbildet
b) Es sind wieder alle Karten verdeckt und gemischt auf dem Tisch verteilt. Es 2P
werden nacheinander zwei Karten umgedreht. Wie groß ist die Wahrschein-
lichkeit, dass zwei nicht gleiche Symbole zu sehen sind?
2 1 2 1
P(ω+ , ω+ ) = 11 · 10 = 110 = 55 ,
4 3 12 6
P(ωo , ωo ) = 11 · 10 = 110 = 55 ,
5 4 20 2
P(ωx , ωx ) = 11 · 10 = 110 = 11 ,
17
P(zwei gleiche) = P(ω+ , ω+ ) + P(ωo , ωo ) + P(ωx , ωx ) = 55 ,
17 38
P(zwei nicht gleiche) = 1 − 55 = 55 , mit
P(ω+ , ω+ ) als Wahrscheinlichkeit zweier Kreuz Karten,
P(ωo , ωo ) als Wahrscheinlichkeit zweier Kreis Karten und
P(ωx , ωx ) als Wahrscheinlichkeit zweier Stern Karten.
c) Es sind wieder alle Karten verdeckt und gemischt auf dem Tisch verteilt. Es 1P
werden zwei Karten aufgedeckt, doch dieses Mal wird die erste nach ihrer
Aufdeckung wieder umgedreht und die Karten neu gemischt. Bei dieser Vor-
gehensweise, wie groß ist die Wahrscheinlichkeit, dass keines der beiden auf-
gedeckten Symbole Ecken hat?
4 4 16
P(Kreis, Kreis) = 11 · 11 = 121

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 4

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

1 Wahrscheinlichkeit und Zufallsvariablen

1.3 In einer Schachtel liegen 100 Widerstände. Ihre Werte sind 20, 100 und 47Ω, 2P
ihre Toleranzen sind 5% und 10%. Die Verteilung ist gegeben durch:
R/Ω 5% 10%

20 5 25

100 10 20

47 15 25

Folgende Ereignisse sind definiert:

A = Ein 20Ω Widerstand wird gezogen.
B = Ein Widerstand mit 5% Toleranz wird gezogen.
C = Ein 47Ω Widerstand wird gezogen.
D = Ein 100Ω Widerstand mit 5% Toleranz wird gezogen.
Berechnen Sie: P(A ∩ B), P(B ∩ D), P(D ∪ C), P(A|B).
P(A ∩ B) = 5/100 = 0.05
P(B ∩ D) = 10/100 = 0.1
10 15+25 40
P(D ∪ C) = P(D) + P(C) = 100 + 100 = 100 = 0.4
0.05
P(A|B) = P(A ∩ B)/P(B) = 0.3 = 0.16̄

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 5

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

2 Verteilungsfunktion und Erwartungswerte

2 Verteilungsfunktion und Erwartungswerte 10 Punkte

2.1 Eine Zufallsvariable X habe die VDF pX (x) = ce−b|x| + a , b > 0. 4P

a) Bestimme die Koeffizienten a und c. 2P

R
∞
Für eine Dichte muß gelten: pX (x)dx = 1 und pX (x) > 0, ∀x.
−∞

Z
∞

1 = pX (x)dx
−∞
Z
∞ Z
∞
−bx
= ce dx + adx
−∞ −∞

Damit diese Gleichung gelten kann, muss a = 0 sein, sonst ergibt das Integrall immer ±∞.
Es bleibt also nur noch das erste Integral, das aufgrund seiner symmetrischen Eigenschaften
vereinfacht werden kann zu:
Z
∞
1
= pX (x)dx
2
0
Z
∞
c b
= ce−bx dx = ⇒c=
b 2
0

b) Bestimme und skizziere die Verteilungsfunktion! 2P

Verteilungsfunktion :
x < 0 → pX (x) = cebx
Zx
c bx x 1
−
F (x) = cebx dx = e |−∞ = ebx
b 2
−∞

x > 0 → pX (x) = ce−bx

Zx Z
∞
+ −
F (x) = pX dx = F (0) + ce−bx dx
−∞ 0
1 c 1 1 1
= + (− ) e−bx |x0 = − e−bx +
2 b 2 2 2
1 2−e −bx
= 1 − e−bx =
2 2

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 6

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

2 Verteilungsfunktion und Erwartungswerte

1 F(x)

0.5

2.2 X sei N(0, 1)-verteilt. 3P

a) Berechne den Korrelationskoeffizienten ρ(X, Y) für Y = X2 . 3P

E(X) = 0

E(Y) = E(X2 ) = 1

Wegen D2 (X) = E(X2 ) − E2 (X) = E(X2 ) = 1

⇒ cov(X, Y) = E{(X − E(X))(Y − E(Y))}

= E{(X − 0)(Y − 1)} = E{X(X2 − 1)}
= E{(X3 − X)}
= E{X3 } − E{X} = E{X3 }
= 0

Damit gilt:

D2 (Y) = D2 (X2 ) = E{[X2 − E(X2 )]2 }

= E{(X2 − 1)2 } = E{X4 − 2X2 + 1}
= E(X4 ) − 1 = 3 − 1 = 2

D2 (X) = 1

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 7

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

2 Verteilungsfunktion und Erwartungswerte

cov(X, Y) 0
ρ(X, Y) = p =√ =0
D2 (X)D2 (Y) 1·2

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 8

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

2 Verteilungsfunktion und Erwartungswerte

2.3 Der Erwartungswert einer transformierten Zufallsvariablen g(X, Y) ist 3P

R R
E[g(X, Y)] = g(x, y)pXY (x, y) dy dx.
∀x∀y

a) Zeige, dass E[(X + Y)2 ] = E[X2 ] + E[Y 2 ] + 2E[XY] ist. 3P

g(x, y) = (x + y)2
Z Z
2
E[(X + Y) ] = (x + y)2 pXY (x, y) dx dy
∀x∀y
Z Z
= (x2 + y2 + 2xy) pXY (x, y) dx dy
∀x∀y
Z Z Z Z
2 2
= x pXY (x, y) dx dy + y pXY (x, y) dx dy
∀x ∀y ∀y ∀x
Z Z
+ 2x y pXY (x, y) dx dy
∀x∀y
Z Z
= x pX (x) dx + y2 pY (y) dy + 2E[XY]
2

x y
2 2
= E[X ] + E[Y ] + 2E[XY]

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 9

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

3 Rauschreduktion

3 Rauschreduktion 10 Punkte

3.1 Gegeben sei weißes Rauschen {W(n)} mit der AKF RWW (k) = 6P
σ2W δ(k) und ein MA-Prozess {X(n)} mit Musterfolgen x(n) =
P1
al w(n − l) = [a0 w(n) + a1 w(n − 1)], mit a0 > 0 und a1 < 0.
l=0

a) Berechne RXX (k) und skizziere die Autokorrelationsfunktion. 3P

RXX (k) = E[(a0 w(n) + a1 w(n − 1)) (a0 w(n + k) + a1 w(n − 1 + k))]
= E[a20 w(n)w(n + k) + a1 a0 w(n − 1)w(n + k) +
a0 a1 w(n)w(n − 1 + k) + a21 w(n − 1)w(n − 1 + k)]
= (a20 + a21 )RWW (k) + a1 a0 RWW (k + 1) + a0 a1 RWW (k − 1)
= σ2W (a20 + a21 )δ(k) + a1 a0 δ(k + 1) + a0 a1 δ(k − 1)

σ2W (a20 + a21 )

-1 1
k
0

σ2W a0 a1 σ2W a0 a1

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 10

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

3 Rauschreduktion

b) Berechne und skizziere das zugehörige Leistungsdichtespektrum. 2P

SXX (Ω) = σ2W (a20 + a21 ) + a0 a1 (ejΩ + e−jΩ )

= σ2W (a20 + a21 ) + a0 a1 (2cos(Ω))

SXX (Ω)

Ω
−π π

c) Gib die Werte der normierten AKF ρXX (k) an. 1P

RXX (k)
ρXX (k) =
RXX (0)
a1 a0 a0 a1
= δ(k) + 2 2
δ(k + 1) + 2 δ(k − 1)
(a0 + a1 ) (a0 + a21 )

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 11

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

3 Rauschreduktion

3.2 Gegeben sei ein rauschgestörtes Signal Y(n) = X(n) + N(n), wobei das Nach- 4P
richtensignal X(n) und das Rauschsignal N(n) ein Leistungsdichtespektrum
1
SXX (Ω) = σ2X bzw. SNN (Ω) = σ2N = α σ2X besitzen. Das Rauschsignal ist
nicht mit dem Nachrichtensignal korreliert.

a) Berechnen Sie die Übertragungsfunktion und die Impulsantwort des optima- 2P

len nicht-kausalen WK-Filters mit Indexmenge von {−∞; +∞}!
Die Übertragungsfunktion des optimalen WK-Filters ergibt sich zu

SXX σ2 α
Hopt = = 2 X 1
=
SXX + SNN σX (1 + α)
α+1

Z
+π Z
+π
1 jΩk 1 α
h(k) = H(jΩ) e dΩ = ejΩk dΩ
2π 2π α+1
−π −π
Z
+π
α 1 α 1
= · ejΩk dΩ = · · 2π · δ(k)
α + 1 2π α + 1 2π
−π
α
= · δ(k)
α+1

Das Filter ist offensichtlich ein einfaches Skalierglied, das bei vorhandenem Rauschen das ge-
störte Signal mit einem Wert < 1 multipliziert.
b) Berechnen Sie das SNR ohne Filterung bzw. bei optimaler 2P
R
+π
SXX (Ω)·SXX (Ω)
Filterung!(min{σ2R } = σ2X − 1
2π SXX (Ω)+SNN (Ω) dΩ)
−π
Für das SNR gilt:
R
+π R
+π
SXX (Ω)dΩ SXX (Ω)dΩ
σ2 −π −π
SNRohne = 2X = +π = =α
σN R 1
R
+π
SNN (Ω)dΩ α SXX (Ω)dΩ
−π −π

σ2X σ2X
SNRFilter = =
min{σ2R } 1
R
+π
SXX (Ω)·SXX (Ω)
σ2X − 2π SXX (Ω)+SNN (Ω) dΩ
−π
σ2X σ2X 1
= = =
1
R
+π
σ2X ·σ2X σ2X −
σ2X 1− 1
σ2X − 2π 2
σX (1+ α 1
)
dΩ (1+ α1
)
1
1+ α
−π
1 1
= α = α+1−α
=α+1
1− α+1 α+1

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 12

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

4 WK-Filter und Lineare Prädiktion

4 WK-Filter und Lineare Prädiktion 10 Punkte

4.1 Nennen Sie die drei Einsatzbereiche des WK-Filters und beschreiben Sie die 3P
zugehörigen Kanaleigenschaften.
reine Rauschbefreiung (nur additives Rauschen auf dem Kanal)
reine Entzerrung (nur Verzerrung des Signals, kein Rauscheinfluss)
lineare Prädiktion (kein Rauscheinfluss, der Kanal wirkt als Verzögerungsglied)
4.2 Eine Zufallsvariable Y soll mit der linearen Funktion Y = α·X der Zufallsvaria- 7P
blen X so geschätzt werden, dass der mittlere quadratische Fehler E[(Y −αX)2 ]
zum Minimum wird.

a) Berechne α. 2P
Der Fehler soll in Abhängigkeit von α minimiert werden:

∂ E[(Y − αX)2 ]
=0
∂α

∂ E[(Y − αX)2 ] ∂E[Y 2 − 2αXY + α2 X2 ]

=
∂α ∂α
= −2E[XY] + 2αE[X2 ]
= 0

Somit folgt
E[XY]
α=
PX

b) Zeige, dass der Korrelationskoeffizient ρXY = 1, wenn α positiv, und ρXY = 2P

−1, wenn α negativ ist.

CXY
ρXY =
σX σY

CXY = E[(X − µX )(Y − µY )]

= E[(X − µX )(αX − αµX )]
= αE[(X − µX )2 ]
= ασ2X

σ2Y = E[(Y − µY )2 ]
= α2 E[(X − µX )2 ]
= α2 σ2X

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 13

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013

4 WK-Filter und Lineare Prädiktion

Und somit
CXY
ρXY =
σX σY
ασ2
= qX
σX α2 σ2X
ασ2X
=
|α|σ2X
α
= = sgn(α)
|α|

c) Ein diskretes Signal habe folgende normierte Autokorrelationsfolge: 3P

ρxx [n] = {1, 0.7, 0.2, 0.03, ...}. Berechne die Filterkoeffizienten des opti-
malen Prädiktionsfilters zweiter Ordnung nach dem Wiener-Hopf-Ansatz!
 −1  
a b  1  d −b
Hinweis:  = ad−bc  
c d −c a
 −1  
ρxx [0] ρxx [1] ρxx [1]
hopt =   · 
ρxx [1] ρxx [0] ρxx [2]
 −1      
 1 0.7 0.7 100  1 −0.7 0.7
=  · = · · 
51

0.7 1 0.2 −0.7 1 0.2
 
 1.098 
⇒ hopt =  
−0.5686

Technische Universität Berlin Klausur im Lehrgebiet

Fachgebiet Nachrichtenübertragung Grundlagen der Statistischen Blatt: 14

Nachrichtentheorie

Prof. Dr.-Ing. T. Sikora am 20.09.2013