Sie sind auf Seite 1von 15

Kap. III

Diskrete Kanäle Die Stelle des Kanals in einer Übertragung ist in der unteren Abbildung erläutert: am Eingang des Kanals sind die von der Quelle abgegeben n Symbole [X] mit den Wahrscheinlichkeiten [P ] und am Ausgang des Kanals, wegen den Störungen, erscheinen m Symbole [Y] mit den Wahrscheinlichkeiten [P ]

y

x

[X] [Y] Q Kanal E N [ X ] ==== [ x , x ,
[X]
[Y]
Q
Kanal
E
N
[ X ]
====
[ x , x
,
,
x
n ]
1
2
Am Eingang ist:
[ P
]
====
[ p( x ), p( x ),
p(
x
)]
x
1
2
n
[Y]
Am Ausgang ist: [P ]
= [
y
,
y
,
,
y
m ]
1
2
= [
p y
(
),
p y
(
),
,
p y
(
)]
y
1
2
m

Für einen diskreten Kanal sind n und m sind endliche Zahlen Für einen kontinuierlichen Kanal sind n und m unendliche Zahlen Für einen diskret/kontinuierlichen Kanal ist n endlich und m unendlich. Für einen kontinuierlich/diskreten Kanal ist n unendlich und m endlich

Für einen zeitdiskreten Kanal nimmt t diskrete Werte an: t = kTB Takt B Für einen zeitkontinuierlichen Kanal nimmt t kontinuierliche Werte an

Für einen Gedächtnislosen Kanal hängt die Transformation ab von den vorhergehenden Transformationen. Für einen Kanal mit Gedächtnis hängt die Transformation den vorhergehenden Transformationen ab.

x

x

i

i

→→→→ y

→→→→ y

j

j

nicht

von

Für einen stationären Kanal, hängt die Wahrscheinlichkeitsverteilung

nicht von dem Zeitursprung ab:

(

p x t

i

1

)

(

p x t

i

2

)

∀∀∀∀i ==== 1,n

=

1. Entropie am Eigang und am Ausgang des Kanals;

Verbundentropie1.

[ X ]

[ P

x

]

====

====

[ x , x

1

2

,

,

x

n

]

[ p( x ), p( x ),

1

2

[

[

Y

P

]

y

====

]

====

[ y , y

1

2

,

,

y

m

]

[ p( y ), p( y ),

1

2

,

p(

x

n

)]

p( y

m

)]

n

∑∑∑∑ p( x ) ==== 1

i

i ==== 1

m

∑∑∑∑ p( y ) ==== 1

j

==== 1

j

Die Entropie am Eingang des Kanals ist:

H( X )

n

==== −−−−∑∑∑∑

i ====1

p( x ) log p( x )

i

i

bit / Symbol

Die Entropie am Ausgang des Kanals ist:

H(Y )

m

==== −−−−∑∑∑∑

j ====1

p( y ) log p( y )

j

j

bit / Symbol

Es wird das Verbund – Feld definiert:

x y

1

1

→→→→ x

1

[[[[X Y]]]] =

x

x

y

1 1

2

y

1

x

n

y

1

x y

y

2

1

x

2

2

x

n

y

2

x

x

1

2

x

n

y

y

m

m

y

m

∩∩∩∩ y

1

heisst dass zur selben Zeit xB 1 B am Eingang und yB 1 B am

Ausgang des Kanals sich ereignen. Die entsprechenden Wahrscheinlichkeiten sind:

P X Y

(

,

) =

p x

(

(

p x

(

p x

1

2

n

,

,

,

y

y

y

1

1

1

)

)

)

p x

(

(

p x

(

p x

1

2

n

,

,

,

y

y

y

2

2

2

)

)

)

(

(

p x

p x

(

p x

1

2

n

,

,

,

y

y

y

m

m

m

)

)

)

Man kann die Eingangs- und Ausgangswahrscheinlichkeiten folgends ableiten:

((((

p x

((((

p x

((((

p y

((((

p y

i

i

j

j

))))

))))

))))

==== P

m

==== ∑∑∑∑

j ==== 1

{{{{

x y

i

1

((((

p x y

∪∪∪∪ x y

i

j

))))

i

2

∪∪∪∪K∪∪∪∪ x y

i

∀∀∀∀i ==== 1, n ;

m

}}}}

==== P

{{{{

x y

1

j

∪∪∪∪ x

2

y

j

∪∪∪∪K∪∪∪∪ x y

n

j

}}}}

))))====

n

∑∑∑∑

====

1

i

((((

p x y

i

j

))))

∀∀∀∀j ==== 1, m

wobei:

wobei:

Es besteht ebenfalls die Beziehung:

n

m

∑∑∑∑∑∑∑∑

i ====

1

j

====

1

((((

p x ,y

i

j

))))

==== 1

Die Verbundentropie ist:

H

((((

X ,Y

))))

n

m

((((

==== −−−−∑∑∑∑ p x

i ====1

j

====1

i

, y

j

2. Bedingte Entropien

))))

((((

log p x y

i

j

))))

Man kann zwei bedingte Entropien definieren, die Äquivokation H((((X / Y )))) und die Irrelevanz H(Y / X )

H((((X / Y )))) ist die mittlere Ungewissheit über X wenn Y bekannt ist

x o o y 1 1 Lo oL Lo o y p(xB i B/yB j
x
o
o
y
1
1
Lo
oL
Lo
o y
p(xB i B/yB j B)
j
Die
x o
oL
i
Lo
oL
∀∀∀∀j ==== 1,m

Empfängt man yB j B, so ist die Ungewissheit

Symbol xB i Bam Eingang des

über

Kanals von dem Ausdruck:

das

U( x / x

i

j

((((

) ==== −−−− log p x

i

/ y

j

))))

gegeben.

mittlere Ungewissheit über X nach

Empfang von yB j BistB :

((((

H X / y

j

))))

n

((((

==== −−−−∑∑∑∑ p x

i ====1

i

/ y

j

))))

((((

log p x

i

/ y

j

))))

,

Durch Mittelung über alle Symbole Y erhält man die Äquivokation als mittlere Ungewissheit über X wenn Y bekannt ist:

H

((((

X / Y

))))

m

((((

==== p y

j ====1

j

))))

⋅⋅⋅⋅ H

((((

X / y

j

))))

m

n

((((

==== −−−− p y

j

====1

i

====1

j

))))

((((

⋅⋅⋅⋅ p x

i

/ y

j

H

((((

))))

m

n

X / Y ==== p x , y

i

((((

j ====1 ====1

i

P

((((

X / Y

))))

====

((((

 p x / y     p x / y

((((

1

1

1

m

))))

))))

j

))))

((((

log p x

i

/ y

j

))))

p x / y  

)))) 

((((

1

))))

n

((((

p x

n

/ y

m

n

i = 1

p(x

i

/

y

j

)

=

1

j

=

1, m

))))

((((

log p x

i

/ y

j

))))

, oder:

H((((Y / X )))) oder Irrelevanz ist ein Mass der mittleren Ungewissheit über den Ausgang wenn der Eingang bekannt ist. Sendet man aus das Symbol xB i, B so kann man mit verschiedenen Wahrscheinlichkeiten die Symbole yB j B erhalten. Die Ungewissheit über yB j B und über Y sind unten angegeben:

x o o y 1 1 Lo oL Lo o y p(yB j B/xB i
x
o
o
y
1
1
Lo
oL
Lo
o y
p(yB j B/xB i B)
j
x
o
oL
i
Lo
oL
n
H Y / X
((((
))))====
p x
((((
i ))))⋅⋅⋅⋅
∑∑∑∑
H Y / x
((((
i
i ====
1
n
m

(

i

(

U y

j

/

x

i

(

H Y

/

x

i

)

)

=

=

log

m

j = 1

(

)

log

p y

j

/

x

i

x

i

)

/

(

p y

j

(

p y

j

/

x

i

)

Durch Mittelung über alle Symbole X erhält man die Irrelevanz:

n

m

((((

i

))))⋅⋅⋅⋅

((((

p y

(

j

j

/ x

i

/ x

i

)

))))

((((

log p y

j

/ x

i

))))====

))))==== −−−−∑∑∑∑∑∑∑∑ p x

i ====

1

j

====

1

)

= −∑∑ p x , y

i =

1

j

=

1

j

log p y

Die Störungsmatrix des Kanals ist:

[[[[

P Y / X

]]]]

====

((((

 p y / x     p y / x

((((

1

1

1

n

))))

))))

p

((((

y

m

p

((((

y

m

/ x  

)))) 

1

))))

/ x

n

Die Störungsmatrix ist eine stochastische Matrix:

m

∑∑∑∑

j ==== 1

p((((y

j

/ x ))))

i

====

1

pentru

∀∀∀∀

i

====

1

, n

Für einen Störungsfreien Kanal ist

p((((y

p(y

j

j

/ x ))))

i

==== 1

/

x )

i

=1

pentru

pentru

j

∀∀∀∀

j

====

=

i

i

so dass die Störungsmatrix eine Einheitsmatrix wird. Beziehungen zwischen den eigenen und bedingten Entropien

Allgemein gilt: H((((X )))) H((((X / Y ))))

Die eigene Entropie ist immer grösser als die bedingte, da zusätzliches Wissen die Entropie verringert. Es gibt zwei extremale Fälle:

Ungestörter Kanal: H((((X )))) >>>> H((((X / Y )))) ==== H((((Y / X )))) ==== 0

Sehr gestörter Kanal: H((((X )))) ==== H((((X / Y )))) H((((Y )))) ==== H((((Y / X ))))

UBeziehungen

zwischen den

Entropien

H

((((

X / Y

))))

≤≤≤≤

((((

H X

))))

H

((((

Y / X

))))

≤≤≤≤

H Y

((((

))))

H((((X ,Y ))))

====

H((((X ))))

++++

H((((Y / X ))))

====

H((((Y ))))

++++

H((((X / Y ))))

Die ersten zwei sind schon bekannt, die dritte wird weiter folgendermassen bewiesen:

((((

p x ,y

i

j

))))

((((

==== p y

j

/ x

i

))))

((((

⋅⋅⋅⋅ p x

i

))))

((((

==== p x

i

H

((((

X ,Y

))))

n

m

−−−− ∑∑∑∑∑∑∑∑ p

i ====

1

j

====

1

((((

n

m

((((

==== −−−−∑∑∑∑ p x

i

====1

j

====1

i

, y

y

j

/ x

i

))))

⋅⋅⋅⋅

((((

p x

i

))))

⋅⋅⋅⋅

j

))))

((((

log p x y

i

[[[[

log p x

((((

i

))))

⋅⋅⋅⋅

n

∑∑∑∑

1

i ====

p((((x ))))

i

m

⋅⋅⋅⋅ ∑∑∑∑

j

====

1

p((((y

j

/ x ))))

i

⋅⋅⋅⋅

log p((((y

j

/ x

i

/ y

j

))))

((((

⋅⋅⋅⋅ p y

j

))))

j

))))

((((

p y

j

/ x

i

))))

====

H((((X ))))

))))]]]]

++++

n

==== −−−−∑∑∑∑

i

====

1

((((

p x

H((((Y / X ))))

i

))))

((((

log p x

i

))))

−−−−

Auf derselben Weise kann man zeigen dass:

H((((X ,Y ))))==== H((((Y ))))++++ H((((X / Y ))))

Für störungsfreie Kanäle (SFK) sind die bedingten Entropien gleich Null, so dass:

H((((X ,Y )))) ==== H((((X )))) ==== H((((Y ))))

Für stark gestörte Kanäle (SGK) gilt:

H((((X ,Y )))) ==== H((((X ))))++++ H((((Y ))))

Die oberen Beziehungen für normale, störungsfreie und stark gestörte Kanäle sind mit Hilfe von Venn Diagrammen in der unteren Abbildung veranschaulicht.

Venn Diagrammen in der unteren Abbildung veranschaulicht. H(X/Y) SFK H(Y/X H(X) I(X,Y) H(Y) H(X)= H(Y)= H(X,Y)=

H(X/Y)

SFK H(Y/X
SFK
H(Y/X

H(X)

I(X,Y)

H(Y)

H(X)=

H(Y)=

H(X,Y)=

I(X,Y)

SGK

SFK H(Y/X H(X) I(X,Y) H(Y) H(X)= H(Y)= H(X,Y)= I(X,Y) SGK H(X)=H(X/Y) I(X,Y)=0 H(Y)=H(Y/X) 3. Transinformation Die

H(X)=H(X/Y) I(X,Y)=0

H(Y)=H(Y/X)

3. Transinformation Die Transinformation oder die übertragene Information ist als Mittelwert der mutuellen Information i( x , y ) über das Verbundfeld definiert:

i

j

n

m

I( X ,Y ) ==== ∑∑∑∑∑∑∑∑

i ====

1

j

====

1

p( x , y

i

j

)

⋅⋅⋅⋅

n

m

∑∑∑∑∑∑∑∑ p( x , y

i

i ====

1

j

====

1

j

) log p( x , y

i

((((

i x , y

i

j

))))

j

)

n

m

−−−− ∑∑∑∑∑∑∑∑

i

====

1

j

====

1

n

m

==== ∑∑∑∑∑∑∑∑

i

====

1

j

====

1

((((

p x y

i

j

))))

log

p( x ,y )

i

j

p( x )p( y )

i

n

m

j

====

p( x , y

i

j

) log p( x )

i

−−−− ∑∑∑∑∑∑∑∑

i

====

1

j

====

1

p( x , y

i

j

) log p( y ) ====

j

Transinformation ist positiv, mindestens Null: I( X ,Y ) 0

UKanalkapazitätU

Die Kapazität des Kanalks ist definiert als der maximale Wert der Transinformation:

C

def

=

===

max{ I( X ,Y )}

====

max[ H( X )

−−−−

H( X / Y )]

====

max[ H(Y )

−−−−

H(Y / X )

Die Maximierung wird in Verhältnis zu p(x B i B) gemacht und man erhält die sogenannte Sekundärquelle, welche Symbole liefert mit den optimalen Wahrscheinlichkeiten p(xB oi B). So wird die Transinformation maximal und man sagt das die Quelle statistisch zum Kanal angepasst ist.

Sekundarquelle I(X,Y) Q
Sekundarquelle
I(X,Y)
Q

p(xB i B)

Quellencodierer

Kanal

o =optim

E
E
Q p(x B i B ) Quellencodierer Kanal o =optim E p(x B o i B

p(xB oi B)

4. Kenngrössen des diskreten Kanals Kapazität des Kanals ist: C = max I(X, Y) (bit/Symbol) Informationsfluss (Bitrate

C t ====

C max I( X ,Y )

====

ττττ

ττττ

C t ====

C max I( X ,Y )

====

ττττ

ττττ

(bit/s)

ττττ

==== ∑∑∑∑

ττττ

i

p

oi

wobei

p

oi

die optimale Wahrscheinlichkeit ist.

Absolute Redundanz: R

Relative Redundanz:

ρρρρ

c

c

def

====

C

−−−−

I( X ,Y )

(bit/Symbol)

====

R c

==== 1 −−−−

I( X ,Y )

C C

( %)

C

ηηηη

c

⇒⇒⇒⇒

ρρρρ

c

I( X ,Y )

====

C

→→→→ 0

,

ηηηη

c

ρρρρ

c

==== 0 , ηηηη

c

==== 100

.

Kanaleffizienz:

Soll

optimalen Fall

(%)

%

I( X ,Y )

→→→→

100

%

und nähert sich dem

5. Modelle für diskrete Kanäle

UGleichmässiger

Kanal

eingangsseitsU: jede Linie der

Störmatrixist gebildet aus demselben Wahrscheinlichkeitssatz, die Ordnung der bedingten Wahrscheinlichkeiten ist aber verschieden in den Linien

UGleichmässiger

Kanal

ausgangsseitsU: jede Spalte der

Störmatrixist gebildet aus demselben

Wahrscheinlichkeitssatz, die Ordnung der bedingten Wahrscheinlichkeiten ist aber verschieden in den Spalten

der Kanal gleichmässig sowohl

eingangsseits wie auch ausgangsseits.

USymmetrischer

KanalU:

Ist

P (Y / X ) ====















  n −−−−

p

1 −−−− p

p

n

−−−− 1

1

p

1

n −−−−

1 −−−− p

p

n

−−−−

1

p

n

−−−−

p

1

n −−−− 1

1 −−−− p















 

mit

0 ≤≤≤≤ p ≤≤≤≤ 1

Für symmetrische Kanäle ist der mittlere Fehler unabhängig von den Eingangswahrscheinlichkeiten:

n

n

H(Y / X )

==== −−−−

====

(

[(

1

1

−−−−

−−−−

==== −−−−∑∑∑∑∑∑∑∑

k ====

1

p ) log(

1

j

1

−−−−

====

1

p( x )p( y

k

p )

−−−−

−−−−

p )

( n

p log p

++++

−−−−

j

/ x ) log p( y

k

j

)

++++

1

p

n −−−−

log

1

p log( n

p

n

−−−−

1

−−−−

)

1

====

/ x

k

n

] ⋅⋅⋅⋅ ∑∑∑∑

k

==== 1

)

====

p( x

p ) log(

const.

k

) ====

Die Kapazität des Kanals kann folglich einfacher ausgerechnet werden:

Die initiale Form:

C

def

====

max{ I( X ,Y )}

====

max[ H( X )

−−−−

H( X / Y )]

====

max[ H(Y )

−−−−

H(Y / X )

geht über in:

C = max[H(Y)] H(Y / X) ;

Nimmt man: p( x )

1

====

p( x )

2

====

p( y )

1

====

p( y )

2

====

====

p( y

n

)

==== 1

man erhält für die Kapazität des Kanals:

C

sim ====

log n

++++

(

1−−−−

p ) log(

1−−−−

p )

====

/ n

p( x )

n

==== 1

/ n

, so folgt:

so dass max H(Y )] ==== log n und

++++

p log p

−−−−

p log( n

−−−−1

)

UBinärer

symmetrischer

KanalU: hat zwei Eigangssymbole und

zwei Ausgangssymbole; Die Störmatrix und der entsprechende Übergangsgraph sind weiter angegeben:

[[[[

P Y / X

]]]]

====

 p     p

((((

((((

y

/ x

1 1

y

/ x

1 2

))))

))))

((((

p y

2

((((

p y

2

/ x

1

/ x

2

1- p

xB 1 ))))  p p  xB 2 ))))   1- p
xB 1
))))

p
p

xB 2
))))  
1- p

yB 1

yB 2

[[[[

P Y / X

]]]]

====

x 1  1 −−−− p p     p 
x
1

1
−−−−
p
p




p  
0
t

1
p
1 −−−−
y
 
Schwelle
0
t

Die Kapazität des Kanals ist:

C ==== max I( X ,Y ) ==== max[ H(Y ) H(Y / X )]

Der mittlere Fehler ist:

H(Y / X )

2 2

==== −−−−∑∑∑∑∑∑∑∑

i

====

1

j

====

1

p( x )p( y

i

j

/ x ) log p( y

i

j

/ x

i

)

Es ergibt weiter:

H(Y / X ) ==== [ p( x ) ++++ p( x

1

2

)] ⋅⋅⋅⋅ [ p log p ++++ (1 −−−− p ) log(1 −−−− p )] ====

==== −−−−[ p log p ++++ (1 −−−− p ) log( 1 −−−− p )]

Es ist klar dass der mittlere Fehler nicht von den

Eingangswahrscheinlichkeiten Eigenschaften des Kanals.

Man hat für

p

( y

1

) ==== p( y

2

) ====

1

/

2

abhängt, sondern nur von den

und

p( x ) ==== p( x

1

2

) ====

1

/

2

C ==== max H(Y ) ++++ [ p log p ++++ (1 p ) log(1 p )]

==== 1 ++++ [ p log p ++++ (1 −−−− p ) log(1 −−−− p )] ==== 1 −−−− H( p ) da H(Y )

==== 1

Bemerkung: Der Ausdruck kann auch aus der Formel der Kapazität CB sim B für n = 2 abgeleitet werden.

Besondere Situationen: SFK: p ==== 0 C ==== 1

xB

xB

1

2

o 1 o yB 1
o
1
o yB
1

yB y

1

SFK

2

SGK:

Invertierender Kanal: p ==== 1 C ==== 1

p ==== 1 / 2 ⇒⇒⇒⇒ C ==== 0

xB 1

xB 2

1 o o 1/2 1/2 1 o o
1
o o
1/2
1/2
1
o
o

yB 2

yB xB o 1 1 o 1 1 xB 2 o yB o 2
yB
xB
o
1
1
o
1
1
xB
2
o
yB
o
2

SGK

IK

H(p) 1 C(p) p 0 0.5 1
H(p)
1
C(p)
p
0
0.5
1

UBinärer

Kanal

mit

Fehler und Auslöschung:

Der Kanal ist durch den Übergangsgraph und die Störmatrix folgends angedeutet:

X

• y 1-p-q 1 x • q p 1 p q • y ( auslöschung
y
1-p-q
1
x
q
p
1
p
q
y
(
auslöschung
)
Y
P Y
(
/
3
x
2
1-p-q
y
2

Die Kapazität des Kanals ist:

X ) =

1

p

p

q

1

p

p

q

q

q

C ==== 1 −−−− q ++++ p log p −−−− (1 −−−− q ) log(1 −−−− q ) ++++ (1 −−−− p −−−− q ) log(1 −−−− p −−−− q )

für

Falls die Auslöschungsrate wächst, (p/q0), so verringert sich die Fehlerwahrscheinlichkeit p und der Kanal wird ein Kanal mit Auslöschung.

p( x ) ==== p( x

1

2

) ====

1 2
1
2

UBinärer

Kanal

mit Auslöschung:

Der Kanal ist durch den Übergangsgraph und die Störmatrix folgends angedeutet:

P Y

(

/

X

)

 

1

q

0

q

=

 

0

1

q

q

X

y

1 − q x • 1 q • q x • 2 1 − q
1
q
x
1
q
q
x
2
1
q

y

y

1

3

2

(ausloschung)

Y

C ==== 1−−−− q

6. Die Kapazität diskreter Kanäle

Allgemeiner gedächtnisloser Kanal Die Kapazität C ist laut Definition

C

====

sup I( X ;Y )

P( X )

Wobei:

n

∑∑∑∑ p( x ) −−−−

i

i

====

1

1

====

0 ,

====

sup[ H( X )

P( X )

p( x )

i

≥≥≥≥ 0

,

−−−−

∀∀∀∀

H( X / Y )]

i

====

sup[ H(Y )

P( X )

−−−−

H(Y / X )],

Es muss der Maximalwert der Funktion Φ bestimmt werden.

Φ =

I(X,Y)

λ[

n

=

i

1

p(x )

i

1]

Es wird das Gleichungssystem gelöst:

∂Φ ∂ p(x )

i

= 0

n

=

1

i

p(x )

i

=

1

nach Durchführung der Rechnungen erhält man:

m

∑∑∑∑ [C

j ==== 1

p ( y

0

++++

j

)

ln p ( y ) ] p( y

0

j

j

/ x

n

==== ∑∑∑∑

i ==== 1

p ( x

0

i

)

⋅⋅⋅⋅

p( y

j

x

m

∑∑∑∑ p( y ) ==== 1

j ==== 1

j

i

i

)

)

==== −−−−

H(Y / x )

i

∀∀∀∀ j

==== 1

,m

∀∀∀∀

i

==== 1

, n

Es ist ein System mit n+m+1 Gleichungen und n+m+1 Unbekannten:

p(x ),

1

,

p(x ),

n

p(y ),

1

,

p(y

m

)

und

C

Ein einfachere Lösung bnesteht für n = m, wobei:

P

(Y / X ) ====







p( y

1

/ x

1

p( y / x

1

n

)

)

[[[[

P

(Y / X )

]]]]

−−−−

1

====

Q

Mit:

q ji ====

P ij

P(Y / X )

====

,







q

q

11

1

n

p( y

n

p( y

n

q

q

1

n

nn







/ x

1

/ x

n

)

)







====







p

p

11

n

1

p

p

1

n

nn







Wobei PB ij B der Kofaktor des Elementes p(yB i B/xB i B) ist:

es folgt:

C

====

log

n −−−−

∑∑∑∑ 2

j ==== 1

n

∑∑∑∑

==== 1

i

q ji

⋅⋅⋅⋅

H(Y / x )

i

;

p

0

( y

j

)

====

2

−−−− C

⋅⋅⋅⋅

2

−−−−

n

∑∑∑∑

i ==== 1

q ji

n

∑∑∑∑

p

0

( x

i

)

====

2

H(Y / x )

i

−−−− C

⋅⋅⋅⋅

q

ij

⋅⋅⋅⋅

p( y

j ==== 1

n

==== −−−−∑∑∑∑

j ==== 1

⋅⋅⋅⋅

H(Y / x )

i

2

−−−−

n

∑∑∑∑

==== 1

k

q

jk

⋅⋅⋅⋅

;

H(Y / x

k

)

;

j

/ x ) log p( y

i

j

/ x

i

)

Allgemeiner binärer Kanal (n=m=2); Der Graph ist:

pB xB 1 11 B yB 1 o o pB pB 12 B 21 B
pB
xB 1
11 B
yB 1
o
o
pB
pB 12 B
21 B
xB
pB
yB 2
2 o
22 B
o

Die Störmatrix ist:

P(Y / X )

====







p

p

11

21

p

p

12

22







Die Kapazität des Kanals wird zu:

H(Y / x )

C

p

p

log[

====

)

2

−−−−

11

C

1

11

−−−−

q

12

2

Q

1

H(Y / x

2

++++

q

12

)

2

++++

Q

2

2

]

−−−−

21

2

Q

1

++++

q

22

2

Q

2

]

q

−−−−

q H(Y / x

12

2

====

q

0

0

( x

1

( x

2

Q 1 ==== −−−−

)

q

====

11

2

−−−−

2

−−−−

C

⋅⋅⋅⋅

⋅⋅⋅⋅

[q

[q

H(Y / x )

1

21

H(Y / x )

1

)

Q

2

==== −−−−

q

21

H(Y / x )

1

−−−−

q

22

H(Y / x )

2

−−−−

q

22

H(Y / x )

2

]

====

log[

2

Q

1

++++

2

Q

2

]

Die Kapazität des Kanals hat den höchsten Wert wenn:

pB 11 B = pB 22 B = 1 pB 12 B = pB 21 B = 0 (Störungsfreier Kanal) oder wenn:

pB 11 B = pB 22 B = 0 pB 12 B = pB 21 B = 1 (Invertierender Kanal)

q

11

====

p

22

∆∆∆∆

; q

12

====

−−−− p

21

∆∆∆∆

; q

21

====

−−−− p

12

∆∆∆∆

; q

22

Symetrischer binärer Kanal:

Der Graph ist:

====

p

11

∆∆∆∆

x

xB

; ∆ = p p 11 22 1- p o o y p p o
; ∆ = p
p
11
22
1- p
o
o y
p
p
o y
1- p

p

12

p

21

Die Störmatrix ist:

p

p

p

p

1

1

1

p

p

;

p

[P(Y / X)] =

[Q] =

q

q

11

21

21

q

q

12

22

wobei : q

H(Y / x )

1

11

=

=

q

22

11

12

22

p

=

p

p

=

1

2p

p

q

2

2p

=

= −

q

21

;

1

1

2p

p

1

2p

(1

1

12

H(Y / x )

es folgt :

p log p

p) log(1

p);

Die Kapazitaet des Kanals ist :

C

=

p)

(1

=

log(2

1

1

+

p log p

+

+

2

2

)

Q

Q

log[2 2

H(Y / x

=

1

=

p) log(1

Weil besteht:

1

)

]

Q

1