Sie sind auf Seite 1von 9

Kap.

II
Diskrete Informationsquellen 1. Einfhrung Die Informationsquelle liefert Nachrichten in Form von Lauten, Bildern, Zeichen, Daten. Meist werden die Nachrichten digital gespeichert (CD, DVD) und bertragen (digitales Radio und Fernsehen, digitale Telephonie, Internet). Die digitale Darstellung einer Nachricht besteht aus einer endlichen Folge diskreter Symbolen. Symbol, Buchstabe, Zeichen, ist der Grundstein, das kleinste Informationstragende Element. Alphabet ist die Menge aller notwendigen Symbole. Wort ist eine endliche Folge von Symbolen. Sprache ist die Menge aller Wrter welche mit einem bestimmten Alphabet gebildet werden knnen. Codierung (Decodierung) ist der bergang von einer Sprache zu einer anderen, eine bestimmte Korrespondenz zwischen den zwei Sprachen. Zum Beispiel, Texte, im lateinischen Alphabet mit 32 Buchstaben geschrieben knnen durch Morsecodierung in einer Folge von Linien und Punkten umgewandelt werden. Durch Decodierung kann die Folge von Morsezeichen wieder in einem Text mit lateinischen Buchstaben umgewandelt werden. Das Alphabet des Morsecodes besteht aus vier Zeichen: x1 (Punkt), x2 (Linie), x3 (Raum zwischen Buchstaben), x4 (Raum zwischen Wrter), welche in der folgenden Abbidung dargestellt sind.
x1 x2 x3

t
x4

2. Arten von Quellen Diskrete Quellen ohne Gedchtnis: Die Symbolen knnen in uneingeschrnkter Ordnung hintereinander erscheinen, so dass die Wahrscheinlichkeit mit welcher ein Symbol erscheint nicht von den vorhergehenden Symbolen beeinflusst ist: p (xi n / xj n-1, xk n-2, ... ) = p (xi n), wobei xi n der Symbol xi zum Zeitpunkt n ist. Beispiel: eine Datenfolge unabhngiger Messwerte Zur Kennzeichnung einer solchen Quelle sind erforderlich: der Alphabet [X] der Quelle, die Wahrscheinlichkeitverteilung [P] der Quellensymbole und die Dauer [] der Symbole: [X] = [x1, x2,...xD], [P] = [p1, p2,...pD], [] = [1, 2,... D], Dabei ist D die Anzahl der Symbole welche die Quelle liefert. Oft wird eine solche Quelle durch eine erweiterte Quelle verallgemeinert, welche eine grssere Vielfalt von Symbolen erzeugt. Die Symbolen der neuen Quelle [Xp], auch erweiterte Quelle der Ordnung p genannt, entstehen durch Gruppierung von p einzelnen Symbole xi der ursprnglichen Quelle [X]. Beispiel: Die Erweiterung zweiter Ordnung der Quelle [X] [X2] = [ 1, 2,... DD] wobei: 1 x1x1, 2 x1x2,.. D x1xD,... k xixj,... DD xDxD 2 [P ] = [p(1), p(2),..p(k),...p(DD)], wobei p(k) = pi . pj Soll die ursprngliche Quelle eine binre (D = 2) Quelle sein: [X] = [0, 1], [P] = [p1, p2], so ist die erweiterte Quelle zweiter Ordnung: [X2] = [ 100, 201, 310, 411], [P2] =[p(1) = p12, p(2) = p1p2, p(3) = p2p1, p(4) = p22] Diskrete Quellen mit Gedchtnis liefern Symbole deren Ordnung verschiedenen Einschrnkungen unterlegt ist. Die Einschrnkungen sind fest (determiniert) oder statistisch

angegeben. Die Quellen sind dargestellt durch endliche Automaten, mit einer endlichen Anzahl von Zustnden und knnen durch Graphen abgebildet werden. o Diskrete Quelle mit festen Einschrnkungen ist eine Quelle bei welcher bestimmte Folgen von Symbolen verboten sind. Beispiel:die Quelle welche die Morsesymbole liefert: die Quelle hat zwei Zustnde, S1 und S2.

x1 x2
S

x1 x2
x3 x4
S2

Im ersten Zustand darf die Quele jedweden Symbol erzeugen. So lange sie die Symbole x1 (Punkt) und x2 (Linie) liefert bleibt sie in demselben Zustand; werden die Symbole x3 (Pause zwischen Buchstaben)oder x4 (Pause zwischen Wrter) erzeugt, so geriet die Quelle im zweiten Zustand; in diesem Fall drfen nur die Symbole Punkt und Linie abgegeben werden, da, nach einer Pause nicht eine andere Pause folgen darf. Diskrete Quelle mit statistischen Einschrnkungen ist die Quelle bei welcher die Wahrscheinlichkeit der Erscheinung eines Symbols zu einem diskreten Zeitpunkt von den vorhergehenden Symbolen, also von der Geschichte der Quelle abhngig ist. Die Anzahl der vorhergehenden Symbole welche in Betracht gezogen werden bestimmt die Ordnung der Quelle. Fr die Quelle erster Ordnung, wird nur ein einziger Symbol das Gedchtnis der Quelle bilden, so dass: p (xi n / xj n-1, xk n-2, ... ) = p (xi n /xj n-1) . Fr die Quelle zweiter Ordnung gilt:

p (xi n / xj n-1, xk n-2, ... ) = p (xi n /xj n-1, xk


n-2)

Beispiel: die Sprachen; die Rumnische Sprache kann durch eine Quelle vierter Ordnung annehmbar modeliert werden. Markov Quelle ist eine diskrete Quelle erster Ordnung mit statistischen Einschrnkungen. Fr den einfachsten Fall ist sie durch einen Graphen gekennzeichnet mit einer Anzahl n von Zustnden. Der Graph ist einem sequentiellen Automaten zugeordnet, welcher im Rhythmus eines Taktes sich die Zustnde ndert und der Reihe nach Symbole liefert. Der Automat kann durch die unten angegebene bergangsmatrix T gekennzeichnet werden:.
p11 T= p11 M p11 p12 L p1n p11 L p11 M M M p11 L p11

wobei pij = p(S1 = sj /S0 = si) = p(sj / si) die Warscheinlichkeit des berganges aus dem Zustand Si in Zustand Sj ist. Die Matrix T ergibt den Zustand Sk der Quelle zum Zeitpunkt k wenn der vorhergehende Zustand Sk-1 bekannt ist durch die Beziehung : Sk = TT Sk-1 Dabei ist der Zustand des Automaten zum Zeitpunkt k : s1k Sk = M s nk Wobei Sik der Zustand Si zum Zeitpunkt k ist.

Beispiel: Fr die Matrix T:


1/ 3 2 / 3 T= 1 0 0 0

1/ 2 0 1/ 2 entsspricht der Graph:


1/3 1/2 1/2

s1
2/3 1

s3

s2

Die Matrix T ist eine stochastische Matrix bei der die Summe der Elemente einer Linie gleich 1 ist. Stationre Quelle ist die Quelle bei welcher die Wahrscheinlichkeiten verschiedener Symbole nicht von dem zeitlichen Ursprung abhngen, so dass. p(x in ) = p(x in +k ) k , wobei i = 1.D. Ergodische Quelle ist die stationre Quelle die mit einer Wahrscheinlichkeit welche gegen 1 ziehlt typische Reihen liefert. Eine typische Reihe ist die Reihe mit n Symbolen welche ni = n p (xi) Syimbole xi enthlt wobei i = 1 ...D; also gilt fr die relative Frequenz ni/n der Syimbole xi die n Beziehung: lim i = p(x i ). n n Eine nichttypische Reihe besteht aus einer Folge von Symbolen welche nicht dem oberen Gesetz folgen. Die Wahrscheinlichkeit dieser Reihen ziehlt zu 0 fr eine ergodische Quelle Anders .ausgedrckt kann man sagen dass bei einer ergodischen Quelle die ststistisch ausgewertete Wahrscheinlichkeit ps(xi) = n(xi)/n (zu einem gewissen

Zeitpunkt am Ausgang von n identischen Quellen) gleich ist der zeitlich ausgewerteten Wahrscheinlichkeit pt(xi) = n(xi)/ n (am Ausgang einer einzigen Quelle) (siehe Abb.). Eine erhebliche Vereinfachung erscheint deswegen in Durchfhrung von Experimenten mit stochastischen Prozessen. Laut ergodischer Hypothese, statistische Mittelwerte sind mit den zeitlichen gleich.und man kann also in Betracht ziehen statt n Quellen zu einem Zeitpunkt eine einzige Quelle lngs einer gewissen Zeitspanne.
X1 X2 . . Xn x1 x2 ..............xD

pt(xi) = n(xi)/ n
n

lim pt ( xi )= ps ( xi )
t

ps(xi) = n(xi)/n

Quelle mit steuerbarem Informationsfluss ist die Quelle welche Information nach Auslsung eines Befehls abgibt, ohne Einschrnkungen ber den Zeitpunkt der Abgabe. Beispiele: Telefon, Telefax, Telegraf. Quelle mit nichtsteuerbarem Informationsfluss ist die Quelle welche kontinuierlich Signale abgibt, mit einem gewissen Informationsfluss, welcher eine Eigenschaft der Quelle ist. Beispiele: Signalgenerator, Taktgenerator, Abtastgenerator

3. Parameter diskreter Quellen Entropie diskreter Quellen Entropie diskreter Quellen ohne Gedchtnis Die Quelle wird durch Alphabet und Wahrscheinlichkeiten der Symbole wie folgt angegeben [X] = [x1, x2,...xD]

[P] = [ p1, p2,...pD], mit pi = p(xi ) und


i =1

(x i ) = 1.

Die Entropie ist definiert als der Mittelwert der Information pro Symbol und kann folglich ausgerechnet werden:

H ( X ) = pi i ( x i ) = pi log pi ,
D D i =1 i =1

wobei die eigene Information i(xi) fr ein Symbol

xi i(xi) = - log pi
ist. Entropie erweiterter Quellen

H ( X ) = p1 log p1 p2 log p2
2 2 H ( X 2 ) = p12 log p12 2 p1 p2 log p1 p2 p2 log p2 =

2 p1 log p1 2 p2 log p2 = 2 H ( X )

H ( X m ) = mH ( X )
Ergodische Markov Quelle

H (S ) = H ( X ) H ( X ) = H (S ) = lim H (S n / S0 , , S n 1 ) = lim H (S n / S n 1 )
= lim p S n 1 = s j H S n / S n 1 = s j = w j H S j =
=
n j =1 r q
j =1k =1

) (

n r

j =1

( )

w j p jk log p jk
D D

H ( X ) = pk p jk log p jk
j =1k =1

Informations Fluss Der Informationsfluss, auch Datenrate genannt, ist die Information pro Zeiteinheit Fr die Quelle X hat man die Form:

H t = H ( ) , wobei
1
1

= i p ( xi ) die mittlere Dauer


D i 1

der Quellensymbole ist. Fr die erweiterte Quelle folgt:

H tm = H m ( m ) = mH (m ) = H ( )
1

Die oben definierten Datenraten sind eigentlich Bitraten Ht = Htm = Rb Man kann auch eine Baudrate RB definieren, welche die Anzahl der gelieferten Symbolgruppen pro Zeit ist: RB = Rb/m. Entscheidungsgehalt Ist die maximale Zahl der binaren Entscheidungen notwendig zu treffen um einen Symbol der Quelle zu erfahren, und ist gleich der maximalen Entropie

H max ( X ) = log D

Redundanz der Quelle Absolute Redundanz: Rs = H max ( X ) H ( X ) Relative Redundanz: s = 1 Effizienz der Quelle

H (X ) H max ( X )

s =

H (X ) = 1 s H max ( X )

4. Beispiele diskreter Quellen Lateinische Sprachen Man hat D=27 - Fr gleichwahrscheinliche Symbolen Quelle ohne Gedchtnis ist H0 (X) = log D = 4,75 bit/Zeichenl

der

- Wenn man die Wahrscheinlichkeitsverteilung einzelner Symbole in Betracht zieht, so hat man:

H1 ( X ) = pi log pi = 4,03 bit / simbol


D i =1

- Wenn man die Sprache als eine Markov Quelle ansieht, so hat man: H 2 ( X ) = 3,32 bit / simbol
Schwarz-weiss Fernsehbild H 0 ( X ) = log D = log m N = N log m m = 10, H 0 ( X ) 10 6 bit / bild m = 100, H 0 ( X ) 2 10 6 bit / bild H2(X )

1 H0 (X ) 2