Curso: Comunicaciones digitales

Prof: MC Ing Leandro Morera Delfin

FC 2 Conferencia #5 Fuentes Discretas

Sumario:
-Introducción.
-FDSM. Expresiones relacionadas.
-Fuentes discretas con memoria (FDCM). -Descripción.
Diagrama de estado y matriz de transición.
-Canales de transmisión. Descripción y probabilidades de interés.
-Entropía de un canal discreto. Expresiones fundamentales.
-Información transmitida y capacidad del canal.
Objetivos:

-Continuar con el estudio de la teoría de la

información
-Conocer cuándo estamos en presencia de una
FDSM o de una FDCM.
-Caracterizar y describir a las FDCM
 Conceptos principales:

n
H   Pj log 2 Pj
j 1

Entropía promedio para una FDSM con n

niveles o símbolos posibles de probabilidades
de ocurrencia pj
Entropía máxima: Cuando todos los
símbolos de la fuente son equiprobables:
p1 = p2 =... = pn = 1/n

 n  p
n n
H s   H   p j log 2 p j   log 2 1 j
j 1 j 1
n

p
j 1
j 1

H máx  log 2 n

n: número de símbolos o niveles totales

de la fuente .
Eficiencia de la fuente

Hs 

H máx
Razón o relación entre la entropía promedio
de la fuente y su entropía máxima (la que
tendría si todos sus símbolos fueran
equiprobables).
Redundancia de la fuente
Re(s) = Hmáx –H(s)

Redundancia relativa
Re s 
r(s) =  1 
H máx
Velocidad de la fuente

H s 
v bits / seg 

Estas expresiones también se definen para
otro tipo de fuente como puede ser la
fuente discreta con memoria de la que
hablaremos a continuación.
Fuentes Discretas con Memoria:

- La generación del siguiente mensaje está

condicionada, depende de la ocurrencia de
uno o varios mensajes anteriores.
-Si la fuente toma en cuenta r mensajes
anteriores para generar el mensaje
siguiente se dice que el orden de la fuente
es r.
-Por lo tanto una FDCM de orden r tiene
en cuenta r mensajes anteriores.
Ejemplo:

Una FDCM de segundo orden binario

recuerda los dos últimos símbolos para la
producción del siguiente símbolo.

Una fuente de orden r con n niveles o

símbolos ¿Cuántos estados diferentes
tendrá la fuente esperando la generación
del próximo símbolo si se toma en cuenta r
símbolos anteriores?
Supongamos n=2 y los símbolos A y B, con r=2.

La cantidad de estados es 𝑛𝑟 .

¿Cuáles son esos 4 posibles estados?

-AA (que se hayan transmitido dos símbolos A
consecutivos)
-AB (que se haya transmitido una A primero y una
B después)
-BA (que se haya transmitido una B primero y
una A después)
-BB (que se hayan transmitido dos símbolos B
consecutivos)
Matriz de transición.

AA AB BA BB Estados siguientes
AA 0 .3 0 .7 0 0 Si
AB 0 0 0.5 0.5
BA 0.9 0.1 0 0
BB 0 0 0.6 0.4

Notar que la suma de las

Estados actuales filas siempre es 1.
Sj Sj Estado actual
Si Estado siguiente
Ejemplo:
Para que ocurra el estado siguiente Si = AA
pueden ocurrir dos cosas:
1.Que se esté en el estado actual AA y que se
emita el símbolo A.
2.Que se esté en el estado actual BA y que se
emita el símbolo A.
Matemáticamente sería:

P(AA) = P(AA)P  A  + P(BA)P  A 

 AA   
 BA 
Si la fuente es estacionaria entonces la
probabilidad de ocurrencia de un estado dado
es la misma si ese estado es actual o siguiente.

Ej. : P(Si = AA) = P(Sj = AA)

Si esto no es así la fuente no es estacionaria.

De manera general:
 Si 
PS i    PS j P 
 S 
j  j 
Si Estado siguiente
Sj Estado actual

Cada ecuación se saca de una columna de

la matriz de transición.
Completa el sistema de ecuaciones la

 PS   1
ecuación
j
-El sistema tiene nr ecuaciones.

-La probabilidad de cada uno de los

símbolos de la fuente pueden hallarse una
vez que se conocen las probabilidades de
cada uno de los estados P(Si).

-Las probabilidades de los símbolos no son

independientes.
P(mi) = (número de veces que ocurre mi
en el estado Si)P(Si)
Expresiones y relaciones para las FDCM
Sj Estado actual de la fuente.
Si Estado siguiente de la fuente.
mi Mensaje o símbolo de la fuente que se
emite.
 mi   Si 
P   P 
S  S 
 j   j
La probabilidad de emitir un símbolo m;
estando en el estado actual Sj es la misma
que la probabilidad de pasar al estado
siguiente Si producto de la emisión de mi
desde el estado actual S .
Entropía promedio de la FDCM de orden
 mi 
     Pm S log
r: n n
r
HS P 
i j 2 S 
i 1 j 1  j
Pm i S j  Probabilidad conjunta de
ocurrencia del símbolo siguiente mi y el
estado actual Sj.

 mi  Probabilidad de que se emita m

P  i
S  estando en el estado actual S .
 j  j
 Entropía máxima de la FDCM: Hmáx = log2n

Eficiencia de la fuente:

fuente (estadística) :

va: r(s) = 1-η

nte:
Canales de transmisión o comunicación.

El canal: Recibe a su entrada una información

contenida en el proceso aleatorio x(t) y entrega una
información a su salida en el proceso aleatorio y(t).
Estas dos informaciones se desean sean iguales, que
no haya pérdida de información durante la transmisión.
Los canales pueden clasificarse según:

-Existencia o no de ruido: Canales ruidosos

y no ruidosos.
-Tipo de mensajes que transmiten: Canales
discretos o continuos.
-Condiciones de transmisión: Canales sin
memoria o con memoria.
-Caracteres temporales: Canales
estacionarios y no estacionarios.
Para la descripción de un canal discreto
estacionario se requiere de:

1.El conjunto de todos los posibles mensajes de

entrada que entrega la fuente de mensajes, este
conjunto recibe el nombre de alfabeto de entrada.
X = {xi} i = 1, 2, …, M.

2.El conjunto de todos los posibles mensajes de

salida que puede entregar el canal de destino y
que constituyen el alfabeto de salida.
Y = {yj} j = 1, 2, ..., M.
 3.Las relaciones entrada-salida del canal. O sea uno
de los conjuntos de probabilidades siguientes:
  y j  : Probabilidades directas: Probabilidades
P x  de que a la salida del canal se obtenga un
  i 
yi determinado dado se transmitió un xi de
la fuente.
  x i  : Probabilidades inversas: Probabilidades de
P y  que se haya transmitido un xi determinado de
  j 
la fuente dado que a la salida del canal se
tiene un yj.

Px , y 
i j
: Probabilidades conjuntas: Probabilidades
de que se produzca el par de símbolos xi de
entrada y yi de salida.
Representación gráfica de un canal discreto:

{xi} {yj}
alfabeto de Alfabeto de salida
entrada

P(yi/xi)
También puede representarse al canal mediante la matriz de transición.

Y1 Y2 ..................Ym Alfabeto de salida

X1
Conjunto de probabilidades
X2 directas (pueden ser
. P(yj/xi)
también los otros conjuntos
. de probabilidades)
.
XN

Alfabeto de entrada
 Ejemplos de canales discretos.

1. Canal binario simétrico

(BSC Binary Symmetric Channel)

1-P
0 0
P
P probabilidad de error
P

1 1
1-P
 1. Binary Erasure Channel
(BEC)

1-P
0 0
P
Erasure (Indecisión)
P
1 1
1-P
Diferentes modelos de canales discretos.

y1
x1
Canal q-Q any y2
channel x2
y3
xq

y4

yQ
 0 0
Canal Z
Z Channel

1 1

0 0
Canal sin ruido o canal
abierto
1 1
Entropías de un canal de comunicaciones
Probabilidad Entropía Descripción
Px i  N Entropía de entrada al
Hx    Px i log 2 Px i  canal.
i 1

Py 
j
H  y    Py j log 2 Py j 
M Entropía de salida del
canal.
ji1

H    Px i y j log 2 P 

  y j   y 
N M
yj  Difusión del canal.
P x 
  i   x  i1 ji1  xi 

H    Px i y j log 2 P 

  x i   x 
N M
 xi  Equivocación del canal.
P y 
  j   y  i1 ji1  yj 
Px , y 
i j
Hx, y    Px i y j log 2 Px i , y j 
N M Entropía entrada-salida.
i1 ji 1
H(x) Es la información promedio que debe transmitir el canal, llega
desde la fuente de mensajes y se asocia a la incertidumbre que
tendría un observador, situado a la entrada del canal, respecto a la
cual será el próximo mensaje que emitirá la fuente.
El ruido no afecta esta entropía ya que el mismo está en el canal.
H(y) Es la información promedio que brinda el canal a su salida al
conocerse las yj que se producen. Se asocia a la incertidumbre de
un observador, situado a la salida del canal, respecto a cual
mensaje saldrá del canal. Esta información H(y) no
necesariamente es igual a la información de entrada H(x) ya que el
ruido existente en el canal puede afectarla.
H(y/x) Es la incertidumbre sobre la cual yj se producirá a la salida del
canal cuando a su entrada se inyecta un xi determinado pues
debido a la acción del ruido a partir de un xi se pueden producir
varios yj. Se denomina difusión del canal y está representada por
vértices en la entrada de la representación graficadle canal.
H(x/y) Es la incertidumbre sobre la cual xi se transmitió conociendo que
se ha obtenido determinado yj a la salida del canal. Como el
receptor debe “decidir” sobre la xi que se transmitió a pesar de
esta incertidumbre o inseguridad, se le llama equivocación a esta
entropía.
 Propiedades operacionales:
y  x  o también
Hx, y   Hx   H   Hy   H 
x y
x y
Hx   H   Hy   H 
y x
H(x): Representaba la incertidumbre que se tenía
sobre lo que se iba a transmitir (por parte de la
fuente).

H(x/y): Representaba la incertidumbre que aún

se tenía sobre lo que se había transmitido
después de haber recibido y a la salida.
 x y
Hx   H   Hy   H  :Representa la
y x

información transmitida por el canal.

Esta información transmitida recibe el nombre de

información mutua T(x, y).
 Capacidad del canal
  x    y 
Cx, y   Tx, y máx  Hx   H   Hy   H 
  y  máx   x  máx

Como Cx, y definida así (como resta de

entropías promedio) daría unidades Cx, y  [bits /
símbolo], la capacidad en bits / seg. la
obtenemos:
Cx, y  canal = vf Cx, y 
vf = velocidad de la fuente [símbolos / seg.]
Para cada modelo de canal específico se halla
su capacidad calculando:

  x    y 
Cx, y   Tx, y máx  Hx   H   Hy   H 
  y  máx   x  máx

En algunos canales H(x/y) ó H(y/x) son

constantes y entonces:
x y
Cx, y   Hx máx  H  ó Cx, y   Hy máx  H 
y x
x y
Cx, y   log 2 N  H  ó Cx, y   log 2 M  H 
y x
 Velocidad de información y velocidad de
transmisión.

La velocidad de información está asociada a la

fuente de
mensajes.
Vf: velocidad de la fuente [símbolos / seg.]
H(s): Entropía promedio de la fuente [bits /
símbolo]
Vinformación = Vf H(s) [bits / seg.] bits de
información.
La velocidad de transmisión esta asociada al
canal, es un
Parámetro propio de la transmisión digital.
Generalmente cumplen esta relación:

Vi = Vm log2N
Vi velocidad de información.
Vm velocidad de transmisión.
N número de niveles o símbolos de la fuente que
se desean transmitir.

Vi [bits de información / segundo] ó [shannon /

segundo]
Vm [bits / segundo] bits de dígitos binarios.