Universidad Nacional de Ingeniera

Comunicaciones II

Conferencia 18: Capacidad de Canal

UNIDAD VII: CODIFICACIN DE CANAL
Instructor: Israel M. Zamora, P.E., MS Telecommunications Management
Profesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones.
Universidad Nacional de Ingeniera

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 1

Canal
 Contenido

Limitaciones en el diseo de DCS

Canal Discreto Sin Memoria (DMC)
Canal Simtrico Binario
Entropa Condicional
Informacin Mutua
Propiedades de la Informacin Mutua
Ilustracin de las relaciones entre diversas entropa
de canal
Capacidad de Canal
Ejemplo 1
Teorema de la Capacidad de Informacin
Ejemplo 2
Fronteras e Implicaciones del 3er Teorema de
Shannon

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 2

Canal
 Limitaciones en el diseo de un DCS

Limitaciones:

El requerimiento de mnimo ancho de banda terico

de Nyquist
El teorema de la capacidad de Shannon-Hartley (y el
lmite de Shannon)
Regulaciones del Gobierno
Limitaciones tecnolgicas
Otros requerimeintos de sistemas (e.g rbitas
satelitales)

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 3

Canal
 Limitaciones en el diseo de un DCS

El mnimo ancho de banda terico W necesario

para transmisin bandabase R smbolos por
segundos es R/2 hertz.

H( f ) (t)sinc(
h t/T)
T 1

0 f 2T T 0 T 2T t
1 1
2T 2T
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 4
Canal
 Canal Discreto Sin Memoria (DMC)
En la conferencia #4 estudiamos las fuentes discretas sin memoria
(DMS) generadoras de informacin y la manera como se cuantificaba
la cantidad de informacin. En esta ocasin estudiamos el aspecto de
la transmisin de esa informacin a su destino a travs de un canal
discreto sin memoria. Un adelanto de este estudio se plante
rpidamente en la conferencia #2 (Canal Simtrico Binario).

Fuente Discreta x2 x1 x0 x1 x2
DMS estudiada en
de Informacin
Conferencia #10
X

Fuente
Discreta de x2 x1 x0 x1 x2 Canal DMS y2 y1 y0 y1 y2 Destino

P Y / X
de Informacin
Informacin
X Y

LX Alfabeto
Fuente
DMC que estudiaremos
en esta conferencia
Alfabeto
Destino LY
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 5
Canal
 Canal Discreto Sin Memoria (DMC)
Un canal discreto sin memoria es un modelo estadstico con una
entrada X y una salida Y que es una versin ruidosa de X.
X e Y son variables aleatorias.
L X { x0 , x1 ,..., x J 1 } Alfabeto Fuente de J smbolos

LY { y0 , y1 ,..., y K 1 } Alfabeto Destino de K smbolos

Muestras del
Muestras del alfabeto destino
alfabeto fuente Matriz de probabilidades
que caracterizan el canal

x0 y0

x1 P( Y X ) y1
LX X p( y k x j ) Y LY


x J-1 y K-1

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 6
Canal
 Canal Discreto Sin Memoria (DMC)
Las probabilidades de ocurrencia de cada smbolo para LX y LY son:
J 1
P(Y yk ) p(yk ) para toda k p(x
j 0
j ) 1 Para toda j

K 1
P(X x j ) p(x j ) para toda j p(y
k 0
k ) 1 Para toda k

El conjunto de probabilidades de transicin (condicionales) est dado por:

K 1
P(Y yk X x j ) p(yk x j ) para toda j y k p(y
k 0
k xj ) 1
Para toda j
Matriz (J x K) de canal o de transicin.
0 p(yk x j ) 1
p( y0 x0 ) p( y1 x0 ) p( y K 1 x0 )
Para toda j y k
p( y0 x1 ) p( y1 x1 ) p( y K 1 x1 )
P(Y X)


p( y x
0 J 1 ) p( y x
1 J 1 ) p( y K 1 J 1
x )
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 7
Canal
 Canal Discreto Sin Memoria (DMC)
En la matriz de canal se observa que cada rengln corresponde a una
entrada de canal fija, en tanto que cada columna de la matriz corresponde a
una salida de canal fija.

La probabilidad de distribucin conjunta de las variables X e y est dada

por:
P(X x j ,Y yk ) p(x j , yk ) P(X x j ,Y yk ) P(Y yk ,X x j )
P(Y yk , X x j ) p(yk , x j ) p(yk ,x j ) p(x j ,yk )

donde se cumple que:

p(x j ,yk ) P(X x j ,Y yk )

P(Y yk X x j )P(X x j )
p(yk x j )p(x j )

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 8

Canal
 Canal Discreto Sin Memoria (DMC)
La probabilidad de distribucin marginal de la variable aleatoria de salida Y
se obtiene promediando la dependencia de p(xj,yk) con respecto a xj, como se
indica:

p(yk ) P(Y yk )
J 1
P(X xk )P(Y yk X x j )
j 0
J 1
p(x j )p(yk x j ) para k 0 ,1 ,...,K-1
j 0

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 9

Canal
 Canal Simtrico Binario
El canal simtrico binario es de gran inters terico y corresponde al ejemplo
estudiado en la conferencia #2. Consiste en un DMC con J=K=2 (ambos
alfabetos fuente X y destino Y- poseen dos smbolos: 0 y 1), y es simtrico
porque la probabilidad de recibir un 1 si se envi un 0 es igual que la
probabilidad de recibir un 0 cuando se enva un 1 la cual denotamos por p.
El diagrama siguiente ilustra este caso.
1
p(y0 ) p(x j )p(y0 x j )
p(x0 ) 1 / 2
p(y0 x0 ) 1 p
j 0

0 0
p(y1 x0 ) p

Ver conferencia #2 !!!

p(y1 x0 ) p
1 1
p(x1 ) 1 / 2 p(y1 x1 ) 1 p 1
p(y1 ) p(x j )p(y1 x j )
j 0

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 10

Canal
 Entropa Condicional
Cuando tenemos dos alfabetos LX y LY podemos medir la incertidumbre de
X despus de observar Y definiendo la entropa condicional de X elegida del
alfabeto LX, dado que Y=yk, utilizando la frmula siguiente:
J 1 1
H ( X Y yk ) p(x j yk ) log2
j 0 p(x j yk )

Esta misma cantidad es una variable aleatoria que toma los valores
H(X|Y=y0), H(X|Y=y1),, H(X|Y=yK-1) con probabilidades p(y0), p(y1), ,p(yK-1),
respectivamente. La media de la entropa H(X|Y=yk) sobre el alfabeto de
salida Y est dado por:
K 1
H ( X Y ) H ( X Y yk ) p( yk ) H(X|Y) es la entropa condicional que
k 1 representa la cantidad de
incertidumbre que queda acerca de
K 1 J 1 1 la entrada del canal despus de que
p(x j yk )p( yk ) log2 se ha observado la salida del canal.
k 1 j 0 p(x j yk )
K 1 J 1 1
p(x j , yk ) log2 donde:
k 1 j 0 p(x j y k
) p( x j , yk ) p( yk ) p( x j yk )
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 11
Canal
 Informacin Mutua
Sabemos que H(X) representa nuestra incertidumbre en torno a la
entrada del canal antes de observar la salida del mismo, y H(X|Y)
representa nuestra incertidumbre con respecto a la entrada del canal
despus de observar la salida de ste, se puede concluir que la
diferencia H(X)- H(X|Y) debe representar nuestra incertidumbre en torno a
la entrada del canal que se resuelve al observar la salida del mismo.

Esta importante cantidad se denomina la informacin mutua del canal

que denotamos I(X,Y), o en general:

I ( X ,Y) H ( X ) H ( X Y )

I ( Y , X) H ( Y ) H ( Y X )

donde H(Y) es la entropa de la salida del canal y H(Y|X) es la entropa

condicional de la salida del canal dada la entrada del mismo.

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 12

Canal
 Propiedades de la Informacin Mutua

Propiedad 1: La informacin mutua de un canal es simtrica, esto es

I ( X ,Y) I ( Y , X )

Propiedad 2: La informacin mutua es siempre no negativa, es decir,

I ( X ,Y) 0

Propiedad 3: La informacin mutua de un canal se relaciona con la

entropa conjunta de la entrada y la salida del mismo mediante
I ( X ,Y) H ( X ) H ( Y ) H ( X ,Y )
donde la entropa conjunta H(X,Y) est definida por
J 1 K 1
1
H ( X ,Y ) p( x i , y k ) log2
j 0 k 1 p( x i , yk )

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 13

Canal
Ilustracin de las relaciones entre diversas entropa de
canal

H ( X ,Y )

H( X Y ) I ( X ,Y ) H(Y X )

H( X ) H(Y )

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 14

Canal
 Capacidad de Canal
Definimos la capacidad del canal de un canal discreto sin memoria como
la informacin mutua mxima I(X,Y) en cualquier uso simple del canal (es
decir, el intervalo de transmisin de seales), donde la maximizacin es
sobre todas las distribuciones de probabilidad de entrada posibles {p(xj)}
en x.
La capacidad de canal se denota comnmente por medio de C. De este
modo escribimos:
C mx I(X,Y )
{p(x j )}

La capacidad del canal C se mide en bits por uso del canal o bits por
transmisin. Advierta que la capacidad de canal C es una funcin
exclusiva de las probabilidades de transicin p(yk,xj), las cuales definen el
canal. El clculo de C implica la maximizacin de la informacin mutua
I(X,Y) sobre J variables sujeta dos restricciones:

J 1
p( x j ) 0 para toda j y p(x
j 0
j ) 1

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 15

Canal
 Ejemplo 1
Con base en el caso estudiado en la diapositiva #8 (Canal Discreto
Simtrico Binario) determinaremos la Capacidad de ese modelo de canal.

Tenemos que H(X) es mximo si p(x0)=p(x1)=p=1/2 (Ver Conferencia #4,

diapositiva #15), por lo que podemos escribir:

C I(X,Y) p(x0 ) p(x1 )1 / 2

Por tanto, sustituyendo estas probabilidades de transicin del canal con

J=K=2, e igualando despus la probabilidad de entrada p(x0)=p(x1)=1/2 de
acuerdo con la ecuacin de C, encontramos que la capacidad del canal
simtrico binario es:

C 1 p log2 p (1 p) log2 (1 p)
1 H( p )

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 16

Canal
 Ejemplo 1
C 1 p log2 p (1 p) log2 (1 p)
1 H( p )
Observaciones:
1. Cuando el canal no tiene ruido, lo
que nos permite dejar p=0, la
capacidad C del canal alcanza su
valor mximo de un bit por uso de
canal, lo cual es exactaemtneo la
informacin en cada entrada del
canal. A este valor p, la funcin de
entropa H(p) llega a su valor
mnimo de cero.
2. Cuando la probabilidad condicional
de error p=1/2 debido al ruido, la
Capacidad C del canal alcanza su
valor mnimo de cero, en tanto que
la funcin de entropa H(p) llega a
si valor mximo de la unidad; en un
caso de este tipo se dice que el
canal ser intil.

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 17

Canal
 Teorema de la Capacidad de Informacin
Formularemos el teorema de la Capacidad de Informacin correspondiente a
canales gaussianos limitado en potencia y limitado en frecuencia.

Xk Yk
Seal Seal
transmitida recibida
Para el modelo de canal con ruido AWGN
Ruido Nk
AWGN Yk X k N k , k 1,2 ,..., K
Modelo de canal
con ruido AWGN Muestra de ruido
gaussiana con media
cero y varianza:

Proceso aleatorio con N2 N0 BWtx

media igual a cero y
varianza: Proceso aleatorio con media cero que

2
Y
2
X
2
N
est limitado en frecuencia a BT hertz, y
cuya varianza es la potencia de
S 2N transmisin limitada a S watts:

2X S E[X k2 ]
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 18
Canal
 Teorema de la Capacidad de Informacin
La capacidad de informacin del canal bajo las condiciones anteriores es:
C mx { I ( X k ,Yk ) : E [ X k2 ] S }
f Xk ( x )

Se puede demostrar que la entropa diferencial de Yk se calcula como:

1
2
1
2

H (Yk ) log 2 2 e( X2 N2 ) log 2 2 e(S N0 BWtx )

Se puede demostrar que la entropa diferencial de Nk se calcula como:

1 1
H ( N k ) log 2 (2 e N ) log 2 (2 eN 0 BWtx )
2

2 2
De los resultados anteriores y con base en la definicin de la capacidad de
informacin tenemos que:

1 X2 1 S
C log 2 1 2 log 2 1 Bits por transmisin
2 N 2 N 0 BWtx

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 19

Canal
 Teorema de la Capacidad de Informacin
Si multiplicamos este resultado por el nmero de transmisiones /segundo ,
el cual es 2W obtendremos la capacidad de canal en bits por segundos
(bps):

1 S S
C log 2 1 2 BWtx C BWtx log 2 1 Bits por
segundos
2 N 0 BWtx N 0 BWtx

Con base en los resultados anteriores, es posible establecer el tercero y mas

famoso teorema de Shannon, el TEOREMA DE LA CAPACIDAD DE LA
INFORMACIN, dado por:

La capacidad de informacin de canal continuo de ancho de banda BWtx

hertz, perturbado por ruido blanco gaussiano aditivo con densidad espectral
de potencia N0/2 y limitado en ancho de banda a BWtx, est dado por:
Note que la razn seal a ruido SNR del
S
C W log 2 1 Bits por canal est dado por:
segundos
N 0 BWtx SNR
S
N 0 BWtx
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 20
Canal
 Teorema de la Capacidad de Informacin

El teorema de Shannon pone un lmite en la tasa

de transmisin de datos, no en la probabilidad de
error:
Es tericamente posible transmitir informacin a
cualquier tasa R , con una probabilidad
b
arbitrariamente pequea de error al utilizar un esquema
de codificacin lo suficientemtne complejo Rb C .

Para una tasa de informacin Rb C , NO es posible

encontrar un cdigo que pueda materializar una
probabilidad de error arbitrariamente pequea.

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 21

Canal
 Fronteras e Implicaciones del 3er Teorema de
Shannon

C/W [bits/s/Hz]

Region no
alcanzable

Regin prctica

SNR [bits/s/Hz]
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 22
Canal
 Ejemplo 2

Encuentre la capacidad de un canal telefnico con ancho de banda de

transmisin de 3,000Hz y SNR de 39 dB.

Tenemos que : SNRdB 39 SNR 7 ,943

Por tan to:

C 3 ,000 log2 1 7 ,943 38 ,867 bps

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 23

Canal
 Fronteras e Implicaciones del 3er Teorema
de Shannon
Consideremos un sistema ideal definido como uno que transmite datos
binarios a una tasa de bits Rb igual a la capacidad de informacin C (Rb=C).
Entonces podemos expresar la potencia promedio transmitida como:

S Eb Rb EbC

Donde Eb es la energa transmitida por el bit. Por tanto, el sistema ideal se

define mediante la ecuacin:
C Eb C
log 2 1
BWtx N 0 BWtx

De esta manera equivalente, podemos definir la relacin de la energa de la

seal por bit a la densidad espectral de la potencia de ruido Eb/N0 en
trminos de la razn C/BT para el sistema como:

Eb 2C / BWtx 1

N0 CBWtx
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 24
Canal
 Fronteras e Implicaciones del 3er Teorema de
Shannon

El diagrama de la
relacin Rb/BW en
funcin de Eb/N0 recibe el
nombre de diagrama de
eficiencia de ancho de
banda.

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 25

Canal
 Capacidad de Canal de Shannon con AWGN

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 26

Canal
 Fronteras e Implicaciones del 3er Teorema de
Shannon
1. Para un ancho de banda infinito, la razn Eb/N0 tiende al valor lmite

Eb Eb
lim log10 2 0.693 1.6 dB Lmite de Shannon para un
canal AWGN

N0 W
N0

El valor lmite correspondiente de la capacidad de canal se obtiene

dejando que el ancho de banda W del canal tienda a infinito;
consecuentemente encontramos:
S
C lim C log 2 e
W N0
Existe un valor limitante de Eb / N 0 bajo el cual NO PUEDE
HABER TRANSMISIN LIBRE DE ERRORES a cualquier tasa de
transmisin de informacin.
El hecho aislado de incrementar meramente el ancho de banda
por s , no signfica que la capacidad aumentada a algn valor
deseado.
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 27
Canal
Fronteras e Implicaciones del 3er Teorema de
Shannon
W/C [Hz/bits/s]

Regin
Prctical

Region No
alcanzable

-1.6 [dB] Eb / N0 [dB]

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 28
Canal
 Fronteras e Implicaciones del 3er Teorema de
Shannon

2. La frontera de la capacidad, definida por la curva para la tasa de bits crtica

Rb=C, separa las combinaciones de parmetros del sistema que tienen el
potencial para soportar una transmisin sin errores (Rb<C) de aquellas para
las cuales no es posible ese tipo de transmisin (Rb>C).

3. El diagrama subraya los compromisos potenciales entre Eb/N0, Rb/W y la

probabilidad del error de smbolo Pe. En particular, podemos observar el
movimiento del punto de operacin a lo largo de una lnea horizontal como
el intercambio de Pe en funcin Eb/N0 para una Rb/W fija. Por otra parte, es
posible advertir el movimiento del punto de operacin a lo largo de unalnea
vertical como el intercambio de Pe en funcin de Rb/W para una Eb/N0 fija.

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 29

Canal
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de 30
Canal