Sistemas de

comunicaciones I

Teoría de la
información
LOGO
Edit your company slogan
 Modelo de comunicación

Fuente de
Transmisor Canal Receptor
información Destinatario

LOGO
www.themegallery.com
 Información

Son representaciones simbólicas que

por el significado que le asigna quien
la recibe e interpreta, contribuyen a
disminuir la incertidumbre“

 Un suceso contendrá mayor cantidad de

información, a menor probabilidad de
ocurrencia.

 El concepto de información supone la existencia de

duda o incertidumbre. LOGO
 Diagram
Efectos de la
infromación
Shannon

Es el conjunto
Información de datos que
es lo que permiten
reduce la tomar una
incertidumbre decisión".

LOGO
www.themegallery.com
 Jerarquía de la información.

Datos 40Km/h

Informacíon Jerarquía En autopista

Conocimiento Demaciado

Sabiduria Multa

LOGO
www.themegallery.com
 Valor de la información

La Información es lo incomprensible que posee un mensaje, es lo

original que contiene.
El VALOR de un mensaje es mayor si es más nuevo
(aporta mas al aprendizaje del receptor)

Medir la cantidad de información de un mensaje es medir lo

IMPREVISIBLE que contiene .
Equivale a medir la PROBABILIDAD de que algo sea imprevisible para
el receptor.

Redundancia
La redundancia nos permite ahorrar tiempo en la decodificación de
los mensajes

No se lee cada letra en un texto, si no que el cerebro LOGO

lo adivina www.themegallery.com
 Medición de la información
Medición de la
Información

Es la probabilidad
Es función que tiene un
(evento) de la mensaje de ser
inversa de enviado (no su
probabilidad contenido), lo que
de ocurrencia determina su
del mismo valor informativo.

LOGO
www.themegallery.com
Medición de la información (cont)

I = ƒ(1/P)
I: información P: probabilidad

Si tuviéramos dos eventos y estos ocurrieran

simultáneamente.
A B

I = Ia + Ib = ƒ(1/Pa) + ƒ(1/Pb)
I = ƒ( 1 / Pa y b ) P(a y b) =P(a)*P(b)

LOGO
I = log(1/P) www.themegallery.com
 Unidades de información

1 1
I (a)=log 2 𝑃 (𝑎) I (a)=log 𝑒 𝑃 (𝑎)
Unidades de
Bit o también información Nat
Shannon

1
I (a)=log10 𝑃 (𝑎)

Hartley
LOGO
www.themegallery.com
 Ejemplo
Consideremos el caso binario, solo tenemos
dos niveles de tensión, (0, 1).

Si estos fueran exiprobables. P(0) = P(1) = 1/2,

la información por cada dígito binario será:

I = log(1/½) = log2 = 1 [bit]

LOGO
 Cont

Los digitos binarios

pueden
o no tener
información.

códigos, Bits de paridad,

letras, sincronismo
números y para principio y
símbols fin de
especiaes transmisiones

LOGO
www.themegallery.com
 Fuentes de información

Fuentes de información.

sin memoria: los Con memoria: la

símbolos que aparición de los
emite son símbolos no es
estadísticamente estadísticament
independientes. e independiente.

LOGO
www.themegallery.com
 Entropía

Mide la información contenida en un flujo de datos con “i” simbolos

diferentes.

q
1
H ( s)   P( si ) ld ( )
i 1 P( si )

Si en los mensajes sus probabilidades son iguales (Equiprobalbes

 l (q)
), la entropía total será:
H ( s)
max d

Se utiliza habitualmente el logaritmo en base 2, y entonces la entropía

se mide en bits.
LOGO
www.themegallery.com
 Entropía, ejemplo

Transmitamos mensajes del abecedario. (combinaciones aleatorias y

mensajes equiprobables):

26 Letras + 5 signos de puntuación + 1 espacio en blanco = 32 símbolos

La entropía será: H = log2 32 = 5

Significa que se necesitan 5 bits para codificar cada símbolo

La entropía nos permite ver la cantidad de bits necesarios para representar

el mensaje que se va a transmitir.

LOGO
Un mensaje suministra la mayor cantidad de información cuando todos los
elementos delmensaje son equiprobables.
 Tasa de información (R)

Si dos fuentes tienen igual entropía,

pero una es más rápida (produce más
símbolos por unidad de tiempo):

a igual tiempo, tranfiere más información 𝐻 (𝑖)

la fuente más rápida. 𝑅=
t
Definición: Velocidad o Tasa de
Información (R)
es el Cociente entre la entropía de la 𝑡: 𝑑𝑢𝑟𝑎𝑐𝑖𝑜𝑛 𝑝𝑟𝑜𝑚𝑒𝑑𝑖𝑜
fuente 𝑑𝑒 𝑙𝑜𝑠 𝑠𝑖𝑚𝑏𝑜𝑙𝑜𝑠
respecto de la duración promedio de los R: Catindidad de
símbolos que ésta envía. informacion
LOGO
www.themegallery.com
Señalización.

LOGO
LOGO
 LOGO
www.themegallery.com