NOCIONES DE TEORIA DE INFORMACION

LA INFORMACION MEDIDA DE LA INFORMACION LA ENTROPIA TASA DE INFORMACION BYTE/PALABRA/BLOQUE MEDIDAS DE VELOCIDAD BINARIA O DE VELOCIDAD DE TRANSMISION

LA INFORMACION

LA TEORIA DE INFORMACION FUE DESARROLLADA POR CLAUDE SHANNON; Y TIENE COMO OBJETIVO HACER EFICIENTE LA TRANSMISION DE INFORMACION DE UN PUNTO A OTRO EN UNA RED DE COMUNICACIONES.

1. CONJUNTO DE DATOS QUE NOS PERMITEN ACLARAR ALGO QUE ES DESCONOCIDO. 2. CUANDO SE SABE QUE UN HECHO VA A OCURRIR NO CONTIENE INFORMACION. LUEGO; UN SUCESO TENDRA MAYOR CANTIDAD DE INFORMACION; MIENTRAS MENOR SEA LA PROBABILIDAD DE OCURRENCIA DEL MISMO. EJ: PARA UNA ZONA DESERTICA EL ESTADO DEL TIEMPO PUEDE SER:
MENSAJE MENSAJE MENSAJE MENSAJE N1 N2 N3 N4 : : : : SOL Y SECO SOL Y HUMEDO NUBLADO Y HUMEDO NUBLADO Y LLUVIAS

ESTADISTICAS: SOL Y SECO : 95% DE LOS DIAS DEL AO SOL Y HUMEDO: 4% DE LOS DIAS DEL AO NUBLADO Y HUMEDO: 0.9% DE LOS DIAS DEL AO NUBLADO Y LLUVIAS: 0.1% DE LOS DIAS DEL AO

DEFINICION : LA CANTIDAD DE UNIDADES DE INFORMACION I(a), QUE RECIBE UN USUARIO AL RECIBIR UN MENSAJE; CORRESPONDE AL LOGARITMO DE LA INVERSA DE LA PROBABILIDAD DE OCURRENCIA DEL SUCESO CONTENIDO EN EL; ESTO ES:

I(a) = LOG ( 1/ P(a) ) Unidades de Informacion

SEGUN LA BASE DEL LOGARITMO TENDREMOS:

I(a) = log2 (1/ P(a)) SHANNON I(a) = loge (1/ P(a)) NAT I(a) = log10(1/P(a)) HARTLEY
DE AQUI TENDREMOS QUE: 1 HARTLEY = 3.32 SHANNON 1 NAT = 1.44 SHANNON 1 HARTLEY = 2.3 NAT EJ: CALCULAR LA CANTIDAD DE INFORMACION RECIBIDA EN SHANNON PARA EL EJERCICIO ANTERIOR.

CONTINUACION.... EN SISTEMAS DE TRANSMISION QUE UTILIZAN LA LOGICA BINARIA DE DOS ESTADOS : 0 Y 1 Y CONSIDERANDO QUE SON MENSAJES EQUIPROBABLES, ESTO ES : P(0) = 0,5 P(1) = 0,5 LUEGO LA INFORMACION RECIBIDA PARA CADA ESTADO SERA: I(0) = LOG2 (1/0,5))= 1 SHANNON I(1) = LOG2 (1/0,5))= 1 SHANNON OBS: BIT : binary digit.....comunmente se denominan bits a los digitos binarios que son elementos de un mensaje y a la informacion asociada a ellos si la probabilidad de ocurrencia de un cero o un uno no son iguales entonces la cantidad de informacion asociada a estos estados no es igual a 1 SHANNON.

Los Bits que combinados formen codigos reperesentando letras numeros y simbolos; Contienen informacion; en cambio aquellos que indiquen paridad para detecion de Errores; o los usados para sincronismo....no contienen informacion

La Entropia

FUENTE DE MEMORIA NULA: AQUELLA QUE EMITE SIMBOLOS ESTADISTICAMENTE

INDEPENDIENTES; esto lo asociamos al concepto matematico de Variable Aleatoria; una Funcion del tipo: I(xk); con X Variable Aleatoria; pk : valor de probabilidad asociada a X VARIABLE ALEATORIA : I(X).... P(X)... X1.... X2.... X3 ..... Xk P(X1).. P(X2).. P(X3)......P(Xk)

Se define como entropia H que representa la incertidumbre media en la Ocurrencia de un simbolo a la esperanza matematica de la variable aleatoria De la forma sgte: H=- SUM p(Xk) . Log2 (Xk) k=1.....n Shannon/simbolo
Ej : sea una fuente que puede emitir 3 simbolos: x1,x2,x3, con probabilidades asociadas , , ; respectivamente, calcular la entropia de la fuente. H= -( LOG1/2 +1/4LOG1/4 + 1/4LOG1/4 ) = 1.5 Shannon/ simbolo Podemos afirmar que para una fuente discreta cuyos simbolos son estadisticamente Independientes ; la funcion Entropia H (X) permite describir la fuente en terminos de la Informacion promedio producida por ella

TASA DE INFORMACION
El concepto de entropia se relaciona con la capacidad del canal de comunicaciones Ya que podemos tener fuentes con igual entropia pero una mas rapida que otra Luego desde el punto de vista del canal de comunicaciones la descripcion de la Fuente dependera no solo de la entropia sino de la Tasa de Informacion T

T= H(X)/t

(Shannon/segundos)

con t ; duracion promedio de los simbolos( seg/sim) OBS: el caso particular de una fuente digital binaria de ocurrencia equiprobable la cantidad de informacion expresada en Shannon coincide con la expresion tasa de informacion en bits por segundos( bps). EJEMPLO:
calcular la tasa de informacion en un sistema de transmision telegrafica, donde: P(punto) =2/3 t(punto) =0,2 seg P(raya) = 1/3 t(raya) = 0,4 seg

H = 2/3 log3/2 +1/3log3 =0,93 bits/simbolo t = 2/3*0,2 +1/3*0,4 = 0,27 seg, luego : T = 0,92/ 0,27 = 3.4 ( bps)

CAPACIDAD DE UN CANAL Y TASA DE INFORMACION

LA TASA DE INFORMACION CORRESPONDE A LA CANTIDAD DE INFORMACION PRODUCIDA POR UNA FUENTE EN UN DETERMINADO TIEMPO... LA CAPACIDAD DE UN CANAL C MEDIDA EN bps NOS INDICA LA CANTIDAD DE INFORMACION QUE EL CANAL PUEDE TRANSPORTAR POR UNIDAD DE TIEMPO LA CAPACIDAD DEL CANAL DEPENDERA DE SUS CARACTERISTICAS PROPIAS TALES COMO RELCION SEAL A RUIDO Y ANCHO DE BANDA... LA RELACION ENTRE TASA DE INFORMACION Y CAPACIDAD DEL CANAL SE ESTABLECE A TRAVES DE LA TASA DE ERROR DEL SISTEMA ( BER)... SI LA TASA DE INFORMACION ES MAYOR QUE LA CAPACIDAD DEL CANAL NO ES POSIBLE TRANSMITIR SIN ERRORES... DEFINICION DE BYTE Numero de bits nesesarios en un sistema de codificacion para poder representar Un caracter...en codigos informaticos legacy se usaba 8 bits, pero puede ser De una cantidad distinta...segun la definicion DEFINICION DE PALABRA Numeros de caracteres fijos( bytes), que un computador trata como una unidad Cundo los somete a procesos como lectira,escritura en transferencia entre unidades Entendiendo por caracteres, letras, mumeros, etc. Tipicamente 4 bytes una palabra CONCEPTO DE BLOQUE Conjunto formado por algunas decenas de bits que recibe un tratamiento unico Para efectos de transferencia que un computador realiza entre su memoria y los Equipos perisfericos..