UNI VERSI DAD NACI ONAL FEDERI CO VI LLARREAL

Escuela Universitaria de Post Grado EUPG

Maestra en I ngeniera de Sistemas con Mencin en Gestin de
Tecnologa en I nformacin

Teora de la I nformacin
Curso : Teora General de Sistemas
Docente : Dr. Oscar Mujica
Ciclo : 1er ciclo
I ntegrantes : Vernica Altamirano Castillo
Sheilla Tejada Apayco
J hoseff Chvez Ramos
Eli Vivar Torres
Arturo Malpartida Zubizarreta

2014
TEORA DE LA INFORMACIN
1. Introduccin
La teora de la informacin fue desarrollada inicialmente, en 1948, por el Ingeniero
electrnico estadounidense Claude E. Shannon, en su artculo, A Mathematical
Theory of Communication (Teora matemtica de la comunicacin) (Shanon y
weaver 1949). Esta teora es central a todos los empeos de la ciencia cognitiva
porque permite concebir la informacin de una forma independiente del contenido,
es entonces, que Shannon se preocup por la transmisin de la informacin y la
cantidad que lograra transmitir un sistema artificial como el telfono, y es all en
donde se dirige un nuevo termino y es digito binario o como ahora lo conocemos
BIT. Sin embargo se cre la informacin, como representacin de una materia
concreta. Por tal motivo la insuficiencia de una base terica para la tecnologa de
la comunicacin surgi del acrecentamiento del obstculo y de la masificacin de
las vas de comunicacin, tales como el telfono, las redes de teletipo y los
sistemas de comunicacin por radio.
La teora de la informacin nos proporciona una serie de conceptos y
formulaciones desde el punto de vista matemtico, que permiten en ltima
instancia plantear alternativas para el manejo inteligente del proceso de
comunicacin.
2. Contenido
El concepto de comunicacin en el contexto de la Teora de la Informacin es
empleado en un sentido muy amplio en el que quedan incluidos todos los
procedimientos mediante los cuales una mente puede influir en otra. De esta
manera, se consideran todas las formas que el hombre utiliza para transmitir
sus ideas: la palabra hablada, escrita o transmitida (telfono, radio, telgrafo,
etc.), los gestos, la msica, las imgenes, los movimientos, etc.

A continuacin Arredondo (2011) expone que En el proceso de comunicacin
es posible distinguir por lo menos tres niveles de anlisis diferentes: el tcnico,
el semntico y el pragmtico. En el nivel tcnico se analizan aquellos problemas
que surgen en torno a la fidelidad con que la informacin puede ser transmitida
desde el emisor hasta el receptor. En el semntico se estudia todo aquello que se
refiera al significado del mensaje y su interpretacin. Por ltimo, en el nivel
pragmtico se analizan los efectos conductuales de la comunicacin, la influencia
o efectividad del mensaje en tanto da lugar a una conducta. As mismo Ortega
(2012) expuso que Es importante destacar que la Teora de la Informacin
se desarrolla como una respuesta a los problemas tcnicos del proceso de
comunicacin, aun cuando sus principios puedan aplicarse
en otros contextos.
Modelo de comunicacin
El modelo comunicacional desarrollado por Shannon y Weaver se basa en un
sistema de comunicacin general que puede ser representado de la siguiente
manera:
Fuente de informacin: Selecciona el mensaje deseado de un conjunto de
mensajes posibles.
Transmisor: transforma o codifica esta informacin en una forma apropiada al
canal.
Seal: mensaje codificado por el transmisor.
Canal: medio a travs del cual las seales son transmitidas al punto de recepcin.
Fuente de ruido: conjunto de distorsiones o adiciones no deseadas por la
fuente de informacin que afectan a la seal. Pueden consistir en
distorsiones del sonido (radio, telfono), distorsiones de la imagen (T.V.), errores
de transmisin (telgrafo), etc.
Receptor: Decodifica o vuelve a transformar la seal transmitida en el
mensaje original o en una aproximacin de este hacindolo llegar a su destino.
Este sistema de comunicacin es lo suficientemente amplio como para Incluir los
diferentes contextos en que se da la comunicacin (conversacin, T.V., danza,
etc.). Tomemos como ejemplo lo que ocurre en el caso de la radio. La fuente
de informacin corresponde a la persona que habla por el micrfono. El mensaje
son las palabras y sonidos que esta persona emite. El micrfono y el resto
del equipo electrnico constituyen el transmisor que transforma este
mensaje en ondas electromagnticas, las cuales corresponden a la seal.
Zamora (2012) menciono que Una fuente de informacin es un objeto, que
produce a su salida un evento; dicha salida es seleccionada aleatoriamente de
acuerdo a una probabilidad de distribucin. En un sistema de comunicacin, es un
elemento que produce mensajes, y stos pueden ser anlogos o discretos. Una
fuente discreta est formada por un conjunto finito de smbolos. Las fuentes de
informacin pueden clasificarse en fuentes con memoria y fuentes sin memoria.
Una fuente sin memoria pude especificarse por: la lista de smbolos, la
probabilidad de ocurrencia de los smbolos, y la rata de generacin de los
smbolos de la fuente.
Informacin de Fuentes discretas sin memoria
Arredondo (2011) expone que La cantidad de informacin de un mensaje, es
inversamente proporcional a la probabilidad de ocurrencia. Si un evento es
conocido, la informacin aportada es cero, de hecho su probabilidad de ocurrencia
es uno. La probabilidad de un mensaje siempre estar en un valor entre cero y
uno. La informacin contenida en eventos independientes debera sumarse.

( )
( )
1
2
1
x P
Log x I
i
= bits

Si existe un mensaje x1, con una probabilidad de ocurrencia P(x1), el contenido de
informacin puede expresarse segn .
( )
i
x I tendr como unidad el bit, si empleamos logaritmos binarios.
Tendr como unidad el HARTLEY, si empleamos logaritmos decimales.
Tendr como unidad el NAT, si empleamos logaritmos naturales.
La conversin de unidades podr realizarse de acuerdo a la siguiente expresin:
2 log / log 2 ln / ln
2
a a a Log = =
Entropa de una Fuente de Informacin: H
Arredondo (2011) expuso que Es un parmetro que nos permite determinar el
contenido promedio de informacin de una fuente o un mensaje en particular. En
un proceso de comunicacin, transmitimos usualmente secuencias largas de
smbolos, y estamos ms interesados en el contenido promedio de informacin
que la fuente produce, que en la informacin contenida en cada smbolo. Luego:
( ) ( ) | | ( ) simbolo bit x P x P x I x P x I E X H
i
m
i
i
m
i
i i i
/ ) ( log ) ( ) (
1
2
1

= =
= = =

EL canal de comunicacin
Zamora (2012) menciono que Es la trayectoria o medio a travs del que fluyen
los smbolos del origen al destino. Un canal discreto sin memora, (DMC), es un
modelo estadstico, con una entrada X, y una salida Y. Durante cada unidad de
tiempo, o intervalo de sealizacin, el canal acepta un smbolo de entrada de X, y
en respuesta genera un smbolo de salida de Y. El canal es discreto, cundo los
alfabetos X, Y, son finitos. Es sin memoria, cuando el smbolo de salida
corriente, depende solamente del smbolo corriente a la entrada, y no de ningn
smbolo previo. La figura muestra un canal DMC, con m entradas y n salidas.


La entrada X, consiste de los smbolos de entrada x1, x2, xi,... xm. Sus
probabilidades a priori se conocen: P(xi). La salida Y, consiste de los smbolos y1,
y2, yj,....yn. Cada posible trayectoria de entrada salida, se expresa con una
probabilidad condicional P(yi/xj), donde P (xi/yj) P( y1/x1 ) P( y1/x1 ), es la
probabilidad condicional de obtener la salida yj, dada la entrada xi, y es llamada la
probabilidad de transcicin del canal.
Matriz del Canal
A continuacin Ortega (2012) expone que Un canal pude especificarse por el
conjunto completo de probabilidades de transicin. Se genera la matriz [P(Y/X)] ,
conocida como matriz del canal.
P( y1/x1 ) P( y2/x1 ) ................ P( yn/x1 )
P( y1/x2 ) P( y2/x2 ).... ...... P( yn/x2 )
[ P ( Y/X ) ] = P( y1/x3 ) P( y2/x3 ) ................. .P( yn/x3 )
P( y1/xm ) P( y2/xm ) ................ P( yn/xm )

Si las probabilidades de entrada se representan por la matriz fila: [P(X) = [P(x1)
P(x2) .....P(xm) ] ; las probabilidades de salida se representan por la matriz fila:
[P(Y) = [P(y1) P(y2) .....P(ym) ] luego:

[P(Y)] = [P(X)] * [P(Y/X)].

Capacidad del Canal:
Es un parmetro que nos indica cual es la cantidad mxima de bits, que un canal
puede soportar.
As por ejemplo para un canal perturbado por ruido Gaussiano, la capacidad de
canal puede calcularse como:

seg
bit
N
S
Log Bw C |
.
|

\
|
+ = 1 .
2


donde C = Capacidad mxima de transporte del canal en bits por segundo.
Bw = Es el ancho de banda del canal en Hertz.

N
S
= Es la relacin de potencia de seal a potencia de ruido que
soporta el canal.

Codificacin de la fuente
Arredondo (2011) menciona que Es el proceso por el cul, la salida de una
fuente de informacin, se convierte en una secuencia binaria. El elemento que
realiza ste proceso se conoce como codificador fuente (Codec).
Alternativamente es la accin de asignar dgitos binarios a secuencias de smbolos
que conllevan la informacin.

Uno de los objetivos es el de minimizar la rata promedio de bits, necesarios para la
representacin de la informacin, reduciendo la redundancia de la fuente. Existe
una longitud de cdigo, y una eficiencia de cdigo. La eficiencia de la codificacin
procura en aproximar la longitud promedio de las palabras de cdigo (nmero
promedio de dgitos binarios ), a la entropa de la fuente.
Codificacin del canal
Su propsito: es el de disear cdigos que permitan una ptima transmisin de
informacin digital sobre el canal. En ltima instancia permite desarrollar tcnicas
eficientes para la deteccin y correccin de errores.
La seal puede provenir de un codificador fuente de una fuente binaria
directamente.





Teorema: Dada una fuente discreta, sin memoria, [X], con una entropa H(x), y un
canal con capacidad C, si H(X) < / = C, existe un esquema de codificacin, para el
que la salida de la fuente, pude transmitirse por el canal, con una arbitrariamente
pequea probabilidad de error. Igualmente, si H(x) > C, no es posible la
transmisin libre de errores. Es posible el Cdigo, pero no se nos dice cul es.
Si denominamos S = { s1, s2, ...sj } al conjunto de smbolos de un alfabeto, S;
definimos un cdigo, como la correspondencia de todas las secuencias posibles
de smbolos de S, a secuencias de smbolos de algn otro alfabeto X = { x1, x2,
....xj } , S recibe el nombre de alfabeto fuente, y X alfabeto cdigo.
Estos procesos de codificacin, implican la adicin de bits, al paquete original de
transmisin (redundancia); generando algoritmos para que le receptor detecte y
corrija posibles errores sobre el mismo bloque recibido. Hay incremento de ancho
de banda y de recursos para manipularlos.

Tipos de sistemas de informacin
Entre los tipos de informacin encontramos tres que se encuentran definido
sistema transaccional, sistema para toma de decisiones, sistema estratgico:
Sistema transaccional
Casado (2012) explico que Estos sistemas se dirigen principalmente a las reas
de ventas y mercadotecnia, administracin y finanzas y al rea de recursos
humanos. Son el primer sistema de Informacin que se implementa en la
empresa. Se empieza apoyando las tareas a nivel operativo de la organizacin
para continuar con los mandos intermedios y posteriormente la alta administracin,
conforme evolucionan.
Caractersticas:
1) Primer tipo de sistema que se implanta en la organizacin
2) Ahorros significativos de mano de obra
3) Apoya de manera escalada las tareas de cada nivel operativo de la
organizacin, entre otras.
Ejemplo:
Inventario: se define al registro documental de los bienes y dems cosas
pertenecientes a una persona o comunidad, hecho con orden y precisin.
Sistema para toma de decisiones
Para la toma de decisiones es importante contar con la mayor cantidad de
informacin relevante y oportuna. Al respecto, hay dos tipos de informacin: la
estructurada que encontramos en las bases de datos relacionales tradicionales y
la no-estructurada.
Casado (2012) explico que La informacin estructurada: es la que estamos
acostumbrados a administrar y a procesar para el soporte a la toma de decisiones,
lo cual representa una gran desventaja para una empresa, puesto que perdemos
de vista informacin muy valiosa que se encuentra no-estructurada, fuera de las
bases de datos. La informacin no-estructurada: la encontramos en fuentes tales
como documentos, el web o las suscripciones a servicios de informacin y en
formatos muy diversos como texto, videos, audio o imgenes.
Caractersticas: 1) Se introduce despus de haber implantado los sistemas
transaccionales ms relevantes de la empresa.
2) La informacin que genere sirve de apoyo a los mandos intermedios y a la alta
administracin en el proceso de toma de decisiones.
3) Son intensivos en clculos y escasos en entradas y salidas de informacin.
4) No suelen ahorrar mano de obra.
5) Apoya la toma de decisiones, entre otras.
Ejemplos:
Las proyecciones financieras: consisten en calcular cul ser el desenvolvimiento
del negocio o empresa en un futuro desde el punto de vista financiero-contable; lo
anterior tiene como finalidad conocer cul ser la rentabilidad del negocio o
empresa en el futuro (normalmente por los siguientes 5 aos) y conocer si las
acciones a emprender van a generar resultados que afecten (positiva o
negativamente) dicha rentabilidad.
Sistema estratgico
Arredondo (2011) expone que Los sistemas estratgicos son esos que cambian
los objetivos, productos, servicios o relacin con el ambiente de las
organizaciones. En el rol de soporte de los sistemas de informacin, estos
sustentas las existencias, la existencia de productos y la existencia de
procedimientos de los negocios.
En la actualidad la informacin es vista como un recurso estratgico, una fuente
potencial de ventaja competitiva o un arma estratgica para frustrar a la
competencia. El tipo de sistemas que estn siendo construido en base a esta
concepcin de la informacin es llamado sistemas estratgicos y su propsito es
asegurar la supervivencia y prosperidad de la organizacin en un futuro cercano.
Caractersticas:
1) Este sistema puede llevar a cabo las funciones de los tipos 1 y 2.
2) Suelen desarrollarse dentro de la organizacin.
3) Su forma de desarrollo es con base a incrementos y a travs de su evolucin
dentro de la organizacin.
4) Su funcin es lograr ventajas que los competidores no posean, tales como
ventajas en costos y servicios.
Ejemplo:
Sistemas estratgicos de ventas y mercadeo: mientras los productos y servicios
de sistemas de informacin son altamente visibles, menos visibles pero
igualmente poderosas son las nuevas tcnicas de mercadeo y ventas basadas en
sistemas de informacin. Para estas tcnicas es crucial la concepcin de la
informacin existente como un recurso que puede ser minado por la organizacin
para incrementar las ganancias y la penetracin en el mercado. Una segunda
caractersticas de estos sistemas es el desarrollo de tcnicas que diferencien los
productos y servicios del de los competidores. Orientado a cambiar relacin entre
productores y clientes.




Ejemplos de Casos Prcticos









Conclusiones
La Teora de la Informacin es aplicado en un sentido muy amplio en el
incluye a todos los procedimientos que se realizan en la vida real. Se consideran
todas las formas que el hombre utiliza para transmitir sus ideas: la palabra
hablada, escrita o transmitida (telfono, radio, telgrafo, etc.).

En general estas medidas y la Teora de la Informacin pueden ser usadas para
detectar patrones estadsticos en muchos tipos de secuencias, imgenes u otras
formas de informacin.

Recomendaciones
La teora de la informacin debe practicarse en los procesos de comunicacin del
estado ya que actualmente no hay correcto procedimiento de poder intercambiar
informacin con otras provincias del pas ya que no se cuenta con el apoyo
tecnolgico que permita una comunicacin directa y poder recopilar la informacin
que se desea procesar para tomar decisiones de forma correcta para mejorar la
produccin del pas.







































Glosario

Semntico : Intenta explicar por qu nos comunicamos, y cul es el mecanismo
psquico que se establece entre hablante y oyente durante este proceso.
Pragmtico: La referencia es un acto realizado por un comunicante que enva un
mensaje (ya sea hablado, escrito o mediante otros cdigos lingsticos) para
identificar algo.
Decodificar: Decodificar es un proceso mediante el cual se convierten smbolos en
informacin entendible por el receptor. Representa un aprendizaje en el desarrollo
del lector.
Teorema: es una proposicin que afirma una verdad demostrable.
Entropa: Permite el clculo, permite determinar la parte de la energa que no
puede utilizarse para producir trabajo.
Bits: Un bit es un dgito del sistema de numeracin binario. Las unidades de
almacenamiento tienen por smbolo bit









Bibliografa

Arredondo. V (2011) Introduccin a la Teora de la Informacin. Publicado Mayo
2011.Obtenido el 27 de Mayo 2014, desde:
http://profesores.elo.utfsm.cl/~tarredondo/info/soft-
comp/Introduccion%20a%20la%20Teoria%20de%20la%20Informacion.pdf

Casado. M (2012) Teora General de Sistemas. Publicado Julio 2012.Obtenido el
27 de Mayo 2014, desde:
http://www.revistadintel.es/Revista/Epoca3/Numero6/casado.pdf

Ortega. J (2012). Teora de la Informacin. Publicado Agosto del 2014.Obtenido el
27 de Mayo 2014, desde:
http://ingenieria.udea.edu.co/CURSOS/IEO-614/informacion.doc

Zamora. M (2012). Teora de la Informacin. Publicado Junio del 2014.
Obtenido el 27 de Mayo 2014, desde:
http://www.slideshare.net/nica2009/lecture-4-teora-de-la-informacin