Noveno semestre Curso: Telecomunicaciones Alumno: Ervin Daniel Solórzano López Sección: A
La teoría de la información, también conocida como teoría matemática de la
comunicación o teoría matemática de la información, es una propuesta teórica presentada por Claude E. Shannon y Warren Weaver a finales de la década de los años 1940. Esta teoría está relacionada con las leyes matemáticas que rigen la transmisión y el procesamiento de la información y se ocupa de la medición de la información y de la representación de la misma, así como también de la capacidad de los sistemas de comunicación para transmitir y procesar información.1 La teoría de la información es una rama de la teoría de la probabilidad y de las ciencias de la computación que estudia la información y todo lo relacionado con ella: canales, compresión de datos y criptografía, entre otros.
Entropía e información
La información es tratada como magnitud física, caracterizando la información de
una secuencia de símbolos utilizando la entropía. Es parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos de envío de información o la cantidad de información útil que se pueda enviar a través de un canal. La información necesaria para especificar un sistema físico tiene que ver con su entropía. En concreto, en ciertas áreas de la física, extraer información del estado actual de un sistema requiere reducir su entropía, de tal manera que la entropía del sistema (S) y la cantidad de información (I) extraíble están relacionadas por:
De acuerdo con la teoría de la información, el nivel de información de una fuente se
puede medir según la entropía de la misma. Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a C. E. Shannon. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a. Kolmogorov. Dada una fuente F que emite mensajes, resulta frecuente observar que los mensajes emitidos no resultan equiprobables, sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje. Para codificar los mensajes de una fuente intentaremos pues utilizar menor cantidad de bits para los mensajes más probables y mayor cantidad de bits para los mensajes menos probables, de forma tal que el promedio de bits utilizados para codificar los mensajes sea menor que la cantidad de bits promedio de los mensajes originales. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0, pues la probabilidad de ocurrencia de un mensaje no depende de los mensajes anteriores. A las fuentes de orden superior se las puede representar mediante una fuente de orden-0 utilizando técnicas de modelización apropiadas. Definimos la probabilidad de ocurrencia de un mensaje en una fuente como la cantidad de apariciones de dicho mensaje dividido entre el total de mensajes. Supongamos que Pi es la probabilidad de ocurrencia del mensaje-i de una fuente, y supongamos que Li es la longitud del código utilizado para representar a dicho mensaje. La longitud promedio de todos los mensajes codificados de la fuente se puede obtener como:
Teorema de Muestreo de Nyquist
El Teorema de Muestreo de Nyquist explica la relación entre la velocidad de
muestreo y la frecuencia de la señal medida. Afirma que la velocidad de muestreo fs debe ser mayor que el doble del componente de interés de frecuencia más alto en la señal medida. Esta frecuencia por lo general se conoce como la frecuencia Nyquist, fN. Para entender por qué, eche un vistazo a una onda sinusoidal medida a diferentes velocidades. En el caso A, la onda sinusoidal de frecuencia f es muestreada a la misma frecuencia. Esos muestreos están marcados en la señal original a la izquierda y a la derecha cuando se construyen, la señal aparece incorrectamente como un voltaje de DC constante. En el caso B, la velocidad de muestreo es el doble de la frecuencia de la señal. Ahora aparece como una forma de onda triangular. En este caso, f es igual a la frecuencia de Nyquist, que es el componente de frecuencia más alto permitido para evitar aliasing para una frecuencia de muestreo determinada. En el caso C, la velocidad de muestreo es de 4f/3. La frecuencia Nyquist en este caso es:
Debido a que f es mayor que la frecuencia de Nyquist ( ), esta velocidad de
muestreo reproduce una forma de onda alias de la frecuencia y la forma incorrectas.
