UNIDAD 1

Taller Parcial 1
Ejercicios Propuestos.

Tutor: Jorge Ivn Posada Gmez

Curso: Teora de la informacin
Fecha: 21 septiembre - 2013
Duracin: 18 horas
Horario de solucin: 6:00 a.m. Hasta 11:55 p.m. del mismo da.
Estudiante: __________________________________________ Cdigo: ___________________
Observaciones: Seor estudiante tenga presente que no todas las preguntas tienen el mismo nivel
de dificultad. Como estrategia clasifique las preguntas segn su nivel de dificultad y luego
comience a responder desde la ms sencilla. Esta estrategia le ayudar a administrar mejor su
tiempo y notar que el tiempo de solucin se reducir considerablemente. Definir el nivel de
dificultad de una pregunta depender del nivel de conocimientos que haya adquirido con en su
tiempo de estudio.
1. Cul es la cantidad de informacin obtenida si al seleccionar aleatoriamente una carta de una
baraja de pker de 52 naipes se saca una figura?
2. Una clase tiene 12 nios y 4 nias. Se seleccionan 3 alumnos al azar (uno despus del otro).
Cul es la cantidad de informacin que se obtiene si los tres seleccionados resultan ser
nios?
3. Se lanza una moneda 3 veces. Determina la cantidad de informacin obtenida si resultan 2 caras
en los 3 lanzamientos.
4. Una luz se emite hasta con 10 colores diferentes. Se eligen 4 colores al azar. Cul es la cantidad
de informacin contenida en cada secuencia de 4 intermitencias?
5. Supongamos que se lanza un par de dados no cargados. Si la suma es 6. Determine la cantidad
de informacin obtenida si ocurre que uno de los dados tenga un 2.
6. Un teletipo binario consta de 64 smbolos posibles, los cuales son empleados con igual
frecuencia. Si en ausencia total de ruido se pueden enviar 4 smbolos por segundo a travs del canal,
cul es la cantidad de informacin por segundo que se puede enviar por dicho canal?
7. Para una fuente de informacin de memoria nula con mensajes S= { S 1 , S 2 , S 3 , S 4 , S 5 }
determine el mximo valor de la entropa y explique cul es la condicin para que sta se presente.
8. Dada una fuente con alfabeto F= { f 1 , f 2 , f 3 } con probabilidades: P( f 1 )=0.1, P( f 2
)=0.4 y P( f 3 )=0.5.
Calcular:
a. Cantidad de informacin emitida por cada Fi.
b. La cantidad media de informacin por smbolo.

c. Considere la extensin de segundo orden de esta fuente y calcule su cantidad

media de informacin por smbolo.
d. Calcule la cantidad media de informacin de la extensin de tercer orden.
9. Una secuencia de eventos ocurren produciendo una cantidad de informacin total de 16,61 bits.
Si todos los eventos son equiprobables. Determine la cantidad de eventos.
10. Considere una fuente de Markov de segundo orden ergdica con un alfabeto con un alfabeto S=
{0, 1}. Suponga las siguientes probabilidades:
P (1/11) = 0.7
P (1/00) = P (0/00) = 1.0
P (1/01) = 0.5
a) Determine P (0/01) y P (0/11). Explique cmo la obtiene.
b) Construya el diagrama de estados
c) Por qu esta fuente es una fuente ergdica? Explique.
11. Un observador, antes de conocer la salida deuna fuente de informacin de memoria nula, sabe
que no recibir nunca un valor medio mayor a 3,17 bits/smbolo. SI este valor medio se est
presentando en esa fuente, determine la cantidad de smbolos mensaje (Si) para dicha fuente.
12. En una fuente de memoria nula con S = { S 1 , S 2 , S 3 , S 4 , S 5 } las probabilidades de los
eventos varan cada cuatro horas. En las primeras cuatro horas los eventos tienen probabilidades as:
P( S 1 )= 1/5, P( S 2 )= 3/10, P( S 3 )= 1/10, P( S 4 )= 3/10, P( S 5 )= 1/10. Se sabe que la
incertidumbre de un observador a la salida de la fuente siempre se mantiene en el rango de X a Y
bit/simb (X incertidumbre Y). Estime el valor para Y. Justifique la respuesta.
13. Considere una fuente de Markov de segundo orden ergdica con un alfabeto S={0, 1} la cual
emite la siguiente secuencia de smbolos: 00110110011001101
a. Construya el diagrama de estados.
b. Determine P(0/00), P(1/01) y P(1/10)
14. El diagrama de estados de una fuente de informacin de Markov binaria de primer orden
viene dado en la siguiente figura.

a. Demostrar que las probabilidades estacionarias de la fuente son : P(0) = q/(p + q),
P(1)= p/(p+q).
b. Calcular H(S).
c. Sea p = q. Calcular y dibujar H(S) en funcin de p.
15. Consideremos una fuente de Markov binaria de tercer orden en que la probabilidad de emitir un
0 un 1 no depende de los dos smbolos anteriores, sino del tercero. La probabilidad de que un
smbolo coincida con el emitido tres lugares antes es igual a 0.9; la probabilidad de que sea distinto,

0.1.
a. Dibujar el diagrama de estados de esta fuente.
b. Calcular la entropa de la fuente
16. El diagrama de estados de una fuente de informacin de Markov de primer orden viene
dado en la figura. Por simetra, la distribucin estacionaria es: P(0) = P(1) = P(2) = 1/3

a. Calcular H(S)
b. Analizar el comportamiento de la fuente para p=0
c. Analizar el comportamiento de la fuente para p=1