TD N°1

Exercice 1 :
Une pièce de monnaie est lancée jusqu’à ce que la première tête se produise.
Trouvez l’entropie H(X) en bits. Les expressions suivantes peuvent être utile :
' '
"
1 𝑟
𝑟 = , 𝑛. 𝑟 " =
1 − 𝑟& (1 − 𝑟)0
"() "()

Exercice 2 :
1. On considère une source discrète sans mémoire X, avec deux symboles x1, x2. Montrer que H(X) est
maximal lorsque les symboles sont équiprobables. Calculer H(X) dans ce cas.
2. Montrer que H(X) ≥ 0.

Exercice 3 :
Considérez une source de télégraphe ayant deux symboles, point et tiret. La durée des points est de 0,2 s. La
durée du tiret est de 3 fois la durée des points. La probabilité du point est deux fois celle du tiret, et le temps
entre les symboles est de 0,2 s. Calculez le taux d'information de la source du télégraphe.

Exercice 4 :
Une source sans mémoire produit des symboles selon les probabilités suivantes :

𝑝 𝐴 = 0.4, 𝑝 𝐵 = 0.2, 𝑝 𝐶 = 0.2, 𝑝 𝐷 = 0.1, 𝑝 𝐸 = 𝑝 𝐹 = 0.05,

a. Trouver l’information associée à chaque symbole, et l’entropie de la source.

b. Calculer l’entropie maximale possible de la source, et déterminer l’efficacité de la source.

Exercice 5 :
a. Calculer l’entropie d’une source discrète sans mémoire qui génère cinq symboles 𝐴, 𝐵, 𝐶, 𝐷, 𝐸 avec
des probabilités :
1 1 1 1
𝑝 𝐴 = ,𝑝 𝐵 = ,𝑝 𝐶 = ,𝑝 𝐷 = 𝑝 𝐸 =
2 4 8 16
b. Déterminer l’information contenue dans la séquence émise DADED.

Exercice 6 :
Une source caractérisée dans le domaine fréquentiel par une largeur de bande W = 4000 Hz, est échantillonné
à la fréquence de Nyquist, générer une séquence de valeurs pris à partir de la plage 𝐴 = −2, −1, 0, 1, 2 selon
> > > > >
les probabilités , , , , .
0 ? @ >A >A

Calculer la vitesse de la source en bits/s.

Exercice 7 :
Une source donnée émet r = 3000 symboles/s, à partir d’un ensemble de quatre symboles, avec les probabilités
indiquées dans le tableau suivant :

𝑥C 𝑃C 𝐼C
A 1/3
B 1/3
C 1/6
 D 1/6
a. Trouver l’information associée à chaque symbole, et l’entropie de la source.
b. Calculer le débit d’information.

Exercice 8 :
Soit (X, Y) ont la distribution conjoint suivante :

X
1 2 3 4
Y
1 1 1 1
1
8 16 32 32
1 1 1 1
2
16 8 32 32
1 1 1 1
3
16 16 16 16
1
4 0 0 0
4
Calculer :

𝐻 𝑋 , 𝐻 𝑌 , 𝐻 𝑋 /𝑌 , 𝐻 𝑌 /𝑋 , 𝐻(𝑋, 𝑌)

Exercice 9 :
Soient X, Y et Z trois variables aléatoire de distribution de probabilité :

X Y Z P(X, Y, Z) X Y Z P(X, Y, Z)
0 0 0 0.14 2 1 0 0.02
0 0 1 0.05 2 1 1 0.05
0 0 2 0.05 2 1 2 0.07
0 0 3 0.10 2 1 3 0.01
1 1 0 0.05 2 2 0 0.01
1 1 1 0.03 2 2 1 0.04
1 1 2 0.04 2 2 3 0.06
1 2 0 0.05 3 0 1 0.02
1 2 2 0.01 3 0 2 0.10
1 2 3 0.05 3 0 3 0.05
Et nulle partout ailleurs.

Calculer H(XYZ), H(X/Y), H(X/Z), H(Y/Z), I(X, Y), I(X, Z), I(X, Y/Z)