02/04/2018

Información mutua

TAREA 1
INGRID ALITZEL SÁNCHEZ ELGUEA
Marco Teórico

Información Mutua

La información mutua I (X; Y) es una medida de la información proveída por los pares de símbolos
(x, y), la relación entre I (X; Y) y la entropía es:

H(X, Y) = H(X) + H (Y | X) = H (Y) + H(X | Y)

H(X, Y) = H(X) + H (Y) - I(X; Y)

I(X; Y) = H(X) – H(X | Y)

I(X; Y) = H (Y) – H (Y | X)

I(X; Y) mide la dependencia entre el input X y el output Y, o la información transmitida por el canal,
es positiva y simétrica en X y Y.

Figura 1. Información mutua

Pseudocódigo Matlab
clc;
clear all; %Condiciones iniciales
close all;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
MatrizC=[1/4 2/4 1/4;1/4 1/4 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
2/4;2/4 1/4 1/4]; %%%%%%%%%%%%%%%%%%%%%%%%%%
[s,c]=size(MatrizC); %Procedemos a calcular las
probabiA=[0.01:0.01:1;0.01:0.01:1 probabilidades de b
;0.01:0.01:1]; I=0;
[sa,la]=size(probabiA); indice=1;
 pab1(l)=(MatrizC(l,2)*probabiA(l,
%variamos valores j))/((MatrizC(2,2)*probabiA(2,j))
aux=[]; +(MatrizC(1,2)*probabiA(1,i))+(Ma
pa0=[]; trizC(3,2)*probabiA(3,k)));
pa1=[]; end
pa2=[]; if l==3
pab1(l)=(MatrizC(l,2)*probabiA(l,
k))/((MatrizC(2,2)*probabiA(2,j))
+(MatrizC(1,2)*probabiA(1,i))+(Ma
for i=1:la trizC(3,2)*probabiA(3,k)));
for j=1:la end
for k=1:la end
if
probabiA(1,i)+probabiA(2,j)+proba
biA(2,k)==1 pab2=0;
Probabdeb=0; for l=1:s
for l=1:s
Probabdeb(l)=(MatrizC(1,l)*probab if l==1
iA(1,i))+(MatrizC(2,l)*probabiA(2 pab2(l)=(MatrizC(l,3)*probabiA(l,
,j))+(MatrizC(3,l)*probabiA(3,k)) i))/((MatrizC(2,3)*probabiA(2,j))
; +(MatrizC(1,3)*probabiA(1,i))+(Ma
end trizC(3,3)*probabiA(3,k)));
end
pab0=0; if l==2
for l=1:s pab2(l)=(MatrizC(l,3)*probabiA(l,
j))/((MatrizC(2,3)*probabiA(2,j))
+(MatrizC(1,3)*probabiA(1,i))+(Ma
if l==1 trizC(3,3)*probabiA(3,k)));
pab0(l)=(MatrizC(l,1)*probabiA(l, end
i))/((MatrizC(1,1)*probabiA(1,i)) if l==3
+(MatrizC(2,1)*probabiA(2,j)+(Mat pab2(l)=(MatrizC(l,3)*probabiA(l,
rizC(3,1)*probabiA(3,k)))); k))/((MatrizC(2,3)*probabiA(2,j))
end +(MatrizC(1,3)*probabiA(1,i))+(Ma
if l==2 trizC(3,3)*probabiA(3,k)));
pab0(l)=(MatrizC(l,1)*probabiA(l, end
j))/((MatrizC(1,1)*probabiA(1,i)) end
+(MatrizC(2,1)*probabiA(2,j)+(Mat pab=[pab0(1) pab0(2)
rizC(3,1)*probabiA(3,k)))); pab0(3);pab1(1) pab1(2)
end pab1(3);pab2(1) pab2(2) pab2(3)];
if l==3
pab0(l)=(MatrizC(l,1)*probabiA(l,
k))/((MatrizC(1,1)*probabiA(1,i))
+(MatrizC(2,1)*probabiA(2,j)+(Mat % H A PRIORI
rizC(3,1)*probabiA(3,k)))); HA=(probabiA(1,i)*log2(1/probabiA
end (1,i)))+(probabiA(2,j)*log2(1/pro
end babiA(2,j)))+(probabiA(3,k)*log2(
1/probabiA(3,k)));
pab1=0; % H A POSTERIORI
for l=1:s HAb=0;
for l=1:s
if l==1
pab1(l)=(MatrizC(l,2)*probabiA(l, HAb(l)=(pab(l,1)*log2(1/pab(l,1))
i))/((MatrizC(2,2)*probabiA(2,j)) )+(pab(l,2)*log2(1/pab(l,2)))+(pa
+(MatrizC(1,2)*probabiA(1,i))+(Ma b(l,3)*log2(1/pab(l,3)));
trizC(3,2)*probabiA(3,k))); End
end
if l==2
%A|B pa12(i)=pa1(i)+pa2(i);
HAB=(Probabdeb(1)*HAb(1))+(Probab end
deb(2)*HAb(2))+(Probabdeb(3)*HAb(
3)); figure
set(gcf,'Name','TAREA 1')
%POR LO TANTO LA INFORMACIÓN plot3(pa0,pa12,I,'r');
MUTUA xlabel('p(a=0)');
I(indice)=HA-HAB; ylabel('p(a=1)+p(a=2)');
pa0=[pa0,probabiA(1,i)]; zlabel('INFORMACIÓN MUTUA');
pa1=[pa1,probabiA(2,j)];
pa2=[pa2,probabiA(3,k)]; y=find(I==max(I));
fprintf('\nIn %d:%d %d
%d',indice,i,j,k);
aux=[aux;i,j,k];
indice=indice+1; fprintf('\nP_init y
else I(A;B)=máximo:\n');
for i=1:length(y)
p0=probabiA(1,aux(y(i),1));
end p1=probabiA(2,aux(y(i),2));
end p2=probabiA(3,aux(y(i),3));
fprintf('\npa0= %d, pa1= %d,
end pa2= %d',p0,p1,p2);
end fprintf('\n\nINFORMACIÓN=
%d\n',I(y(i)));
for i=1:length(pa1) end

Resultados

Figura 2. Implementación
 Figura 3. Gráfica resultante.

Conclusiones

En lo personal, la implementación me resultó complejo de analizar, ya que no lograba razonar su

estructuración en Matlab. Para continuar, podemos percatarnos que independientemente de la

caracterización del canal, podemos obtener la información mutua máxima cuando los símbolos del

alfabeto de entrada son equiprobables. Finalmente, podemos deducir que dados los resultados, el

canal es muy ruidoso.

Referencias

 http://profesores.elo.utfsm.cl/~tarredondo/info/soft-
comp/Introduccion%20a%20la%20Teoria%20de%20la%20Informacion.pdf