Beruflich Dokumente
Kultur Dokumente
A teoria da informao um ramo da matemtica que estuda quanticao da informao. Essa teoria teve seus pilares estabelecidos por Claude Shannon (1948) que formalizou conceitos com aplicaes na teoria da comunicao e estatstica. A teoria da informao foi desenvolvida originalmente para compresso de dados, para transmisso e armazenamento destes. Porm, foi planejada para aplicao ampla, e tm sido usada em muitas outras reas. A medida de entropia de Shannon aproximadamente igual da complexidade de Kolmogorov, que oferece a explicao computacional de que a complexidade de um objeto dada pelo tamanho do menor programa de computador capaz de descrev-lo. Por exemplo, o objeto quanto parece aleatrio, poderia ser descrito sucintamente por for
10111000110001111000,
10111000110001111000.
O presente texto foi elaborado com base no segundo captulo do livro Elements of Information Theory , que apresenta os conceitos fundamentais da teoria. Estes conceitos foram descritos nos moldes apresentados pelos autores do livro, acrescentando exemplos e simplicaes desenvolvidos pelo autor do presente texto ou publicados na fonte Wikipedia. Para facilitar a compreenso, os clculos descritos neste texto foram implementados em uma planilha do Excel, disponvel em http://www.ib.usp.br/rpavao/entropia.xls.
Entropia
O conceito de informao muito amplo para ser capturado por uma nica denio. No entanto, para qualquer distribuio de probabilidades, possvel denir uma quantidade denominada entropia que tem muitas propriedades que esto de acordo com a noo intuitiva do que uma medida de informao deveria ser. Entropia a medida de incerteza de uma varivel aleatria, dada pela equao
H=
texto, usamos log base 2, e, assim, a entropia expressa em bits. A entropia do lance de uma moeda honesta
1 bit (pcara = pcoroa = 0.5; log(1/pcara ) = log(1/pcoroa ) = 1; H = pcara log(1/pcara ) + pcoroa log(1/pcoroa ) = 0.5 1 + 0.5 1 = 1).
Note que entropia uma funo da distribuio da varivel aleatria; no depende, portanto, dos valores assumidos por ela, refere-se apenas s suas probabilidades. Outra explicao possvel para o conceito de entropia da distribuio de probabilidades (H ) a de que esta uma mdia ponderada das entropias dos eventos dessa distribuio (hi ). A entropia do evento
No exemplo dos lances da moeda honesta, a entropia dos evento cara de 1 bit, assim como a entropia do evento coroa; a mdia ponderada (com probabilidade
0.5
1 bit. h, p h e H
probabilidade de um evento binrio (em que a varivel aleatria inclui apenas os eventos 0 ou 1). O valor de entropia (H ) zero quando
p=0
ou
p = 1,
pois
h, p h
um evento binrio. A entropia do evento (h) dada por do evento ponderada pela sua probabilidade (p
h)
entropia da distribuio de probabilidades (H ) dada pela soma das entropias dos eventos ponderada pelas suas probabilidades. Uma estratgia bastante intuitiva para entender o conceito de entropia atravs da aplicao da codicao tima de mensagens. Um determinado sistema codicador foi projetado para receber como entradas sries de eventos A, B, C e D e responder como sadas sries de so equiprovveis nas mensagens (p
0 ou 1. Se os eventos A, B, C e D = 0.25 cada), a codicao tima para cada evento deve conter 2 bits (11, 10, 01 e 00, respectivamente), conforme descrito pela frmula de entropia do evento (h). A entropia das mensagens, dada pela
01, 001
000,
do evento (h).
distribuio de probabilidades (H ), tem o valor de tamanho mdio por evento descrito. tima de mensagens, a entropia
1.75
facilmente justicada por continuidade, uma vez que quando idade zero no muda a entropia. Os valores de entropia (H e disso que
x log(x)
tende a zero
tende a zero (ver Figura 1). Assim, a adio de termos com probabil-
0 pi 1,
o que implica em
A prova
H(X; Y )),
I(X; Y )).
da Figura 2.
"
1 H(X; Y ) = x y px;y log px;y . Essa denio no realmente nova, pois X; Y pode ser considerada uma varivel aleatria nica, com uma distribuio probabilstica de eventos xi e yi concatenados, na forma xi &yi . Dessa forma, a equao da entropia para uma varivel aleatria pode ser usada para quanticao da entropia conjunta, H(X; Y ) = H(X&Y ) = px&y 1/px&y . 1 A entropia condicional dada por H(X|Y ) = x y px;y log py|x . Uma estratgia simples de clculo H(X|Y ) = H(X; Y ) H(Y ), em que os valores H(X; Y ) e H(Y ) podem ser calculados pela equao da entropia para uma varivel aleatria. Note que H(X|Y ) geralmente difere de H(Y |X); no entanto, h a propriedade H(X) H(X|Y ) = H(Y ) H(Y |X), uma forma de obter a
A entropia conjunta dada por informao mtua entre as distribuies. A informao mtua dada por
I(X; Y ) = x y px;y log pxx;yy . Uma p estratgia simples de clculo I(X; Y ) = H(X) + H(Y ) H(X; Y ), em que os valores H(X), H(Y ) e H(X; Y ) podem ser calculados pela equao da entropia
para uma varivel aleatria. Uma implementao computacional para quanticao da entropia conjunta, entropia condicional e informao mtua, capaz de lidar com mais de duas variveis aleatrias, foi desenvolvidas para Matlab por Will Dwinnell; acesse as rotinas em http://www.mathworks.com/matlabcentral/leexchange/authors/85655.
Distncia
A distncia de KullbackLeibler, tambm chamada de entropia relativa, uma medida da distncia entre duas distribuies de probabilidade. A distncia de KullbackLeibler dades
D(p||q) =
pi log(pi /qi ) =
pi log(1/qi ) pi log(1/pi )
p e q.
a mesma estratgia apresentada previamente, tambm facilita o entendimento do conceito de distncia. Se o sistema codicador fosse planejado para tratar os eventos A, B, C e D nas mensagens, como se fossem equiprovveis (qi para cada evento teria
bits (11,
10, 01
= 0.25 cada), a codicao 00, respectivamente), conforme de(h(q)). A entropia esperada das mene
q,
pi = 0.5, 0.25, 0.125 e 0.125, respectivamente, e a codicao tima para h(pi ) = 1, 2, 3 e 3 bits (1, 01, 001 e 000, respectivamente); denindo, ento, que a entropia das mensagens verdadeira de H(p) = 1.75 bits. No entanto, a aplicao da codicao para distribuio q , com h(qi ) = 2 bits para cada evento para a distribuio p resulta em inecincia (i.e. gasto adicional de bits) para os eventos A, B, C e D de log(pi /qi ) = 1, 0, =1 e =1 bit,
q para distribuio p de D(p||q) = 0.25 bit. Nesse caso, a D(p||q) observada foi igual diferena entre H(p) e H(q), porm essa relao encontrada apenas em alguns
mdia por evento descrito pela codicao para distribuio verdadeira casos.
qi = 0.5, 0.125 (h(qi ) = 1, 2, 3 e 3 bits e H(q) = 1.75 bits) e distribuio verdadeira dada por pi = 0.125, 0.125, 0.25 e 0.5 (h(pi ) = 3, 3, 2 e 1 bits e H(p) = 1.75 bits). Nesse caso, a inecincia para os eventos seria de log(pi /qi ) = =2, =1, 1 e 2 bits, e as inecincias ponderadas pelas probabilidades verdadeiras seriam pi log(pi /qi ) = =0.25, =0.125, 0.25 e 1 bit, respectivamente. Assim, a inecincia mdia por evento descrito pela codicao para distribuio q para distribuio verdadeira p seria de D(p||q) = 0.875 bit.
em que os eventos A, B, C e D tm distribuio esperada dada por e
0.25, 0.125
Assim, se a verdadeira distribuio de uma varivel aleatria fosse conhecida, seria possvel construir um cdigo com descrio mdia de tamanho
H(p).
q,
seriam
necessrios
H(p) + D(p||q)
Essa quantidade de informao denominada entropia cruzada, que consiste do nmero mdio de bits para identicar um evento de uma distribuio verdadeira por
p usando um esquema de codicao baseado na distribuio q , dada H(p; q) = pi log(1/qi ) = H(p)+D(p||q). Note que a notao de entropia log(pi /qi ))
cruzada a mesma da entropia conjunta; os conceitos, entretanto, so distintos. A Figura 3 apresenta diferentes distribuies probabilsticas de trinta eventos, a inecincia ponderada associada a cada evento (pi e a soma destas, que consiste na distncia de KullbackLeibler (D(p||q)). Note que os
valores de inecincia ponderada maiores do que zero correspondem a eventos que ocorrem na distribuio verdadeira com maior probabilidade do que na distribuio esperada. J eventos com inecincia ponderada menor do que zero (i.e., eventos com codicao mais econmica do que a codicao tima) so eventos que ocorrem na distribuio verdadeira com menor probabilidade do que na distribuio esperada; por serem pouco frequentes na distribuio verdadeira, sua inecincia (negativa), quando ponderada pelo os valores de distncia nunca sejam negativos. a inecincia igual a zero.
pi
duzida na denio do valor de distncia nal essa propriedade garante que Finalmente, os eventos com mesma probabilidade nas distribuies esperada e verdadeira esto associados
Figura 3 Distncias de Kullback-Leibler entre diferentes distribuies de probabilidade de trinta eventos discretos. As curvas ajustadas foram inseridas apenas para facilitar a visualizao das distribuies.
0 log(0/q) = 0
p log(p/0) =
so usadas na teoria da
informao; essas convenes so justicadas por continuidade. Nos casos em que se deseja diferenciar entre as distncias que envolvem distribuies presentes na distribuio
D(p||q1) e D(p||q2)
q1
q2
p,
tribuies, denindo uma probabilidade irrisria mnima para os eventos. Esse procedimento foi aplicado aos valores de probabilidade das distribuies apresen-
0 e 0.19, e os usados 0.01 e 0.14 (com a aplicao desse procedimento D(p||q1) = D(p||q2) = 0.70 bits e D(p||q3) = 1.83 bits; sem a aplicao, D(p||q1) = D(p||q2) = D(p||q3) = ). Os valores de D(p||q) so sempre maiores que zero (se as distribuies p e q so diferentes) ou iguais a zero (se as distribuies p e q so iguais).
tadas na Figura 3, cujos valores originais variavam entre para os clculos variavam entre Apesar do nome, a distncia de Kullback-Leibler no propriamente uma distncia entre as distribuies, uma vez que ela no simtrica e no satisfaz a desigualdade triangular, da geometria euclidiana. Essa caracterstica est representada na Figura 3, em que os valores das probabilidades so os mesmos
D(p||q2) = D(q2||q3) = 0.70 bits, e p e q3 no pode ser obtida pela soma da distncia p a q2 com a distncia q2 a q3 (0.7 + 0.7 = 1.83). Alm disso, em geral o valor de D(p||q) diferente do valor de D(q||p). D(p||q3) = 1.83
bits. Isto , a distncia entre
Referncias
[1] Cover TM, Thomas, JA, 1991. Elements of Information Theory. WileyInterscience, New York. [2] http://en.wikipedia.org/wiki/File: KL-Gauss-Example.png [3] http://pt.wikipedia.org/wiki/Complexidade_de_Kolmogorov#Objetivo_ da_complexidade_de_Kolmogorov