You are on page 1of 3

Propiedades de la Entropía

Con objeto de deducir algunas propiedades de la entropía consideraremos una propiedad particular del logaritmo. La fig. no. 1 representa la curva de variación del logaritmo natural de x, así como la recta definida por la ecuación y = x-1

Fig. no. 1: Logaritmo natural de x y x-1 Fácilmente puede demostrarse que la recta se mantiene siempre por arriba de la curva y=ln(x). Así, pues, podemos escribir la inecuación: Que será una igualdad si, y solamente si, x=1: Multiplicando (1) por -1, deducimos una nueva inecuación: Que será una igualdad si, y solamente si, x=1 Deduciremos finalmente una última inecuación a partir de (1). Sean x1, x2,…,xq e y1, y2,…,yq dos conjuntos de probabilidades. Es decir:

∑ Haciendo uso de: escribiremos:

y aplicando la inecuación (1) a cada término de la suma, ∑ ∑ ( )

el valor máximo de la entropía es precisamente log q. i=1. i = 1. De la condición que transforma (2) en una igualdad se deduce la igualdad de (6) si. Un ejemplo particularmente importante de fuente de información de memoria nula corresponde a una fuente binaria de memoria nula. 1). Es decir. H (S) es siempre menor o igual que log q. La . solamente si xi = yi Como se dijo anteriormente. Es lógico. definida por su alfabeto S= {Si}. La H(S) bien dada por: ∑ Consideremos la expresión: ∑ ∑ ∑ El último miembro se dedujo haciendo intervenir la relación: Aplicando las inecuaciones (2) a (5). 2. y solamente si. Supongamos una fuente de memoria nula.(∑ ∑ ) O ∑ ∑ Que será una igualdad para cualquier valor de i. por lo tanto. q. el alfabeto se reduce a {O. pues. fuente de información de memoria nula.. . . En tal fuente. Pi = l/q... En particular. la entropía de una fuente podía interpretarse como la información media por símbolo emitida por la fuente. analizar en qué modo la entropía depende de la probabilidad de los diferentes símbolos de la fuente. alcanzándose solamente si todos los símbolos de la fuente son equiprobables.. se llega a la expresión: ∑ ∑ ( ∑ ) ∑ Así. y sus probabilidades P(Si).q. hemos demostrado que en una fuente de información de memoria nula con un alfabeto de q símbolos.2. sería interesante conocer cuanta información puede suministrar una.

1 – w. Dado un proceso con posibles resultados {A1. la función es máxima en el caso de que . como es lógico. 3. El resultado es intuitivo ya que tenemos la mayor incertidumbre del mensaje. cuando los valores posibles de la variable son equiprobables 4..An} con probabilidades relativas p1. Esto es evidente ya que al ser ..... ..pn. Dado un proceso con posibles resultados {A1. excepto para una clase.. tal que: .probabilidad de un 0 es w y la de un 1. La entropía es no negativa..w. Calcularemos la entropía a ∑ partir de la fórmula: La entropía tiene las siguientes propiedades: 1.. disminuye significativamente la entropía porque.pn. Llamaremos ̅ a 1 .... De forma intuitiva podemos pensar que cuando uno o más estados tienen una probabilidad alta.An} con probabilidades relativas p1.. la función es nula en el caso de que para todo i. existe una menor incertidumbre respecto al mensaje que se recibirá.. Por tanto podemos decir que 2. la entropía H está acotada superiormente (cuando es máxima) y no supone pérdida de información. una probabilidad entonces y por tanto Es decir.