Beruflich Dokumente
Kultur Dokumente
AGRADECIMIENTOS
ÍNDICE
Introducción 6
Percepción 6
El sistema visual 7
El ojo 7
La retina 7
Los conos 8
Los bastones 9
Psicofísica visual 9
El sistema auditivo 11
El oído 12
La membrana basilar 12
Psicofísica auditiva 13
Bandas críticas 13
Enmascaramiento frecuencial 14
Enmascaramiento temporal 15
Compresión 16
Codificación de Huffman 16
Codificación aritmética 19
Compresión de imágenes 20
Compresión de imágenes con pérdida 21
Submuestreo (subsampling) 21
Formatos de muestreo de YCbCr 23
Transformada discreta del coseno (DCT) 24
Wavelet 28
Formato de imagen JPEG 30
Esquema secuencial (baseline) 32
Cuantificación 33
Recorrido en zigzag 35
Codificación RLC 35
Codificación DPCM 36
Codificación entrópica 37
Codificación de los coeficientes DC Diferenciales 37
Codificación de los coeficientes AC 38
Caso de estudio: COMPRESSLIB 40
Librería de compresión de imágenes 41
Muestreo 43
Discretización en bloques 45
Transformación DCT 45
Cuantificación 48
Codificación DPCM 49
Recorrido en zigzag y codificación RLC 50
Codificación de Huffman 54
Compress demo 56
Image viewer 57
Compresión de video 59
Codificación temporal 60
Compensación de movimiento 60
Compresión de audio 61
Replicación de banda espectral (SBR) 61
Formato de video MPEG2 62
Perfiles y niveles 63
Capas 63
Codificación de video 64
Cuadros I, P, B, D 64
Compensación de movimiento 65
Codificación de audio 66
Modelo psicoacústico 67
Multiplexado y sincronización de audio y video 69
INTRODUCCIÓN
Históricamente la representación de la información ha sido una de las áreas
que ha generado mucho interés. En los comienzos de la computación, las
limitaciones en los medios de almacenamiento convirtieron en una tarea crucial la
representación óptima de la información. Técnicas de compresión como la
codificación de Lempel-Ziv, de Huffman, o la aritmética, permitieron representar la
información con mucho menor cantidad de datos.
En las tres técnicas anteriormente mencionadas se procesan los datos de
modo tal de evitar almacenar información redundante. Si la información
recuperada luego del proceso de descompresión es exactamente igual a la
original, decimos que es un proceso de compresión sin pérdida, en caso contrario
se dice que es un proceso de compresión con pérdida.
La primera de las alternativas se basa en la redundancia estadística (entropía)
de los datos y es de un uso muy general, ya que no pierde información. La
segunda puede lograr relaciones de compresión mucho mejores, pero lo hace
mediante la eliminación de información. Cuanto más información se elimine, mayor
será la relación de compresión, pero la calidad de la información recuperada será
menor. Debido a esto entra en juego la noción de calidad —que es inversamente
proporcional a la relación de compresión.
La compresión con pérdida sin embargo, sólo puede utilizarse para datos con
forma específica, pues en algunos casos los datos son intolerantes a la pérdida de
información. La compresión de imágenes, sonido y video son áreas de gran interés
que, basándose en la percepción humana, descartan información irrelevante para
poder lograr su cometido.
Afortunadamente la tecnología de almacenamiento ha evolucionado de un
modo considerable, no obstante el problema persiste. Áreas como la televisión
satelital, teleconferencias, telefonía visual, la industria cinematográfica, grandes
bases de datos multimedia, etc., no podrían existir —incluso aprovechando la
actual tecnología de almacenamiento disponible— si no fuera por la posibilidad de
compresión de datos.
PERCEPCIÓN
El ser humano posee muy buenos sensores que le permiten obtener una
representación del mundo exterior. Esto lo logra a través del sentido de la vista, del
oído, del tacto, del olfato y del gusto. Al tratarse de una investigación sobre
compresión de imágenes y de video, nosotros sólo nos concentraremos en el
sentido de la vista y del oído. Tanto el ojo como el oído tienen sus características
especiales y sus limitaciones. El estudio detallado de éstas ha hecho posible el
desarrollo de técnicas de compresión —tanto de sonido como de imágenes y
video— que permiten ponderar la información, de manera tal de priorizar los datos
de mayor relevancia para nuestros órganos. Primero analizaremos brevemente la
visión humana, luego la audición.
El sistema visual
La vista es uno de los cinco sentidos corporales, por el que se percibe la luz y
que da a conocer el color, la forma, la distancia, el tamaño y el movimiento de los
cuerpos.
La visión contribuye a informarnos de nuestra posición y mantiene conexiones
con los centros que rigen el equilibrio postural. Es el resultado de una serie de
fenómenos sucesivos que se producen de modo coordinado: 1) formación de la
imagen en la retina; 2) estimulación de las células receptoras de la retina; 3)
conducción al cerebro del impulso elaborado por dichas células; 4) formación de la
imagen en el cerebro.
El ojo
El ojo le transmite la información al cerebro a través del nervio óptico. Esta
información se propaga por impulsos de naturaleza electroquímica, cuya velocidad
está comprendida entre diez y cien metros por segundo.
Cuando los ojos están abiertos, la luz entra por la pupila, que es una abertura
del iris. El diámetro de la pupila puede modificarse: se agranda cuando desciende
la luminosidad y se contrae a plena luz, y ello de modo automático, obedeciendo a
un reflejo nervioso.
Detrás de la pupila se encuentra el cristalino, que concentra la luz sobre el
fondo del ojo. El cristalino es regulable, permitiendo así ver con claridad tanto los
objetos próximos como los lejanos.
En el fondo del ojo se halla situada la retina. La retina esta formada por capas
de células nerviosas sensibles a la luz.
La córnea esta situada en la parte anterior del ojo y es, al igual que el cristalino,
una superficie que contribuye a concentrar los rayos luminosos sobre la retina. El
cristalino —y, en cierta medida, también la córnea— desvía los rayos de tal forma
que la imagen se proyecta invertida sobre la retina.
La retina
La retina está compuesta por fotorreceptores que convierten la intensidad y el
color de la luz en señales nerviosas que son procesadas por el cerebro. La retina
contiene dos clases de fotorreceptores, bastones y conos. Los bastones son más
numerosos —alrededor de 120 millones— y son más sensitivos a la luz que los
conos. Sin embargo, los bastones no son sensibles al color. Los conos —entre 6 y
7 millones— son quienes proveen al ojo de sensitividad al color, y están
mayormente concentrados en la mácula. En el centro de esta región se encuentra
la fóvea —un área de 0.3 mm de diámetro—, donde no existen bastones y la
concentración de conos es muy grande.
Los conos
Las experiencias empíricas sugieren que dentro del conjunto de los conos
existen tres clases distintas de receptores de color, y se han establecido las curvas
de respuesta para cada tipo de cono (figura 1) [CRRE]. Basándose en estas
curvas de respuesta se pudieron clasificar los conos en "rojos" (64%), "verdes"
(32%) y "azules" (2%) [NAVE2005]. Los conos verdes y rojos están concentrados
en la fóvea, mientras que la sensitividad de los conos azules se encuentra
mayormente fuera de esta zona.
Los conos azules merecen un estudio particular debido a que constituyen tan
sólo un 2% del total y se encuentran fuera de la fóvea. Se los identifica en la curva
de respuesta a la luz en un pico aproximadamente a los 445 nm. Si bien son
mucho más sensitivos a la luz que los conos verdes y rojos, no es suficiente para
contrarrestar su poco porcentaje en cantidad. Sin embargo, la sensitividad al color
azul en nuestra percepción visual final es comparable a la de los colores verde y
rojo. Esto sugiere que nuestro cerebro posee un "amplificador azul".
La percepción visual de los objetos intensamente azules es menos precisa que
la percepción de objetos rojos o verdes. Esta reducción de agudeza visual se
atribuye a dos efectos. Primero, los conos azules se encuentran fuera de la fóvea,
donde los conos dispuestos muy cerca unos de otros pueden brindar la mayor
resolución. Segundo, el índice de refracción para la luz azul es lo suficientemente
diferente del índice de refracción de la luz roja y verde como para que cuando el
rojo y el verde estén en foco, el azul se vaya ligeramente de foco.
Los conos son los responsables de la visión de alta definición. El ojo se mueve
continuamente para que la luz reflejada por el objeto en interés se concentre en la
fóvea, donde reside la mayor cantidad de conos.
Los bastones
Si bien anteriormente mencionamos que la presencia de bastones es nula
dentro de la fóvea, éstos se encuentran concentrados en todo el resto de la
superficie de la retina. Son los encargados de la visión nocturna, de la detección
de los movimientos y de la visión periférica.
Los bastones son fotorreceptores increíblemente eficientes —mas de mil veces
más sensitivos que los conos. Tal es así que, bajo condiciones óptimas, pueden
activarse tan sólo por fotones individuales. La visión adaptada a la oscuridad se
alcanza en su totalidad luego de un período de oscuridad considerable (alrededor
de 30 minutos). Esto se debe a que el proceso de adaptación de los bastones es
mucho más lento que el de los conos.
Mientras que la agudeza o resolución visual es mucho mejor con los conos, los
bastones son mejores sensores de movimiento. Debido a que los bastones
predominan en la visión periférica, esta visión es más sensitiva a la luz, y por lo
tanto podemos ver objetos menos brillantes con nuestra visión periférica. Por
ejemplo, si vemos una estrella no muy brillante con nuestra visión periférica, al
intentar mirarla directamente desaparecerá. Esto es debido a que estamos
moviendo la imagen dentro de la región de la fóvea, la cual es rica en conos y
pobre en bastones, y por lo tanto menos sensitiva a la luz. Por la misma razón es
que se pueden detectar mejor los movimientos con la visión periférica.
Psicofísica visual
Una de las áreas en donde comenzó la psicología es en el campo de la
psicofísica. La psicofísica intenta encontrar la "física del cuerpo humano". Consiste
en aplicarle un estímulo a una persona, y luego obtener de esta persona la
respuesta de la experiencia psicológica asociada al estímulo físico.
Uno de los descubrimientos es la noción de threshold o umbral. Un umbral es
un límite psicológico de la percepción. El umbral absoluto es la mínima cantidad de
estimulación sensorial que se puede detectar el 50 % de las veces (el motivo por el
cual el límite se fijó en el 50 % es la variabilidad de la capacidad humana). El
umbral relativo es el menor incremento o decremento de un estímulo físico que
puede detectarse el 50 % de las veces. La noción de umbral no es exclusiva del
sentido de la vista, sino que se puede aplicar a cualquiera de los órganos
sensoriales. Un ejemplo de umbral relativo aplicado al sentido de la vista podría
ser decidir cuál de dos luces es más brillante.
La relación entre la intensidad de la luz que entra al ojo y el brillo percibido no
es una función lineal. Esto significa que a medida que la intensidad de una fuente
luminosa cambia, el observador no percibirá un cambio igual en el brillo. La
respuesta de la intensidad real del ojo es muy parecida a una respuesta
logarítmica. De hecho, se ha mostrado experimentalmente que la intensidad de
una fuente luminosa debe ser cercana al doble antes de que el ojo pueda detectar
El sistema auditivo
Este es el sistema mediante el cual podemos percibir los sonidos. Las
cualidades del sonido percibidas por el oído son el tono, la intensidad y el timbre.
El tono depende de la frecuencia de las vibraciones: una frecuencia elevada
provoca tonos agudos y una frecuencia baja tonos graves. La frecuencia se mide
en Hertz —Hz.— y se refiere a la cantidad de ciclos por segundo de una onda
periódica. La intensidad con que se percibe un sonido depende de la amplitud de
la vibración y del tono. Psicológicamente se lo percibe como volumen y se mide en
decibeles —dB. El timbre permite distinguir sonidos de la misma intensidad y
frecuencia, pero con distintas armónicas de la frecuencia del tono fundamental; es
decir, con distinta forma de onda —por este motivo es que podemos diferenciar
una misma nota en distintos instrumentos musicales.
El sonido puede ser medido con gran exactitud, sin embargo entender cómo se
recibe y se transforma en pensamientos dentro del cerebro no es nada trivial. La
audición es el resultado de una serie de procesos acústicos, mecánicos, nerviosos
El oído
En la estructura física del oído se pueden distinguir tres zonas: el oído externo,
el oído medio y el oído interno.
El oído externo comprende el pabellón de la oreja, en forma de embudo, y el
conducto auditivo externo, obturado en su extremo por el tímpano.
El oído medio se halla constituido por la caja del tímpano, cavidad que contiene
la cadena de huesecillos: martillo, yunque y estribo. Estos huesecillos transmiten
las vibraciones desde el tímpano hasta la ventana oval.
El oído interno está constituido por una serie de cavidades alojadas en el hueso
temporal, y consta de tres partes: el vestíbulo, la cóclea y los conductos
semicirculares. En el vestíbulo se encuentra la ventana oval, por la que el oído
interno comunica con el medio. Al vestíbulo le sigue la cóclea, un tubo diminuto
que se enrolla dos veces y media sobre sí mismo. El interior de la cóclea está
dividido en tres conductos mediante dos membranas que lo recorren
longitudinalmente. Sobre una de ellas se encuentra el órgano de Corti, que es el
órgano de la audición propiamente dicho y que está formado por unas 25.000
células sensitivas.
Las vibraciones sonoras transmitidas por las partículas del aire son canalizadas
por el pabellón de la oreja hacia el conducto auditivo externo, hasta llegar al
tímpano. Por medio de la cadena de huesecillos el tímpano comunica las
vibraciones a la ventana oval y a la cóclea. La presión originada en la cóclea por
las vibraciones sonoras hace vibrar a la membrana basilar. Durante el paso de la
onda, el órgano de Corti también oscila, friccionando la membrana tectorial y
excitando las células sensoriales, que estimulan el cerebro.
La membrana basilar
La membrana basilar se encuentra dentro de la cóclea y la recorre en toda su
extensión. Esta membrana varía en masa y rigidez a lo largo de su longitud. Sobre
el extremo más próximo a la ventana oval la membrana es rígida y liviana, y
debido a esto su frecuencia de resonancia es alta. Sobre el extremo más lejano la
membrana es blanda y pesada, y es por esto que su frecuencia de resonancia es
baja. El rango de las frecuencias de resonancia disponibles en la membrana
determina el rango de frecuencias de la audición humana. El oído humano puede
distinguir entre 16 y 20.000 vibraciones por segundo (entre 16 Hz. y 20 kHz.), pero
la mayoría de las personas sólo puede distinguir sonidos que se encuentran dentro
del rango de los 20 Hz. hasta los 15 kHz. La membrana basilar transforma cada
frecuencia en impulsos nerviosos en una región distinta, de manera que la
percepción del tono depende del oído y no del sistema nervioso central. Además,
esta membrana posee pequeños músculos que actúan como si fuera un sistema
de realimentación positiva que mejora el factor Q de resonancia [TEKTRONIX97].
Psicofísica auditiva
La psicofísica auditiva o psicoacústica es el estudio de la percepción subjetiva
de los sonidos en los seres humanos. En otras palabras, es el estudio de la
psicología de la percepción acústica.
Ya mencionamos en la sección de psicofísica visual que la noción de umbral no
es exclusiva de ningún sentido. Para el oído, el umbral relativo del tono sobre el
rango medio de audición es aproximadamente de 2 Hz. Es decir que se pueden
percibir cambios de tono no menores a 2 Hz. No obstante, bajo ciertas
condiciones, se puede llegar a percibir variaciones menores [WIKIPEDIA2005].
El límite inferior para el umbral absoluto de la intensidad de cualquier sonido
audible está a 0 dB. El límite superior no está tan claramente definido. Se podría
definir como la intensidad máxima sin que dañe físicamente al oído. Pero este no
es un límite fijo, pues depende del tiempo de exposición. Por ejemplo,
exposiciones de cortos períodos de sonidos de 120 dB. podrían ser inofensivas
para el oído, sin embargo largas exposiciones de sonidos de 80 dB. podrían
dañarlo.
Un estudio más riguroso de los límites inferiores de audibilidad determina que
el umbral mínimo para el cual se puede oír un sonido es dependiente de la
frecuencia del mismo. Por medio de mediciones de tonos de la menor intensidad
audible y a distintas frecuencias, se puede establecer una curva de respuesta de
umbral absoluto de audición (figura 5) [TEKTRONIX97]. El oído posee un pico de
sensitividad (un mínimo en la curva) dentro del rango de 1 kHz. hasta 5 kHz., y
cabe destacar que la voz humana cae dentro de este mismo rango.
Bandas críticas
Los sonidos con distintas frecuencias causan que vibren áreas diferentes de la
membrana basilar, excitando a unas u otras células sensitivas. Las señales de los
Enmascaramiento frecuencial
Bajo determinadas condiciones, un sonido que es claramente audible puede
ser enmascarado por otro sonido. Por ejemplo, se complicaría mucho mantener
una conversación si hay mucho ruido en el ambiente. A este fenómeno se lo llama
enmascaramiento frecuencial. Un sonido débil es enmascarado si se hace
inaudible con la presencia de otro más fuerte. Si un sonido se encuentra cercano
en frecuencia al sonido fuerte será más fácilmente enmascarado que si se
encuentra apartado de su frecuencia. En la figura 6 se puede apreciar cómo un
único tono afecta al umbral [TEKTRONIX97]. El umbral se incrementa tanto hacia
las frecuencias bajas como hacia las altas, pero el incremento hacia las
frecuencias altas es un poco más acentuado. En presencia de un espectro
complejo, como el de la música, el umbral se incrementaría en la mayoría del
rango. Es por esto que el zumbido de un cassette analógico sólo se puede oír
durante los espacios en blanco.
Enmascaramiento temporal
El comportamiento resonante de la membrana basilar es análogo al
comportamiento de un analizador de transformadas. De acuerdo a la teoría de las
transformadas, cuanto más exacto se conoce el dominio de la frecuencia de una
señal, menos exactitud se dispondrá en el dominio del tiempo —y viceversa. Es
decir que cuanto más pueda distinguir una transformada entre dos frecuencias,
menor será su capacidad para discriminar entre dos eventos. En el oído humano
se observa un compromiso de modo de equilibrar la incerteza en ambos dominios,
y por lo tanto no es perfecto en ninguno de ellos. La imperfección al discriminar
entre frecuencias es lo que produce el mencionado enmascaramiento frecuencial.
La imperfección en la discriminación del tiempo se debe a la respuesta
resonante del oído. El factor Q es tal que un determinado sonido debe estar
presente por al menos un milisegundo para que pueda ser audible. Debido a esta
lenta respuesta, el enmascaramiento puede producirse aún cuando las señales
involucradas no son simultáneas. El preenmascaramiento y postenmascaramiento
se producen cuando el sonido enmascarante continúa enmascarando sonidos más
débiles antes y después de la duración real del sonido enmascarante (figura 7)
[TEKTRONIX97].
COMPRESIÓN
La compresión de datos reduce la cantidad de bytes necesarios para
representar la información. Es decir, reduce la cantidad de memoria necesaria
para almacenar la información. Del mismo modo, también reduce la cantidad de
tiempo requerido para transmitir información a una tasa de transmisión dada.
Como ya mencionamos, podemos clasificar los métodos de compresión en:
Compresión sin pérdida.
Como los métodos de compresión con pérdida son muy dependientes del área
en cuestión —audio, imágenes, video, etc.—, en esta sección solamente nos
ocuparemos de la compresión sin pérdida.
Hay una gran cantidad de aplicaciones en las que no es posible realizar una
compresión con pérdida debido a que la mínima pérdida de la información original
sería intolerable —archivos de texto, ejecutables, etc. En estos casos la única
alternativa es la compresión sin pérdida. Pero de todos modos, en los casos en
que sí se puede aplicar compresión con pérdida, la mayoría de las veces también
se realiza (como último paso) una compresión sin pérdida. El hecho de aplicar una
compresión sin pérdida luego de haber realizado toda la compresión con pérdida
comprime aún mas los datos, sin mas efectos adversos que un incremento en el
tiempo de los procesos de compresión-descompresión.
Existen muchas técnicas de compresión sin pérdida, entre las más importantes
se encuentran la codificación de Huffman y la codificación aritmética. Estas
técnicas se basan en la codificación entrópica. La entropía es la cantidad de
información presente en los datos, y un codificador de entropía codifica un
conjunto de símbolos con la menor cantidad de bits necesarios para
representarlos.
Codificación de Huffman
La codificación de Huffman es un método de codificación entrópica de longitud
variable que asocia un valor específico con un único código. La codificación de
Huffman se conoce como una codificación de prefijo debido a que ningún código
es prefijo de otro más largo. Esta propiedad hace que un código Huffman sea
decodificable unívocamente.
La codificación de Huffman es general, es por esto que la compresión debe
pensarse sobre símbolos abstractos, siendo por ejemplo las letras del alfabeto un
caso particular. En un archivo de texto simple, cada caracter está representado por
ocho bits. Esta representación no es óptima si tenemos en cuenta que
estadísticamente algunos caracteres están presentes mucho más frecuentemente
que otros. La codificación de Huffman ordena los símbolos más frecuentes en
secuencias cortas de bits, y por lo tanto los símbolos menos frecuentes estarán
representados por secuencias más largas.
Las frecuencias relativas de todos los símbolos pueden ser conocidas —por
medio de estudios estadísticos— o pueden calcularse en cada caso en particular.
Por ejemplo, existen tablas que indican los valores probabilísticos de ocurrencia de
cada letra en un texto —cada idioma posee su propia tabla. Entonces, para
comprimir un texto se puede utilizar una codificación de Huffman siguiendo la tabla
correspondiente —que no necesariamente será cien por cien exacta— o calcular la
probabilidad real de cada símbolo que se encuentra en ese texto en particular.
Cada alternativa tiene sus ventajas y sus desventajas. El hecho de utilizar una
tabla facilita mucho la implementación del compresor —el descompresor utiliza la
misma tabla para llevar a cabo la tarea de descompresión—, pues de lo contrario
habría que contar las apariciones de cada caracter dentro del texto. Por esta
misma razón también puede ser —si el texto es extenso— que el compresor
resulte más eficiente. Por otro lado, si se calcula la probabilidad exacta de
aparición de cada símbolo, intuitivamente podríamos pensar que el texto acabaría
ocupando menos datos debido a que la representación de la información
terminaría siendo la óptima. Si bien esto es cierto, no debemos olvidarnos que
junto al texto comprimido debe estar también la tabla con la cual se llevó a cabo la
compresión, de lo contrario el proceso no sería reversible. Por lo tanto veremos
una ganancia al calcular las probabilidades reales sólo en aquellos textos tal que
su tamaño sea considerable respecto de lo que ocupa su tabla correspondiente
—a menos que la tabla estándar se ajuste muy bien al texto.
Generalmente las tablas no indican los valores probabilísticos, sino que
directamente muestran el código correspondiente. En el caso en que sólo se
disponga de las probabilidades —ya sea porque es la única información que brinda
la tabla o porque se desea utilizar una tabla ad hoc— habrá que construir una tabla
que indique el código que representa a cada símbolo. A continuación veremos un
ejemplo de cómo calcular las probabilidades reales de un texto y otro de cómo
construir una tabla de símbolos con sus respectivos códigos.
Supongamos el siguiente texto: "este es un texto de ejemplo". Primero
determinaremos el alfabeto, luego contaremos la cantidad de apariciones dentro
del texto. La longitud de nuestro texto es de 27 caracteres, por lo tanto la
probabilidad de cada símbolo será la cantidad de apariciones dividido 27.
Ahora veremos cómo construir una tabla de símbolos con sus respectivos
códigos, teniendo como dato sus probabilidades. Supongamos la siguiente tabla
[LIOU2001]:
Símbolo Probabilidad
a0 0.4
a1 0.3
a2 0.2
a3 0.04
a4 0.04
a5 0.02
Tabla 2: Probabilidades para construir una tabla de códigos Huffman.
El procedimiento es el siguiente:
Seguir el camino de cada símbolo hasta llegar al final (probabilidad 1) registrando los unos y
ceros.
Asignarle a cada símbolo la secuencia registrada, de derecha a izquierda.
Codificación aritmética
La codificación aritmética se basa en secuencias de símbolos. En vez de
asignarle un código único a cada símbolo, esta técnica genera una serie de
valores que corresponden con una única secuencia de datos. Para producir la
codificación se utiliza la probabilidad de ocurrencia de los símbolos individuales.
Esta técnica representa cada símbolo como un segmento de la recta real entre
0 y 1. La codificación de una secuencia de símbolos se logra seleccionando un
segmento de reales y transmitiendo un número específico dentro de ese
segmento.
Veamos un ejemplo para poder comprender mejor el método [LIOU2001].
Consideremos los siguientes símbolos con sus respectivas probabilidades de
ocurrencia:
Símbolo Probabilidad
A 0.50
C 0.30
G 0.15
T 0.5
Tabla 4: Probabilidades de codificación aritmética.
COMPRESIÓN DE IMÁGENES
La mayoría de las imágenes poseen una característica en común: los pixeles
cercanos están correlacionados, y por lo tanto contienen información redundante.
Entonces es primordial encontrar la representación menos correlacionada de la
imagen. En las imágenes tenemos dos tipos de redundancia:
Redundancia espacial (o correlación entre pixeles cercanos).
redundancia, en una imagen también es muy útil reducir la irrelevancia. Con esto
último nos referimos a omitir información que de todos modos ninguna persona
podrá distinguir (percepción).
Submuestreo (subsampling)
La forma más sencilla de reducir la cantidad de datos que ocupa una imagen
es directamente descartando pixeles. Si por ejemplo, eliminamos con regularidad
un pixel y el siguiente no, estaríamos comprimiendo la imagen a la mitad. Un
posible proceso de descompresión podría ser simplemente mediante replicación
de pixeles. Otra técnica más refinada podría ser realizar una interpolación de los
pixeles disponibles para obtener aquellos que habían sido descartados. Es muy
común encontrar en las imágenes que los pixeles adyacentes estén
correlacionados. Si este fuera el caso, la imagen reconstruida no será muy
diferente a la original.
Si bien la técnica anteriormente mencionada es válida, es un tanto agresiva y
puede producir degradaciones visuales intolerables para determinadas
aplicaciones. Es sabido que el ojo humano es más sensible a la luminancia (brillo)
que a la crominancia (color) —debido a que el ojo humano posee muchos mas
bastones que conos. Es por esto que los cambios graduales de color se ven como
un único color, y esto se puede utilizar para nuestro propósito.
Generalmente a las imágenes se las representa con el espacio de color RGB,
que es una tripla que define el color de cada pixel por medio de la combinación de
los tres colores primarios —rojo, verde y azul. En lugar de representar a una
imagen por medio de la adición de los colores primarios, podemos realizar una
conversión de espacios de color para poder representarla por medio de los
siguientes tres canales:
Y: Luminancia (brillo).
En las figuras 10, 11 y 12 se puede ver una imagen en color junto con sus
respectivos canales RGB y YCbCr.
Figura 13: Formato 4:4:4. Figura 14: Formato 4:2:2. Figura 15: Formato 4:1:1.
Los resultados finales de los cálculos se ven afectados por los errores
u 0, . . . , n
v 0, . . . , m
1
, 0
C 2
1, ≠0
La DCT puede implementarse siguiendo su definición, pero existen métodos
incrementales más veloces [RY1990], [GHANBARI2003].
Puede no resultar intuitivo de su definición, pero cada valor calculado en el
proceso de transformación involucra una matriz de transformación (función base)
distinta —de n m componentes. Para el caso más común de bloques de 8 8, se
cuenta con 64 matrices de transformación, cada una de 8 8.
Cada función base representa una combinación de frecuencias de la forma de
onda del coseno en dos dimensiones. La idea es determinar cuánto de cada
patrón de frecuencia hay en el bloque de datos a transformar. Esto se logra
realizando el producto interno de la entrada y su función base correspondiente. Es
decir, cada término de una función base específica se multiplica por su término
correspondiente en el bloque de datos. Luego, todos estos productos se suman
para formar un único valor. Este único valor representa la cantidad de la frecuencia
contenida en el bloque de datos. Básicamente, la DCT cambia los valores
originales que representan intensidades de color en valores que representan
frecuencias del coseno. En la figura 17 se observan las funciones base canónicas
y base DCT para un bloque de datos de 8 8.
Wavelet
Como ya mencionamos, las variaciones suaves en el color se corresponden
con variaciones de baja frecuencia y las variaciones fuertes de color se
corresponden con variaciones de alta frecuencia. La transformación del espacio de
intensidades de color al espacio frecuencial se puede llevar a cabo de muchos
modos. Uno de los posibles es la anteriormente presentada DCT. Otra de las
posibles técnicas es la descomposición de una imagen por medio de la
Transformada Discreta Wavelet o Discrete Wavelet Transform (DWT), la cual
analizaremos brevemente a continuación.
La forma general de una transformada wavelet unidimensional (1-D) se puede
apreciar en la figura 21. Aquí una señal pasa a través de un filtro pasa bajos y de
otro pasa altos, l y h (de lowpass y highpass, en inglés) respectivamente, y luego
se submuestrea en un factor de dos —esto causa un proceso con pérdida—,
logrando una transformada de un nivel. Se pueden realizar múltiples niveles
repitiendo los procesos de filtrado y eliminación (submuestreo), únicamente sobre
la rama del filtro pasa bajos. Este proceso se lleva a cabo para un número K finito
de niveles, obteniendo los coeficientes wavelet: d i1 n, i ∈ 1, . . . , K y d K0 n.
Cuando no se necesita tener conocimiento de la escala o de la frecuencia, el
conjunto entero de coeficientes wavelet se expresa como wn.
Así como la transformada wavelet se utiliza para separar una imagen en varias
clases de importancia, la antitransformada se utiliza para reensamblar las distintas
clases de datos, y de este modo poder reconstruir la imagen. Aquí también se
utiliza un filtro pasa bajos y otro pasa altos, pero el filtrado se realiza en forma
opuesta. Es decir, se comienza desde el nivel más alto, aplicando primero los
filtros por columna y luego por fila, hasta llegar al primer nivel.
La codificación basada en wavelet ha mejorado considerablemente durante los
últimos años. Un gran progreso fue la introducción de la codificación EZW
(embedded zero-tree), de Shapiro. Este algoritmo es capaz de aprovechar las
propiedades de multiresolución de la transformada wavelet y es muy eficiente.
Cuantificación
En este proceso se reduce la precisión de los coeficientes, consecuentemente
el número de bits necesarios para representarlos será menor. Esto se lleva a cabo
dividiendo cada valor en el bloque por un único divisor (entre 1 y 256) que está
almacenado en una tabla —tabla de cuantificación. Debido a la percepción
humana, generalmente las frecuencias más altas se dividen por factores mayores,
por lo tanto muchos coeficientes finalizan siendo cero. Matemáticamente la
cuantificación es una operación de división, sin embargo si los factores de
cuantificación se restringen a potencias de dos, esto se puede realizar muy
eficientemente realizando corrimientos.
La cantidad de precisión que se puede reducir sin involucrar pérdidas visuales
considerables es dependiente de los datos. Es por esto que el estándar JPEG no
impone ninguna tabla de cuantificación, sino que lo deja abierto para que cada
aplicación defina la más conveniente para sus propósitos. No obstante, existen
tablas de propósito general. Es usual que haya una tabla para la luminancia y otra
—con coeficientes mayores— para las crominancias. Además, al comprimir
utilizando estas tablas estándar, se puede almacenar en el encabezado un
parámetro de escalamiento. Esto le brinda flexibilidad a las tablas, pues
dependiendo del factor de escalamiento se podrá incrementar o disminuir la
calidad de la imagen —inversamente proporcional al factor de compresión. En la
figura 28 se muestra una tabla de cuantificación para luminancia y en la 29 una
para crominancias, ambas de propósito general [GHANBARI2003].
Recorrido en zigzag
Luego de la cuantificación, es muy probable que muchos términos que se
encuentran en la esquina inferior derecha se redondeen —o trunquen— a cero.
Será más eficiente almacenar la cantidad de ceros que almacenarlos
individualmente. Mas aún, cuando sólo queden elementos nulos por codificar, se
podrá almacenar un símbolo que indique esta situación.
El recorrido en zigzag es una técnica que reagrupa los términos de los bloques
en un arreglo lineal, de modo tal de incrementar la probabilidad de que los
elementos no nulos se encuentren al principio, agrupando los ceros al final. Esto
se logra recorriendo los bloques en zigzag a 45 grados, comenzando por el
extremo superior derecho y finalizando en el extremo inferior izquierdo, como se
muestra en la figura 30.
Codificación RLC
Una vez que se dispone del arreglo resultante del recorrido en zigzag, se lo
codifica con RLC (Run Length Coding - codificación de longitud de cadenas), en
series de pares (longitud, valor). La componente longitud indica la cantidad de
coeficientes nulos y la componente valor indica el siguiente coeficiente no nulo en
el arreglo. Cabe destacar que la componente longitud utilizará sólo cuatro bits, por
lo tanto su rango será de 0 a 15. Por lo tanto, si nos encontráramos con una
secuencia de, por ejemplo, 20 ceros y a continuación un 8, esta cadena se
representaría como: (15,0),(4,8). Es decir, el primer par indica que hay 15 ceros y
a continuación un cero —en total 16 ceros—; el primer término del segundo par
debe completar los 20 ceros, por lo tanto es 4, y finalmente le sigue el 8. Cuando
se detecta que el bloque lo termina una cadena de ceros, se codifica como (0,0).
Como muchas veces los arreglos quedan con largas cadenas de ceros
consecutivos, esta codificación elimina mucha redundancia.
Veamos un ejemplo completo, considerando el siguiente bloque:
Recorrido en zigzag:
-800 -73 0 -7 0 -2 0 -1
-800,-73,-73,0,0,0,-7,0,0,-7,0,0,0,
-73 0 0 0 0 0 0 0
0,0,-2,0,0,0,0,-2,0,0,0,0,0,0,0,-1,
0 0 0 0 0 0 0 0
0,0,0,0,0,0,-1,0,0,0,0,0,0,0,0,0,0,
-7 0 0 0 0 0 0 0
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
0 0 0 0 0 0 0 0
-2 0 0 0 0 0 0 0
RLC:
0 0 0 0 0 0 0 0
(0,-800),(0,-73),(0,-73),(3,-7),(2,-7),
-1 0 0 0 0 0 0 0
(5,-2),(4,-2),(7,-1),(6,-1),(0,0)
Codificación DPCM
La codificación DPCM (Differential Pulse Code Molulation - codificación
modulada de pulsos diferenciales) es un caso particular de la codificación
predictiva. Se basa en la información ya disponible para predecir valores futuros, y
lo que se codifica es la diferencia entre el valor real y el de la predicción.
La idea es restarle al coeficiente DC actual el coeficiente DC anterior, y
almacenar ese valor —excepto que se trate del primer coeficiente DC de la
imagen, en cuyo caso se almacena el coeficiente DC original. A este valor lo
llamaremos DC Diferencial, o simplemente Dif. Este tratamiento por separado de
los coeficientes AC se realiza para explotar la correlación entre los valores DC de
los bloques adyacentes.
Por ejemplo, supongamos que los cuatro primeros bloques —ya
cuantificados— poseen los siguientes coeficientes DC: 733, 708, 737 y 677. La
codificación DPCM se observa en la figura 31.
Codificación entrópica
Para reducir la cantidad de bits necesarios para representar los bloques
cuantificados, tanto los coeficientes Dif. como los AC se codifican entrópicamente.
Para esto se utilizan dos esquemas básicos: el VLC (Variable Length Coding -
codificación de longitud variable) y el VLI (Variable Length Integer - entero de
longitud variable). El VLC codifica la cantidad de bits utilizados por cada
coeficiente, mientras que el VLI codifica los enteros signados.
Aquí se utilizarán tablas de códigos Huffman predefinidas, sin embargo
recordemos que el estándar JPEG permite especificar sus propios códigos en el
encabezado.
viewer.
siempre debe contener los caracteres ’b’, ’c’, ’i’ y ’ ’(espacio) —4 datos
de tipo char (en total 4 bytes).
L (Largo) - Este campo almacena el largo (o ancho) de la imagen,
BPP (Bits Por Pixel) - Este campo almacena la cantidad de bits que
Muestreo
En esta etapa, para la compresión, se realiza un submuestreo de los canales
YCbCr con el formato 4:2:2.
A cada canal se lo representa como si fuera una imagen individual. Los datos
están almacenados en un arreglo, por filas, de izquierda a derecha y de arriba
hacia abajo. Entonces, luego de hacer la conversión de espacio de color a YCbCr
4:4:4, tendremos una imagen que representa al canal Y, otra que representa al
canal Cb y otra que representa al canal Cr; cada una de 8 bits por pixel y del
mismo largo y alto que la original. Resta realizar el submuestreo de los canales Cb
y Cr. Para esto, a cada canal hay que aplicarle el siguiente algoritmo:
ancho original
es alto original
size 2
(la mitad de la cantidad de pixeles
del canal Y).
dataChrominancePtr[] es un puntero (original) a una estructura que
alias[0] dataChrominancePtr[0];
dataChrominancePtr;
for ( UInt32 i 0; i ( size - 2 ); i 2 )
{
alias[2] dataChrominancePtr[0];
temporalValue floor ( ( ( alias[0] alias[2] ) / 2 ) 0.5 );
if ( temporalValue 255 )
temporalValue 255;
else if ( temporalValue 0 )
temporalValue 0;
alias[1] temporalValue;
alias 2;
dataChrominancePtr;
};
canal Y).
Entonces el procedimiento es: 1) antes de comenzar el ciclo, se copia en la
primer componente del puntero nuevo, la primer componente del puntero original;
2) se copia en la tercer componente del puntero nuevo, la segunda componente
del puntero original; 3) se almacena en la segunda componente del puntero nuevo,
un promedio de la primer y tercer componente; 4) se avanza en dos el puntero
nuevo y en uno el puntero original; 5) se repiten los pasos 2), 3) y 4) hasta
terminar el proceso.
Discretización en bloques
Hasta ahora, siempre se dijo que se deben discretizar las imágenes en bloques
de 8 8, pero esto no siempre es posible. Si la imagen no tiene un largo o alto
múltiplo de 8, entonces será imposible dividir a esta imagen en bloques de sólo
8 8. No existe una única manera de afrontar este problema. Una posible solución
es "agrandar" la imagen hasta alcanzar el múltiplo de 8 más cercano —en la
dimensión que sea necesario—, y en el proceso de descompresión volver la
imagen a su tamaño original. En el presente caso de estudio se adoptó otra
solución, permitiendo bloques menores a 8 8. Supongamos que se dispone de
una imagen de 50 35, entonces tendremos 24 bloques de 8 8, 4 de 2 8, 4 de
8 3 y 1 de 2 3 (figura 35). Esta solución complica un poco la implementación de
la transformada DCT, ya que no alcanza con realizar el caso particular de 8 8,
sino que se debe llevar a cabo de modo general.
Transformación DCT
Dado que la DCT ya se ha analizado con suficiente rigurosidad, ahora sólo nos
limitaremos a explicar cómo se ha implementado en este caso de estudio. A
continuación se presenta la implementación del constructor de una matriz de
transformación de rows columns elementos.
Real c, d;
for ( UInt8 u 0; u rows; u )
{
if ( u 0 )
c 1/sqrt( Real(2.0) );
else c 1;
for ( UInt8 v 0; v columns; v )
{
if ( v 0 )
d 1/sqrt( Real(2.0) );
else d 1;
for ( UInt8 i 0; i rows; i )
Real c, d;
for ( UInt8 u 0; u rows; u )
for ( UInt8 v 0; v columns; v )
for ( UInt8 i 0; i rows; i )
{
if ( i 0 )
c 1/sqrt( Real(2.0) );
else c 1;
for ( UInt8 j 0; j columns; j )
{
if ( j 0 )
d 1/sqrt( Real(2.0) );
else d 1;
Real first ( 2*c*d / sqrt( Real( rows*columns ) ) );
Real cos1 cos( (2*u 1) * i*PI/( 2*rows ) );
Real cos2 cos( (2*v 1) * j*PI/( 2*columns ) );
this-setComponent (v rows*u, j columns*i, first * cos1 * cos2 );
};
};
Cuantificación
Para la cuantificación, se utiliza una tabla para la luminancia (canal Y) y otra
para las crominancias (canales Cb y Cr). Por defecto, estas tablas son las
sugeridas por [GHANBARI2003] —figuras 28 y 29—, pero al estar almacenadas
en un archivo de texto (quantization.tbl) son fácilmente editables. Vale la
pena aclarar que una imagen debe ser descomprimida con las mismas tablas que
fue comprimida, por esta razón se recomienda tener especial cuidado al editarlas.
Tanto para la cuantificación como para la descuantificación, se utiliza un
parámetro C (Calidad) de escalado, que determina la calidad de la imagen. Este
parámetro es un número real entre 0 y 1, siendo 0 la peor calidad (factor de
compresión más alto), 0.66 una calidad buena (sin escalado) y 1 la mejor calidad
(factor de compresión más bajo). Previo al escalamiento propiamente dicho, a este
parámetro C se le realiza un preproceso. Notaremos como C original y C preprocesado al
parámetro C antes y después del preproceso respectivamente. El parámetro
C preprocesado también será un número real, pero su rango es de 0.25 a 16. El
preproceso es el siguiente:
C preprocesado 2 1−C original 6−2
Codificación DPCM
La implementación de la codificación y decodificación DPCM es la traducción
directa del método explicado en el esquema secuencial baseline de JPEG. Es
decir, para la codificación, al coeficiente DC del bloque a codificar se le debe restar
el coeficiente DC del bloque codificado previamente. Al resultado de esta resta lo
llamaremos Dif. Se construye un nuevo bloque, al coeficiente DC se le asigna Dif,
y al resto de los coeficientes AC se les asigna los mismos valores que los
contenidos en el bloque original. Luego, se debe almacenar el valor DC del bloque
original, para poder realizar la codificación del próximo bloque. El código que
implementa esto es el siguiente:
Para explorar el código fuente original, los archivos que se deben observar son:
dctdpcm.h y dctdpcm.cpp, ubicados en
programacion\proyectofinal.cvs\compressor\src\compressor\encoding
UInt8 row 0;
UInt8 column 0;
break;
};
return path;
while ( ! isStreamOver () )
{
element nextStreamElement ();
// If the element is equal to our skip element
if ( element skipElement )
{
// then if it is less than the maximum
if ( skipElementCount maxRunLength )
// add it to the count
skipElementCount;
else
{
// put it in the result
rlcResult.push_back ( Tuple2_TQuantity,_TDataType (skipElementCount,element) );
skipElementCount 0;
};
}
else
{
// Put the tuple in the result
rlcResult.push_back ( Tuple2_TQuantity,_TDataType (skipElementCount,element) );
skipElementCount 0;
};
};
el recorrido.
maxRunLength representa la cantidad máxima de ceros consecutivos que
llenando el vector de pares (longitud, valor) con los valores encontrados. Resta
postprocesar este vector, principalmente porque COMPRESSLIB termina cada
codificación RLC con el par (0,0), independientemente de cuáles sean los últimos
valores del bloque. Pero además, por ejemplo, si los últimos 50 elementos del
recorrido son nulos, el código anterior terminaría la codificación con estos pares:
[...(15,0),(15,0),(15,0),(2,0)]. Esto se puede codificar de un modo mucho más
eficiente: [...(0,0)]. Esto es lo que realiza la última parte del código.
rlcResult.resize ( rlcResultSize 1 );
};
codificación rlcResult.
Si se desea profundizar más en el tema, el código fuente se encuentra en los
archivos rlccoder.h, rlccoder.cpp, dctrlccoder.h y dctrlccoder.cpp.
Todos los archivos pueden encontrarse en
programacion\proyectofinal.cvs\compressor\src\compressor\encoding
tuple *input;
input;
Tuple2_TQuantity,_TDataType nullTuple (0, skipElement);
while ( !( tuple nullTuple ) )
{
for ( UInt8 i 0; i tuple.getFirst (); i )
storeInNextOutputPosition ( skipElement );
storeInNextOutputPosition ( tuple.getSecond () );
tuple *input;
input;
};
while ( !(isDataContainerFull ()) )
storeInNextOutputPosition ( skipElement );
Codificación de Huffman
La codificación de Huffman que se ha implementado es casi la misma que la
presentada en el esquema secuencial baseline de JPEG. La única diferencia es
que, por una cuestión de simplicidad, los coeficientes DC se codifican utilizando la
tabla de códigos Huffman de coeficientes AC —por defecto es la misma que
proponen [BOUMAN2001] y [GHANBARI2003]. Comencemos con la primer parte
de la implementación.
Por otro lado, en el proceso de decodificación, lo que se debe hacer es: dado
un vector binario, devolver un vector de pares que representen la codificación
RLC.
Compress demo
Esta aplicación ilustra el funcionamiento interno de cada una de las etapas del
pipeline de compresión-descompresión (figura 36). La aplicación permite definir los
valores de un bloque de datos de 8 8 elementos. Según en el modo en que se
esté trabajando, el rango de los valores de las componentes será de 0 a 255
(Image mode) o de -99 a 999 (Numeric mode). Avanzando hacia la derecha del
bloque de datos, la aplicación presenta los distintos estados de la compresión: un
bloque con los coeficientes DCT, un bloque con los coeficientes DCT
cuantificados, la codificación RLC y la codificación Huffman. Avanzando hacia la
izquierda de la codificación Huffman, la aplicación presenta los distintos estados
de la descompresión: codificación RLC, un bloque con los coeficientes DCT
cuantificados, un bloque con los coeficientes DCT, y finalmente un bloque con los
datos recuperados.
A la izquierda de los bloques de datos se encuentra dispuesta verticalmente
una barra de desplazamiento. Al desplazar esta barra hacia arriba, se incrementa
la calidad; al hacerlo hacia abajo, se decrementa.
La tabla de cuantificación que se utiliza es la definida para la luminancia. Esta
tabla, escalada según sea la posición de la barra de desplazamiento, se presenta
debajo del bloque que contiene los datos recuperados.
Si se está trabajando en Image mode, a la izquierda de la barra de
desplazamiento, se presentan dos cuadros, dispuestos verticalmente. El cuadro
superior representa gráficamente al bloque de datos. El cuadro inferior representa
gráficamente al bloque de datos recuperados. Ambos cuadros están en escala de
grises y amplificados para poder observar detalladamente la representación de
cada pixel. Entre medio de los dos cuadros se puede apreciar el factor de
Image viewer
Esta aplicación (figura 37) demuestra la utilidad práctica real de la librería
COMPRESSLIB. Permite visualizar y comprimir imágenes en formato BCI.
Además, también puede visualizar imágenes en formato BMP y convertirlas a BCI.
En el extremo superior izquierdo se encuentra un menú principal con dos ítems:
File y View. El primero de ellos se utiliza para: abrir un archivo (File | Open...), cerrar
un archivo (File | Close), guardar un archivo (File | Save), guardar un archivo con otro
nombre (File | Save as...) o para salir de la aplicación (File | Exit). El ítem View sólo se
habilita cuando se abre una imagen en color. Se utiliza para elegir visualizar: la
imagen original, la imagen comprimida y la imagen de error (View | Images); los tres
canales RGB de la imagen original (View | Channels | RGB | Original image); los tres
canales RGB de la imagen comprimida (View | Channels | RGB | Compressed image); el
canal de luminancia y los dos de crominancia de la imagen original (View | Channels |
YUV | Original image); o el canal de luminancia y los dos de crominancia de la imagen
comprimida (View | Channels | YUV | Compressed image).
Cuando abrimos un archivo —ya sea .bci o .bmp—, se visualizan por defecto
la imagen original, la comprimida y la de error. Además, también se habilita una
barra de desplazamiento horizontal y un botón. Esta barra nos permite cambiar el
factor de compresión —de 0 a 100—, y el botón nos permite aplicar los cambios.
Cuando presionemos el botón, la imagen original se comprimirá con el factor de
compresión elegido, y se actualizará la imagen comprimida. También se
actualizará la imagen de error, que es la diferencia entre la imagen original y la
comprimida. Si la imagen cargada es en color, para la representación de la imagen
de error sólo se utilizará el canal Y. Esto se hace de este modo debido a que este
canal es predominante sobre los otros dos. La diferencia se realiza de esta
manera: PixelError(i,j) PixelOriginal(i,j) - PixelComprimido(i,j) 128; limitando el
resultado en 0 como mínimo y en 255 como máximo.
Por debajo del menú principal se encuentra una barra de estados con siete
campos. Cada uno de ellos, de izquierda a derecha, indica:
Width (ancho): ancho de la imagen, medido en pixeles.
bpp (bits per pixel - bits por pixel): cantidad de bits necesarios para
n−1m−1
∑ ∑ fi, j − Fi, j 2
i0 j0
MSE nm [3.2]
Donde: fi, j y Fi, j, con 0 ≤ i n y 0 ≤ j m, representan una
imagen de n m pixeles, original y reconstruida respectivamente.
Los valores de la métrica PSNR generalmente varían entre 20 y 40. El
valor en sí mismo no es significativo, sino que se utiliza para comparar la
calidad de distintas imágenes reconstruidas.
Status (estado): Indica cuál tarea se está llevando a cabo. Existen 4
COMPRESIÓN DE VIDEO
Desde los comienzos de la industria de la animación, lo que los espectadores
percibieron como un flujo continuo de movimiento, fueron en realidad sólo
secuencias de imágenes. El requisito para que esta técnica funcione
correctamente, es que las imágenes cambien lo suficientemente rápido como para
lograr la ilusión de movimiento real.
Hasta hace algunos años, el video digital estaba reservado sólo para
aplicaciones profesionales, la mayoría de los equipos estaban diseñados
principalmente para video analógico. El problema era que las señales analógicas
poseen algunos inconvenientes. Dentro de un ancho de banda dado para una
señal analógica, cualquier forma de onda es válida. Por este motivo, los ruidos
eléctricos —variaciones de tensión, distorsiones, etc.— que puedan interferir en
una señal, no podrán ser detectados. En determinadas ocasiones, se puede inferir
la presencia de ruido en una señal analógica, pero no se puede determinar con
exactitud qué parte de la señal recibida corresponde al ruido y cuál a la señal
original.
Con el transcurso del tiempo, la tecnología comenzó a ser más económica, y
las técnicas digitales en audio y video crecieron rápidamente. La información
digital es más robusta y puede codificarse para eliminar los errores, tanto en los
Codificación temporal
Es común encontrar secuencias de video donde las diferencias entre las
imágenes o cuadros (frames) sucesivos son pequeñas. En estos casos, la
correlación entre cuadros es muy grande, y sería redundante almacenar (de aquí
en mas, léase como almacenar o transmitir) cada uno de ellos. Una codificación
predictiva puede reducir gran parte de la redundancia. Lo que se hace entonces,
es almacenar sólo las diferencias. La primer imagen de un video sólo se codifica
utilizando alguna técnica de compresión de imágenes. Para codificar el siguiente
cuadro, se calculan las diferencias y se construye una nueva imagen con esos
datos. A esta nueva imagen se la comprime del mismo modo que a la primera, y
luego recién se la almacena. A las imágenes codificadas mediante predicción se
las denomina inter, mientras que a las codificadas sin predicción se las denomina
intra. El proceso de predicción puede llevarse a cabo con varios cuadros
consecutivos, sin embargo, cada n cuadros inter debe haber un cuadro intra.
Existen varios motivos para esta restricción. El peor de los casos es que, por algún
motivo, se introduzcan errores. Estos errores se propagarán hasta la próxima
imagen intra, por lo tanto el parámetro n no debe ser demasiado grande. Otro
motivo es que en una secuencia de video puede ocurrir un cambio de escena, con
lo cual los cuadros ya no estarán fuertemente correlacionados y la predicción no
brindará beneficios. Otra de las razones se hace evidente a la hora de la
reproducción o edición. En una reproducción, si se desea adelantar o retroceder
rápidamente, el nuevo punto de comienzo será una imagen intra, por lo tanto el
parámetro n dará la granularidad. En la edición, será necesario realizar
decodificaciones y recodificaciones en cascada. Cuanto más grande sea n, mayor
será el tiempo de proceso.
Compensación de movimiento
Cuando en una secuencia de video existen objetos en movimiento o se
Compresión de audio
Generalmente, el audio representa un papel muy importante dentro del video,
tanto semánticamente como físicamente. Por lo tanto, la compresión de audio, si
bien es un área en si misma, está muy relacionada con la compresión de video. La
mayoría de las técnicas de compresión de audio están basadas en la eliminación
de información que es perceptualmente irrelevante. Si bien existen muchos
métodos de compresión sin pérdida [WHITTLE2003], su aplicación es limitada
debido a sus bajos factores de compresión.
La mayoría de las técnicas de compresión de audio con pérdidas utilizan
transformadas —DCT modificada (MDCT), transformada de Fourier, etc.— para
convertir las formas de onda muestreadas en un dominio frecuencial. Una vez
realizada la transformación, las componentes de frecuencia son ponderadas
mediante el cálculo de un umbral de enmascaramiento. Si la energía de la
componente está por debajo de este umbral, se considera que la componente es
irrelevante y no se la codifica. El umbral de enmascaramiento se calcula teniendo
en cuenta el umbral absoluto de audibilidad y los principios de enmascaramiento
frecuencial y temporal. Si la señal a codificar posee múltiples canales, se puede
realizar una compresión entrópica, ya que los distintos canales generalmente
están correlacionados.
Perfiles y niveles
Los perfiles especifican el tipo de compresión, formato de muestreo, tipos de
cuadros, etc. Dentro de los límites de la sintaxis impuesta por un determinado
perfil, aún es posible definir varias combinaciones que determinarán el desempeño
y complejidad de los codificadores y decodificadores. Para lograr una
especificación concreta, dentro de cada perfil se definen varios niveles. Un nivel
especifica el alto y ancho de la imagen, la cantidad de cuadros por segundo y el bit
rate. Tanto los perfiles como los niveles poseen una estructura jerárquica, y cada
perfil (nivel) deberá soportar en su totalidad a su perfil (nivel) inferior.
[GHANBARI2003] describe mediante tablas los distintos perfiles que define
MPEG-2 y los niveles definidos para cada perfil.
Capas
Anteriormente mencionamos que un perfil y un nivel especifican una
determinada calidad de video. Sin embargo, dentro del bitstream pueden existir
varias capas (tanto de audio como de video). La primera se conoce como capa
base, y puede ser decodificada independientemente. Las otras capas se utilizan
sucesivamente para mejorar la calidad del audio o del video. De este modo, un
decodificador relativamente económico podría reconstruir un video o audio
utilizando sólo la capa base. Cuanto más complejo sea el decodificador, más
capas podrá decodificar y consecuentemente podrá brindar una mayor calidad de
reproducción.
Si los datos están codificados en una única capa, se dice que el bitstream es
no escalable. En caso contrario, se dice que el bitstream posee una jerarquía
escalable. La escalabilidad también puede utilizarse para aumentar la robustez en
la transmisión: se eligen los canales más seguros para la transmisión de las capas
base, y los canales de menor calidad para las capas de menor jerarquía.
Codificación de video
La organización básica de los datos que conforman un video (bitstream)
consiste de secuencias de video. A su vez, las secuencias de video están
compuestas de bloques de pixeles, macrobloques (MB), rebanadas (slices),
imágenes o cuadros (pictures o frames) y grupos de imágenes (Group Of Pictures
- GOP). El menor elemento, un bloque, consiste de 8 líneas de 8 pixeles cada una.
Los bloques se agrupan en macrobloques, de acuerdo a alguno de los perfiles
predefinidos. Por ejemplo, el macrobloque con formato 4:2:0 posee 4 bloques para
la luminancia, 1 bloque para la componente Cb y un bloque para la componente
Cr. Los macrobloques se agrupan horizontalmente en rebanadas que representan
una porción de una fila de una imagen. Las rebanadas pueden ser tan largas como
una línea completa o tan sólo un único macrobloque. Los cuadros y los GOP
merecen especial atención y serán estudiados a continuación.
Si se desea profundizar en los detalles, [JACK2001] ofrece una descripción
completa del bitstream.
Cuadros I, P, B y D
En el estándar MPEG-1 hay cuatro modos de codificar los cuadros. Los
cuadros I (intra) se codifican como imágenes independientes, similar a una imagen
JPEG. Estos cuadros permiten el acceso aleatorio dentro de un video. Por esta
razón, los cuadros I deberían ocurrir alrededor de dos veces por segundo. Estos
cuadros también deberían utilizarse cuando ocurren cambios de escena.
Los cuadros P (predicted o de predicción) se codifican respecto del cuadro
próximo anterior, que puede ser un cuadro I u otro cuadro P. El resultado es una
codificación predictiva (diferencial) hacia adelante (figura 38). Por este motivo los
cuadros P proveen más compresión que los cuadros I, utilizan compensación de
movimiento y se utilizan como referencia para los cuadros P y B.
Los cuadros B (bidireccionales) utilizan los dos cuadros (I o P) adyacentes
como referencia, logrando una predicción bidireccional (figura 38). Estos cuadros
proveen la mayor compresión y reducen el ruido promediando dos cuadros.
Generalmente hay dos cuadros B separando cuadros I o P.
Los cuadros D (DC) se codifican como imágenes independientes, pero sólo
utilizan las componentes DC de los coeficientes de la DCT. Estos cuadros son
raramente utilizados.
Un grupo de imágenes (GOP - Group Of Pictures) es una serie de uno o mas
cuadros codificados. Un GOP siempre comienza con un cuadro I y termina justo
antes de la aparición del próximo cuadro I. La cantidad de cuadros que componen
un GOP se puede configurar en el proceso de codificación. Cuanto más chico es el
número de cuadros, mejor será la calidad —pues los frames I estarán más cerca
unos de otros—, pero el factor de compresión será menor.
Debido a que los cuadros B necesitan información del pasado y del futuro, el
orden de presentación de los cuadros no será el mismo que el de transmisión. Es
Compensación de movimiento
La compensación de movimiento mejora la compresión de los cuadros P y B
por medio de la eliminación de las redundancias que existen entre dos cuadros.
Funciona a nivel de macrobloques. La técnica de compensación de movimiento se
basa en el hecho de que dentro de una secuencia corta de video, la mayoría de los
objetos permanecerán en la misma posición, mientras que otros sólo se moverán
en una distancia corta. El movimiento se describe como un vector bidimensional.
Este vector especifica de qué lugar de un cuadro previamente decodificado,
recuperar un macrobloque para poder predecir los valores de las muestras del
macrobloque actual.
Luego de que un macrobloque se comprima utilizando compensación de
movimiento, contendrá una diferencia espacial (el vector de movimiento) y
diferencias de contenido (términos de error), respecto del macrobloque de
referencia.
Cabe destacar que existen casos donde cierta información en una escena no
puede predecirse de un cuadro anterior. Esto se produce cuando un objeto en
movimiento descubre algo que estaba tapando —una puerta que se abre— o al
introducirse un objeto nuevo en la escena —un conejo que sale de su madriguera.
En estos casos, cuando un macrobloque en un cuadro P no se puede representar
mediante compensación de movimiento, se codifica del mismo modo que se
codificaría en un cuadro I. Es decir, simplemente se almacena esa porción de la
referencia.
Predicción hacia atrás, con el cuadro (I o P) siguiente como
referencia.
Predicción bidireccional, utilizando dos cuadros (I o P) como
Codificación de audio
MPEG-1 utiliza una familia de tres esquemas de codificación de audio,
llamados capa 1, capa 2 y capa 3, incrementándose la complejidad y la calidad en
cada una. Estas son capas jerárquicas escalables; la capa 1 es la capa base y las
otras dos se utilizan para mejorar la calidad. Todas las capas soportan audio digital
de 16 bits, utilizando muestreos de 32, 44.1 o 48 kHz. La capa 1 es una versión
simplificada de la capa 2 y posee un bit rate dentro del rango de 32 a 448 kbps. La
capa 2 tiene un bit rate dentro del rango de 8 a 384 kbps y fue diseñada para
balancear la calidad del sonido con la complejidad del codificador. La capa 3
—también conocida como MP3, de MPeg capa 3— posee un bit rate de 8 a 320
kbps. Esta capa especifica un conjunto de características avanzadas que
persiguen un mismo objetivo: preservar tanto como sea posible la calidad del
sonido, incluso a bit rates relativamente bajos.
MPEG-1 soporta hasta dos canales de audio y cuatro modos de operación en
total:
1. Modo monofónico para un único canal de audio.
2. Modo monofónico dual para dos canales de audio independientes
—funcionalmente igual al modo estéreo.
3. Modo estéreo normal. En este modo, un canal lleva la señal de audio
izquierda y el otro canal lleva la señal de audio derecha. Cada canal se
codifica de manera independiente.
4. Modo joint-estéreo. Este modo aprovecha la correlación entre los
dos canales, la irrelevancia de la diferencia de fase, o ambas. Posee dos
modos de codificación: intensity y ms. Para el primer modo —soportado
por todas las capas—, las frecuencias altas (por encima de 2 kHz.) se
combinan. Para el segundo modo —sólo soportado por la capa 3—, un
canal transporta la suma de las señales (izquierda derecha) y el otro la
diferencia (izquierda - derecha).
Modelo psicoacústico
Tren de programa
Este multiplexado se basa en el único definido por MPEG-1 y sólo puede estar
compuesto por un único programa. La definición de MPEG-2 utiliza una sintaxis
modificada que permite nuevas funcionalidades como, por ejemplo la
escalabilidad. El propósito de este multiplexado es el almacenamiento y
recuperación de video en medios digitales.
Un tren de programa debe utilizarse en ambientes libres de error, pues es
bastante susceptible a los errores. Uno de los motivos es que los trenes de
Tren de transporte
Un único tren de transporte puede contener varios programas independientes.
Por lo tanto, este modo de multiplexado está dirigido para aplicaciones que
necesiten soporte para múltiples programas, tales como la transmisión de
televisión.
Los trenes de transporte están compuestos de una sucesión de paquetes de
longitud fija de 188 bytes, llamados paquetes de transporte. La utilización de
paquetes cortos y de longitud fija indica que los trenes de transporte no son tan
sensibles a los errores como lo son los trenes de programa. Esto hace que los
trenes de transporte sean aptos para la utilización en ambientes propensos a
errores, como transmisión de televisión —tanto satelital como por cable—,
transmisión por redes, etc.
Podría parecer que los trenes de transporte son una mejor opción que los
trenes de programa, pues son capaces de transmitir múltiples programas y son
menos susceptibles a los posibles errores. Sin embargo, el multiplexado de los
trenes de transporte es mucho más complicado que el multiplexado de los trenes
de programa, y del mismo modo es más difícil crearlos y demultiplexarlos.
Todos los PES que deben ser multiplexados juntos se convierten en paquetes
de transporte de este modo. Un tren de transporte se genera tomando
secuencialmente los paquetes de transporte resultantes. Dentro del tren de
transporte también pueden haber paquetes de transporte con información de
servicio y paquetes nulos. No existe ninguna restricción en cuanto al orden en que
se agrupan los paquetes de transporte dentro del multiplexado, excepto que se
respete el orden cronológico de los paquetes pertenecientes al mismo tren
elemental.
disponibles y los PID de los trenes elementales que los componen. Esa
información adicional se denomina PSI y debe estar presente en cada tren de
transporte.
La PSI especificada por MPEG-2 está compuesta por cuatro tablas.
1. PMT (Program Map Table - tabla de mapeo de programa): Cada
programa posee una PMT asociada. Esta tabla brinda detalles acerca de
los trenes elementales que lo comprenden. Además, la PMT puede
contener descriptores que ofrecen información adicional, como por
ejemplo parámetros de codificación de audio y de video, identificación de
lenguaje, detalles de acceso condicional, información de copyright, etc.
2. PAT (Program Association Table - tabla de asociación de programa):
Esta tabla contiene una lista de todos los programas disponibles en el
tren de transporte. Esta tabla siempre se encuentra en los paquetes de
transporte que poseen el PID igual a cero. Por cada programa listado, se
informa el PID de la PMT que le corresponde.
3. NIT (Network Information Table - tabla de información de red): El
programa número cero posee un significado especial dentro de la PAT.
Se utiliza para apuntar a la NIT. Esta tabla es opcional y su contenido es
privado —definido por el usuario, no por MPEG. Cuando esta tabla está
presente, brinda información física acerca de las redes que transportan el
tren de transporte —frecuencias de los canales, características de
modulación, etc.
4. CAT (Conditional Access Table - tabla de acceso condicional): Si
algún tren elemental dentro del tren de transporte está encriptado,
entonces esta tabla debe estar presente. Brinda detalles acerca del
sistema de scrambling utilizado y provee los PID de los paquetes de
transporte que contienen acceso condicional.
Librería SMPEG
La librería SMPEG (SDL MPEG), de Loki Software, es el resultado de un
proyecto Open Source y se ofrece bajo la licencia pública LGPL. Está basada en el
software de decodificación de video MPEG mpeg_play v2.2 —de UC Berkeley— y
en el decodificador de audio MPEG SPLAY —creado por Woo-jae Jung.
SMPEG es capaz de reproducir video y audio MPEG en sistemas Pentium II o
superiores, pues en sistemas más lentos no se logra un desempeño satisfactorio.
A la fecha del último release —versión 0.4.4, 28 de septiembre de 2000— sólo se
había testeado en el sistema operativo Linux. La única documentación de la que
se dispone se encuentra en el archivo smpeg.h para la interfase en C y en los
archivos MPEG*.h para la interfase en C. Todos estos archivos pueden
encontrarse en el directorio librerias de
mpeg\www.lokigames.com\smpeg-0.4.4. Cabe destacar que la última versión
de esta librería requiere la versión 1.2.0 o posterior de la librería SDL (Simple
DirectMedia Layer - www.libsdl.org) para poder compilar.
SDL brinda una API que provee facilidades para la programación multimedia
—teclado, mouse, joystick, audio, hardware 3D via OpenGL, etc. Está escrita en C,
pero posee bindings para otros lenguajes —C#, Java, Perl, etc. Además, la
versión actual soporta varios sistemas operativos tales como Windows, Linux,
Solaris, QNX y otros. La documentación puede encontrarse en los archivos *.h,
situados en el directorio librerias de
mpeg\www.lokigames.com\SDL\SDL-1.2.8\include, o en formato html
mediante el archivo index.html, situado en el directorio librerias de
mpeg\www.lokigames.com\SDL\SDL-1.2.8\docs.
Veamos ahora cómo utilizar las funcionalidades más importantes de SMPEG
mediante la implementación de un reproductor de videos. Este programa, MPEG
player, corre sobre sistemas Windows y posee una interfase gráfica que permite
un control intuitivo (figura 40). En el extremo superior izquierdo se encuentra un
menú principal con dos ítems: File y About. El primero de ellos se utiliza para: abrir
un archivo (File | Open...) o para salir de la aplicación (File | Quit). El segundo,
simplemente presenta una ventana con información acerca del programa. En
principio, los botones Play, Pause, Stop y Go to new position se encuentran
deshabilitados. Una vez que se abre un archivo, se habilita el botón Play. Al
presionar este botón, comienza la reproducción del archivo y se habilitan todos los
demás botones. Si se presiona nuevamente este botón durante una reproducción
en curso, ésta comenzará nuevamente desde el principio. Si se presiona el botón
Stop, se detiene la reproducción y queda habilitado sólo el botón Play (el sistema
queda en el mismo estado que luego de abrir un archivo). El botón Pause se utiliza
para detener temporariamente la reproducción, de modo que si luego se presiona
nuevamente el botón Pause —o el botón Play— se reanuda la reproducción en
curso. El botón Go to new position se utiliza en conjunto con la barra de
desplazamiento New position, que está situada arriba de él. La barra de progreso
Current position indica la posición actual dentro del stream (cuánto se ha reproducido
hasta ese momento). Al presionar el botón Go to new position, se desplaza la
posición actual dentro del stream según el valor del indicador de la barra de
desplazamiento New position, y la reproducción continúa desde ese punto. A modo
de ejemplo, si en una reproducción en curso se sitúa el indicador de la barra de
desplazamiento New position en el centro y luego se presiona el botón Go to new
position, la reproducción seguirá desde la mitad. A la derecha del botón Stop se
encuentra otra barra de desplazamiento (Volume), pero ésta se utiliza para
disminuir —hacia la izquierda— o incrementar —hacia la derecha— el volumen.
Más a la derecha se encuentra una casilla de verificación (Loop stream) que se
utiliza para configurar el modo continuo, lo cual indica si luego de finalizar una
reproducción comenzará de nuevo automáticamente. En el extremo derecho se
pueden apreciar varios datos internos del stream:
Total time: indica la duración total de reproducción, en segundos.
segundos.
Has video: indica si el stream contiene información de video.
Per Second).
Una vez que se ha comenzado con una reproducción de video, puede
modificarse el tamaño de la ventana que lo muestra de dos formas. Una es por
medio del botón de maximizar/restaurar, que es el botón central de los tres que se
encuentran en el extremo superior derecho. La otra es llevando el puntero hacia
uno de los límites de la ventana y manteniendo presionado el botón principal del
mouse arrastrar hasta obtener el tamaño deseado.
// Initialize SDL
this-InitializeSDL();
// Play
SMPEG_play(this-mpeg);
BIBLIOGRAFÍA