ndice

Advanced Compression with

NDICE DESCRIPCIN PGINA

Introduccin Compresin Avanzada con Oracle Database 11g versin 2 Compresin de datos de tablas Compresin de datos de archivos Compresin de datos de backup Compresin del trfico de red Conclusiones Referencias bibliogrfica

1 2 3 7 10 13 14 15

Lic. Elas M. Escobar Ayona

Introduccin

Advanced Compression with

Introduccin Varios calculos hechos, indican que el volumen de datos se duplica cada 2 o 3 aos, en gran medida en que: en la actualidad se est experimentado un estallido en cuanto al volumen de datos con el que las empresas llevan a cabo sus negocios, las exigencias de ciertas leyes, de que las empresas retengan una gran cantidad de informacin por largos perodos de tiempo. La distribucin masiva a travs de Internet de contenidos ricos y de multimedia que ahora es posible gracias a los avances en la tecnologa de banda ancha. La tendencia exponencial en el crecimiento de datos con la Web 2.0, con las aplicaciones colaborativas que promueven cantidades enormes de contenidos generados por los usuarios. Oracle 9i, introduce la compresin (bsica) de tabla en la base de datos como un significado del decremento en los requerimientos de almacenaje. La habilidad de comprimir los metadatos asociados con una operacin de Data Pump se introdujo por primera vez en Oracle Database 10g versin 2. A partir de la 11g versin 1, se introduce una nueva caracterstica llamada OLTP Table Compression, el cual permite comprimir durante todos los tipos de operacin de manipulacin de datos, incluyendo el convencional DML. Oracle 11g ofrece caractersticas de compresin ms avanzadas, para ayudar a los clientes a sobrellevar desafos, como: alza constante en el costo de almacenamiento por MB; reducir los recursos y costos que conlleva el administrar grandes volmenes de datos, tales como: Compresin de datos de tablas; Compresin de datos de archivos; Compresin de datos de respaldo; Compresin del trafico de red. Cada uno de los cuales se trataran a detalle en el presente documento.

Lic. Elas M. Escobar Ayona

Pgina 1

Compresin Avanzada

Advanced Compression with

Compresin Avanzada Conjunto integral de capacidades de compresin a fin de ayudar a los clientes a maximizar el uso de los recursos y reducir los costos. Permitiendole a los administradores de IT reducir el espacio de utilizacin general del almacenamiento de su base de datos, al facilitar la compresin de todo tipo de datos, sean relacionales (tablas), sin estructurar (archivos) o datos de backup. A pesar de que por lo general se considera al ahorro en cuanto al almacenamiento como el beneficio ms tangible de la compresin, ancho de banda de la red, y uso de la memoria. Oracle Database 11g Release 2 Compression Advisor Analiza los objetos para proporcionar una evaluacin del ahorro de espacio en discos, considerando distintos mtodos de compresin, Ayuda a escoger el nivel de compresin apropiado para cada aplicacin, Recomienda diferentes estrategias de compresin, Elige el algoritmo de compresin adecuado para los tipos de datos considerados, Ordena en funcin de una columna para mejorar el factor de compresin, Proporciona comparaciones entre distintos algoritmos de compresin.

Lic. Elas M. Escobar Ayona

Pgina 2

Compresin de datos de tablas

Advanced Compression with

Compresin de datos de tablas Oracle a sido pionero de la tecnologa de compresin en bases de datos, en la versin 9i de Oracle Database se introduce la Basic Table Compression (Compresin bsica en tablas). A partir de la versin 11g versin 1, se introduce una nueva caracterstica llamada OLTP Table Compression, el cual permite comprimir durante todos los tipos de operacin de manipulacin de datos, incluyendo el convencional DML, tal como INSERT y UPDATE. OLTP Table Compression se vale de un nico algoritmo de compresin, especficamente diseado para trabajar con aplicaciones OLTP, el cual elimina valores duplicados en un bloque de la base de datos, incluso a travs de multiples columnas. Los bloques comprimidos contienen una estructura denominada tabla de smbolo que mantiene metadatos de compresin. Al comprimirse un bloque, se eliminan los valores duplicados agregando primero una sola copia del valor duplicado a la tabla de smbolo. Luego se reemplaza cada valor duplicado por una corta referencia a la entrada adecuada en la tabla de smbolo. Mediante este innovador diseo, los datos comprimidos se encuentran autocontenidos en el bloque de la base de datos, ya que los metadatos utilizados para traducir los datos comprimidos a su estado original se encuentran almacenados dentro del mismo bloque.

Figura 1. Bloque sin comprimir frente a bloque comprimido

Lic. Elas M. Escobar Ayona

Pgina 3

Compresin de datos de tablas

Advanced Compression with

Beneficios de la compresin de tabla OLTP En general se puede esperar una reduccin en el consumo de espacio de almacenamiento de 2 a 3, veces mediante la utilizacin de esta caracterstica de compresin. Es decir, la cantidad de espacio utilizado por los datos sin comprimir ser de dos a tres veces mayor que la de los datos comprimidos. Una ventaja significativa es la habilidad de Oracle de leer bloques comprimidos directamente sin tener que, primero descomprimir el bloque. Por lo que no existe degradacin de rendimiento medible al acceder a los datos comprimidos. Podemos asegurar entonces que los beneficios de la compresin de tabla OLTP va ms alla del ahorro de espacio de almacenamiento en disco. Sobrecarga de rendimiento mnima La compresin de tabla OLTP no produce ningn impacto adverso en las operaciones de lectura. Se lleva a cabo trabajo adicional mientras se escriben los datos, lo que hace imposible la sobrecarga en el rendimiento en las operaciones de escritura, Oracle sin embargo, se ha esforzado para reducir al mnimo esa sobrecarga en la opcin de compresin de tabla OLTP, en forma secuencial se llevan a cabo los siguientes pasos: Oracle comprime bloques en modo de proceso por lotes en vez de comprimir datos cada vez que una operacin de lectura se lleva a cabo. Un bloque recien inicializado no se comprime hasta que los datos en el bloque alcancen un lmite controlado internamente. Cuando una transaccin hace que los datos en el bloque alcancen dicho lmite, se comprimen todos los contenidos del bloque. A medida que se aaden ms datos al bloque y se alcanza el lmite una vez ms, se vuelve a comprimir todo el bloque para lograr el ms alto nivel de compresin. Este proceso se repite hasta que Oracle determina que el bloque ya no se puede comprimir ms. Solo las transacciones que provocan compresin del bloque experimentan una pequea sobrecarga de compresin. Por tanto, las mayora de las transacciones OLTP en bloques comprimidos tendr el mismo rendimiento que tendra en bloques sin comprimir.

Lic. Elas M. Escobar Ayona

Pgina 4

Compresin de datos de tablas

Advanced Compression with

Figura 2. Proceso de compresin de tabla OLTP.

ID 1 2 3 4

Nombre John Jane John Jane

Apellido Doe Doe Smith Smith

Header 1*John*Doe | 2*Jane * Doe | 3*John*Smith | 4*Jane* Smith Free space

Header
INSERT INTO EMPLOYMENT VALUES(4,'Jane','Smith')
John=0|Doe=1|Jane=2|Smith=3

1*0*1|2*2*1|3*0*3|4*2*3 Free space

Figura 3. Ejemplo de compresin por OLTP.

Lic. Elas M. Escobar Ayona

Pgina 5

Compresin de datos de tablas

Advanced Compression with

Sintasix Basic Compression: CREATE TABLE emp ( emp_id NUMBER , first_name VARCHAR(128) , last_name VARCHAR(128) ) COMPRESS [BASIC];

Sintasix OLTP Table Compression: CREATE TABLE emp ( emp_id NUMBER , first_name VARCHAR(128) , last_name VARCHAR(128) ) COMPRESS FOR OLTP;

select table_name,compression,compress_for from user_tables where compression ='ENABLED'; Tabla 1. Sintaxis de compresin bsica y avanzada

Lic. Elas M. Escobar Ayona

Pgina 6

Compresin de datos de archivos

Advanced Compression with

Compresin de datos de archivos Una nueva caracterstica de Oracle Database 11g, SecureFiles, ofrece una arquitectura con todas las ventajas para el almacenamiento de contenidos sin estructurar, como pueden ser documentos, plantillas de clculo y archivos XML. SecureFiles se dise especficamente para brindar alto rendimiento para los datos de archivos, comparable al de los sistemas de archivo tradicionales, pero reteniendo las ventajas de Oracle Database. SecureFiles se diseo como reemplazo del LOB ANSI estndar y ofrece una fcil migracin de los viejos archivos LOB de BasicFiles, el precursor de SecureFiles. Las organizaciones ahora pueden administrar todos lo datos relacionales y datos de archivos asociados en Oracle utilizando un nico modelo de seguridad/auditoria, un proceso unificado de backup y recuperacin y llevar a cabo una recuperacin a travs de toda la informacin. Esta versin de Oracle Database, incluye tecnologas que reducen drsticamente el espacio necesario para el almacenamiento de datos de SecureFiles. Desduplicacin de SecureFiles Es muy comn que las aplicaciones almacenen rplicas exactas de archivos. Un ejemplo tpico es una aplicacin de correo electrnico en la que diversos usuarios reciben el mismo documento adjuto. La desduplicacin de SecureFiles que incluye Advanced Compression es una tecnologa inteligente que elimina copias duplicadas de datos de SecureFiles. Oracle almacena una imagen de los datos de SecureFies y reemplaza las copias duplicadas con referencias a esta imagen. Tomemos como ejemplo una aplicacin de correo electrnico donde 10 usuarios reciben un correo electrnico con el mismo adjunto de 1Mb. Sin la desduplicacin de SecureFiles, el sistema almacenara una copia del archivo por cada uno de los 10 usuarios, cuyo almacenamiento utilizara 10Mb. Siguiendo nuestro ejemplo, si la aplicacin de correo electrnico hubiera utilizado SecureFiles con desduplicacin, hubiera almacenado el archivo de 1Mb slo una vez. Esta resulta en un ahorro del 90% del almacenamiento necesario. Adems del ahorro en cuanto al almacenamiento, la desduplicacin de SecureFiles tambin aumenta el rendimiento de la aplicacin. Especficamente, las operaciones de lectura y copia se vuelven ms eficientes ya que slo se escriben las referencias a la imagen de SecureFiles.

Lic. Elas M. Escobar Ayona

Pgina 7

Compresin de datos de archivos

Advanced Compression with

Adems, puede que las operaciones de lectura hasta mejoren si es que existen datos de SecureFiles duplicados en la cache del bfer.

Figura 4. Desduplicacin de SecureFiles Sintaxis de Desduplicacin SecureFiles CREATE TABLE images ( image_id NUMBER, image BLOB) LOB (image) STORE AS STRUCTURE (DEDUPLICATE cache);

Compresin de SecureFiles La compresin de SecureFiles utliza algoritmos de compresin estndar para minimizar an ms el espacio que se necesita para almacenar los datos de SecureFiles. Con la compresin de SecureFiles, los archvos tpicos, como documentos o archivos XML, experimentan una reduccin de 2 a 3 veces en tamao. Utilizando inteligencia incorporada, la compresin de SecureFiles evita automticamente la compresin de datos que no se podrn comprimir ms, por ejemplo, el caso de un documento que ya fue comprimido por la herramienta de un tercero antes de ser insertado en la base de datos como un archivo de SecureFiles. Las aplicaciones an pueden llevar a cabo operaciones de lectura y escritura al azar en datos de SecureFiles comprimidos ya que los datos comprimidos se dividen en pedazos de datos ms pequeos. Esto puede mejorar el rendimiento infinitamente cuando se lo compara con la compresin de archivos enteros antes de insertarlos en la base de datos. Existen tres niveles de compresin de SecureFiles, BAJO, MEDIO y ALTO. En forma predeterminada, la compresin de SecureFiles utiliza el nivel MEDIO, el cual puede brindar una buena compresin con una escasa sobrecarga del CPU: entre 3 y 5%. el nivel BAJO de compresin de SecureFiles, novedad en Oracle Database 11g versin 2, est optimizado para lograr un alto rendimiento. El nivel BAJO de compresin de SecureFiles realmente conserva un 80% de la compresin lograda con el nivel MEDIO, aunque utiliza 3 veces menos recursos del CPU. Por ltimo, el nivel ALTO de compresin de SecureFiles logra el

Lic. Elas M. Escobar Ayona

Pgina 8

Compresin de datos de archivos

Advanced Compression with

ms alto nivel de ahorro de almacenamiento, pero implica la mayor sobrecarga del CPU. Sintaxis de la desduplicacin de SecureFiles CREATE TABLE image ( image_id NUMBER, image BLOB) LOB (image) STORE AS SECUREFILES (COMPRESS cache);

Lic. Elas M. Escobar Ayona

Pgina 9

Compresin de datos de backup

Advanced Compression with

Compresin de datos de backup Adems de comprimir datos almacenados dentro de la base de datos, Oracle Advanced Compression tambin incluye la capacidad de comprimir datos de backup. Recovery Manager (RMAN) y Data Pump son dos de las herramientas ms comnmente utilizadas para realizar backup de los datos almacenados en Oracle Database. RMAN hace un backup bloque por bloque de los datos de las bases de datos, tambin denominado backup fsico, que puede utilizarse para llevar a cabo un backup lgico descargando datos de una o ms tablas a un archivo plano. Oracle Advanced Compression incluye la capacidad para comprimir los datos de backup generados por estas dos herramientas. Compresin de Recovery Manager El crecimiento continuo en cuanto a bases de datos empresariales supone un enorme desafio para los administradores de bases de datos. El tamao de la base de datos tiene un impacto directo en el espacio necesario para almacenar los backups de la base de datos y el rendimiento de los procesos de backup. Oracle Advanced Compression incluye tecnologa de compresin RMAN, que puede reducir drsticamente los requisitos de almacenamiento para datos de backup. Debido a la estrecha integracin de RMAN con Oracle Database, los datos de backup se comprimen antes de ser escritos en el disco o cinta y no es necesario descomprimirlos antes de ser recuperados, lo que proporciona una enorme reduccin en los costos de almacenamientos. Niveles de compresin RMAN: BAJO, MEDIO y ALTO, la cantidad de ahorro de espacio de almacenamiento aumenta del nivel BAJO al ALTO, a la vez que posiblemente se consuman ms recursos del CPU. Ejemplo de resplado con compresin usuando el comando BACKUP: RMAN> backup as compressed backupset database; Configuracin de compresin de un dispositivo de disco: RMAN> configure device type disk backup type to compressed backupset; Si requieres limpiar el disco que contiene la compresin, usa el comando: RMAN> configure device type disk clear;

Lic. Elas M. Escobar Ayona

Pgina 10

Compresin de datos de backup

Advanced Compression with

Puede ver el tipo de compresin habilitado, usando el comando show: RMAN> show compression algorithm; CONFIGURE COMPRESSION ALGORITHM 'BASIC' AS OF RELEASE 'DEFAULT' OPTIMIZE FOR LOAD TRUE ; # default El algoritmo de compresin bsica, no requiere licencia extra de Oracle. Si estas Oracle Database 11g release 2 o superior y tienes liciencia para Advanced Compression Option, entonces tienes disponible adionalmenta para configurar tres niveles de compresin binaria . Por ejemplo: RMAN> configure compression algorithm 'HIGH'; RMAN> configure compression algortihm 'MEDIUM'; --Habilitado por defecto RMAN> configure compression algorithm 'LOW'; Para regresar del actual algoritmo de compresin, al algoritmo bsico de compresin, use el comando clear: RMAN> configure compression algorithm clear; Compresin de Data Pump La habilidad de comprimir los metadatos asociados con una operacin de Data Pump se introdujo por primera vez en Oracle Database 10g versin 2. En Oracle Database 11g, esta capacidad de compresin ha sido extendida para que se puedan comprimir los datos de una tabla al exportarla. La compresin de Data Pump es una operacin en lnea, por lo tanto la reduccin en el tamao del archivo de volcado de memoria resulta en un gran ahorro en el espacio de disco utilizado. A diferencia de las herramientas de compresin de los sistemas operativos o sistemas de archivos, la compresin de Data Pump se realiza totalment en linea tambin en cuanto la importacin, por lo tanto no es necesario descomprimir un archivo de volcado de memoria antes de importado. Se descomprime el conjunto de archivos de volcado de memoria automticamente durante la importacin sin que el administrador de la base de datos haga nada ms. Se pueden seguir los siguientes pasos: Cree un directorio de trabajo: SQL> create directory dp as '/oradump'; Asignele permisos de lectura/escritura: SQL> grant read, write on directory dp to esayel;

Lic. Elas M. Escobar Ayona

Pgina 11

Compresin de datos de backup

Advanced Compression with

Cree una tabla con compresin Data pump CREATE TABLE inv_et ORGANIZATION EXTERNAL ( TYPE ORACLE_DATAPUMP DEFAULT DIRECTORY dp ACCESS PARAMETERS (COMPRESSION ENABLED) LOCATION ('inv1.dmp') ) AS SELECT * FROM inv;

Lic. Elas M. Escobar Ayona

Pgina 12

Compresin del trfico de red

Advanced Compression with

Compresin del trfico de red Data Guard proporciona la infraestructura de software de administracin, control y automatizacin pra crear, mantener y controlar una o ms bases de datos standby y as proteger de fallas, desastres, errores y corrupcin los datos de las empresas. Data Guard mantiene la sincronizacin de las bases de datos primarias y standby utilizando datos redo (la informacin necesaria para recuperar una transaccin). A medida que se llevan a cabo transacciones en la base de datos primaria, se generan y escriben datos redo en los archivos de registro redo locales. Se utiliza Data Guard Redo Transport Services para transferir estos datos redo a los sitios standby. Con Advanced Compression, es posible transmitir los datos redo en un formato comprimido a fin de reducir el consumo del ancho de banda y en algunos casos acortar el tiempo de transmisin de esos datos. A partir de Oracle Database 11g versin 2, redo puede transmitirse en un formato comprimido, cuando la configuracin de Oracle Data Guard usa transporte de datos redo (SYNC), o bien transporte asincrnico de datos redo ASYNC). Para habilitar la compresin de tranporte redo, puede usar la sintaxis: SQL> alter system set log_archive_dest_1 = 'SERVICE=DBA11GDR COMPRESSION=ENABLE';

Lic. Elas M. Escobar Ayona

Pgina 13

Conclusiones

Advanced Compression with

Conclusiones El estallido en el volumen de datos que experimentan las empresas trae importantes desafos. Las empresas deben adaptarse rpidamente al entorno cambiante de sus negocios. Los administradores de IT deben administrar eficientemente las infraestructuras existentes para controlar costos, pero a la vez seguir brindando un extraordinario rendimiento en las aplicaciones. La opcin Advanced Compression de Oracle Database 11g proporciona un conjunto robusto de capacidades que les permiten a los administradores de IT tener xito en este complejo entorno. Aprovechando la opcin Advanced Compression, las empresas pueden administrar eficientemente sus crecientes requisitos de datos a travs de todos los componentes de sus centros de datos, minimizando costos y logrando el ms alto rendimiento en sus aplicaciones.

Lic. Elas M. Escobar Ayona

Pgina 14

Introduccin

Advanced Compression with

Referencias bibliogrficas [1] Greenwald Rick, Robert Stackowiak andn Ster Jonathan, Oracle Database 11g Essentials, Sebastopol, CA: OReilly Media, Inc. (2008). Pag. 7, 26, 302 y 325. [2] Kuhn Darl. Pro Oracle Database 11g Administration: Effectively manage and safeguard your organization's data (2010). Pag. 143, 182, 26, 336 y 356. [3] Alapati Sam R. and Kim Charles, Oracle Database 11g: New Features for DBAs and Developers. (2007). Pag. 153, 313 y 429. [4] William Hodak. Documento tcnico de Oracle: Compresin avanzada con Oracle Database 11g versin 2 (2009). En lnea. Internet. Disponible http://www.oracle.com

Lic. Elas M. Escobar Ayona

Pgina 15