Temas 3.3 y 3.

4 de Minera de almacenamiento de datos

INSTITUTO TECNOLOGICO SUPERIOR DE CHAMPOTON

3.3 TRANSACCION DE MANTENIMIENTO

El mantenimiento del DW o refrescado asegura contar con datos actualizados. Existen dos formas de refrescar los datos: la primera es llevar los datos al DW segundos despus de que las fuentes fueron actualizadas. La segunda es acumulando y almacenando los datos ya integrados y transformados, en un sitio intermedio para que de forma peridica pasar la informacin al DW. El refrescado se puede realizar de manera incremental o recalculando todos los datos. El refrescado de un DW est considerado como un problema difcil debido a las siguientes razones: primero, el volumen de datos almacenados en el DW es muy grande y crece cada vez ms. Segundo, el refrescado debe ser accesible a los diferentes cambios de ejecucin del DW. Finalmente, el refrescado engloba transacciones que por lo regular acceden mltiples datos, lo que implicara contar con clculos que pueden convertirse en complejos ya que produciran un alto nivel de agregacin. Refrescar un DW consiste en propagar las actualizaciones de las fuentes. Hablando del refrescado, hay dos cuestiones que debemos considerar: Cundo refrescar? y Cmo refrescar? Respondiendo al cmo refrescar, se puede realizar un refrescado incremental o bien un re-calculado de los datos; y respondiendo al cundo, se puede hacer a solicitud explicita del administrador, o peridicamente con un tiempo determinado. Uno de los mtodos ms empleados es el refrescado peridico, pero esto depende mucho de las cualidades de los datos que maneje el DW. As pues, el refrescado de un DW es considerado como un problema crtico y difcil debido a tres principales razones. Primero, el volumen de datos almacenados en el DW es muy grande y crece cada vez ms. La segunda razn, es ya que el refrescado debe ser accesible a los diferentes cambios de desempeo o ejecucin del DW. Y por ltimo, el refrescado envuelve transacciones que acceden mltiples datos, lo que implica clculos complejos que producen un alto nivel de agregacin.

Profesora: Lic. Martina Daz Rosado

INSTITUTO TECNOLOGICO SUPERIOR DE CHAMPOTON

El componente de extraccin debe ser capaz de recuperar y guardar todos los cambios que ocurren en las fuentes. Un monitor es una parte del componente de extraccin que es responsable de la actualizacin de los datos, es decir, el refrescado. El refrescar implica dos problemas. El primero es que la integracin debe ser incremental, y segundo es el reducir la cantidad de informacin que debe ser incorporada en el DW.

3.4 ARQUITECTURA DE LOS SISTEMAS PARA LA INTEGRACIN DE DATOS

El objetivo es integrar los datos provenientes de las mltiples fuentes para finalmente integrarlos en el DW. En general, la integracin es un proceso de dos pasos: Homogenizacin: Datos de fuentes individuales son transformadas conforme a un esquema global de datos. Dicho proceso es realizado por los extractores. Integracin: Durante este paso, las piezas homogenizadas son puestas juntas. Es decir, se agrupa la informacin y se deposita en el DW, segn el esquema definido.

Profesora: Lic. Martina Daz Rosado

INSTITUTO TECNOLOGICO SUPERIOR DE CHAMPOTON

Arquitectura tpica de un integrador

Las tareas principales del integrador son: descomponer la consulta ejecutada por el DW en sub-consultas dirigidas a las fuentes, fusionar los datos provenientes de las diversas fuentes y finalmente cargar estos datos ya fusionados en el DW. Tambin vale la pena resaltar que los datos son llevados al integrador mediante los extractores. Este tiene un mdulo de proceso de consultas, el cual las enva al administrador de consultas, encargado de actualizar la informacin en el repositorio. El trabajo del integrador consiste en recibir las notificaciones de cambios por parte de extractor y reflejar dichos cambios en el DW. Con un alto nivel de abstraccin, el DW puede ser visto como un conjunto de vistas materializadas. Analizando el problema en este camino, el trabajo del integrador es esencialmente desarrollar el mantenimiento de las vistas. Sin embargo, hay mltiples razones por las que las tcnicas convencionales de mantenimiento de vistas no pueden ser empleadas. El integrador debe de realizar a su vez la recoleccin de todos los datos recuperados por los extractores de forma que la informacin jams sea duplicada, es decir slo actualiza una vez los datos que aparecen repetidamente en las diferentes fuentes. Otra tarea a realizar del integrador, es la apertura de datos dentro del DW, lo que consiste en revisar los niveles de agregacin y el ordenamiento, as como la construccin de ndices y la particin de reas de almacenamiento.

Profesora: Lic. Martina Daz Rosado