Estrategia de difusin de informacin estadstica basada en PC-Axis.

La experiencia del ISTAC y del IBESTAT

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT
Ponentes: Fernndez Vzquez, Sara sfernandez@ibestat.caib.es Institut dEstadstica de les Illes Balears (IBESTAT) Gonzlez Yanes, Alberto jgonyanp@gobiernodecanarias.org Instituto Canario de Estadstica (ISTAC)

Resumen: El Instituto Canario de Estadstica (ISTAC) y el Instituto de Estadstica de Baleares (IBESTAT) una vez evaluado el volumen y las caractersticas de la informacin estadstica a publicar han considerado que la herramienta adecuada para el cumplimiento de tal objetivo es el PC-Axis al tratarse de un sistema para visualizacin de tablas estadsticas que ofrece: Una sencilla interfaz de usuario basada en hoja de clculo. Personalizacin de tablas. El usuario decide qu variables y valores intervienen y en qu orden. Confeccin de grficos estadsticos. Confeccin de mapas temticos (se necesita instalar el programa PX-Map y las colecciones de mapas). Exportacin y copia de datos a otras aplicaciones.

PC-Axis es una serie de softwares creados para servir de plataforma para la difusin de estadsticas oficiales coherentes, eficientes y amables a los usuarios. Es ideal para oficinas nacionales de estadsticas y otros organismos encargados de la difusin de estadsticas sociales y econmicas. La serie soporta a todo el espectro de productos de difusin: bases de datos en lnea comprensibles, productos electrnicos como CD-ROM, y publicaciones disponibles en papel o en la red. El formato de archivo PC-Axis es rico en metadatos y es un archivo en ASCII que refleja las ideas utilizadas en el sistema Axis y su sucesor, el modelo macro meta PX. En la ponencia se describir la experiencia del ISTAC y del IBESTAT en la produccin y difusin de informacin estadstica en el estndar PC-Axis. Palabra clave: Difusin estadstica, PC-Axis, metadatos, cubos.

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

LA DIFUSIN CONJUNTA DE DATOS Y METADATOS.

El Cdigo de Buenas Prcticas de las Estadsticas Europeas en su principio nmero 15, sobre accesibilidad y claridad, establece que Las estadsticas europeas deberan presentarse de forma clara y comprensible, difundirse de forma adecuada y conveniente y estar disponibles, asimismo se debera permitir el acceso a las mismas de forma imparcial, con metadatos y orientacin de apoyo. Una definicin utilizada con frecuencia nos dice que los metadatos son "datos sobre datos", en general un objeto que describe o dice algo sobre otro objeto de informacin. De manera formal podramos decir que un metadato es un dato que se encarga de mantener un registro sobre el significado, contexto o propsito de un objeto informativo, con la pretensin de poder descubrir, entender, extraer y administrar dicho objeto.

Figura 1. Tipos de metadatos

La estrategia de difusin de informacin estadstica basada en PC-Axis, por la que ha apostado tanto el ISTAC como el IBESTAT, se dirige hacia el cumplimiento del principio anteriormente citado; difundiendo conjuntamente los datos estadsticos con metadatos tanto estructurales como documentales, y con ello poder descubrir, entender, extraer y administrar la informacin estadstica aportada por nuestros institutos.

1. INTRODUCCIN A LA FAMILIA PC-AXIS.

La familia de software PC-AXIS es un conjunto de herramientas que dan soporte de manera eficiente, fcil y coherente a la difusin de estadsticas. Se trata de una plataforma ideal para oficinas nacionales de estadstica y otras organizaciones que se dedican a la publicacin de estadsticas sociales y econmicas. La familia abarca todo el espectro de productos para la difusin y provee base de datos online y offline. El mdulo principal PC-AXIS fue desarrollado por el instituto de estadstica nacional sueco y poco a poco se han ido sumando herramientas creadas pos otros institutos. El formato de archivo PC-AXIS contiene una variedad muy rica de metadatos. Se trata de un fichero con extensin PX, lo que explica los nombres de los productos de la familia que comienzan con este prefijo. La suite est desarrollada para el sistema operativo Windows y adems de un mdulo para la difusin en Internet, posee extensiones SQL. En PC-AXIS es posible organizar tablas, establecer bases de datos estadsticas locales, exportar tablas a una amplia variedad de Fernndez Vzquez, Sara 2
Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

formatos, como por ejemplo Microsoft Excel o HTML, y elaborar grficos estadsticos. Algunos de los programas que componen la familia son los siguientes:
Mdulo principal de PC-Axis

PC-Excel

PX-Graph PX-Web / JAXI

PX-Map Macros SAS PX-Edit

Figura 2. Familia PC-Axis

De forma resumida, de entre otras muchas funcionalidades, se incluyen las siguientes: Difusin de estadsticas en lnea (componentes PX-Web o JAXI) y sin conexin (Mdulo principal PC-Axis). Tablas Dinmicas funcin para pivotar (Mdulos principales PX-Web y PC-Axis). Conversin a diferentes formatos de archivo (PX-Web y PC-Axis) por ejemplo Excel, Lotus, txt, etc. y para PC-Axis nicamente Gesmes/TS y XML. Base de datos de resultados (bases de datos PC-Axis y/o SQL). Matrices multidimensionales (archivos PC-Axis y bases de datos SQL). Modelo de informacin rico en metadatos en SQL y en el formato de archivo PC-Axis. Windows (PC-Axis) e Internet (PX-Web). Los archivos PC-Axis en una estructura de catalogacin forman una base de datos PCAxis y es accesible sin tener que utilizar SQL (Mdulo principal PC-Axis y PX-Web). Las extensiones SQL (Servidores Sybase/Oracle/MS-SQL) para la base de datos SQL se estructuran de acuerdo al modelo macrometa comn de informacin (PCAxis SQL y en algunos casos los componentes PX-Web y PC-Axis/PX-Batch en Internet a una base de datos macro). Facilidades de agrupamiento (PC-Axis y PX-Web). Grficas (PX-iGraph). 3

Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

Mapas (PX-Map y PX-iMap). Creacin de archivos PC-Axis de diferentes fuentes (PC-Axis SQL, PX-Batch, PXMake, PX-Edit y el SuperStar/SuperCross Australiano). Tablas creadas en una base de datos SQL o PC-Axis e insertadas en MS-Word o MSExcel (PX-Publ).

2. FORMATO DE LOS ARCHIVO PC-AXIS.

Un archivo PC-Axis no es ms que un formato para almacenar una tabla estadstica multidimensional (cubo). La extensin del archivo es .px (ejemplo: tabla.px). Este archivo es un documento estructurado donde las llamadas palabras clave son usadas como identificadores iniciales de secciones de contenido. Por tanto, un fichero PC-Axis no en ms que cubo entendido como una tabla multidimensional creada como resultado de una tabulacin transversal de diferentes variables. Las diferentes dimensiones de un cubo estadstico (clasificaciones) se denominan variables en PC-Axis. Las variables son descritas en PC-Axis con las palabras clave STUB (variables fila) o HEADING (variables columna). Tambin es posible crear una variable consistente en el contenido de varias variables; la palabra clave CONTVARIABLE se usa para eso. En PC-Axis las variables se dividen en valores (categoras), que se expresan como texto o posibles cdigos. Los valores de las variables son indicados por la variable con la palabra clave VALUES y los cdigos con CODES. El archivo .px est formando por dos bloques principales: datos y metadatos. Algunas de las palabras clave usadas para la definicin de metadatos son obligatorias mientras que otras son opcionales, la parte de los datos es obligatoria y siempre es la ltima que aparece en el archivo. Un ejemplo de fichero PC-Axis sera:
METADATOS MATRIX="BE001"; SUBJECT-CODE="BE"; SUBJECT-AREA="Population"; TITLE="Population by region, time, marital status and sex."; STUB="region"; HEADING="time","marital status","sex"; VALUES("region")="Sweden","Stockholm","rebro"; VALUES("time")="1990-12-31"; VALUES("marital status")="unmarried","married","total"; VALUES("sex")="men","women"; CONTENTS="Population"; UNITS="numbers of persons";

DECIMALS=0;
DATOS DATA= 2155484 1842207 1710484 1713821 4244017 4346613 167965 162184 110463 111697 316041 358411 28909 26791 23822 23982 58352 62592
Figura 2. Ejemplo de fichero de PC-Axis

Cuando todos los datos y metadatos son incluidos y estn tcnicamente bien grabados, el archivo puede usarse en todas las aplicaciones principales de la familia de productos de PCAxis: PC-Axis, PX-Web, PX-Map y PX-Edit (a partir de ahora nos referiremos a stas como
Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

aplicaciones). PX-Edit, que es tambin una herramienta de correccin y revisin de archivos, puede ser usada para abrir ficheros con contenidos deficientes o ligeramente errneos a nivel sintctico. En estos casos, PX-Edit indicar los errores que identifique y para algunos errores tpicos, se sugerirn correcciones.

Figura 3. Ejemplo de cubo multidimensional

3. WHY ME?: PC-AXIS FRENTE A OTRAS OPCIONES.

4.1. EL ESTNDAR INTERNACIONAL SDMX SDMX es una iniciativa patrocinada por BIS - BCE - EUROSTAT - FMI - OCDE - ONU - Banco Mundial, nacida para fomentar normas de intercambio de informacin estadstica. SDMX proporciona especificaciones tcnicas para el intercambio de datos y metadatos basados en un modelo de informacin comn. El objetivo de este esfuerzo es definir formatos para el intercambio de datos estadsticos agregados y los metadatos necesarios para comprender la estructura de los datos. Las caractersticas del estndar se resumen en dos puntos: Estndar de intercambio de Datos y Metadatos Estadsticos. SDMX, en su versin 1, es una ISO y por tanto un estndar internacional que debe ser un referente para todas las organizaciones estadsticas (la v2 tiene el proceso de estandarizacin en marcha).

Es importante saber que SDMX ha sido recomendado oficialmente en los siguientes foros: Febrero 2007: SDMX es aprobado por el Comit de Programas Estadsticos de la Unin Europea Marzo 2008: La Comisin de las Naciones Unidas declara SDMX como el estndar preferido para datos y metadatos.

Quines han optado por SDMX?

Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

Consejo de la Reserva Federal de los EEUU: Permite realizar selecciones y descargar en formato SDMX. http://www.federalreserve.gov/datadownload/default.htm Reserva Federal del Banco de Nueva York: Facilita los datos en formato SDMX. http://www.newyorkfed.org/xml/index.html Banco Central Europeo: Posiblemente una de las mejores pginas web que usan SDMX porque no slo permiten la descarga de los datos en SDMX sino permite visualizar grficamente toda la informacin. http://www.ecb.int/stats/exchange/eurofxref/html/eurofxref-graph-usd.en.html Eje Comn de la Deuda Externa (WB, IMF, OECD, BIS). http://www.jedh.org Divisin de Estadsticas de las Naciones Unidas (UN/COMTRADE) http://comtrade.un.org Cuentas Nacionales de OECD / Eurostat (NAAWE). http://stats.oecd.org/nawwe/default.aspx Eurostat Institutos Nacionales de Estadstica, tales como Estadsticas de Canad o el Sistema Federal Mexicano UNESCO OCDE: Representacin grfica e interactiva http://stats.oecd.org/nawwe/csp/default.html de las estadsticas:

Visor de estadsticas de la OECD que incluye visualizacin de metadatos, mapas, grficos,... http://stats.oecd.org/Index.aspx

Es posible migrar de PC-Axis a SDMX?

El grupo de trabajo ESSnet on SDMX del Sistema Estadstico Europeo (ESS), coordinado por el INE de Portugal, trabaja entre otros temas en el mapeo PC-Axis a SDMX. Asimismo la FAO en su producto CountrySTAT1, con el asesoramiento de Metadata Technology, ya integra PCAxis con SDMX.

Por lo tanto, el paso por PC-Axis es una buena estrategia para la migracin hacia el estndar internacional SDMX; pues facilita a las organizaciones estadsticas un primer acercamiento a la produccin y difusin de metadatos.

PC-AXIS
http://unstats.un.org/unsd/accsub/2006docs-8th/SA-2006-13Add1-FAO.pdf

SDMX
6

Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

Figura 4. De PC-Axis a SDMX

4.2. SOLUCIONES BASADA EN BUSINESS INTELLIGENCE. Las soluciones BI son precisamente eso, soluciones BI, con sus aciertos y sus problemas. NO SON SOLUCIONES PENSADAS PARA LA DIFUSIN DE ESTADSTICAS, aunque en algunos casos pueden ser tiles. 1. Es factible cruzar todo con todo? Cuntos cubos necesitamos? 2. Escasa o nula integracin de metadatos 3. En algunos casos no aceptacin de valores no numricos, no diferenciacin de distintos tipos de valores NULL.

4. Problemas de control de secreto estadstico 5. Alto coste y alta dependencia tecnolgica de empresas y/o Servicios de Informtica 6. Poca flexibilidad 4.3. SOLUCIONES COMERCIALES. Existen mltiples soluciones comerciales, entre las que destacamos Beyond 20/202 o Super Star3, que en buena medida resuelven muchos de los problemas planteados en la difusin de estadsticas; pero suelen ser aplicativos de alto coste y escasa interoperabildad. 4.4. RAZONES PARA OPTAR POR PC-AXIS. Ante lo expuesto anteriormente, las razones barajadas para optar por PC-Axis son las siguientes: 1. Conjunto de metadatos mapeables con el estndar internacional SDMX y fcilmente interpretables. 2. Estndar de facto, implementado en un amplsimo conjunto de pases.

3. Sistema pensado para la difusin de estadsticas pblicas con una importante integracin de metadatos de uso estadstico. 4. Estructura de cubos, con posibilidad de simulacin OLAP, y aceptacin de valores no numricos en el conjunto de datos. 5. Alta flexibilidad y prcticamente nula dependencia tecnolgica por parte de las unidades de produccin y difusin de estadsticas. 6. Tecnologa sencilla basada en ficheros ligeros sobre txt y con un importante conjunto de herramientas de produccin y difusin de uso libre, e incluso abiertas (JAXI).

2 3

http://www.beyond2020.com/ http://www.spacetimeresearch.com/

Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

4. HERRAMIENTAS DE PRODUCCIN DE FICHEROS PC-AXIS.

En primer lugar se ha elaborado un manual de uso de los metadatos PC-Axis, para normalizar la produccin de los mismos. El manual establece los metadatos obligatorios y las normas de cumplimentacin de los mismos. Las herramientas de produccin de ficheros PC-Axis son las siguientes: Macro SAS to PC-Axis de Statistics Finland, para dataset de SAS Macro SAS to PC-Axis del ISTAC para tablas de sumarizacin PX-Edit PX-Tool

Y complementariamente: PX-Make de Statistics Denmark (utilizado por el INE) Notepad++ Traductor de PC-Axis para la migracin entre vocabularios, del ISTAC Traductor multilenguaje para la traduccin entre lenguas, del IBESTAT ValPX de validacin de normas internas de produccin de metadatos, del ISTAC.

Figura 5. Ejemplo del manual de normas de uso de los metados PC-Axis

Aplicacin de conversin de SAS a PC-AXIS

Figura 6. Ciclo bsico de produccin de fichero PC-Axis

Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

5. HERRAMIENTAS DE DIFUSIN DE FICHEROS PC-AXIS.

6.1. DIFUSIN OFF-LINE. Para la difusin off-line se utilizan dos de los programas de la familia PC-Axis, que son de distribucin gratuita: PC-Axis (con el mdulo de PX-Graf) para la difusin de tablas y generacin de grficos, y PX-Map para la generacin de mapas temticos.

Figura 7. Ejemplo visualizaciones en PC-Axis y PX-Map

6.2. DIFUSIN ON-LINE. Para la difusin en la Web, se parti del cdigo fuente del aplicativo JAXI desarrollado por el Instituto Nacional de Estadstica (INE). Se opt por el uso del JAXI frente a PX-Web, pues en el primer caso se poda disponer del cdigo fuente y por lo tanto realizar las adaptaciones necesarias a los requisitos previstos por el ISTAC en primer lugar y posteriormente por el IBESTAT. FASE PRIMERA: Mejoras bsicas sobre el JAXI-INE desarrollas por el ISTAC En esta primera fase se realizaron las siguientes acciones: 1. Adaptacin a la imagen corporativa del ISTAC Adaptacin general a formato vertical Solucin a textos largos en la pgina de seleccin de categoras con formato vertical Paginado de tablas en la pgina de presentacin de tablas

2. Lectura de ms metadatos por parte del JAXI: AUTOPEN, INFO, UNITS, STOCKFA, CFPRICES, DAYADJ, SEASADJ, REFPERIOD, BASEPERIOD, CONTVARIABLE, PRECISION, SOURCE, SURVEY, CONTACT, NOTE , NOTEX, VALUENOTE, VALUENOTEX, CELLNOTE, CELLNOTEX, DATANOTECELL. 3. Mejoras en las ayudas
Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

FASE SEGUNDA: Mejoras sobre el JAXI-INE desarrollas por el IBESTAT Sobre las mejoras realizadas por el ISTAC posteriormente el IBESTAT incorpor las siguientes funcionalidades: 1. Lectura de ficheros PC-Axis multilenguaje 2. Generacin de mapas temticos 3. Generacin de grficos

Figura 8. Ejemplo de visualizacin de resultados de consultas en JAXI-ISTAC

6.3. TECNOLOGA PARA LA REPRESENTACIN ON-LINE DE GRFICOS. La librera para dibujar grficos estadsticos es JFreeChart, implementada en Java. Entre los grficos que se pueden dibujar se encuentran: grfico de lneas, grfico de barras, grfico sectorial y pirmide de poblacin.

Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

Figura 9. Ejemplo de grfico en IBESTAT a partir de un fichero PC-Axis

6.4. TECNOLOGA PARA LA REPRESENTACIN ON-LINE DE MAPAS. La tecnologa usada para representar mapas es el framework javascript MapFish. Esta librera permite realizar consultas y editar entidades geogrficas. A su vez esta librera se apoya en el framework OpenLayers que permite establecer mapas geogrficos en la web. En nuestro caso MapFish nos permite representar mapas temticos. Nuestra fuente de datos para representar las entidades geogrficas ser un archivo en formato Shapefile. Con este archivo es posible geolocalizar y pintar el mapa. A continuacin se establece una capa con las regiones del mapa temtico, esta capa se sirve en formato GeoJson al MapsFish. Adems de este GeoJson que representa los datos seleccionados por el usuario, se utiliza otra capa de GeoJson con las entidades bsicas a pintar en el mapa. Esta ltima capa se puede obtener fcilmente a travs del shapefile de partida.

Fernndez Vzquez, Sara Gonzlez Yanes, Alberto

Estrategia de difusin de informacin estadstica basada en PC-Axis La experiencia del ISTAC y del IBESTAT

Figura 10. Ejemplo de mapa temtico en IBESTAT a partir de un fichero PC-Axis

Fernndez Vzquez, Sara Gonzlez Yanes, Alberto