INSTITUTO SUMAR DE EDUCAO SUPERIOR ISES FACULDADE SUMAR

DATA WAREHOUSE E DATA MINING

JUAREZ PAIVA LEONARDO ROSA BENEDITO LETCIA LUIZA PALCIO NILSON BIASOTTO ROSNGELA MENDES GUIMARES

SO PAULO 2013

INSTITUTO SUMAR DE EDUCAO SUPERIOR ISES FACULDADE SUMAR

DATA WAREHOUSE E DATA MINING

Pesquisa apresentada ao Curso de GTI da Faculdade Sumar, como requisito parcial aprovao do semestre.

Orientador: Prof. Olinda Nogueira Paes Rizzo, Ma.

JUAREZ PAIVA LEONARDO ROSA BENEDITO LETCIA LUIZA PALCIO NILSON BIASOTTO ROSNGELA MENDES GUIMARES

SO PAULO 2013

SUMRIO
INTRODUO ............................................................................................................ 4 CARACTERSTICAS DO SISTEMA ........................................................................... 6 FUNCIONAMENTO .................................................................................................... 7 EXEMPLO DE UTILIZAES (ESTUDO DE CASO) .............................................. 10 CONCLUSO ........................................................................................................... 12 REFERNCIAS BIBLIOGRFICAS ......................................................................... 13

INTRODUO
Desde os primrdios o ser humano aprendeu e desenvolveu sua forma de pensar e agir observando padres, formulando hipteses e estabelecendo relaes entre tudo o que existe a sua volta. Utilizando essas comparaes e testando-as foi possvel assim, descobrir regras e estabelecer parmetros otimizando seu trabalho e tornando-o mais eficiente e preciso. Com o surgimento dos meios computacionais e com a tecnologia em constante avano esse tipo de relao pode ser aprimorada e utilizada, entre tantas outras finalidades, para fins comerciais. O atual volume de dados que as empresas produzem so extremamente volumosos e complexos quando comparados uns com os outros, no sendo possvel comparar esses dados utilizando simples ferramentas e no pode mais ser examinado procura de padres e relaes pensando na concluso da anlise sem que um tempo e gasto muito alto seja dispensado nesse trabalho. A minerao e o depsito de dados surgem para suprir essa finalidade e podem ser aplicadas, entre inmeros casos, para impulsionar a lucratividade da empresa madura, inovadora e competitiva que busca relaes para conhecer seus clientes, seus gostos e suas preferncias. Diariamente as empresas acumulam grande volume de dados onde possvel obter informaes como quem comprou o qu, onde, quando e em que quantidade, por exemplo. a informao vital para o dia-a-dia de qualquer empresa que tenha viso e planejamento a longo prazo. Utilizando de estatsticas ao final do dia para repor estoques e detectar tendncias de compra utiliza-se assim a minerao de dados para conhecer melhor os clientes, seus padres de consumo e motivaes e o depsito de dados para a anlise desse grande volume para que os mesmos se tornem informaes teis para o gestor ajudando-o no planejamento da empresa. Estes sistemas resgatam nas grandes organizaes a funo do clssico dono atendendo no balco, conhecendo sua clientela da forma mais prxima possvel e, atravs desses sistemas, esses mesmos dados agora podem agregar valor s decises da empresa, sugerir tendncias, desvendar particularidades dela e de seu meio ambiente e permitir aes melhor estudadas e fundadas aos seus gestores.

Assim sendo, Data Mining significa literalmente uma minerao de dados, uma anlise projetada com o objetivo de vasculhar uma grande quantidade de dados e considerada uma ferramenta de gerenciamento de informao utilizada no intuito de facilitar o acesso e a organizao das estruturas de conhecimento que auxiliem em decises de trabalho. Na prtica uma anlise de dados exploratrios e de modelagem, tornando possvel o processo de explorar grandes quantidades de dados procura de padres consistentes. J o Data Warehouse que significa armazm de dados, ou tambm depsito de dados, um sistema de computao utilizado para armazenar informaes relativas s atividades de uma organizao em bancos de dados, de forma consolidada. O Data Warehouse possibilita a anlise de grandes volumes de dados coletados dos sistemas transacionais. Atualmente, por sua capacidade de sumarizar e analisar grandes volumes de dados o Data Warehouse o ncleo dos sistemas de informaes gerenciais e apoio deciso das principais solues de inteligncia nos negcios (Business Intelligence). Os dados nesse sistema no so volteis e, com raras excees, no mudam, pois cada informao est disponvel somente para consulta.

CARACTERSTICAS DOS SISTEMAS

O Data Mining no apenas uma consulta de banco de dados, pois permite a explorao da informao utilizando tcnicas diferenciadas em redes neurais, evidenciando informaes para uma rede hierrquica de deciso e sistemas estatsticos. A busca muitas vezes interativa possibilitando a reviso dos resultados pelos analistas responsveis na minerao dos dados objetivando a formatao dos novos conjuntos de informaes refinadas retiradas de um banco de dados geral. Aps o refino das informaes realizada uma realimentao do sistema seguindo novos parmetros. Os passos fundamentais de uma minerao bem sucedida a partir de fontes de dados, como um banco de dados, entre outros, so a preparao, a modelagem e a anlise dos dados surgindo da o Data Warehouse. O armazenamento no Data Warehouse se d num depsito nico e que seja de rpido acesso para as anlises. Quanto mais dados do histrico das operaes da empresa este depsito tiver, melhor ser para que a anlise destas informaes reflita o momento da empresa. Uma ferramenta importante na construo de um Data Warehouse o Metadados. O conceito metadados considerado como sendo os "dados sobre dados", isto , os dados sobre os sistemas que operam com estes dados. Um repositrio de metadados uma ferramenta essencial para o gerenciamento de um Data Warehouse no momento de converter dados em informaes para o negcio.

FUNCIONAMENTO
Conhecer o tipo dos dados com o qual se ir trabalhar algo fundamental para a escolha do mtodo de minerao de dados mais adequado. Podem-se categorizar os dados em dois tipos: quantitativos e qualitativos. Os dados quantitativos so representados por valores numricos. Eles ainda podem ser discretos e contnuos. J os dados qualitativos contm os valores nominais e categricos. Em geral, antes de se aplicar os algoritmos de minerao necessrio explorar, conhecer e preparar os dados. A ferramenta mais utilizada para a gerao de determinados dados a Online Analytical Processing (OLAP) por possuir um custo inferior quando comparado com o Data Mining alm de alguns estudos considerarem como no factvel e da necessidade uma pessoa com conhecimento avanado em estatstica. A minerao de dados baseia-se na utilizao de softwares inteligentes que so capazes de vasculhar grandes bases de dados de modo eficiente, com certa rapidez e revela para o usurio todas as informaes que sejam consideradas como potencialmente teis. O conhecimento descoberto pela minerao de dados expresso na forma de regras e padres que sero usados pelos gestores e executivos da empresa. As etapas no uso do Data Mining podem ser divididos em trs etapas: criao do modelo, treinamento do modelo e consulta dos resultados. Criao do modelo: o usurio especifica o tipo de problema que deseja resolver atravs do emprego da minerao de dados. Aps especificar os problemas que sero o alvo, o usurio seleciona as tabelas do banco que deseja investigar, assim como os seus atributos. Treinamento do modelo: o usurio comanda a execuo do algoritmo de minerao de dados sobre as tabelas selecionadas na etapa anterior. Como resultado, gera-se, de forma automtica, um conjunto de regras e padres extrados destas tabelas. Neste momento o usurio tem a autonomia de determinar qual a parte dos dados que ser examinada. Consulta dos resultados: na etapa final o usurio tem condies de explorar o conjunto de regras e padres descobertos pelo algoritmo de Data Mining. Estas regras so disponibilizadas de maneira simples como, por exemplo, atravs de uma viso do banco de dados.
7

Com relao ao Data Warehouse, este sistema geralmente passa por uma rea conhecida como stage. O stage de dados ocorre quando existem processos peridicos de leitura de dados de fontes como sistemas OLTP (on-line transaction processing). Os dados podem passar ento por um processo de qualidade, de normalizao e gravao dos dados no Data Warehouse. Sistemas OLTP (on-line transaction processing) so ferramentas que tm a tarefa de monitorar e processar as funes bsicas e rotineiras de uma organizao, tais como processamento da folha de pagamento, estoque, entre outros. Os fatores indispensveis para o sucesso na realizao deste tipo de sistema so: alto grau de preciso, integridade a nvel transacional e produo de documentos em tempo hbil. Os dados transacionais OLTP so usados pelos usurios em geral no dia-adia em seus processos e transaes, gravao e leitura. Como, por exemplo, consulta de estoque e registro de vendas. O principal objetivo da modelagem relacional em um sistema OLTP eliminar ao mximo a redundncia, de tal forma que uma transao que promova mudanas no estado do banco de dados, atue o mais pontualmente possvel. Com isso, nas metodologias de projeto usuais, os dados so fragmentados por diversas tabelas, o que traz uma considervel complexidade formulao de uma consulta por um usurio final. Por isso, esta abordagem no mostra ser a mais adequada para o projeto de um Data Warehouse sendo a OLAP a mais indicada. As ferramentas OLAP (Online Analytical Processing) so geralmente desenvolvidas para trabalhar com banco de dados normalizados. Essas ferramentas so capazes de navegar pelos dados de um Data Warehouse, possuindo uma estrutura adequada tanto para a realizao de pesquisas como para a apresentao de informaes. Nas ferramentas de navegao OLAP, possvel navegar entre diferentes nveis de detalhamento de um cubo de dados. Um recurso usado pelas ferramentas de navegao OLAP o de criar vises dos dados por meio de sua reorganizao de forma que eles possam ser examinados sob diferentes perspectivas. O uso de recursos para manipular, formatar e apresentar os dados de modo rpido e flexvel um dos pontos fortes de um Data Warehouse. Essa caracterstica faz com que a apresentao de relatrios na tela seja mais comum do que imprimi-los. Alm disso,
8

o usurio tem liberdade para examinar as informaes que quiser de diversas maneiras e, ao final, pode imprimir e at mesmo salvar as vises mais importantes para uma futura consulta.

EXEMPLOS DE UTILIZAES (ESTUDO DE CASO)

CASO TOYOTA USA A Toyota Motor Sales USA uma subsidiria norte-americana de carros e caminhes construdos pela Toyota. A empresa compra os carros na fbrica da Toyota no Japo e em outros locais, toma posse dos veculos e ento os vende para os revendedores da Toyota nos Estados Unidos. Um veculo de mdio porte custa US$ 8,00 (oito dlares) por dia em trnsito. Como era de costume levar de 9 a 10 dias em trnsito, acabava por custar de US$ 72,00 a US$ 80,00 por carro. Para dois milhes de carros por ano, o custo para a empresa era alto demais. No final dos anos 90, a empresa enfrentou problemas cada vez maiores na sua cadeia de fornecimento e em suas operaes, e os seus custos para armazenar carros se elevaram. Alm disso, a incapacidade de fornecer carros para os revendedores a tempo resultou em clientes insatisfeitos que ento compravam carros dos concorrentes. Antigamente os gestores usavam computadores que geravam relatrios em excesso e dados sem direo alm de no terem a capacidade de usar esses dados e relatrios de forma til. Ademais os departamentos internos geralmente no tinham sucesso em compartilhar informaes ou o faziam de forma muito devagar e descoordenada. Depois de vrias tentativas na implementao de um sistema que integrasse os diversos setores e que pudesse manipular os dados gerados por eles chegou-se na concluso da necessidade de implementao de um Data Warehose. Este sistema permitiu que os executivos vissem as reas que mereciam ateno em suas unidades de negcio e investigassem mais para identificar os problemas com exatido, bem como as suas causas. Graas ao Data Warehouse o sistema ajudou, por exemplo, a descobrir que a Toyota era cobrada duas vezes por um envio especial por trem (um erro de US$ 800.000). No geral, a Toyota USA conseguiu aumentar o volume de carros que negociava em 40% entre 2001 e 2005, enquanto aumentou o nmero de funcionrios em apenas 3%. Alm disso, o tempo de trnsito foi reduzido em mais de 5%. Por isso a Toyota alcanou a mais alta margem de lucro no mercado automotivo desde 2003. O retorno que a empresa obteve com o investimento em

10

Inteligncia nos Negcios (B.I.) foi de 506%, mais que justificando o custo de sua implementao. A seguir mais dois exemplos de aplicao de Data Mining e Data Warehouse nas empresas:

A empresa de pagamentos MasterCard International processa diariamente cerca de 12 milhes de transaes e utiliza minerao de dados para extrair todos os tipos de estatsticas sobre os portadores de cartes. Este processamento est includo nas vendas do Data Warehouse de transaes para os mais de 20.000 parceiros comerciais. Isto permite a visualizao de diferentes classes de portadores de cartes e a anlise de como estes utilizam seus cartes para desenvolver promoes especializadas e deteces de fraude;

O Bank of America elabora uma detalhada viso demogrfica de hbitos bancrios e propriedades financeiras de grupos selecionados de seus usurios. Consultas no Data Warehouse de 800 Gigabytes levam 30 segundos cada; comparadas com a espera de 3 meses para o acesso a dados de 100 fitas magnticas dos tradicionais mainframes e a subsequente distribuio aos requisitantes se trata de um tempo realmente rpido. O sistema utiliza os dados do banco inteiro e de suas 30 unidades comerciais.

11

CONCLUSO
Os sistemas baseados em Data Mining e Data Warehouse demonstram serem ferramentas poderosas auxiliando o gestor na busca pelo melhor caminho em direo ao sucesso da corporao e facilitando o trabalho dos analistas de negcios das empresas, ajudando as mesmas a conseguirem serem mais competitivas e a aumentarem seus lucros. So ferramentas complexas, que necessitam de um conhecimento tcnico avanado e ainda de um conhecimento amplo do mercado onde a empresa est inserida alm do ambiente cultural onde a mesma se encontra tornando um trabalho amplo, porm com retorno certo quando feito da melhor forma possvel.

12

REFERNCIAS BIBLIOGRFICAS
Sites:

CAMILO, C. O. SILVA, J. C. da. Minerao de Dados: Conceitos, Tarefas, Mtodos e Ferramentas. Instituto de Informtica. Universidade Federal de Gois. Ago. 2009. Disponvel em: <http://www.inf.ufg.br/sites/default/files/uploads/relatoriostecnicos/RT-INF_001-09.pdf>. Acesso em: 01 Jun. 2013. GONALVES, E. C. Data mining novos recursos nos sistemas de banco de dados. DevMedia. Disponvel em: <www.devmedia.com.br/data-mining-novosrecursos-nos-sistemas-de-banco-de-dados/5892>. Acesso em: 01 Jun. 2013.

GRUPO DE SISTEMAS INTELIGENTES - Minerao de Dados. Departamento de Informtica. UEM - Universidade Estadual de Maring. 1998. Disponvel em: < www.din.uem.br/~ia/a_multid/mineracao/aplicacoes/exemplos.html>. Acesso em: 01 Jun. 2013. LIMA, C. A. L. Estudo de Caso Toyota USA. Blog do Lito - Data Warehouse / Business Intelligence. Maro de 2011. Disponvel em: <litolima.com/2011/03/05/estudo-de-caso-toyota-usa/>. Acesso em: 01 Jun. 2013. REBOUAS, Fernando. Data mining minerao de dados. Infoescola. Disponvel em: < www.infoescola.com/informatica/data-mining/ >. Acesso em: 01 Jun. 2013.

REBOUAS, Fernando. Data Warehouse - Sistemas de Informaes e Administrao. Infoescola. Disponvel em: < www.infoescola.com/informatica/datawarehouse/>. Acesso em: 01 Jun. 2013.

REIS, T. Data warehouse e data mining. Tecnologia e Negcios. Abril de 2010. Disponvel em: <tecnologiae-e-negocios-thiagoreis.blogspot.com.br/2010/04/datawarehouse-e-data-mining.html>. Acesso em: 01 Jun. 2013.
13

SOWEK, C. A. O Que Data Warehouse. Jornal Bate Byte. Companhia de Informtica do Paran Celepar. 2009. Disponvel em: <www.batebyte.pr.gov.br/modules/conteudo/conteudo.php?conteudo=250>. Acesso em: 01 Jun. 2013.

WIKIPEDIA. Armazm de dados. Disponvel em: <www.pt.wikipedia.org/wiki/Data_warehouse>. Acesso em: 01 Jun. 2013.

WIKIPEDIA. Minerao de dados. Disponvel em: < www. pt.wikipedia.org/wiki/Minerao_de_dados>. Acesso em: 01 Jun. 2013.

14