SISTEMAS DE APOIO INTELIGNCIA DE NEGCIOS

http://www.uniriotec.br/~tanaka/SAIN tanaka@uniriotec.br

Asterio K. Tanaka

baseado no Captulo 16. Building the Data Warehouse de Kimball, Ralph; Ross, Margy. The Data Warehouse Toolkit. John Wiley, 2002. 2008.2
Asterio K. Tanaka

Projeto e Construo de Data Warehouse

Ciclo de Vida Dimensional do Negcio Planejamento e Gerncia de Projeto Definio dos Requisitos do Negcio Trilha Tecnolgica do Ciclo de Vida
Projeto da Arquitetura Tcnica Seleo de Produtos e Instalao

Trilha de Dados do Ciclo de Vida

Modelagem Dimensional Projeto Fsico
Estratgia de Agregao Estratgia Inicial de Indexao

Projeto e Desenvolvimento de Data Staging

Dimenses Fatos

Trilha de Aplicaes Analticas do Ciclo de Vida Implantao (Deployment) Manuteno e Expanso Dez Erros Comuns a Evitar em Projetos de DW
Asterio K. Tanaka

Ciclo de Vida Dimensional do Negcio

O diagrama acima encapsula as atividades mais importantes do ciclo de vida dimensional do negcio. O diagrama ilustra sequncia , dependncia e concorrncia de tarefas. Serve como um road map para ajudar as equipes a fazer a coisa certa na hora certa. O diagrama no reflete uma linha de tempo absoluta. Embora as caixas sejam de mesmo tamanho, h uma vasta diferena em tempo e esforo requerido para cada atividade importante.
Asterio K. Tanaka

Planejamento e Gerncia de Projeto (1)

Cinco fatores de sucesso (em ordem de importncia)
Patrocinador forte do negcio (visionrio e convencido da importncia do DW) de preferncia, mais de um patrocinador Motivao organizacional compelidora Viabilidade tcnica e de recursos, mas principalmente viabilidade de dados Relacionamento entre as organizaes do negcio e da TI Cultura analtica atual da organizao (para tomada de decises)

Se o projeto no estiver pronto para comear, tipicamente por falta de patrocnio forte
Anlise e prioritizao de requisitos do negcio (alto nvel, BPM) ou Prova de conceito (demonstrao das capacidades potenciais do DW)
Asterio K. Tanaka

Planejamento e Gerncia de Projeto (2)

Escopo
Uma vez confortvel com o pronto da organizao, hora de estabelecer os limites de um projeto inicial. Escopo requer input da TI e do negcio; deve ser significativo para o negcio e gerencivel para a TI. Evitar a lei do muito: compromisso muito firme, com prazo muito curto, envolvendo muitos sistemas fontes e muitos usurios em muitos locais, com requisitos de anlise muito diversos.

Justificativa
Estimativa de benefcios e custos associados com o DW. TI responsvel pelos custos (hardware, software, esforo de desenvolvimento) A rea do negcio deve determinar os benefcios Se voc tiver dificuldade em estimar os benefcios, um sintoma de que est focado em patrocinador ou problema errado.

Asterio K. Tanaka

Planejamento e Gerncia de Projeto (3)

Staffing (vide atribuies no livro)
Um plano to bom quanto as pessoas que iro implement-lo.
Papis do lado do negcio
Patrocinador ou Representante do patrocinador (em grandes organizaes); Lder de projeto do negcio (em geral o prprio patrocinador ou representante, se disponvel para interao diria com o gerente do projeto); Usurios do negcio.

Recursos tcnicos que entendam do negcio ou recursos do negcio que entendamde tecnologia
Analista de sistemas do negcio; Especialista do assunto do negcio; Desenvolvedor de aplicao analtica; Educador de data warehouse Gerente do projeto; Arquiteto tcnico; Especialistas de suporte tcnico; Modelador de dados; Administrador de Banco de Dados; Coordenador de metadados; Administrador de dados; Projetista de data staging; Desenvolvedor de data staging; Suporte do Data Warehouse

Papis do lado da organizao de TI ou consultoria externa

Asterio K. Tanaka

Pessoas no Ciclo de Vida Dimensional

comum que uma pessoa exera mais de um papel, em uma fase ou ao longo de todo o ciclo de vida do projeto. A alocao de pessoas aos papis depende da maturidade da organizao, da magnitude e do escopo do projeto, e disponibilidade, capacidade e experincia dos indivduos.

Technical Architect Data Modeler

DBA

Technical Support Specialists

Data Staging Designer DW Support

Data Steward Data Staging Developer Business System Analyst

Business Subject Matter Expert

Analytic Application Developer

DW Educator

Necessariamente, ao longo de todo o ciclo de vida: Business Driver, Business Project Lead, Project Manager, Metadata Coordinator Desejavelmente, ao longo de todo o ciclo de vida: Business Sponsor, Business Users
Asterio K. Tanaka

Relacionando Recursos Humanos Maturidade das Organizaes

Organizaes maduras
Papis e responsabilidades bem definidos Existe base histrica possvel julgar a qualidade do produto A qualidade dos produtos e processos monitorada O processo pode ser atualizado

Organizaes imaturas
Processo improvisado No existe base histrica No h maneira objetiva de julgar a qualidade do produto Qualidade e funcionalidade do produto sacrificadas No h rigor no processo a ser seguido

Existe comunicao entre o gerente e seu grupo Resoluo de crises imediatas

Asterio K. Tanaka

Asterio K. Tanaka

Asterio K. Tanaka

CMM sob a perspectiva dos dados

Nvel 1 - O nvel inicial No h regras ou procedimentos sobre gerncia de dados; mltiplos arquivos e bancos de dados; mltiplos formatos; redundncia; mudanas on the fly; geralmente no h um grupo de gerncia de dados; caso exista, apenas aplicam as mudanas requisitadas de acordo com as necessidades. Qualidade de dados depende das habilidades do pessoal de desenvolvimento. Freqentemente, projetos so cancelados ou, pior ainda, produzem dados incorretos e relatrios invlidos. Aproximadamente 30 a 50% das organizaes operam no Nvel 1.

(Craig S. Mullins, The Data Administration Newsletter, 19??)

Asterio K. Tanaka

CMM sob a perspectiva dos dados

Nvel 2 - O nvel repetitvel Poltica de gerncia de dados: como e quando as estruturas de dados so criadas, mudadas e gerenciadas. Em geral, a poltica no institucionalizada, ficando nas mos de um grupo ou pessoa, com funo de ABD. O sucesso depende das habilidades dos ABDs. Porm, no h muito esforo em documentar e capturar o significado de negcio dos dados. Pouca diferenciao entre modelos lgicos e fsicos. Preocupao maior com os aspectos tcnicos da gerncia de dados. Aproximadamente 15% a 20% das organizaes operam no Nvel 2.

(Craig S. Mullins, The Data Administration Newsletter, 19??)

Asterio K. Tanaka

CMM sob a perspectiva dos dados

Nvel 3 - O nvel definido Poltica de gerncia de dados documentada e estabelecida como um componente central do ciclo de desenvolvimento de aplicaes. H um entendimento do significado de negcio dos dados, atravs de uma funo de AD. Dados so tratados como recursos corporativos. O sucesso depende da interao das funes de AD e ABD e do uso apropriado de ferramentas, para criar modelos de dados, automatizar processos de ABD, e pro-ativamente monitorar e sintonizar o desempenho dos BDs. Aproximadamente 10% a 15% das organizaes operam no Nvel 3.

(Craig S. Mullins, The Data Administration Newsletter, 19??)

Asterio K. Tanaka

CMM sob a perspectiva dos dados

Nvel 4 - O nvel gerenciado Gerenciamento de metadados permite ao grupo de gerncia de dados (AD e ABD) catalogar e manter metadados de estruturas de dados corporativas. Sabe-se que dados existem onde. O grupo envolve-se em todos os esforos de desenvolvimento (no nvel lgico sempre; no nvel fsico quando necessrio). O sucesso depende do suporte da alta administrao mxima dados so recursos corporativos. Ferramentas avanadas so necessrias para gerenciar metadados, qualidade de dados e as bases de dados. Aproximadamente 5% a 10% das organizaes operam no Nvel 4.

(Craig S. Mullins, The Data Administration Newsletter, 19??)

Asterio K. Tanaka

CMM sob a perspectiva dos dados

Nvel 5 - O nvel otimizado

Organizaes neste nvel usam as prticas desenvolvidas nos nveis anteriores para continuamente melhorar o acesso a dados, qualidade de dados e desempenho dos bancos de dados. Nenhuma mudana introduzida sem primeiro ser escrutinada pelo grupo de gerncia de dados e documentada no repositrio de metadados. Deve haver uma preocupao contnua na melhoria do processo de gerncia de dados com uso de ferramentas avanadas. Menos de 5% das organizaes operam no Nvel 5.

(Craig S. Mullins, The Data Administration Newsletter, 19??)

Asterio K. Tanaka

Sobre Administrao de Dados e Metadados

ABD: funo operacional (tcnica) AD: funo ttica (gerencial) CTO/CIO: funes estratgicas (direo) No basta administrar bancos de dados; mais que isso, fundamental administrar os dados e metadados da organizao. Gerncia de Dados/Metadados Gerncia de Informaes Gerncia de Conhecimento Inteligncia Competitiva
Asterio K. Tanaka

Planejamento e Gerncia de Projeto (4)

Desenvolvendo e mantendo o plano do projeto
Envolve identificar todas as tarefas necessrias para implementar o DW (The Data Warehouse Lifecycle Toolkit inclui uma lista de cerca de 200 tarefas).

As chaves para o planejamento e gerncia de projeto de DW incluem:

1. Ter um patrocinador de negcio slido 2. Equilibrar alto valor e viabilidade para definir o escopo 3. Trabalhar com a melhor equipe possvel para desenvolver um plano de projeto detalhado 4. Ser um excelente gerente de projeto para motivar, gerenciar e comunicar para cima, para baixo e atravs da organizao

Asterio K. Tanaka

Definio dos Requisitos do Negcio (1)

Pr-planejamento do projeto
Escolher o frum
Tcnicas primrias: entrevistas e sesses facilitadas Pesquisa no ferramenta razovel porque respondentes s respondem o que foi perguntado Melhor uma abordagem hbrida

Identificar e preparar a equipe de requisitos

Entrevistador lder + escrivo + pessoa para gravar sem gravador Um ou dois membros da equipe de projeto dependendo do nmero de entrevistados Dever de casa da equipe: pesquisar sobre o assunto

Selecionar, agendar e preparar os representantes do negcio

Cobertura horizontal de pessoas do negcio atravs da organizao, para permitir a formulao da matriz de DW. Cobertura vertical para garantir patrocnio estratgico ao longo do levantamento de requisitos.

Asterio K. Tanaka

Definio dos Requisitos do Negcio (2)

Coletar os requisitos do negcio
Lanamento
Introduo deve ser uma mensagem centrada no negcio, no em tecnologia. Lembre o seu papel na entrevista; oua e absorva como uma esponja Mantenha um fluxo conversacional; no mergulhe muito rapidamente (ou tire cpias de elementos de dados potenciais) Verifique terminologia de comunicao e captura precisamente porque a maioria das organizaes usa terminologia inconsistentemente Estabelea uma parceria com o entrevistado; use o vocabulrio dele(a) Cada entrevistado deve ser perguntado sobre o seu critrio de sucesso para o projeto. Cada critrio deve ser mensurvel. Enquanto se foca no entendimento dos requisitos de negcio, importante intercalar sesses com especialistas de dados de sistemas fontes, para avaliar a viabilidade dos requisitos de negcio.

Fluxo de entrevistas

Wrap up

Conduzindo entrevistas centradas em dados

Documentao ps-coleta e follow up

Documentao no atividade favorita, mas crucial. Prioritizao e consenso
Asterio K. Tanaka

Definio dos Requisitos do Negcio (3)

Projetos que merecem ateno imediata so os de alto impacto no negcio. Enquanto a equipe de projeto de DW estiver focado no processo de negcio A, outras equipes de TI devem estar estudando as limitaes de viabilidade do processo de negcio B.
Asterio K. Tanaka

Trilha Tecnolgica do Ciclo de Vida (1)

Projeto da arquitetura tcnica
Processo de Oito Passos para criar a Arquitetura Tcnica Estabelea uma fora tarefa de arquitetura Colete requisitos relacionados a arquitetura Documente requisitos de arquitetura Desenvolva um modelo arquitetural de alto nvel Projete e especifique os subsistemas Determine as fases de implementao da arquitetura Documente a arquitetura tcnica Revise e finalize a arquitetura tcnica

Asterio K. Tanaka

Trilha Tecnolgica do Ciclo de Vida (2)

Seleo de Produtos e Instalao
Entenda o processo de compras corporativas Desenvolva uma matriz de avaliao de produtos Conduza uma pesquisa de mercado Reduza as opes a uma lista pequena e realize avaliaes detalhadas Conduza uma prototipao, se necessrio Selecione um produto, instale um trial e negocie

Asterio K. Tanaka

Trilha de Dados do Ciclo de Vida (1)

Modelagem Dimensional
Seguindo a definio dos requisitos de negcio, desenhar ou revisitar a matriz de barramento de DW Escolher uma linha da matriz implica no passo 1 do roteiro de 4 passos: 1) Selecionar o processo de negcio 2) Declarar o gro do processo de negcio 3) Escolher as dimenses 4) Identificar os fatos Os demais passos devem ser atacados com as tcnicas de modelagem dimensional j vistas.

Requisitos do negcio 1. Processo de negcio 2. Gro 3. Dimenses 4. Fatos Realidade dos dados
Asterio K. Tanaka

Trilha de Dados do Ciclo de Vida (2)

Projeto Fsico
Estratgia de Agregao
Todo DW deve conter tabelas de agregao pr-calculadas e prarmazenadas. Dadas as regras estritas sobre evitar granularidade misturada em tabela de fatos, cada agregao distinta de tabela de fatos deve ocupar sua prpria tabela de fatos fsica. Quando agregamos fatos, ou eliminamos dimensionalidade ou associamos os fatos a uma dimenso maior (roll up). Essas tabelas de dimenso agregadas deveriam ser verses encolhidas das dimenses associadas com a tabela de fatos granular. Desta forma, tabelas de dimenso agregadas conformam com as tabelas de dimenso base. Como impraticvel armazenar todas as combinaes possveis de agregaes, preciso considerar fatores para a estratgia de agregao: Padres de acesso de usurios do negcio Distribuio estatstica dos dados Estratgia depende de ferramentas de navegao em agregados. Regra comum: espao reservado para tabelas agregadas deveria ocupar duas vezes o espao em disco consumido pela tabela base.
Asterio K. Tanaka

Trilha de Dados do Ciclo de Vida (3)

Projeto Fsico
Estratgia Inicial de Indexao
Administradores de BD ficam aflitos quando sabem que tabelas de dimenso frequentemente tm mais de um ndice apenas. Tabelas de dimenso tm um ndice sobre a chave primria e, adicionalmente, recomenda-se um ndice em rvore B sobre colunas de alta cardinalidade usada para restries. ndices bit map devem ser colocados sobre todos os atributos com mdia e baixa cardinalidade. Por outro lado, tabelas de fatos so os elefantes do DW, portanto temos que index-las com mais cuidado. A chave primria da tabela de fatos quase sempre um subconjunto das chaves estrangeiras. Tipicamente colocamos um nico ndice concatenado sobre as dimenses primrias da tabela de fatos. Como muitas consultas dimensionais so condicionadas sobre a dimenso Data, a chave estrangeira de Data deve ser a cabea do ndice. Estratgia de indexao depende do SGBD, e no muito diferente de outros tipos de bancos de dados. Tabelas de fatos grandes geralmente so particionadas por Data, com os dados segmentados por Ms, Trimestre, Ano em diferentes parties, embora apaream aos usurios como uma nica tabela.
Asterio K. Tanaka

Trilha de Dados do Ciclo de Vida (4)

Projeto e Implementao de Data Staging
Data Staging de Dimenses
1) Extrair dados dimensionais dos sistemas fonte operacionais

Extrao para um arquivo de sada, acompanhado de estatsticas para auditoria. Situaes a tratar: validao de nomes e endereos, valores descritivos inconsistentes, decodificaes faltando, cdigos sobrecarregados com significados mltiplos no tempo, dados invlidos, dados faltando. Deve ser mantida uma tabela de correspondncia mestre na rea de Data Staging chave surrogate chave operacional, com outros dados de tempo e perfil (vide esquema na figura 16.3)

2) Limpar valores de atributos

3) Gerenciar atribuies de chaves surrogate

4) Gerar imagens para carga de linhas de dimenses e publicar dimenses revisadas

Uma vez que a tabela de dimenso reflita a extrao mais recente e devidamente revisada, ela publicada para todos os data marts que utilizam essa dimenso.
Asterio K. Tanaka

Tabela de Correspondncia para controle de chave surrogate

Asterio K. Tanaka

Trilha de Dados do Ciclo de Vida (4)

Projeto e Implementao de Data Staging
Data Staging de Tabelas de Fatos (vide detalhes no livro) 1) Extrair dados de fatos do sistema fonte operacional 2) Receber dimenses atualizadas das autoridades de dimenses 3) Separar os dados de fatos por granularidade conforme requerido 4) Transformar os dados de fatos conforme requerido 5) Substituir chaves operacionais por chaves surrogate 6) Adicionar chaves adicionais para contextos conhecidos 7) Assegurar qualidade dos dados da tabela de fatos 8) Construir ou atualizar tabelas de fatos de agregao 9) Carregar os dados 10)Alertar os usurios

Asterio K. Tanaka

Trilha de Aplicaes Analticas do Ciclo de Vida

Especificao de aplicaes analticas Desenvolvimento de aplicaes analticas

Asterio K. Tanaka

Implantao (Deployment)
Considere o seguinte para um programa efetivo de educao em BI:
Entenda o seu pblico alvo; no subestime. No treine a comunidade de negcio muito cedo, antes da disponibilidade de dados e aplicaes analticas. Aide o treinamento (e a implantao) se o DW no estiver pronto para ser liberado. Obtenha o compromisso do patrocinador para a poltica SEM TREINAMENTO, SEM ACESSO.

Asterio K. Tanaka

Manuteno e Expanso
Suporte Educao Suporte tcnico Suporte de programa

Asterio K. Tanaka

Dez Erros Comuns a Evitar em Projetos de Data Warehouse (1)

Erro 10: Aceitar a premissa de que os responsveis pelos sistemas fontes mais relevantes da organizao so muito importantes e ocupados para gastar tempo com a equipe de DW. Erro 9: Aps a equipe de DW ter sido acordada, marcar uma reunio para discutir comunicaes com os usurios de negcio, se o oramento permitir. Erro 8: Assegurar para o pessoal de suporte do DW escritrios agradveis no prdio da TI, que fica prximo dos usurios de negcio, e providenciar um nmero de telefone de suporte de DW com vrias opes de menu. Erro 7: Treinar cada usurio em cada caracterstica da ferramenta de acesso a dados na primeira aula de treinamento, adiar o treinamento sobre contedo de dados porque a aula usa dados falsos (os dados reais no estaro prontos nos prximos dois meses) e declarar sucesso ao trmino da primeira aula de treinamento j que o DW foi disponibilizado para os usurios de negcio.
Asterio K. Tanaka

Dez Erros Comuns a Evitar em Projetos de Data Warehouse (2)

Erro 6: Assumir que os usurios de negcio vo naturalmente gravitar em direo a dados robustos e desenvolver suas prprias killer applications analticas. Erro 5: Antes de implementar o DW, fazer uma anlise completa descrevendo todos os possveis ativos de dados da empresa e todos os usos desejados de informao, e evitar a iluso sedutora de desenvolvimento iterativo, que somente uma desculpa para no fazer certo da primeira vez. Erro 4: No aborrecer os executivos seniors de sua organizao com o DW at que voc tenha o implementado e possa apontar para um sucesso significativo.

Asterio K. Tanaka

Dez Erros Comuns a Evitar em Projetos de Data Warehouse (3)

Erro 3: Encorajar os usurios de negcio a lhe dar feedback contnuo ao longo do ciclo de desenvolvimento sobre novas fontes de dados e mtricas chaves de desempenho que eles gostariam de acessar, e assegurar a incluso desses requisitos na release em desenvolvimento. Erro 2: Concordar em entregar um data mart centrado em cliente de alto perfil, idealmente lucratividade de cliente ou satisfao de cliente, como seu primeiro produto. Erro 1: No conversar com os usurios de negcio; ao invs disso, confiar em consultores ou especialistas internos para lhe dar interpretao dos requisitos de usurios do DW.

Asterio K. Tanaka

Vendors are judged on their ability and success in making their vision a market reality

Vendors are rated on their understanding of how market forces can be exploited to create value for customers and opportunity for themselves

Asterio K. Tanaka