Data warehouse com Mysql

[Guest hermogenes]

Estou precisando armazenar históricos, por exemplo, de uma tabela com dados provenientes de várias entidades diferentes

Exemplo: tenho a tabela com os dados dos funcionario, vendas e clientes do dia 10/12/2007 e vou precisar comparar esses dados com os dados da data 03/03/2008, isso é necessario para saber quais foram as variações ocorridas de uma data para outra (quais alterações foram feita de uma tabela para outra). É como se fosse um data werehouse estou usando o Mysql e estou elaborando um pequeno software para gerenciar projetos.

Isso é bastante importante para mim e gostaria da sua ajuda!

[Denis Courcy]

Oi, Hermogenes!

Não há problema de usar o MySQL para fazer DataWarehouse (DW). O problema é como fazer o DW sem perder desempenho.

O DW exige que você modele até a 2a. forma normal, apenas. O melhor método é o "estrela", descrito por Inmon.

Neste projeto você deverá ter uma tabela de fatos (sua tabela principal) e várias tabelas de dimensões. As tabelas de dimensões não devem se relacionar entre si. Elas devem se relacionar apenas com a tabela de fatos.

[Guest Hermogenes]

Denis muito obrigado por sua ajuda, pode ter certeza que ela foi muito valiosa!

Conheço o DW na teoria porém na prática e implementação desconheço totalmente o modelo estrela também conheço na teoria tenho um projeto para entregar daqui a três meses é por isso que pesso sua ajuda e de todos os colegas para me ajudarem ou me guiarem para que eu possa aprender a implementar o DW simples para meu proposto projeto. Não desejo ter todas as respostas mas gostaria muito de algumas dicas e sugestões de vez em quando! Agradeço a atenção de todos!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

[Guest Hermogenes]

Gostaria da sua ajuda para encontrar material para elaboração de um data warehose no mysql!!!!!!!!!! Tem algum livro onde possa encontrar esse assunto?

[Denis Courcy]

Você pode tratar deste assunto neste tópico. Ficarei feliz em auxiliá-lo no que puder.

Para saber como montar um DW sugiro que você leia

COMO CONSTRUIR O DATA WAREHOUSE

W.H.INMON

EDITORA CAMPUS

ISBN: 853520141-6

Se você já leu e está pronto para o próximo passo, então sugiro que você obtenha um escopo do que você quer abranger (esta será sua tabela principal - a tabela de fatos), da granularidade ou granularidades (mais de uma tabela de fatos), que você que obter. Que comece a preparar a tabela de dimensão tempo (dimensão básica dentro de um DW) e que estude que dimensões que o seu DW conterá, assim como que atributos (campos) serão importantes manter em cada dimensão.

Os próximos passos serão:

Criação das tabelas, criação dos programas de extração de dados dos sistemas da empresa para o DW, testes de homologação para os programas de extração, criação das ferramentas OLAP que permitirão que seu pessoal consulte o DW.

Por enquanto é só.

[carlimmg]

Vou pegar um gancho no assunto porque muito me interessa!

Estou querendo tipo simular um DW com MySQL e BrOffice Calc.

Tem como criar um modelo dimensional, populando com dados de arquivos txt e posteriormente gerar relatórios no BrOffice Calc??

Valeu...

[Denis Courcy]

Oi, 'carlimmg' !

Tem, sim. O mysql permite importação e exportação de dados em txt.

Que tipo de modelo você tem em mente?

Complementando o post anterior.

Em vez de trabalhar com broffice procure por www.pentaho.com. Uma solução de DW que você vai gostar. E, se não me falha a memória, é free.

[carlimmg]

Ola Denis! Pode me chamar de Carlos.

Conheço o Pentaho, é free sim, inclusive já tentei explorá-lo mas não obtive sucesso.

Minha intençao em 'simular' um DW é realizar algo simples e alternativo, por isso pensei no BrOffice Calc que possui tabelas dinâmicas, um recurso OLAP.

[Denis Courcy]

Oi, Carlos.

A sugestão que dou, para os próximos passoa, é fazer o levantamento dos indicadores que serão analisados.

Faça isto fazendo perguntas tipo "quanto foi o faturamento" e incluido filtros, tais como "no último ano" "na resião sul", etc.

Depois de todas as perguntas feitas será necessário montar a(s) tabela(s) de fatos e as tabelas de dimensões.

Coloquei a tabela de fatos no ingular e no plural pois você poderá ter uma ou mais dependendo da granularidade que você necessita.

O passo segunite é montar o ETL do seus sistema OLTP para seu banco multidimensional.

E o último passo da criação de um DW é a montagem de seu OLAP, dashboards, etc.

[carlimmg]

Denis,

acontece que minha base de dados não é OLTP, ela está publicada no site http://cimilho.cnpms.embrapa.br/estatisticas.php. Os dados das tabelas tenho em txt, acho q facilita, não é?

Agora, para falar a verdade nem sei se há possibilidade de criar um DW com os dados dessas tabelas, por isso que estou pesquisando no fórum...

Abraços

[Denis Courcy]

...Agora, para falar a verdade nem sei se há possibilidade de criar um DW com os dados dessas tabelas, por isso que estou pesquisando no fórum...

Existe, sim. Você vai ter que encontrar a formação dos campos nestes arquivos txt, criar as tabelas correspondentes no mysql, importar e avaliar como você montará seu dw.

[Denis Courcy]

Carlos, como exemplo sobre o que falei no post anterior, Veja a tabela em Produtividade dos Principais Produtos Agrícola. 1997-2006 , trazendo para uma tabela produtividade no mysql, teremos, na 2a forma normal, para os anos 1997 e 1998:

Tabela produtividade
"Produto"    "Ano"    "Produtividade"    "Unidade"
"Milho"    "1997"    "4139"    "(kg/há)"
"Milho"    "1998"    "4426"    "(kg/há)"
"Arroz"    "1997"    "3824"    "(kg/há)"
"Arroz"    "1998"    "3820"    "(kg/há)"
"Trigo"    "1997"    "2711"    "(kg/há)"
"Trigo"    "1998"    "2697"    "(kg/há)"
"Soja"    "1997"    "2157"    "(kg/há)"
"Soja"    "1998"    "2256"    "(kg/há)"
"Sorgo"    "1997"    "1325"    "(kg/há)"
"Sorgo"    "1998"    "1429"    "(kg/há)"
"Milheto"    "1997"    "758"    "(kg/há)"
"Milheto"    "1998"    "795"    "(kg/há)"

Tabela area_plantada
"Ano"    "Produto"    "Area_Plantada"    "unidade"
"1997"    "Trigo"    "226262"    "(1.000 há)"
"1998"    "Trigo"    "220109"    "(1.000 há)"
"1997"    "Arroz"    "151000"    "(1.000 há)"
"1998"    "Arroz"    "151678"    "(1.000 há)"
"1997"    "Milho"    "141402"    "(1.000 há)"
"1998"    "Milho"    "139099"    "(1.000 há)"
"1997"    "Soja    "    "66954"    "(1.000 há)"
"1998"    "Soja    "    "70973"    "(1.000 há)"
"1997"    "Sorgo    "    "44976"    "(1.000 há)"
"1998"    "Sorgo    "    "42911"    "(1.000 há)"
"1997"    "Milheto    "    "36161"    "(1.000 há)"
"1998"    "Milheto    "    "36419"    "(1.000 há)"

Cada uma das tabelas, depois de convertidas para o mysql deverão passar por uma novo arranjo para que possam fazer parte de um dw. Tal como no exemplo abaixo:

Dimensão Tempo (conteria os anos, meses, dias, quinzenas, semestres, etc.)

Dimensão produto (conteria milho, sorvo, soja, etc.)

Dimensão unidade (conteria (kg/há), (1.000 há), etc.)

Tabela de fatos teria o id da dimensão produto, o id da dimensão tempo, a área plantada, um id para o tipo unidade de área pantada, a produtividade, um id para o tipo de unidade de produtividade, etc