Com a explosão da geração e coleta de dados dos últimos anos, profissões foram surgindo, outras fora se adaptando e o “economia dos dados” se estabelecendo. Os hosts de hospedagem em nuvem, começaram a ficar[…]
Continue a ler …
MeetUp Engenharia de Dados – Florianópolis
Convido a todos os interessados a participar no Meetup Engenhaia de Dados – Florianópolis. É um grupo para discutir o dia a dia do engenheiro de dados nas empresas, fatos, problemas e soluções, bem como[…]
Continue a ler …
Uma metodologia de ciência de dados de 10 etapas que abrange tecnologias e abordagens
À medida que os recursos para análise de dados se tornam mais acessíveis e amplamente utilizados, a criação de uma metodologia de trabalho, que seja capaz de fornecer uma estratégia e orientar o desenvolvimento, independente[…]
Continue a ler …
Data Wrangling x ETL: Qual a diferença?
Três coisas que distinguem a preparação de dados do processo tradicional de extração, transformação e carregamento. Nos últimos anos, o Data wrangling (também conhecida como preparação de dados) emergiu com um rápido crescimento dentro do[…]
Continue a ler …
Pentaho Data Integration Step by Step – parte 02 – Data Grid, Generate Rows, Generate Randon Values
Data Grid A step Data Grid permite inserir uma lista estática de linhas em um grid. Isso geralmente é feito para fins de teste, referência ou demonstração Opções Aba Meta: Nessa aba você pode especificar[…]
Continue a ler …
Pentaho Data Integration Step by Step – parte 01
Nesta série de posts vamos abordar as características e a utilização da maioria das steps do Pentaho Data Integration – PDI 8.1
Continue a ler …
Trabalho em grupo, motivação, reuniões, ideias…
Enquanto preparo um material sobre Pentaho Data Integration, gostaria de conversar um pouco sobre times de trabalho, reuniões, motivação e ideias. Esses assuntos são amplamente discutidos em todos os círculos de discussões nos meios corporativos,[…]
Continue a ler …
Cálculo da Idade em DAX
A solução mais simples, para calcular a idade, é usar a mesma técnica usada no Excel, usando INT e YEARFRAC em vez de DATEDIFF ou outras divisões por 365 ou 365,25. O cálculo correto é:[…]
Continue a ler …
Pentaho Data Integration 8.1 o que há de novo
Etapas de streaming aprimoradas no PDI O Pentaho Data Integration (PDI) apresenta várias melhorias em steps de streaming, incluindo a adição de duas novas steps Step de Produtor e Consumidor de protocolo MQTT O PDI agora[…]
Continue a ler …
Pentaho Data Integration (Spoon): Um guia para novatos – parte 3
Para um bom funcionamento, em tempo de desenvolvimento, de ETLs com Pentaho Data Integration – PDI são necessárias algumas configurações. Além das conecções com os bancos de dados, já mostradas em post anterior, uma configuração[…]
Continue a ler …