Olá pessoal, nesta série de posts vamos abordar as características e a utilização da maioria das steps do Pentaho Data Integration – PDI 8.1
Muitas vezes estudamos, seguimos templates e how to para iniciarmos nesse mundo de ETLs, integrações de dados com PDI. Isso não é errado, é um começo e só a experiência vai te apresentar respostas e soluções apropriadas para cada situação.
Na teoria tudo funciona perfeitamente, mas o dia-a-dia mostra que não é bem assim.
Para tentar ajudá-los com seu dia-a-dia vamos mostrar, de maneira prática, a utilização dos principais steps do PDI, na versão 8.1.
Iniciando essa primeira parte, vamos falar sobre os steps de Input, que é por onde tudo começa em processos de ETL e integração de dados.
A figura abaixo mostra o menu lateral do PDI 8.1 CE na aba Design com as pastas de steps.
CSV file Input
A primeira pasta armazena as steps de Input do PDI e a primeira da lista é a step CSV file input.
Abrindo a janela de configuração da step temos a seguinte interface:
Na janela de configurações encontramos várias opções, vamos a elas:
Step name – Nome da Step, você pode colocar o nome que achar mais adequado para a step.
Filename – Especifique um dos seguintes nomes:
– O nome (nome de arquivo) do arquivo de origem CSV
– O nome (o campo do nome do arquivo) do campo que contém o (s) nome (s) de vários arquivos de origem se a etapa Entrada de Arquivo CSV receber dados de outra etapa. Se a etapa Entrada de Arquivo CSV receber dados, a opção include the filename in the output? (incluir o nome do arquivo na saída?) também aparece, conforme imagem abaixo:
Delimiter – Delimitador padrão dos campos do arquivo CSV. O delimitador padrão para a etapa Entrada de Arquivo CSV é um ponto-e-vírgula (;).
Enclosure – Especifique o caractere de separação usado no arquivo de origem.
NIO buffer size – Especifique o tamanho do buffer de leitura, o número de bytes que são lidos de uma vez da origem.
Lazy conversion – Indique se o algoritmo de conversão lenta pode ser usado para melhorar o desempenho. O algoritmo de conversão lenta tenta evitar conversões de tipo de dados desnecessárias, se possível. Isso pode resultar em melhorias significativas no desempenho. O exemplo típico é a leitura de um arquivo de texto e a gravação em um arquivo de texto.
Header row present? – Indique se o arquivo de origem contém uma linha de cabeçalho contendo nomes de colunas.
Add filename to result – Adiciona o(s) nome(s) do(s) arquivo(s) de origem do CSV ao resultado dessa transformação.
The row number field name (optional) – Especifique o nome do campo que conterá o número da linha na saída desta etapa.
Running in parallel? – Indique se você terá várias instâncias desta etapa em execução (cópias da etapa) e se deseja que cada instância leia uma parte separada do (s) arquivo (s) CSV.
Ao ler vários arquivos, o tamanho total de todos os arquivos é levado em consideração para dividir a carga de trabalho. Nesse caso específico, certifique-se de que TODAS as cópias da etapa recebam todos os arquivos que precisam ser lidos; caso contrário, o algoritmo paralelo não funcionará corretamente.
New line possible in fields? – Indique se os campos de dados podem conter novos caracteres de linha.
File encoding – Especifique o enconding do documento.
Campos
Você pode especificar quais campos ler do seu arquivo CSV através da tabela Campos. Clique em Obter campos para que a etapa preencha a tabela com campos derivados do arquivo de origem com base nas configurações atuais especificadas (como Delimitador ou Gabinete). Todos os campos identificados por esta etapa serão adicionados à tabela.
A tabela contém as seguintes colunas:
Name: Nome do campo;
Type: Tipo de campo (String, Data ou Numérico);
Format: Uma máscara opcional para converter o formato do campo original.
Length: O comprimento do campo depende dos seguintes tipos de campo:
Número: Número total de algarismos significativos em um número
String: comprimento total da string
Data: Comprimento da saída impressa da string (por exemplo, quatro é um comprimento por um ano)
Precision: Número de dígitos de ponto flutuante para campos do tipo de numérico.
Currency: Símbolo usado para representar moedas (R$ 5.000,00 ou € 5.000,00 por exemplo).
Decimal: Um ponto decimal pode ser um “.” ou “,” (5,000.00 ou 5.000,00 por exemplo).
Group: Um agrupamento pode ser um “,” ou “.” (5.000,00 ou 5.000,00 por exemplo).
Trim Type: Método de trim se o valor do campo for string.
Bom pessoal, essa são as informações sobre o step CSV file input. Semanalmente estarei postando descrições sobre as principais steps do PDI 8.1 e logo após algumas aplicações práticas das mesmas.
Estou preparando alguns vídeos para complementar os posts.
Até a próxima.
Posts mais antigos
Olá, gosto muito desses seus tutoriais, eu que sou iniciante no PDI é uma mão na roda.
Tenho inumeras duvidas sobre a utilização do PDI em alguns casos, como por exemplo se é possivel buscar um arquivo CSV em um outro computador apartir do meu. E tbm como funcionaria a conexão com um banco de dados MongoDB.
Bom dia Vitor, tudo bem?
Muito obrigado, estamos aqui para ajudar e dividir o pouco que conhecemos.
Estamos te enviando um invite para o Slack do PDI.
Qualquer coisa conversamos por lá.
Abraço.
Opa, beleza! Estou iniciando no PDI e gostaria de unir 7 planilhas de Excel (.XLS) com as mesmas colunas em um único arquivo de Excel. Parece simples mas não consegui resolver…rsrsrs. Abraço!
Olá Tiago, tudo bem?
Amigo, se as tabelas possuem os mesmos campos ou campos chaves em todas as tabelas, que permitam relação entre os dados, é tranquilo.
O legal seria dar uma olhada na estrutura desss planílhas
Olá, você pode usar o regex se todas as tabelas estiverem no mesmo layout. Quando seleciona o arquivo no step de input, deixe apenas o diretótio – File/Directory ( C:\Users\tux\Desktop\arquivo.xls) na coluna Wildcard(Regex) coloque .\*.xls
Assim ele irá ler os dados de todos os xls que contém nessa pasta, lembrando que deve estar no mesmo layout todos os arquivos.
Espero te ajudado.
É isso aí Rafaela, usando o Regex, vocês consegue carregar todas as planilhas, independente do nome, e unificá-las.
Como tu falaste, tendo cuidado para que o layout delas serem iguais.
Boa Noite,
Você tem mais materiais disponíveis sobre o PDI?
Bom dia Igor.
Que tipo de material precisas?
A melhor fonte de consulta é a documentação do Pentaho.
Vou te mandar um invite do slack, se quiseres, para conversarmos.
Pode ser?
Bom Dia!
Sou iniciante no PDI, e os artigos aqui tem me ajudado bastante. Muito obrigado pela generosidade e iniciativa!
Mas quero deixar uma dúvida sobre o step Unique Rows.
Existe a opção “Redirect duplicate row” para que os registros duplicados sejam tratados como log.
É possível fazer com que os registros duplicados sejam gravados em uma tabela, arquivo ou planilha?
Obrigado!
Muito obrigado pelas palavras de incentivo Vagner, estamos aqui para ajudar os colegas, sempre que possível.
Vamos lá para sua dúvida.
Marque a opção “Redirect duplicate row” na step unique row.
Ligue a mesma com o destino do restante do fluxo:
Em seguida, adicione o destino das linhas duplicadas e crie um hop entre elas do tipo “error handling of step”.
Pronto, suas linhas duplicadas serão apontadas para esse step.
Qualquer coisa é só entrar em contato.
Abraço
Bom dia!
Acabei de utilizar em uma transformação.
Funcionou perfeitamente!
Obrigado!
Que bom que pude ajudar Vagner, qualquer coisa estou a disposição.
achei bem interessante os posts sobre o PDI, estou iniciando o trabalho com o pentaho e confesso que acho bem interessante, existe algum grupo que possa tirar dúvidas? ou forum? excelente o conteúdo Giovani Stefani!
Boa tarde Hatsumi.
Obrigado por acessar, estamos aqui para ajudar.
Um dos grupos mais ativos para o Pentaho é o https://br.groups.yahoo.com/neo/groups/pentahobr
Mas existe, também o https://groups.google.com/forum/?fromgroups=#!forum/pentahobrasil.
Qualquer dúvida estou a disposição
obrigado meu amigo! entrei no grupo do pentahobrasil, agradeço demais!
Boa tarde Giovani, Excelente esse tutorial!!!
Gostaria de ajuda com 2 duvidas, 1º estou usando o csv file input para realizar o upload para um .csv, porem e se o arquivo não existir no local onde estou buscando? consigo guardar um log disso, ou simplesmente parar o processo sem erros? como? 2º nesse mesmo componente csv file input, consigo colocar nomes de arquivos variáveis? exemplo esse arquivo chega com nome diferente na pasta porem o começo sempre é fixo, eu teria que utilizar outro componente ? muito obrigado, desde já.
Boa tarde Victor, tudo bem?
1º Meu amigo, no teu caso eu aconselho um teste de existência do arquivo, no job, para validar se o arquivo existe.
2º Neste caso, é melhor usar o text file input, nele tu podes usar um REGEX para o nome do arquivo.
Qualquer coisa, me procura no Telegran- @giovanistefani
Abraço
Pessoal sou totalmente iniciante no pdi, recebo uma planilha com dados, gostaria de formatar o campo matricula com zeros na frente. como faço? ele é string. por exemplo: 1-5
Boa tarde Marcia, tudo bem?
Márcia, para resolver esse problema usa-se o step “String operations”, na coluna padding, tu escolhe o tipo, se tu queres completar a esquerda(left) ou direita(right).
A coluna Pad char tu escolhe qual o caractere que vai usar para preencher, no teu caso o zero(0).
Na coluna Pad Length, tu escolhes com quantos caracteres TOTAIS o campo ficara.
Imaginamos que o campo “matricula” tenha 6 caracteres: e tu receba 1-5 ele vai preencher “0001-5”.
Qualquer dúvida me chama no telegram: @Giovanistefani
Bom dia!
Giovani, o meu pdi está em um linux, eu tenho o pdi também no meu note com windows…
do meu note, consigo importar um csv de um servidor de arquivos, mapiei uma unidade T por exemplo e coloquei T:\PDI…. \teste.csv
A questão é, como fazer rodar o automático do pdi, sendo que o mesmo está no linux? ele não vai encontrar o arquivo dentro de um servidor windows certo ?
Tem alguma maneira de criar alguem step sei la.. q busque do windows.???
Não queria criar um processo de “jogar” o arquivo no linux.
Olá Marcelo, tudo bem?
Meu amigo, o processo é o mesmo, deves mapear a unidade windows, usando o Samba, e usá-la PDI.
Existem vários tutoriais para mapear uma pasta de um server Windows no Linux.
Alguns links:
https://www.dicas-l.com.br/arquivo/mapear_unidade_de_rede_windows_em_ambientes_linux.php
https://www.edivaldobrito.com.br/como-mapear-permanentemente-uma-unidade-de-rede-ubuntu-14-04/