Olá pessoal, nesta série de posts vamos abordar as características e a utilização da maioria das steps do Pentaho Data Integration – PDI 8.1

Muitas vezes estudamos, seguimos templates e how to para iniciarmos nesse mundo de ETLs, integrações de dados com PDI.  Isso não é errado, é um começo e só a experiência vai te apresentar respostas e soluções apropriadas para cada situação.

Na teoria tudo funciona perfeitamente, mas o dia-a-dia mostra que não é bem assim.  

Para tentar ajudá-los com seu dia-a-dia vamos mostrar, de maneira prática, a utilização dos principais steps do PDI, na versão 8.1.

Iniciando essa primeira parte, vamos falar sobre os steps de Input, que é por onde tudo começa em processos de ETL e integração de dados.

A figura abaixo mostra o menu lateral do PDI 8.1 CE na aba Design com as pastas de steps. 

CSV file Input

A primeira pasta armazena as steps de Input do PDI e a primeira da lista é a step CSV file input.

Abrindo a janela de configuração da step temos a seguinte interface:

Na janela de configurações encontramos várias opções, vamos a elas:

Step name – Nome da Step, você pode colocar o nome que achar mais adequado para a step.

Filename – Especifique  um dos seguintes nomes:
     – O nome (nome de arquivo) do arquivo de origem CSV
     – O nome (o campo do nome do arquivo) do campo que contém o (s) nome (s) de vários arquivos de origem se a etapa Entrada de Arquivo CSV receber dados de outra etapa. Se a etapa Entrada de Arquivo CSV receber dados, a opção include the filename in the output? (incluir o nome do arquivo na saída?) também aparece, conforme imagem abaixo:

Delimiter – Delimitador padrão dos campos do arquivo CSV.  O delimitador padrão para a etapa Entrada de Arquivo CSV é um ponto-e-vírgula (;).

Enclosure – Especifique o caractere de separação usado no arquivo de origem.

NIO buffer size – Especifique o tamanho do buffer de leitura, o número de bytes que são lidos de uma vez da origem.

Lazy conversion – Indique se o algoritmo de conversão lenta pode ser usado para melhorar o desempenho. O algoritmo de conversão lenta tenta evitar conversões de tipo de dados desnecessárias, se possível. Isso pode resultar em melhorias significativas no desempenho. O exemplo típico é a leitura de um arquivo de texto e a gravação em um arquivo de texto.

Header row present? – Indique se o arquivo de origem contém uma linha de cabeçalho contendo nomes de colunas.

Add filename to result – Adiciona o(s) nome(s) do(s) arquivo(s) de origem do CSV ao resultado dessa transformação.

The row number field name (optional) – Especifique o nome do campo que conterá o número da linha na saída desta etapa.

Running in parallel? – Indique se você terá várias instâncias desta etapa em execução (cópias da etapa) e se deseja que cada instância leia uma parte separada do (s) arquivo (s) CSV.

Ao ler vários arquivos, o tamanho total de todos os arquivos é levado em consideração para dividir a carga de trabalho. Nesse caso específico, certifique-se de que TODAS as cópias da etapa recebam todos os arquivos que precisam ser lidos; caso contrário, o algoritmo paralelo não funcionará corretamente.

New line possible in fields? – Indique se os campos de dados podem conter novos caracteres de linha.

File encoding – Especifique o enconding do documento.

Campos

Você pode especificar quais campos ler do seu arquivo CSV através da tabela Campos. Clique em Obter campos para que a etapa preencha a tabela com campos derivados do arquivo de origem com base nas configurações atuais especificadas (como Delimitador ou Gabinete). Todos os campos identificados por esta etapa serão adicionados à tabela.

A tabela contém as seguintes colunas:

Name: Nome do campo;

Type: Tipo de campo (String, Data ou Numérico);

Format: Uma máscara opcional para converter o formato do campo original. 

Length:  O comprimento do campo depende dos seguintes tipos de campo:         

     Número: Número total de algarismos significativos em um número

     String: comprimento total da string

     Data: Comprimento da saída impressa da string (por exemplo, quatro é um comprimento por um ano)

Precision:  Número de dígitos de ponto flutuante para campos do tipo de numérico.

Currency:  Símbolo usado para representar moedas (R$ 5.000,00 ou € 5.000,00 por exemplo).

Decimal:  Um ponto decimal pode ser um “.” ou “,” (5,000.00 ou 5.000,00 por exemplo).

Group:  Um agrupamento pode ser um “,” ou “.” (5.000,00 ou 5.000,00 por exemplo).

Trim Type: Método de trim se o valor do campo for string.

Bom pessoal, essa são as informações sobre o step CSV file input. Semanalmente estarei postando descrições sobre as principais steps do PDI 8.1 e logo após algumas aplicações práticas das mesmas.

Estou preparando alguns vídeos para complementar os posts.

Até a próxima.

Posts mais antigos