Apache Sqoop - Big Data Analytics

Ferramentas de big data analytics do ecossistema hadoop

O Apache Sqoop é uma ferramenta que intermedia o Hadoop file system e bancos relacionais (SGBDR)

Antes de começar, quero deixar meu link de afiliados na Hostinger, tá valendo a pena, dêem uma olhada: Hostinger

Dêem um joinha ? na página do Código Fluente no Facebook Facebook

Meu link de referidos na digitalocean pra vocês.

Quem se cadastrar por esse link, ganha $100.00 dólares de crédito na digitalocean:

Digital Ocean

Esse outro é da one.com:

One.com

Agora sim, vamos lá! :)

Os comandos a seguir anexam ( append )  informações em uma tabela ou diretório existente, senão existir ele cria. Customiza o número de threads (Num-Mappers) para duas thread e define o delimitador de campo como pipe ( | ) e o de linha como \n.

O out-dir é usado para armazenar alguns arquivos java internos do sqoop.

Ao usar o split-by, usar coluna indexada é altamente recomendado, se a coluna não estiver indexada, o desempenho será ruim por causa da varredura completa da tabela feita por cada uma das threads. Por isso a escolha do split ser pelo ID. sqoop import \ --connect "jdbc:mysql://localhost:3306/retail_db" \ --username=root \ --password=cloudera \ --table departments \ --target-dir /apps/hive/warehouse/retail_ods.db/departments \ --append \ --fields-terminated-by '|' \ --lines-terminated-by '\n' \ --num-mappers 2 \ --split-by department_id \ --outdir java_files O fields-terminated-by define como será o delimitador dos campos, no caso um pipe ( | ) e o lines-terminated-by define que as linhas terminam com \n. Ao importar para arquivos delimitados, a escolha do delimitador é importante. Delimitadores que aparecem dentro de campos baseados em string podem causar uma análise ambígua dos dados importados pelas etapas subsequentes de análise. Por exemplo, a string "Olá, é um prazer te conhecer" não deve ser importada com o delimitador de campo definido como uma vírgula. Delimitadores podem ser um caracter de escape também. Por exemplo:--fields-terminated-by \t. Nesse caso o delimitador é a tabulação.

Agora vamos usar o where:

sqoop import \ --connect "jdbc:mysql://localhost:3306/retail_db" \ --username=root \ --password=cloudera \ --table departments \ --target-dir /apps/hive/warehouse/retail_ods.db/departments \ --append \ --fields-terminated-by '|' \ --lines-terminated-by '\n' \ --split-by department_id \ --where "department_id > 5" \ --outdir java_files O where tá restringindo os registros aos que tem ID maior que 5.

Você pode usar o argumento incremental para especificar o tipo de importação incremental a ser executada.

sqoop import \ --connect "jdbc:mysql://localhost:3306/retail_db" \ --username=root \ --password=cloudera \ --table departments \ --target-dir /apps/hive/warehouse/retail_ods.db/departments \ --append \ --fields-terminated-by '|' \ --lines-terminated-by '\n' \ --check-column "department_id" \ --incremental append \ --last-value 7 \ --outdir java_files Você deve especificar o modo do append ao importar uma tabela em que novas linhas são adicionadas continuamente com valores de id de linha crescentes. Você deve especificar a coluna que contém o ID da linha com check-column. O Sqoop importa as linhas nas quais a coluna de verificação possui um valor maior que o especificado com last-value, no caso 7.

Sqoop Job

sqoop job --create sqoop_job \ -- import \ --connect "jdbc:mysql://localhost:3306/retail_db" \ --username=root \ --password=cloudera \ --table departments \ --target-dir /toti/departments \ --append \ --fields-terminated-by '|' \ --lines-terminated-by '\n' \ --split-by department_id \ --outdir java_files A Sqoop Job nos permite criar e trabalhar com Jobs salvos. Os Jobs salvos guardam os parâmetros que foram usados, por isso, podemos reexecutá-los chamando o Job pelo identificador. Então é isso, o Sqoop job cria e salva os comandos de importação e exportação. Nos comandos Sqoop Job anterior mostrado um pouco acima, foi criado um job com o nome sqoop_job , que importa os dados da tabela do RDBMS para o HDFS. Agora temos o Job (sqoop_job ) disponível na lista de Jobs salvos, vamos listar: sqoop job --list Podemos verificar a configuração de um Job: sqoop job --show sqoop_job Podemos executar o Job usando o exec: sqoop job --exec sqoop_job Se ele pedir a senha é só digitar cloudera. Para deletar esse job que criamos, o sqoop_job é só dá um: sqoop job --delete sqoop_job

Criando uma tabela Hive com Sqoop

Com os comandos abaixo, é criada a tabela departments_test no Hive, serão gerados quatro arquivos já que não especificamos o número de threads, e eles vão ficar na pasta padrão do hive na máquina cloudera: /user/hive/warehouse. Vamos usar o fields-terminated-by para definir o separador dos campos como pipe ( | ) e lines-terminated-by para definir o final de linha como \n. sqoop import \ --connect "jdbc:mysql://localhost:3306/retail_db" \ --username=root \ --password=cloudera \ --table departments \ --fields-terminated-by '|' \ --lines-terminated-by '\n' \ --hive-import \ --hive-table departments_test \ --create-hive-table \ --outdir java_files Os comandos a seguir sobrescrevem ( --hive-overwrite ) os dados existentes associados à tabela hive departments_test na pasta do HDFS /user/hive/warehouse/ sqoop import \ --connect "jdbc:mysql://localhost:3306/retail_db" \ --username=root \ --password=cloudera \ --table departments \ --fields-terminated-by '|' \ --lines-terminated-by '\n' \ --hive-import \ --hive-overwrite \ --hive-table departments_test \ --outdir java_files

Exports

Como exportar dados do HDFS para o banco de dados RDBMS?

Usando o export do sqoop!

No export do sqoop, a tabela de destino deve existir no banco de dados de destino. Os arquivos que são fornecidos como entrada para o Sqoop contêm registros, que são chamados de linhas na tabela. Esses arquivos são lidos e analisados em um conjunto de registros e delimitados por um delimitador especificado pelo usuário. A operação padrão é inserir todo o registro dos arquivos de entrada na tabela do banco de dados usando a instrução INSERT. No modo de atualização, o Sqoop gera a instrução UPDATE, que substitui o registro existente no banco de dados.

Exemplo usando a tabela departments

É obrigatório que a tabela a ser exportada seja criada manualmente e esteja presente no banco de dados para onde ela vai ser exportada. A consulta a seguir é usada para criar o banco de dados retail_sqoop_db e nele a tabela departments. Primeiro entre no mysql: $ mysql -u root -p Digite seu password. mysql> CREATE DATABASE retail_sqoop_db; mysql> USE retail_sqoop_db; mysql> CREATE TABLE departments ( department_id int(11) NOT NULL AUTO_INCREMENT, department_name varchar(45) NOT NULL, PRIMARY KEY (department_id) ); Agora já podemos exportar do HDFS nossa tabela departments da pasta /user/root/departments no HDFS para o banco retail_sqoop_db na tabela departments. sqoop export --connect "jdbc:mysql://localhost:3306/retail_sqoop_db" \ --username=root \ --password=cloudera \ --table departments \ --export-dir /user/root/departments \ --batch \ --outdir java_files \ --num-mappers 1 \ --update-key department_id \ --update-mode allowinsert Entre no mysql novamente para vê se o export funcionou: $ mysql -u root -p Digite seu password. mysql> USE retail_sqoop_db; mysql> select * from departments; Especifique como as atualizações são executadas quando novas linhas são encontradas com chaves não correspondentes no banco de dados. O update-key só pode atualizar as colunas já presentes na tabela, não pode inseri-las, a menos que você também configure o update-Mode para allowinsert (que não é suportado por todos os bancos de dados). Se você tentar atualizar usando a chave de atualização (update-key), ele atualizará as linhas da chave mencionada no update-key. Os valores legais para o mode incluem: updateonly (padrão) e allowinsert. Ative o batch JDBC usando o parâmetro --batch com o comando de exportação. Usando esse modo para a execução básica da instrução, ativa o modo em lote(batch) no driver JDBC, as consultas são enfileiradas, entregando os resultados em lote. O --batch especifica que podemos agrupar as instruções SQL relacionadas em um lote quando exportamos os dados. A interface JDBC expõe uma API para fazer batches em uma instrução preparada com vários conjuntos de valores. Essa API está presente em todos os drivers JDBC porque é requerida pela interface JDBC.

Eval

O eval permite que os usuários executem consultas no banco de dados e visualizem o resultado no console. sqoop eval --connect "jdbc:mysql://localhost:3306/retail_db" \ --username root \ --password cloudera \ --query "select * from departments"

Com isso encerramos as aulas sobre o sqoop.

Para mais informações sobre o sqoop acesse:

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

Esse são meus link de afiliados na Hostinger: Hostinger

Curta a página do Código Fluente no Facebook https://www.facebook.com/Codigofluente-338485370069035/

Meu link de referidos na digitalocean .

Quem se cadastrar por esse link, ganha $100.00 dólares de crédito na digitalocean:

Digital Ocean

E o da one.com:

One.com

Obrigado, até a próxima e bons estudos. ;)