Aula 10 – Análise de sentimento com Flume / Twitter 02

More videos
Views
   

Análise de sentimento com Flume e Twitter

SEGUNDA PARTE

Link da documentação oficial do Hadoop:

http://hadoop.apache.org/

Link do meu Github:

https://github.com/toticavalcanti

VAMOS TENTAR USAR O TIPO DE SOURCE com.cloudera.flume.source.TwitterSource AO INVÉS DO org.apache.flume.source.twitter.TwitterSource SEM FAZER NENHUMA MODIFICAÇÃO NA MÁQUINA CLOUDERA .

NO ARQUIVO flume_twitter.conf  VAMOS DESCOMENTAR A LINHA ABAIXO, RETIRANDO A TRALHA (#) DO INÍCIO:

TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource

E COMENTAR COLOCANDO TRALHA (#) NO INÍCIO DA LINHA ABAIXO:

#TwitterAgent.sources.Twitter.type=org.apache.flume.source.twitter.TwitterSource

COMO MOSTRADO NO VÍDEO.

AGORA VAMOS ATUALIZAR O DATETIME:

sudo ntpdate ntp.ubuntu.com

ENTRE NA PASTA /etc/flume-ng/conf COM O COMANDO:
cd /etc/flume-ng/conf

E VAMOS RODAR O AGENTE COM O COMANDO:

flume-ng agent -f /etc/flume-ng/conf/flume_twitter.conf Dflume.root.logger=DEBUG,console -n TwitterAgent

O SEGUINTE ERRO OCORRERÁ:

ERROR node.PollingPropertiesFileConfigurationProvider: Failed to load configuration data. Exception follows.
org.apache.flume.FlumeException: Unable to load source type: com.cloudera.flume. source.TwitterSource, class: com.cloudera.flume.source.TwitterSource

O FLUME NÃO CONSEGUE CARREGAR O source type: com.cloudera.flume. source.TwitterSource, class: com.cloudera.flume.source.TwitterSource

ENTÃO VAMOS AOS AJUSTES PARA FUNCIONAR.

FAÇA O DOWNLOAD DOS ARQUIVOS JÁ CONSTRUÍDOS:

flume-sources-1.0-SNAPSHOT.jar 

hive-serdes-1.0-SNAPSHOT.jar

NOS LINKS ABAIXO:

https://github.com/toticavalcanti/Curso_Hadoop/tree/master/Flume/Flume_Twitter/Arquivos_extras/flume-sources-1.0-SNAPSHOT.jar

https://github.com/toticavalcanti/Curso_Hadoop/tree/master/Flume/Flume_Twitter/Arquivos_extras/hive-serdes-1.0-SNAPSHOT.jar

AGORA COPIE O flume-sources-1.0-SNAPSHOT.jar  E O hive-serdes-1.0-SNAPSHOT.jar PARA A PASTA /Toti/, UTILIZE NOVAMENTE O WINSCP.

CRIE A PASTA /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/ PARA ISSO USE:

mkdir -p /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/

CRIE A PASTA /var/lib/flume-ng/plugins.d/twitter-streaming/lib/ PARA ISSO USE:

mkdir -p /var/lib/flume-ng/plugins.d/twitter-streaming/lib/

ENTRE NA PASTA /Toti/:
cd /Toti/

COPIE O ARQUIVO flume-sources-1.0-SNAPSHOT.jar PARA DENTRO DAS DUAS PASTAS CRIADAS: /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/ /var/lib/flume-ng/plugins.d/twitter-streaming/lib/COM OS COMANDOS:

cp flume-sources-1.0-SNAPSHOT.jar /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/
cp flume-sources-1.0-SNAPSHOT.jar /var/lib/flume-ng/plugins.d/twitter-streaming/lib/

AGORA PODEMOS RODAR NOVAMENTE O AGENTE SEM ERRO NENHUM.

flume-ng agent -f /etc/flume-ng/conf/flume_twitter.conf Dflume.root.logger=DEBUG,console -n TwitterAgent

PARA VISUALIZAR OS ARQUIVOS GERADOS COLETADOS PELO FLUME DO TWITTER UTILIZE A INTERFACE WEB OU UTILIZE O COMANDO:

hadoop fs -cat /twitteranalytics/incremental/nome_do_arquivo_gerado

NA PRÓXIMA AULA, SEGUIMOS NA CONSTRUÇÃO DAS TABELAS E DO SCRIPT PYSPARK.

Obrigado

Até a próxima

Category: Tutorial Hadoop
About The Author
-

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>