Análise de sentimento com Flume e Twitter

SEGUNDA PARTE

Link da documentação oficial do Hadoop:

http://hadoop.apache.org/

Link do meu Github:

https://github.com/toticavalcanti

VAMOS TENTAR USAR O TIPO DE SOURCE com.cloudera.flume.source.TwitterSource AO INVÉS DO org.apache.flume.source.twitter.TwitterSource SEM FAZER NENHUMA MODIFICAÇÃO NA MÁQUINA CLOUDERA .

NO ARQUIVO flume_twitter.conf  VAMOS DESCOMENTAR A LINHA ABAIXO, RETIRANDO A TRALHA (#) DO INÍCIO:

TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource

E COMENTAR COLOCANDO TRALHA (#) NO INÍCIO DA LINHA ABAIXO:

#TwitterAgent.sources.Twitter.type=org.apache.flume.source.twitter.TwitterSource

COMO MOSTRADO NO VÍDEO.

AGORA VAMOS ATUALIZAR O DATETIME:

sudo ntpdate ntp.ubuntu.com

ENTRE NA PASTA /etc/flume-ng/conf COM O COMANDO:
cd /etc/flume-ng/conf

E VAMOS RODAR O AGENTE COM O COMANDO:

flume-ng agent -f /etc/flume-ng/conf/flume_twitter.conf Dflume.root.logger=DEBUG,console -n TwitterAgent

O SEGUINTE ERRO OCORRERÁ:

ERROR node.PollingPropertiesFileConfigurationProvider: Failed to load configuration data. Exception follows.
org.apache.flume.FlumeException: Unable to load source type: com.cloudera.flume. source.TwitterSource, class: com.cloudera.flume.source.TwitterSource

O FLUME NÃO CONSEGUE CARREGAR O source type: com.cloudera.flume. source.TwitterSource, class: com.cloudera.flume.source.TwitterSource

ENTÃO VAMOS AOS AJUSTES PARA FUNCIONAR.

FAÇA O DOWNLOAD DOS ARQUIVOS JÁ CONSTRUÍDOS:

flume-sources-1.0-SNAPSHOT.jar 

hive-serdes-1.0-SNAPSHOT.jar

NOS LINKS ABAIXO:

https://github.com/toticavalcanti/Curso_Hadoop/tree/master/Flume/Flume_Twitter/Arquivos_extras/flume-sources-1.0-SNAPSHOT.jar

https://github.com/toticavalcanti/Curso_Hadoop/tree/master/Flume/Flume_Twitter/Arquivos_extras/hive-serdes-1.0-SNAPSHOT.jar

AGORA COPIE O flume-sources-1.0-SNAPSHOT.jar  E O hive-serdes-1.0-SNAPSHOT.jar PARA A PASTA /Toti/, UTILIZE NOVAMENTE O WINSCP.

CRIE A PASTA /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/ PARA ISSO USE:

mkdir -p /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/

CRIE A PASTA /var/lib/flume-ng/plugins.d/twitter-streaming/lib/ PARA ISSO USE:

mkdir -p /var/lib/flume-ng/plugins.d/twitter-streaming/lib/

ENTRE NA PASTA /Toti/:
cd /Toti/

COPIE O ARQUIVO flume-sources-1.0-SNAPSHOT.jar PARA DENTRO DAS DUAS PASTAS CRIADAS: /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/ E /var/lib/flume-ng/plugins.d/twitter-streaming/lib/COM OS COMANDOS:

cp flume-sources-1.0-SNAPSHOT.jar /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/
cp flume-sources-1.0-SNAPSHOT.jar /var/lib/flume-ng/plugins.d/twitter-streaming/lib/

AGORA PODEMOS RODAR NOVAMENTE O AGENTE SEM ERRO NENHUM.

flume-ng agent -f /etc/flume-ng/conf/flume_twitter.conf Dflume.root.logger=DEBUG,console -n TwitterAgent

PARA VISUALIZAR OS ARQUIVOS GERADOS COLETADOS PELO FLUME DO TWITTER UTILIZE A INTERFACE WEB OU UTILIZE O COMANDO:

hadoop fs -cat /twitteranalytics/incremental/nome_do_arquivo_gerado

NA PRÓXIMA AULA, SEGUIMOS NA CONSTRUÇÃO DAS TABELAS E DO SCRIPT PYSPARK.

Obrigado

Até a próxima

Aula 10 – Análise de sentimento com Flume / Twitter 02

About The Author
-

2 Comentários

    • toticavalcanti
      Reply

      Fala Manoel, não sei, não tenho usado o Flume com o Twitter, mas, o João Carlos Lira já tinha falado comigo que tava enfrentando esse problema também.
      Por último ele comentou há 2 semanas atrás no youtube na aula:
      https://www.youtube.com/watch?v=NeEPY-l8QeU&lc=z22ugdno2oizixza404t1aokgelthwhr1djb0fbdkzvdbk0h00410.1564716929504548

      “@Código Fluente Fala Toti! Obrigado pela resposta. Eu fiz um teste pelo node-red e o node deles de stream do twitter está funcionando. Sendo bem sincero não faço a menor ideia do porque de um dia para o outro o stream via IP 199.59.148.138 parou de funcionar.

      Tomara que ando você puder testar, funcione rsrsrs!

      Grande abraço!”

      Não sei se ele conseguiu.
      Quando eu tiver um tempinho vou tentar vê o que tá acontecendo.
      Abraço.
      Toti

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>