Aula 10 – Scikit-Learn – Persistência do modelo com Pickle Voltar para página principal do blog Todas as aulas desse curso Aula 09 Aula 11 Link do meu Github com o script dessa aula: Download do script da aula Link da documentação oficial do Sklearn: https://scikit-learn.org/stable/ Se gostarem do conteúdo […]
Aula 17 – Scikit-Learn – Reconhecimento facial – Avaliação quantitativa Voltar para página principal do blog Todas as aulas desse curso Aula 16 Aula 18 Script dessa aula: Download do script da aula Documentação oficial do Sklearn: https://scikit-learn.org/stable/ Se gostarem do conteúdo dêem um joinha 👍 na página do Código […]
Análise de sentimento com Flume e Twitter PRIMEIRA PARTE Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti AVISO: As 3 aulas a seguir referentes a Análise de sentimento com Flume e Twitter, infelizmente não funciona mais na prática, a máquina cloudera usada na aula ficou desatualizada e foi descontinuada pela empresa. […]
Análise de sentimento com Flume e Twitter SEGUNDA PARTE Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti VAMOS TENTAR USAR O TIPO DE SOURCE com.cloudera.flume.source.TwitterSource AO INVÉS DO org.apache.flume.source.twitter.TwitterSource SEM FAZER NENHUMA MODIFICAÇÃO NA MÁQUINA CLOUDERA . NO ARQUIVO flume_twitter.conf VAMOS DESCOMENTAR A LINHA ABAIXO, RETIRANDO A TRALHA (#) DO INÍCIO: TwitterAgent.sources.Twitter.type = […]
Curso de Data Science Aula 10 – Data Science – R – Caso do Titanic – Kaggle Continuação da aula 09, agora rodando os comandos no RStudio Continuando com o problema do Titanic proposto pelo Kaggle. CONSTRUÇÃO DO MODELO Random Forest é um método de aprendizado sobre conjuntos de dados (ensemble learning) para construir modelos […]
Análise de sentimento com Flume e Twitter QUARTA PARTE Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti CONTINUANDO COM A CONSTRUÇÃO DA APLICAÇÃO DE ANÁLISE DE SENTIMENTO. CONSTRUÇÃO DO SCRIPT PYSPARK PARA A ANÁLISE FOI UTILIZADO O SPARK, UMA TECNOLOGIA DE COMPUTAÇÃO DISTRIBUÍDA EM CLUSTER, EXTREMAMENTE RÁPIDA. EXISTEM MUITOS MÉTODOS E […]
Aula 16 – Scikit-Learn – Reconhecimento facial – Treinamento do modelo SVM Voltar para página principal do blog Todas as aulas desse curso Aula 15 Aula 17 Script dessa aula: Download do script da aula Documentação oficial do Sklearn: https://scikit-learn.org/stable/ Se gostarem do conteúdo dêem um joinha 👍 na página […]
Aula 01 – Certificação Hortonworks Hadoop FS – Instanciando a máquina hortonworks na AWS
Certificação Hortonworks Hadoop FS – Máquina horton na AWS Instanciando uma máquina hortonworks HDPCDeveloper Practice Exam na AWS (Amazon Web Services) Esse é um mini curso preparatório para certificação Hortonworks, onde é ensinado a criar uma instância da máquina da Hortonworks na AWS ( Amazon Web Services ), onde existe um simulado para treinamento preparatório […]
Configuração da máquina Cloudera Link para o download da máquina: https://www.cloudera.com/downloads/quickstart_vms/5-13.html Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link para o download do putty: https://www.putty.org/ Link para o download do WINSCP: https://winscp.net/eng/download.php Link do meu Github: https://github.com/toticavalcanti Arquivo zipado Configurações da máquina cloudera Depois de unzipar o arquivo, é necessário fazer algumas configurações Acessando a […]
Configuração da máquina Cloudera Link para o download da máquina: https://www.cloudera.com/downloads/quickstart_vms/5-13.html Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link para download do virtual box: https://www.virtualbox.org/wiki/Downloads/ Link para o download do putty: https://www.putty.org/ Link para o download do WINSCP: https://winscp.net/eng/download.php Link do meu Github: https://github.com/toticavalcanti Arquivo zipado Configurações da máquina cloudera Depois de unzipar o arquivo, […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 02 Limpando os dados usando Pig Observe que os valores são separados por vírgulas nos arquivos flightdelays no HDFS contêm dados históricos de atrasos de vôos de linhas aéreas. As colunas nos arquivos correspondem ao seguinte esquema: Year, Month, […]
Aula 02 – Python – Face Recognition – Reconhecimento facial Biblioteca Face Recognition – Localizando rostos Voltar para página principal do blog Todas as aulas desse curso Aula 01 Aula 03 Código da aula: https://github.com/toticavalcanti/codigo-fluente-face-recognition-tutorial Documentação oficial do Face Recognition: https://github.com/ageitgey/face_recognition Se gostarem […]
Aula 28 – Tensor Flow – Keras – Conjunto de dados CIFAR-10 – VGG 3 – Weight Decay
Aula 28 – Tensor Flow – Keras – Conjunto de dados CIFAR-10 – VGG 3 – Weight Decay Voltar para página principal do blog Todas as aulas desse curso Aula 27 Aula 29 Meu github: https://github.com/toticavalcanti Documentação oficial do TensorFlow: https://www.tensorflow.org/ Quer aprender python3 […]
Contagem de palavras com PySpark Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti O SPARK É UMA ESTRUTURA DE PROCESSAMENTO BIG DATA, OPENSOURCE DESENVOLVIDA PARA TER VELOCIDADE, FACILIDADE DE USO E POSSIBILTAR ANÁLISE DE DADOS SOFISTICADAS O SPARK PODE SER 100X MAIS RÁPIDO QUE O HADOOP PARA PROCESSAMENTO DE DADOS EM […]
Apache Sqoop – Big Data Analytics Ferramentas de big data analytics do ecossistema hadoop O Apache Sqoop é uma ferramenta que intermedia o Hadoop file system e bancos relacionais (SGBDR) Antes de começar, quero deixar meu link de afiliados na Hostinger, tá valendo a pena, dêem uma olhada: Hostinger Dêem um joinha ? na página […]
Aula 09 – Tensor Flow – Sintaxe Básica Voltar para página principal do blog Todas as aulas desse curso Aula 08 Aula 10 Meu github: https://github.com/toticavalcanti Documentação oficial do TensorFlow: https://www.tensorflow.org/ Link para o notebook da aula: notebook-da-aula Se gostarem do conteúdo dêem um joinha 👍 […]
Aula 34 – TensorFlow – Keras – Redes Neurais – RNN Chatbot Voltar para página principal do blog Todas as aulas desse curso Aula 33 Aula 35 (Ainda não disponível) Redes Sociais: Site das bibliotecas Tensorflow Keras Cursos […]
Curso de Data Science Aula 05 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. Na última aula foi criado o campo Survived no titanic.test e atribuído valor NA ao campo, em todos os registros do titanic.test, agora vamos juntar o titanic.train e o […]
Aula 51 – Tecnologias de IA no Software Fooocus Voltar para página principal do blog Todas as aulas desse curso Aula 50 Aula 52 Redes Sociais do Código Fluente: Scarlett Finch Scarlett Finch é uma 🎤 cantora e 🎶compositora pop britânica , influencer […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 03 Analisando dados usando Pig Escreva um script Pig e salve na máquina cliente como /home/horton/solutions/cleaned_total.pig que calcula o número de linhas nos arquivos /user/horton/flightdelays_clean no HDFS. Armazene a saída do seu script em um novo diretório no HDFS […]
