Aula 18 – Hadoop – Instalação do Hadoop 3 no Ubuntu 20.04.1

Aula 18 – Hadoop – Instalação do Hadoop 3 no Ubuntu 20.04.1

Instalação do Hadoop 3 no Ubuntu 20.04.1

Instalação do Hadoop 3 no Ubuntu 20.04.1

Aula anterior                                            Próxima aula

Página principal

Meu github:

https://github.com/toticavalcanti

Meu Canal de Música:

https://www.youtube.com/channel/UCUEtjLuDpcOvR3mIUr-viOA

Meu canal de Backing track / Play-along:

https://www.youtube.com/channel/UCT3TryVMqTqYBjf5g5WAHfA

O canal do código fluente no youtube

https://www.youtube.com/channel/UCgn-O-88XBAwdG9gUWkkb0w

Fiquem a vontade para me adicionar ao linkedin.

Se gostarem do conteúdo dêem um joinha 👍 na página do Código Fluente no
Facebook

Esse é o link do código fluente no Pinterest

Meus links de afiliados:

Hostinger

Digital Ocean

One.com

Scripts de instalação:

Scripts

Aula 18 – Hadoop – Instalação do Hadoop 3 no Ubuntu 20.04.1

Instalando o Open JDK 14

Crie seu script e dê um nome a ele, por exemplo: install_java14.sh



#!/bin/bash

# change user configuration for /opt
cd /opt
sudo chown -R $USER .

# install openssh to ssh with via port 22
sudo apt install openssh-server openssh-client -y

# Install Java 14 on Ubuntu 20.04.1
sudo apt install openjdk-14-jdk

# Setting up JAVA_HOME
echo "# Set up JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-14-openjdk-amd64
export PATH=\$PATH:\$JAVA_HOME/bin

" >> ~/.profile

# shellcheck disable=SC1090
source ~/.profile

echo "$JAVA_HOME"
javac -version

Entre na pasta do script e digite os comandos abaixo:

Para torná-lo executável


chmod +x install_java14.sh

Para executá-lo


sudo ./install_java14.sh

Pronto, agora é esperar ele instalar o java.

Instalando o hadoop 3.3.0

Crie seu script e dê um nome a ele, por exemplo: install_hadoop.sh

hadoop-installation-scripts/2_install_Hadoop/install_hadoop.sh 


# Installing Hadoop/hdfs on Ubuntu 20.04.1 without `2_hadoop_install` user in /opt

## install Java
# See `java14_install.md`

## Configure password-less SSH
sudo apt-get install openssh-server
sudo apt-get install openssh-client

cat /dev/zero | ssh-keygen -q -N ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
sudo chmod -R 777 /opt
cd /opt
## download Hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
tar -xzvf hadoop-3.3.0.tar.gz
#rm hadoop-3.3.0.tar.gz

## Create symbolic link (if you want)
ln -s hadoop-3.3.0 hadoop


# add hadoop variables setup (write into `.profile`)

echo "
# set up HADOOP_HOME
export HADOOP_HOME=/opt/hadoop
export HADOOP_INSTALL=\$HADOOP_HOME
export HADOOP_MAPRED_HOME=\$HADOOP_HOME
export HADOOP_COMMON_HOME=\$HADOOP_HOME
export HADOOP_HDFS_HOME=\$HADOOP_HOME
export YARN_HOME=\$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=\$HADOOP_HOME/lib/native
export PATH=\$PATH:\$HADOOP_HOME/bin
export PATH=\$PATH:\$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=\$HADOOP_HOME/etc/hadoop
export HADOOP_OPTS=\"-Djava.library.path=\$HADOOP_HOME/lib/native\"
 " >> ~/.profile

# make hadoop and java variables available to system
source ~/.profile
which hadoop

# Now let's edit our configurations
cd /opt/hadoop/etc/hadoop/

# edit `hadoop-env.sh`

# add configurations to `hadoop-env.sh`
sed -i "/{JAVA_HOME}/d"  hadoop-env.sh
sed -i "/HADOOP_CONF_DIR=/d"  hadoop-env.sh

echo "

# Adding JAVA_HOME and HADOOP_CONF_DIR
export JAVA_HOME=$JAVA_HOME
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

" >> hadoop-env.sh


### edit `core-site.xml`
sed -i "/configuration>/d" core-site.xml

## add configurations to `core-site.xml`
echo "

    
        fs.defaultFS
        hdfs://localhost:9000
    
    
        hadoop.tmp.dir
        /opt/hadoop/hadoop_tmp
    

" >> core-site.xml


## Create hadoop temp directory
mkdir -p /opt/hadoop/hadoop_tmp

### Edit `hdfs-site.xml`
sed -i "/configuration>/d" hdfs-site.xml

echo "

    
        dfs.replication
        1
    
    
        dfs.name.dir
        file:///opt/hadoop/hdfs/namenode
    
    
        dfs.data.dir
        file:///opt/hadoop/hdfs/datanode
    

" >> hdfs-site.xml

## create datanode and namenode directory
mkdir -p /opt/hadoop/hdfs/namenode
mkdir -p /opt/hadoop/hdfs/datanode


### edit `mapred-site.xml`
#cp mapred-site.xml.template mapred-site.xml
sed -i "/configuration>/d" mapred-site.xml

echo "

    
        mapreduce.framework.name
        yarn
    

" >>  mapred-site.xml


### edit `yarn-site.xml`
sed -i "/configuration>/d" yarn-site.xml

### add configurations to `yarn-site.xml`
echo "

    
        mapreduceyarn.nodemanager.aux-services
        mapreduce_shuffle
    

" >>  yarn-site.xml


## Test hadoop and hdfs variables
hadoop version
hdfs version

## Starting the Hadoop Cluster
hdfs namenode -format
## should have `status 0` at the end

# Start HDFS services
/opt/hadoop-3.3.0/sbin/start-dfs.sh

/opt/hadoop-3.3.0/sbin/start-yarn.sh

# Test hadoop / HDFS is working
hdfs dfs -mkdir /tmp /user /data /hive # hadoop fs is deprecated
hdfs dfs -ls /

echo "Congratulations, hadoop/hdfs is installed."
echo "check hadoop UI at localhost:9870"

Entre na pasta do script e digite os comandos abaixo:

Para torná-lo executável


chmod +x install_hadoop.sh 

Para executá-lo


sudo ./install_hadoop.sh 

Pronto, agora é esperar ele instalar o Hadoop3.

Observação: se os serviços start-dfs.sh e start-yarn.sh não iniciarem automaticamente, iniciem como mostrei no vídeo.

Entre na pasta sbin do hadoop:

cd opt/hadoop-3.3.0/sbin/

E agora inicie os dois serviços com:

start-dfs.sh
start-yarn.sh

Para testa se realmente o hadoop tá rodando acesse:

localhost:9870

É isso pessoal, fico por aqui, até mais 🙂

Aula anterior                                            Próxima aula

Página principal

Scripts de instalação:

Scripts

Meu github:

https://github.com/toticavalcanti

Meu Canal de Música:

https://www.youtube.com/channel/UCUEtjLuDpcOvR3mIUr-viOA

Meu canal de Backing track / Play-along:

https://www.youtube.com/channel/UCT3TryVMqTqYBjf5g5WAHfA

O canal do código fluente no youtube

https://www.youtube.com/channel/UCgn-O-88XBAwdG9gUWkkb0w

Fiquem a vontade para me adicionar ao linkedin.

Se gostarem do conteúdo dêem um joinha 👍 na página do Código Fluente no
Facebook

Esse é o link do código fluente no Pinterest

Meus links de afiliados:

Hostinger

Digital Ocean

One.com

About The Author
-

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>