Gostaria de aprender a fazer uma instalação apache Hadoop no Ubuntu Linux? Neste tutorial, vamos mostrar como baixar e instalar apache Hadoop em um computador executando o Ubuntu Linux.
• Ubuntu 18.04
• Ubuntu 19.04
• Ubuntu 19.10
• Apache Hadoop 3.1.3
• Versão Openjdk 11.0.4
Lista de hardware:
A seção a seguir apresenta a lista de equipamentos usados para criar este tutorial Apache Hadoop.
Cada pedaço de hardware listado acima pode ser encontrado no site da Amazon.
Tutorial relacionado apache Hadoop:
Nesta página, oferecemos acesso rápido a uma lista de tutoriais relacionados ao Apache Hadoop.
Tutorial – Instalação Apache Hadoop no Ubuntu Linux
Instale o pacote Java JDK.
Use o seguinte comando para encontrar o diretório de instalação Java JDK.
Esta saída de comando deve mostrar-lhe o diretório de instalação Java.
Em nosso exemplo, nosso Java JDK está instalado a pasta: /usr/lib/jvm/java-11-openjdk-amd64
Agora, você precisa criar uma variável ambiental chamada JAVA_HOME.
Vamos criar um arquivo para automatizar a configuração de variáveis de ambiente necessárias
Aqui está o java.sh conteúdo de arquivo.
Reinicie o computador.
Use o seguinte comando para verificar se a variável JAVA_HOME foi criada.
Aqui está a saída de comando:
Use o seguinte comando para testar a instalação java.
Aqui está a saída de comando:
Crie uma conta de usuário local chamada hadoop.
Aqui está a saída de comando.
Tome nota da senha do usuário Hadoop.
Use a comand su para se tornar o usuário Haddop.
Gere uma chave SSH para a conta de usuário Hadoop.
Aqui está a saída de comando.
Como usuário Haddop, adicione a chave do usuário Hadoop à lista de chaves ssh autorizadas.
Você precisará digitar a senha do usuário Hadoop.
Aqui está a saída de comando.
Como a conta de usuário Hadoop, tente fazer login no host local.
Logoff da conta de usuário Hadoop e voltar para a conta raiz.
Baixe o pacote Hadoop no site oficial.
Instale o software Hadoop no seu servidor Linux.
Agora, você precisa criar as variáveis ambientais exigidas apache Haddop.
Vamos criar um arquivo para automatizar a configuração de variáveis de ambiente necessárias.
Aqui está o hadoop.sh conteúdo de arquivo.
Você precisa definir a variável ambiente JAVA_HOME no arquivo hadoop.sh.
Edite o arquivo hadoop-env.sh.
Adicione a linha a seguir no final deste arquivo.
Reinicie o computador.
Use o seguinte comando para verificar se as variáveis ambientais Apache Hadoop foram criadas.
Aqui está a saída de comando:
Verifique a versão Apache Hadoop instalada.
Aqui está a saída de comando.
A instalação do software Apache Hadoop foi concluída.
Tutorial – Exemplo de configuração apache hadoop
Em nosso exemplo, vamos configurar uma configuração de cluster de nó único Apache Hadoop.
Edite o arquivo core-site.xml.
Aqui está o arquivo original, antes da nossa configuração.
Aqui está o novo arquivo com nossa configuração.
Edite o arquivo hdfs-site.xml.
Aqui está o arquivo original, antes da nossa configuração.
Aqui está o novo arquivo com nossa configuração.
Edite o arquivo mapred-site.xml.
Aqui está o arquivo original, antes da nossa configuração.
Aqui está o novo arquivo com nossa configuração.
Edite o arquivo fio-site.xml.
Aqui está o arquivo original, antes da nossa configuração.
Aqui está o novo arquivo com nossa configuração.
Crie os diretórios necessários chamado namenode e datanode.
Use o seguinte comando para formatar o nome.
Use o seguinte comando para iniciar seu aglomerado Apache Hadoop.
Use o seguinte comando para iniciar seu aglomerado Apache Hadoop.
Abra um software de navegador, digite o endereço IP do seu servidor Apache Hadoop mais :9870
Em nosso exemplo, a seguinte URL foi inserida no Navegador:
• http://192.168.15.10:9870
A interface web Apache Hadoop deve ser apresentada.
Parabéns! Você terminou a instalação Apache Hadoop no Ubuntu Linux.