centos7搭建hadoop集群(超详细)

centos7搭建hadoop集群(超详细)

前提:

第一部分:

1.centos7安装虚拟机的文章链接: https://www.runoob.com/w3cnote/vmware-install-centos7.html.

2.需要三台及以上虚拟机,并保证能通网
centos7搭建hadoop集群(超详细)_第1张图片
3.三台都需要ping网试一下
centos7搭建hadoop集群(超详细)_第2张图片
4.在三台机器的/etc/hosts中添加ip和名称(三台机器都需要)
centos7搭建hadoop集群(超详细)_第3张图片

第二部分:给三台虚拟机配置ssh密钥

1.1:生成文件,红色箭头处需要敲一次空格
centos7搭建hadoop集群(超详细)_第4张图片
1.2:查看生成的文件
在这里插入图片描述
三台机器都需要操作1.1 1.2两步

2.1:创建authorized_keys 文件**(三台机器都需要)**

在这里插入图片描述
2.2:将三台虚拟机的id_rsa.pub内容全部保存至mater的authorized_keys文件内
centos7搭建hadoop集群(超详细)_第5张图片
三台虚拟机中都需要

3.1:测试ssh
centos7搭建hadoop集群(超详细)_第6张图片
建议ssh测试完后exit退出,不然操作就是在ssh后的虚拟机上操作的
centos7搭建hadoop集群(超详细)_第7张图片

正文:安装Hadoop

1.将hadoop下载好的包传入到虚拟机并解压(三台机器都需要做

在这里插入图片描述

2.进入hadoop解压后的文件中/etc/hadoop/下centos7搭建hadoop集群(超详细)_第8张图片

修改hadoop的四个配置文件:core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml

core-site.xml如下:


        fs.defaultFS
        hdfs://master:9000/
    
    
        hadoop.proxyuser.root.hosts
        *
    
    
        hadoop.proxyuser.root.groups
        *
    

        hadoop.tmp.dir
        file:///usr/soft/hadoop-2.7.5/tmp/


        fs.trash.interval
        1440
        Number of minutes between trash checkpoints.
            If zero, the trash feature is disabled.
        
    

hdfs-site.xml如下

 
        dfs.namenode.name.dir
        file:///usr/soft/hadoop-2.7.5/etc/hadoop/dfs/name
        NameNode directory for namespace and transaction logs storage.
    
    
        dfs.datanode.data.dir
        file:///usr/soft/hadoop-2.7.5/etc/hadoop/dfs/data
        DataNode directory
    
    
        dfs.replication
        2
    

mapred-site.xml如下:


        mapreduce.framework.name
        yarn
    
    
        mapreduce.jobhistory.address
        master:10020
    
    
        mapreduce.jobhistory.webapp.address
        master:19888
    

yarn-site.xml如下:


        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        master
    
    
        yarn.nodemanager.vmem-check-enabled
        false
    

完成后需要在usr/soft/hadoop-2.7.5/etc/hadoop文件下创建文件如下

centos7搭建hadoop集群(超详细)_第9张图片

在这里插入图片描述

修改slaves文件

centos7搭建hadoop集群(超详细)_第10张图片

启动hadoop

进入hadoop/bin目录下执行

./hadoop namenode -format 

centos7搭建hadoop集群(超详细)_第11张图片

执行成功页面

centos7搭建hadoop集群(超详细)_第12张图片

启动hadoop

进入hadoop包下的sbin目录下执行:./start-all.sh

centos7搭建hadoop集群(超详细)_第13张图片

我在执行时遇到错误,这错误也很简单,在slava1,slave2的hadoop-daemon.sh脚本没有权限,我们去到slava1,slave2给他赋予权限。

在这里插入图片描述
在这里插入图片描述

并且把hadoop包下的bin 文件夹也赋予权限不然也会报错,三台机器都需要

在这里插入图片描述

之后重新启动

centos7搭建hadoop集群(超详细)_第14张图片
在master机器jps可以看到这几个进程
centos7搭建hadoop集群(超详细)_第15张图片
在slave1和slave2机器jps可以看到这几个进程
centos7搭建hadoop集群(超详细)_第16张图片
在这里插入图片描述

永久关闭防火墙(三台机器都需要!)

在这里插入图片描述
在这里插入图片描述

并且进入网页192.168.2.10:9000可以看到hadoop页面

centos7搭建hadoop集群(超详细)_第17张图片

这样你的hadoop就搭建成功了!

HADOOP环境变量

进入/etc/profile 加入如下配置

export HADOOP_HOME=/usr/soft/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

后面再搭建过程中有问题的可以留言或者私信我帮你解决。

你可能感兴趣的