用VM虚拟机搭建大数据学习集群(3节点)

前提:下载安装VMware,安装centos系统

1- 登录虚拟机查看IP地址

ifconfig

若没有这个命令,安装

yum install -y net-tools.x86_64

执行ifconfig 找到 ip地址。使用xshell等工具连接上,主要是方便拷贝等操作。

2- 设置静态IP

网络必须是桥接 NAT模式(默认的网络设置),找到网卡并编辑,设置模式为 static,网关等。

        2.1- 在虚拟机的右上角,'编辑' -> 虚拟机网络设置

用VM虚拟机搭建大数据学习集群(3节点)_第1张图片

         2.2- 选择 NAT,并点击以 ‘’更改配置‘’

用VM虚拟机搭建大数据学习集群(3节点)_第2张图片

         2.3- 选择NAT模式,点击NAT设置。用VM虚拟机搭建大数据学习集群(3节点)_第3张图片

         2.4- 设置并记下 NETMASK 和 网关地址。后面要用

             这里是255.255.255.0 和 192.168.186.2

 用VM虚拟机搭建大数据学习集群(3节点)_第4张图片

         2.5- 在节点内,找到并编辑网络配置        

ll /etc/sysconfig/network-scripts/

用VM虚拟机搭建大数据学习集群(3节点)_第5张图片

vi /etc/sysconfig/network-scripts/ifcfg-ens33

 这里的 IPADDR为我们期望的静态IP地址, DNS1和GATEWAY是我们上面设置的网关地址。

NETMASK也是我们更改设置的。

ONBOOT=YES
OTPOTO="static"
DNS1=192.168.186.2
IPADDR=192.168.186.121
NETMASK=255.255.255.0
GATEWAY=192.168.186.2

3- 修改主机名

以node121为名

vi /etc/hostname
node121

4- 关闭防火墙

# 为了方便后续学习,这里是永久取消防火墙
systemctl disable firewalld

 5- 重启节点

执行命令

reboot

查看设置静态IP是否起效果,执行ifconfig,

用VM虚拟机搭建大数据学习集群(3节点)_第6张图片

 6- 克隆虚拟机,搭建集群

 6.1- VMware上,鼠标右击 虚拟机,管理 -> 克隆用VM虚拟机搭建大数据学习集群(3节点)_第7张图片

 都点击下一步就好,磁盘这步选一下就可以用VM虚拟机搭建大数据学习集群(3节点)_第8张图片

 6.2- 修改克隆机子的IP为,我们设计的。

这里我设计的是192.168.186.122和 192.168.186.123

6.2.1- 启动 node122,因为此时ip和 node121一致,所以确保node121没有开启

6.2.2- 修改 主机名和 静态IP 为 预定的值   (/etc/hostname 和 /etc/sysconfig/network-scripts/ifcfg-ens33两个文件)

主机名:node122

IP:192.168.186.122

6.2.3- 关闭node122.

对node123重复 node122的操作。修改主机名和静态IP地址

主机名:node123

IP:192.168.186.123

7- 配置集群免密登录

7.1- 编辑 /etc/hosts

方便后续以节点名字访问。以在节点 node121 为例

vi /etc/hosts
192.168.186.121 node121
192.168.186.122 node122
192.168.186.123 node123

 7.2- 生产秘钥

ssh-keygen -t rsa

 一直按确认就好了

用VM虚拟机搭建大数据学习集群(3节点)_第9张图片

 默认在 /root/.ssh目录下, 带pub的是公钥,母带的是私钥

用VM虚拟机搭建大数据学习集群(3节点)_第10张图片

 7.3- 将公钥拷贝到3个节点 (自己也要)

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node121

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node122

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node123

用VM虚拟机搭建大数据学习集群(3节点)_第11张图片

检查免密登录设置是否成功

用VM虚拟机搭建大数据学习集群(3节点)_第12张图片

node122 和 node123重复 上述操作

8- 同步集群时间

只是搭建集群学习大数据用的。所以为了方便,直接三台定时同步外网时间。设置每10分钟取美国标准技术同步时间

 在3台机子执行

crontab -e
*/10 * * * * ntpdate 202.120.2.101

学习大数据的集群搭建完成。后续的java和其他软件就自行安装

你可能感兴趣的