使用 kubeadm 部署

上一章中,我们用 minikube 去搭建单机集群,并且创建 Deployment、Service(在三章中讲解),本篇将介绍利用 kubeadm 部署多节点集群,并学会 安装以及使用 kubernetes 的命令行工具,快速创建集群实例,完成部署 hello world 应用的实践。

Kubeadm 是 CKAD 认证中要求掌握的部署方式,但是镜像需要国外网络才能下载,读者如果是国内服务器,可以参考 2.4 章的内容,使用国内服务器进行代理。

本章内容主要介绍如何安装 kubeadm 以及部署集群、添加节点。

需要提前在服务器安装好 Docker。

本文为作者的 Kubernetes 系列电子书的一部分,电子书已经开源,欢迎关注,电子书浏览地址:

https://k8s.whuanle.cn【适合国内访问】

https://ek8s.whuanle.cn 【gitbook】

命令行工具

在 kubernetes 中,主要有三个日常使用的工具,这些工具使用 kube 前缀命名,这三个工具如下:

  • kubeadm:用来初始化集群的指令,能够创建集群已经添加新的节点。可用其它部署工具替代。
  • kubelet:在集群中的每个节点上用来启动 Pod 和容器等,每个节点必须有,相对于节点与集群的网络代理。
  • kubectl:用来与集群通信/交互的命令行工具,与 kubernetes API-Server 通讯,是我们操作集群的客户端。

在 1.5 章中介绍过 kubelet、kubectl,kubelet 负责集群中节点间的通讯,kubectl 供用户输入命令控制集群,而且 kubeadm 则是创建集群、添加减少节点的工具。

安装命令行工具

命令行工具是每个节点都需要安装的, kubectl、kubelet 两个是必需的组件,而 kubeadm 则可以被代替。kubeadm 是 Kubenetes 官方推荐的部署工具,但由于网络等各方面原因,中文社区中也开发了一些替代项目,例如 Kubesphere(https://kubesphere.com.cn/),可在国内部署 Kubernetes,省去网络问题。

通过软件仓库安装

下面介绍如何 通过 Google 的源下载安装工具包。

更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包:

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl

下载 Google Cloud 公开签名秘钥:

sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg

添加 Kubernetes apt 仓库:

echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

注:如果是国内服务器,请忽略以上两步,使用以下命令解决:

apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
cat </etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

更新 apt 包索引,安装 kubelet、kubeadm 和 kubectl,并锁定其版本:

sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

执行命令检查是否正常:

kubeadm --help

不同操作系统

只是这里介绍一下 ubuntu 和 centos 不同的安装方法,已经通过前面的安装方法安装好,则不需要理会这一小节。

Ubuntu 和 Debain 等系统可以使用以下命令通过软件仓库安装:

sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2 curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl

Centos、RHEL 等系统可以使用以下命令通过软件仓库安装:

cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
yum install -y kubelet kubeadm kubectl

集群管理

创建 kubernetes 集群

Kubeadm 是一个创建管理工具,主要提供了 kubeadm init 和 kubeadm join 两个命令,作为创建 Kubernetes 集群的 “快捷途径” 的最佳实践。

Kubernetes 集群由 Master 和 Worker 两种节点组成,Master 节点负责控制集群所有的节点。

注意,本教程集群中的节点应当都是内网可互通的服务器,这些服务器之间可以通过内网相互访问。如果是服务器之间通过公网相互通讯的,操作方法请查询其它教程。

1,创建 Master

执行 hostname -i 查看此 node 的 ip。

我们初始化一个 API Server 服务,绑定地址为 192.168.0.8(按照你的ip改)。此步骤创建了一个 master 节点。

注:可以直接使用 kubeadm init,它会自动使用默认网络ip。

kubeadm init
# 或 kubeadm init --apiserver-advertise-address 192.168.0.8
# 或 kubeadm init --apiserver-advertise-address $(hostname -i)

部署失败,可以参考下面两个命令,查看失败原因。

systemctl status kubelet
journalctl -xeu kubelet

常见与 Docker 有关的错误可参考: https://kubernetes.io/docs/setup/production-environment/container-runtimes/#docker

完成后,会提示一些信息,在提示的内容中找到:

kubeadm join 192.168.0.8:6443 --token q25z3f.v5uo5bphvgxkjnmz \
    --discovery-token-ca-cert-hash sha256:0496adc212112b5485d0ff12796f66b29237d066fbc1d4d2c5e45e6add501f64

保存这段信息下来备用,后面加入节点时需要使用到。

如果有提示 Alternatively, if you are the root user, you can run:则你还需要执行下面的命令。

export KUBECONFIG=/etc/kubernetes/admin.conf

[Info] 提示

admin.conf 是连接 Kubernetes 的认证文件,通过此文件才能连接到 kubernetes,kubectl 也需要这个文件;在 Linux 中,使用 KUBECONFIG 环境变量知道认证文件的所在。

Linux 中每个用户的环境变量是不同的,如果切换了用户,则也需要设置 KUBECONFIG 环境变量;如果要在别的节点上连接集群,则可以把这个文件复制过去。

后面的操作都需要 admin.conf 文件,否则会报 The connection to the server localhost:8080 was refused - did you specify the right host or port? 。

由于 export 的环境变量不能持久化,请打开 ~/.bashrc 文件,把这个命令加到文件最后面。

[Info] 提示

为了保护 /etc/kubernetes/admin.conf,避免直接指向,建议每个用户复制一次此文件到用户目录下,其命令如下:

mkdir -p $HOME/.kube
cp -f /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

2,初始化网络

这一步不是必需的,不过一般来说,部署 Kubernetes 会配置网络,否则会节点之间不能相互访问,读者可以跟着做一次,在后面的章节中我们在一探究竟。

通过远程配置文件初始化网络,需要从第三方拉取一个 yaml 文件。

kubectl apply  -f  "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"  --namespace=kube-system
#  --namespace=kube-system 表示插件放到 kube-system 命名空间中运行

成功的话会提示:

serviceaccount/weave-net created
clusterrole.rbac.authorization.k8s.io/weave-net created
clusterrolebinding.rbac.authorization.k8s.io/weave-net created
role.rbac.authorization.k8s.io/weave-net created
rolebinding.rbac.authorization.k8s.io/weave-net created
daemonset.apps/weave-net created

我们也可以手动配置,执行 kubectl version 查看版本号,找到 GitVersion:v1.21.1 ,替换 yaml 文件的地址 https://cloud.weave.works/k8s/net?k8s-version=v1.21.1,然后执行 kubectl apply -n kube-system -f net.yaml 即可。

3,加入集群

前面已经创建了 Master 节点,接下来将另一个服务器以 Worker 节点的方式加入集群中。如果读者只有一台服务器,则可以跳过这个步骤。

当节点加入 kubeadm 初始化的集群时,双方需要建立双向信任,分为发现(Worker信任Master) 和 TLS 引导(Master信任待加入Worker)两部分。目前有两种加入方式,一种是通过令牌加入,一种是通过 kubeconfig 文件加入。

格式:

kubeadm join --discovery-token abcdef.xxx {IP}:6443 --discovery-token-ca-cert-hash sha256:xxx
kubeadm join--discovery-file file.conf

在第二个节点中,使用之前备份好的命令,直接执行,加入集群,格式如下命令所示

kubeadm join 192.168.0.8:6443 --token q25z3f.v5uo5bphvgxkjnmz \
    --discovery-token-ca-cert-hash sha256:0496adc212112b5485d0ff12796f66b29237d066fbc1d4d2c5e45e6add501f64

复制粘贴时,要注意,可能会由于 \ 换行符,导致粘贴时,多了一个小数点,导致报错。

使用 kubeadm 部署_第1张图片

可能碰到的问题

查看 docker 版本:yum list installed | grep docker 和 docker version

如果部署过程中出现 failed to parse kernel config: unable to load kernel module,也说明了 docker 版本太高,需要降级。

如果服务器装了 dnf,那么降级 docker 版本的命令:

dnf remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine
dnf -y install dnf-plugins-core
dnf install docker-ce-18.06.3.ce-3.el7 docker-ce-cli containerd.io

不行的话就按照 https://docs.docker.com/engine/install/centos/ 降级,或者自行按照其它方法处理。

注意,docker version 会看到 client 和 server 版本,两者的版本号可能不一致。

删除节点

在生产环境中,由于节点上已经部署着服务,因此直接删除节点,可能会导致严重的故障问题。因此需要移除一个节点时,首先要在此节点上驱逐所有 Pods,Kubernetes 会自动将此节点上的 Pod 转移到其它节点上部署(第三章会讲)。

获取集群中的所有节点,找到需要驱逐的节点名称。

kubectl get nodes

驱逐此节点上所有的 Pod:

kubectl drain {node名称}

虽然驱逐了节点上所有的服务,但是节点依然在集群中,只是 Kubernetes 不会再部署 Pod 到此节点上。如果需要恢复此节点,允许继续部署 Pod,可使用:

kubectl uncordon {节点名称}

关于驱逐,后面的章节会学习到。

注:驱逐 Pod,并一定能够驱逐所有 Pod,有些 Pod 可能不会被清除。

最终删除此节点:

kubectl delete node {节点名称}

集群删除了此节点后,节点上还保留着一些数据,可以继续清除环境。

清除环境

如果步骤做错了想重来,或者移除节点需要清除环境,可以执行 kubeadm reset [flags] 命令。

注:只执行 kubeadm reset 命令无效。

[flags] 有四种类型:

preflight              Run reset pre-flight checks
update-cluster-status  Remove this node from the ClusterStatus object.
remove-etcd-member     Remove a local etcd member.
cleanup-node           Run cleanup node.

我们需要执行:

kubeadm reset cleanup-node 
kubeadm reset

即可在当前服务器上清除 Kubernetes 残留的 容器或者其它数据。

你可能感兴趣的