Kubernetes介绍

在部署应用程序的方式上，主要经历了以下三个时代：

传统部署：互联网早期，会直接将应用程序部署在物理机上

优点：简单，不需要其它技术的参与

缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响

虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境

优点：程序环境不会相互产生影响，提供了一定程度的安全性

缺点：增加了操作系统，浪费了部分资源

容器化部署：与虚拟化类似，但是共享了操作系统

优点：

可以保证每个容器拥有自己的文件系统、CPU、内存、进程空间等

运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦

容器化的应用程序可以跨云服务商、跨Linux操作系统发行版进行部署

容器化部署方式给带来很多的便利，但是也会出现一些问题，比如说：

• 一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器
• 当并发访问量变大的时候，怎么样做到横向扩展容器数量

这些容器管理的问题统称为容器编排问题，为了解决这些容器编排问题，就产生了一些容器编排的软件：

• Swarm：Docker自己的容器编排工具
• Mesos：Apache的一个资源统一管控的工具，需要和Marathon结合使用
• Kubernetes：Google开源的的容器编排工具

kubernetes简介

kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。

kubernetes官网：https://kubernetes.io/

- kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。目的是实现资源管理的自动化，主要提供了如下的主要功能：

• 自我修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器
• 弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整
• 服务发现：服务可以通过自动发现的形式找到它所依赖的服务
• 负载均衡：如果一个服务起动了多个容器，能够自动实现请求的负载均衡
• 版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本
• 存储编排：可以根据容器自身的需求自动创建存储卷

kubernetes组件

一个kubernetes集群主要是由控制节点(master，做管理)、工作节点(node) 构成，每个节点上都会安装不同的组件。

master：集群的控制平面，负责集群的决策 ( 集群管理者 )

ApiServer : 资源操作的唯一入口，接收用户输入的命令，提供认证、授权、API注册和发现等机制

Scheduler : 负责集群资源调度（计算），按照预定的调度策略将Pod调度到相应的node节点上

ControllerManager : 负责维护集群的状态，比如程序部署安排、故障检测、自动扩展、滚动更新等

Etcd ：负责存储集群中各种资源对象的信息（默认使用etcd，也可以手动改为mysql等）

node：集群的数据平面，负责为容器提供运行环境 (真正干活 )

Kubelet : 负责维护容器的生命周期，即通过控制docker，来创建、更新、销毁容器

KubeProxy : 负责提供集群内部的服务发现和负载均衡（访问k8s里程序的入口，例如他可以提供访问linux的入口）

Docker : 负责节点上容器的各种操作

下面，以部署一个nginx服务来说明kubernetes系统各个组件调用关系：

1. 首先要明确，一旦kubernetes环境启动之后，master和node都会将自身的信息存储到etcd数据库中
2. 一个nginx服务的安装请求会首先被发送到master节点的apiServer组件
3. apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上
4. 在此时，它会从etcd中读取各个node节点的信息，然后按照一定的算法进行选择，并将结果告知apiServer
5. apiServer调用controller-manager去调度Node节点安装nginx服务
6. kubelet接收到指令后，会通知docker，然后由docker来启动一个nginx的pod，pod是kubernetes的最小操作单元，容器必须跑在pod中
7. 至此，一个nginx服务就运行了，如果需要访问nginx，就需要通过kube-proxy来对pod产生访问的代理

这样，外界用户就可以访问集群中的nginx服务了

kubernetes概念

• Master：集群控制节点，每个集群需要至少一个master节点负责集群的管控
• Node：工作负载节点，由master分配容器到这些node工作节点上，然后node节点上的docker负责容器的运行
• Pod：kubernetes的最小控制单元，容器都是运行在pod中的，一个pod中可以有1个或者多个容器
• Controller：控制器，通过它来实现对pod的管理，比如启动pod、停止pod、伸缩pod的数量等等
• Service：pod对外服务的统一入口，下面可以维护者同一类的多个pod
• Label：标签，用于对pod进行分类，同一类pod会拥有相同的标签
• NameSpace：命名空间，用来隔离pod的运行环境（默认pod之间是可以相互访问的，有了Namspace后，可以控制pod之间是否能访问）

kubernetes集群环境搭建

集群类型

Kubernetes集群大致分为两类：一主多从和多主多从。
● 一主多从：一个Master节点和多台Node节点，搭建简单，但是有单机故障风险，适合用于测试环境。
● 多主多从：多台Master和多台Node节点，搭建麻烦，安全性高，适合用于生产环境。

为了测试方便，本次搭建的是一主多从类型的集群。

kubernetes安装方式

kubernetes有多种部署方式，目前主流的方式有kubeadm、minikube、二进制包。

• minikube：一个用于快速搭建单节点的kubernetes工具。
• kubeadm：一个用于快速搭建kubernetes集群的工具。
• 二进制包：从官网上下载每个组件的二进制包，依次去安装，此方式对于理解kubernetes组件更加有效。

我们需要安装kubernetes的集群环境，但是又不想过于麻烦，所以选择kubeadm方式

主机规划

环境搭建

本次环境搭建需要三台CentOS服务器（一主二从），然后在每台服务器中分别安装Docker（18.06.3）、kubeadm（1.18.0）、kubectl（1.18.0）和kubelet（1.18.0）。其中，经过验证，docker版本改为24，kubeadm、kubectl、kubelet版本改为1.23也同样可以搭建成功

下边的操作，没有特殊说明的地方，就是三台机器都需要执行。

环境初始化

首先，需要修改三台服务器ip为静态（固定）ip，防止以后重启服务器后ip变化，导致集群间连接不成功的问题。不会修改静态ip的同学看这里：https://blog.csdn.net/qq_33417321/article/details/131643861?spm=1001.2014.3001.5501

检查操作系统的版本

检查操作系统的版本（要求操作系统的版本至少在7.5以上）

cat /etc/redhat-release

关闭防火墙和禁止防火墙开机启动

关闭防火墙：

systemctl stop firewalld

禁止防火墙开机启动：

systemctl disable firewalld

设置主机名

设置主机名语法

hostnamectl set-hostname <hostname>

设置192.168.18.100的主机名：

hostnamectl set-hostname master

设置192.168.18.101的主机名

hostnamectl set-hostname node1

设置192.168.18.102的主机名

hostnamectl set-hostname node2

配置主机名解析

为了方便后面集群节点间的直接调用，需要配置一下主机名解析，企业中推荐使用内部的DNS服务器里配置，所有节点都要配置。

# vim /etc/hosts 
192.168.18.100 master
192.168.18.101 node1
192.168.18.102 node2

检测配置是否成功：机器间直接ping主机名

时间同步

kubernetes要求集群中的节点时间必须精确一致，所以在每个节点上添加时间同步（企业里建议配置自己的时间同步服务器），这里使用chrony做时间同步

查看系统是否已安装chrony

rpm -qa |grep chrony

没有安装环境的话，执行以下命令进行安装

yum install chrony 

安装后，直接执行这俩命令，进行时间同步：

systemctl start chronyd
systemctl enable chronyd

关闭selinux

selinux是linux下的安全服务，如果不关闭，在安装集群中会产生各种问题，查看selinux是否开启

getenforce

上图说明是开启状态，通过下边方式永久关闭selinux，需要重启

#方式一
sed -i 's/enforcing/disabled/' /etc/selinux/config
#方式二：编辑/etc/selinux/config文件，修改SELINUX的值为disable
SELINUX=disable

临时关闭selinux，重启之后，无效：

# 临时关闭
setenforce 0

上图说明selinux已关闭

关闭swap分区

swap分区指的是虚拟内存分区，它的作用是在物理内存使用完后，将磁盘空间虚拟成内存来使用。启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备。

# 永久关闭swap 
vim /etc/fstab

注释掉下边这行内容即可

将桥接的IPv4流量传递到iptables的链

cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

# 加载br_netfilter模块 
modprobe br_netfilter
# 生效
sysctl --system
# 查看是否加载
lsmod | grep br_netfilter

开启ipvs

# 在每个节点安装ipset和ipvsadm：
yum -y install ipset ipvsadm
# 	或者
yum install ipset ipvsadmin -y

在所有节点执行如下脚本:添加需要的模块写入脚本文件（直接复制下边的命令回车即可 ）

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

授权、运行、检查是否加载：

chmod 755 /etc/sysconfig/modules/ipvs.modules 

执行脚本

/bin/bash /etc/sysconfig/modules/ipvs.modules 

检查是否加载：

lsmod | grep -e ipvs -e nf_conntrack_ipv4

重启三台机器

reboot

每个节点安装Docker、kubeadm、kubelet和kubectl

安装docker，可以参考这里的文章里的第二章，进行安装：Docker实战一 Docker部署微服务_docker部署微服务项目-CSDN博客

安装docker后，记得修改vim /etc/docker/daemon.json，一定要加native.cgroupdriver=systemd，否则后边初始化k8s集群时会报错。daemon.json文件内容如下即可

"registry-mirrors":["https://m9r2r2uj.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]}

由于kubernetes的镜像源在国外，非常慢，这里切换成国内的阿里云镜像源：

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm、kubelet和kubectl

# 如果之前安装过  则需要先卸载
yum remove -y kubelet kubeadm kubectl

# 下边安装的是1.18，也可以安装1.23.0版本
yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0

为了实现Docker使用的cgroup drvier和kubelet使用的cgroup drver一致，建议修改"/etc/sysconfig/kubelet"文件的内容：

vim /etc/sysconfig/kubelet

# 修改如下
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

设置kubelet为开机自启动即可，由于没有生成配置文件，集群初始化后自动启动：

systemctl enable kubelet

部署k8s的Master节点

只在master节点执行

可以使用下边命令在线下载安装master（只在master执行），记得改下边的apiserver-advertise-address地址为自己master的ip地址，kubernetes-version也可以改为自己的版本 (如果上边的kubeadm、kubelet和kubectl安装的是1.23版本，则这里的kubernetes-version也要改为1.23)

# 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里需要指定阿里云镜像仓库地址
kubeadm init \
  --apiserver-advertise-address=192.168.18.100 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.18.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16

上边红框里的要复制出来备份好，后边会用到。如果初始化命令有报错，则执行kubeadm reset命令后，可以重新初始化

根据提示消息，在Master节点上使用kubectl工具：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

执行init初始化时，报错如下的话

解决方式：执行如下命令

# 在三台机器都执行（如果不报错就不需要执行了）
echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

master节点执行完init命令后，会在/etc/kubernetes目录生成一个admin.conf文件，我们把这个文件传到node2与node3

scp /etc/kubernetes/admin.conf node2:/etc/kubernetes/admin.conf
scp /etc/kubernetes/admin.conf node3:/etc/kubernetes/admin.conf

传完后，在node2和node3配置环境变量

vim /etc/profile

在profile最后添加如下内容

export KUBECONFIG=/etc/kubernetes/admin.conf
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile

执行source /etc/profile使配置生效

部署k8s的Node节点

上边master初始化后，控制台有如下命令：复制该命令到各个node节点去执行，把node节点加入到master集群里

根据提示，在192.168.18.101和192.168.18.102上（俩node节点服务器）添加如下的命令（这个命令默认token是24小时有效，也可以手动生成一个永久有效的token）：

#下边的命令是在俩node节点服务器里执行 把当前node节点加入到集群里；注意，下边的命令粘贴的是上边master安装后，控制台打印出来的命令
kubeadm join 192.168.18.100:6443 --token jv039y.bh8yetcpo6zeqfyj \
    --discovery-token-ca-cert-hash sha256:3c81e535fd4f8ff1752617d7a2d56c3b23779cf9545e530828c0ff6b507e0e26

在master里，查看集群里的节点信息(验证是否安装成功)

kubectl get nodes

可以看到，三台机器已经组成了一个集群，说明安装成功。但是状态是NotReady，即网络还没通，节点之间不能通信，在后边章节里会介绍解决网络不通的问题（需要部署CNI网络插件）；

默认的token有效期为24小时，当过期之后，该token就不能用了，这时可以在master里使用如下的命令创建token：

# kubeadm token create --print-join-command
# 生成一个永不过期的token
kubeadm token create --ttl 0 --print-join-command

复制上边的命令到node2、node3执行即可，执行后node2、node3就加入到集群里了

查看版本信息

kubectl version
# 或者
kubectl version --short

如果在master初始化时报错，可以重新初始化，在master和node都执行下边命令

kubeadm reset

如果node节点添加进集群失败，可以删除节点重新添加，如要删除 node1 这个节点，首先在 master 节点上依次执行以下两个命令

kubectl drain node1 --delete-local-data --force --ignore-daemonsets

kubectl delete node node1

执行后通过 kubectl get node 命令可以看到 k8s-node1 已被成功删除，接着在 node1 这个 Node 节点上执行kubeadm reset命令，这样该节点即完全从 k8s 集群中脱离开来，之后就可以重新执行上边的join命令添加到集群

部署CNI网络插件

CNI是容器网络接口(container networking interface)的缩写，默认情况下，如果未指定 kubelet 网络插件，则使用 noop 插件， 该插件可以确保简单的网络配置 （如bridge模式的 docker）正常运行在 iptables 代理上。

CNI网络插件负责在Kubernetes pod网络中添加或删除pod的相关网络配置工作。包括创建/删除每个pod的网络接口，并将其和网络(通常是pod专有网络，也可以是宿主机网络)连接/断开。 网络插件是CNI的基本面，几乎所有CNI插件都具备网络插件功能。

在Master节点上使用kubectl工具查看节点状态：

kubectl get nodes

可以看到是NotReady的状态，原因是网络不通

查看日志

journalctl -u kubelet

出现这种报错的 是没有安装网络插件，可以往下看部署flannel网络插件

● kubernetes支持多种网络插件，比如flannel、calico、canal等，任选一种即可，本次选择flannel，你也可以安装calico
● 在Master节点上获取flannel配置文件(可能会失败，如果失败，请下载到本地，然后安装)：

下边的操作只在master节点执行即可

安装flannel插件方式一

# 可以直接执行下边这个命令就安装好了
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

安装flannel插件方式二：也可以把kube-flannel.yml文件先下载下来，再安装

# 安装wget
yum install wget
# master执行
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

下载下来后，修改文件里的仓库为国内的仓库地址（本人没修改，也能正常执行）

上图红框里的内容

quay-mirror.qiniu.com/coreos/flannel:v0.12.0-s390x

使用配置文件启动flannel：

不管是方式一还是方式二，效果是一样的，执行成功后，稍等一分钟左右，在master的/run/flannel/目录，生成了subnet.env文件，文件内容如下

FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

查看部署CNI网络插件进度：

等一分钟左右后，再次在Master节点使用kubectl工具查看节点状态

kubectl get nodes

查看集群健康状况：

kubectl get cs;
kubectl cluster-info;

卸载flannel.yml命令

kubectl delete -f kube-flannel.yml

服务部署

在Kubernetes集群中部署一个Nginx程序，测试下集群是否正常工作。

在master执行以下命令

kubectl create deployment nginx --image=nginx:1.14-alpine
# 暴露端口，NodePort：集群外的浏览器可以访问
kubectl expose deployment nginx --port=80 --type=NodePort
# 查看服务状态， svc：service
kubectl get pods,svc