首页 > > 操作系统 > Linux >

003.Kubernetes二进制部署准备

2019-11-14 16:03:29来源：博客园 阅读 ()

新老客户大回馈,云服务器低至5折

003.Kubernetes二进制部署准备

一 前置准备

1.1 前置条件

相应的充足资源的Linux服务器；

设置相应的主机名，参考命令：

  1 hostnamectl set-hostname k8smaster

Mac及UUID唯一；

若未关闭防火墙则建议放通相应端口，如下：

Master节点——

规则

方向

端口范围

作用

使用者

TCP

Inbound

6443*

Kubernetes API server

All

TCP

Inbound

2379-2380

etcd server client API

kube-apiserver, etcd

TCP

Inbound

10250

Kubelet API

Self, Control plane

TCP

Inbound

10251

kube-scheduler

Self

TCP

Inbound

10252

kube-controller-manager

Self

Worker 节点——

规则

方向

端口范围

作用

使用者

TCP

Inbound

10250

Kubelet API

Self, Control plane

TCP

Inbound

30000-32767

NodePort Services**

All
其他更多前置准备见：https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/

二 主要组件

2.1 核心组件

  • etcd：保存了整个集群的状态；
  • apiserver：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制；
  • controller manager：负责维护集群的状态，比如故障检测、自动扩展、滚动更新等；
  • scheduler：负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上；
  • kubelet：负责维护容器的生命周期，同时也负责Volume（CVI）和网络（CNI）的管理；
  • Container runtime：负责镜像管理以及Pod和容器的真正运行（CRI）；
  • kube-proxy：负责为Service提供cluster内部的服务发现和负载均衡。

2.2 非核心组件

  • kube-dns：负责为整个集群提供DNS服务；
  • Ingress Controller：为服务提供外网入口；
  • Heapster：提供资源监控；
  • Dashboard：提供GUI；
  • Federation：集群联邦提供跨可用区的集群；
  • Fluentd-elasticsearch：提供集群日志采集、存储与查询。

延伸1：对master节点服务组件的理解：

2018030821

Master节点上面主要由四个模块组成：APIServer，schedule,controller-manager,etcd。

APIServer: APIServer负责对外提供RESTful的kubernetes API的服务，它是系统管理指令的统一接口，任何对资源的增删该查都要交给APIServer处理后再交给etcd，如架构图中所示，kubectl（Kubernetes提供的客户端工具，该工具内部就是对Kubernetes API的调用）是直接和APIServer交互的。

schedule: schedule负责调度Pod到合适的Node上，如果把scheduler看成一个黑匣子，那么它的输入是pod和由多个Node组成的列表，输出是Pod和一个Node的绑定,即将这个pod部署到这个Node上。Kubernetes目前提供了调度算法，但是同样也保留了接口，用户可以根据自己的需求定义自己的调度算法。

controller manager: 如果APIServer做的是前台的工作的话，那么controller manager就是负责后台的。每一个资源都对应一个控制器。而control manager就是负责管理这些控制器的，比如我们通过APIServer创建了一个Pod，当这个Pod创建成功后，APIServer的任务就算完成了。而后面保证Pod的状态始终和我们预期的一样的重任就由controller manager去保证了。

etcd：etcd是一个高可用的键值存储系统，kubernetes使用它来存储各个资源的状态，从而实现了Restful的API。

延伸2：对master节点服务组件的理解：

每个Node节点主要由三个模板组成：kubelet、kube-proxy、runtime。

runtime：runtime指的是容器运行环境，目前Kubernetes支持docker和rkt两种容器。

kube-proxy: 该模块实现了kubernetes中的服务发现和反向代理功能。kube-proxy支持TCP和UDP连接转发，默认基于Round Robin算法将客户端流量转发到与service对应的一组后端pod。服务发现方面，kube-proxy使用etcd的watch机制,监控集群中service和endpoint对象数据的动态变化，并且维护一个service到endpoint的映射关系，从而保证了后端pod的IP变化不会对访问者造成影响。另外，kube-proxy还支持session affinity。

kublet：kublet是Master在每个Node节点上面的agent，是Node节点上面最重要的模块，它负责维护和管理该Node上的所有容器，但是如果容器不是通过kubernetes创建的，它并不会管理。本质上，它负责使Pod的运行状态与期望的状态一致。

三 部署规划

3.1 节点规划


节点

IP

类型

运行服务
k8smaster01 172.24.8.71 Kubernetes master节点 docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、kube-nginx、flannel
k8smaster02 172.24.8.72 Kubernetes master节点 docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、 kubelet、kube-nginx、flannel
k8smaster03 172.24.8.73 Kubernetes master节点 docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、 kubelet、kube-nginx、flannel
k8snode01 172.24.8.74 Kubernetes node节点1 docker、etcd、kubelet、proxy、flannel
k8snode03 172.24.8.75 Kubernetes node节点2 docker、etcd、kubelet、proxy、flannel

提示：本实验使用三节点master部署，从而实现master的高可用。

3.2 组件及版本

  • Kubernetes 1.14.2
  • Docker 18.09.6-ce
  • Etcd 3.3.13
  • Flanneld 0.11.0
  • 插件：
    • Coredns
    • Dashboard
    • Metrics-server
    • EFK (elasticsearch、fluentd、kibana)
  • 镜像仓库：
    • docker registry
    • harbor

3.3 组件策略

kube-apiserver：

  • 使用节点本地 nginx 4 层透明代理实现高可用；
  • 关闭非安全端口 8080 和匿名访问；
  • 在安全端口 6443 接收 https 请求；
  • 严格的认证和授权策略 (x509、token、RBAC)；
  • 开启 bootstrap token 认证，支持 kubelet TLS bootstrapping；
  • 使用 https 访问 kubelet、etcd，加密通信；

kube-controller-manager：

  • 3 节点高可用；
  • 关闭非安全端口，在安全端口 10252 接收 https 请求；
  • 使用 kubeconfig 访问 apiserver 的安全端口；
  • 自动 approve kubelet 证书签名请求 (CSR)，证书过期后自动轮转；
  • 各 controller 使用自己的 ServiceAccount 访问 apiserver；

kube-scheduler：

  • 3 节点高可用；
  • 使用 kubeconfig 访问 apiserver 的安全端口；

kubelet：

  • 使用 kubeadm 动态创建 bootstrap token，而不是在 apiserver 中静态配置；
  • 使用 TLS bootstrap 机制自动生成 client 和 server 证书，过期后自动轮转；
  • 在 KubeletConfiguration 类型的 JSON 文件配置主要参数；
  • 关闭只读端口，在安全端口 10250 接收 https 请求，对请求进行认证和授权，拒绝匿名访问和非授权访问；
  • 使用 kubeconfig 访问 apiserver 的安全端口；

kube-proxy：

  • 使用 kubeconfig 访问 apiserver 的安全端口；
  • 在 KubeProxyConfiguration 类型的 JSON 文件配置主要参数；
  • 使用 ipvs 代理模式；

集群插件：

  • DNS：使用功能、性能更好的 coredns；
  • Dashboard：支持登录认证；
  • Metric：metrics-server，使用 https 访问 kubelet 安全端口；
  • Log：Elasticsearch、Fluend、Kibana；
  • Registry 镜像库：docker-registry、harbor。

四 其他准备

4.1 手动添加解析

注意：以下4.1至4.7步骤可通过如下脚本快速实现：

  1 [root@k8smaster01 ~]# vi k8sinit.sh
  2 # Modify Author: xhy
  3 # Modify Date: 2019-06-23 22:19
  4 # Version:
  5 #***************************************************************#
  6 # Initialize the machine. This needs to be executed on every machine.
  7 
  8 # Add host domain name.
  9 cat >> /etc/hosts << EOF
 10 172.24.8.71 k8smaster01
 11 172.24.8.72 k8smaster02
 12 172.24.8.73 k8smaster03
 13 172.24.8.74 k8snode01
 14 172.24.8.75 k8snode02
 15 EOF
 16 
 17 # Add docker user
 18 useradd -m docker
 19 
 20 # Disable the SELinux.
 21 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
 22 
 23 # Turn off and disable the firewalld.
 24 systemctl stop firewalld
 25 systemctl disable firewalld
 26 
 27 # Modify related kernel parameters & Disable the swap.
 28 cat > /etc/sysctl.d/k8s.conf << EOF
 29 net.ipv4.ip_forward = 1
 30 net.bridge.bridge-nf-call-ip6tables = 1
 31 net.bridge.bridge-nf-call-iptables = 1
 32 net.ipv4.tcp_tw_recycle = 0
 33 vm.swappiness = 0
 34 vm.overcommit_memory = 1
 35 vm.panic_on_oom = 0
 36 net.ipv6.conf.all.disable_ipv6 = 1
 37 EOF
 38 sysctl -p /etc/sysctl.d/k8s.conf >&/dev/null
 39 swapoff -a
 40 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
 41 modprobe br_netfilter
 42 
 43 # Add ipvs modules
 44 cat > /etc/sysconfig/modules/ipvs.modules <<EOF
 45 #!/bin/bash
 46 modprobe -- ip_vs
 47 modprobe -- ip_vs_rr
 48 modprobe -- ip_vs_wrr
 49 modprobe -- ip_vs_sh
 50 modprobe -- nf_conntrack_ipv4
 51 EOF
 52 chmod 755 /etc/sysconfig/modules/ipvs.modules
 53 bash /etc/sysconfig/modules/ipvs.modules
 54 
 55 # Install rpm
 56 yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget
 57 
 58 # Create k8s directory $$ Add system PATH
 59 mkdir -p  /opt/k8s/{bin,work} /etc/{kubernetes,etcd}/cert
 60 echo 'PATH=/opt/k8s/bin:$PATH' >>/root/.bashrc
 61 source /root/.bashrc
 62 
 63 # Reboot the machine.
 64 reboot
  1 [root@k8smaster01 ~]# cat <<EOF >> /etc/hosts
  2 172.24.8.71 k8smaster01
  3 172.24.8.72 k8smaster02
  4 172.24.8.73 k8smaster03
  5 172.24.8.74 k8snode01
  6 172.24.8.75 k8snode02
  7 EOF

提示：所有节点均建议如上操作。

4.2 添加docker账户

  1 [root@k8smaster01 ~]# useradd -m docker

提示：所有节点均建议如上操作。

4.3 关闭SELinux

  1 [root@k8smaster01 ~]# setenforce 0
  2 [root@k8smaster01 ~]# sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

4.4 修正iptables

  1 [root@k8smaster01 ~]# systemctl stop firewalld
  2 [root@k8smaster01 ~]# systemctl disable firewalld			#关闭防火墙
  3 [root@k8smaster01 ~]# cat <<EOF >> /etc/sysctl.d/k8s.conf
  4 net.bridge.bridge-nf-call-ip6tables = 1
  5 net.bridge.bridge-nf-call-iptables = 1
  6 net.ipv4.ip_forward = 1
  7 EOF
  8 [root@k8smaster01 ~]# modprobe br_netfilter
  9 [root@k8smaster01 ~]# sysctl -p /etc/sysctl.d/k8s.conf

提示：所有节点均建议如上操作。

4.5 关闭swap

  1 [root@k8smaster01 ~]# sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
  2 [root@k8smaster01 ~]# echo "vm.swappiness = 0" >> /etc/sysctl.d/k8s.conf	#禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
  3 [root@k8smaster01 ~]# sysctl -p /etc/sysctl.d/k8s.conf

4.6 其他调整

  1 [root@k8smaster01 ~]# cat <<EOF >> /etc/sysctl.d/k8s.conf
  2 vm.overcommit_memory = 1						# 不检查物理内存是否够用
  3 vm.panic_on_oom = 0							# 开启 OOM
  4 net.ipv6.conf.all.disable_ipv6 = 1					# 关闭 IPV6
  5 EOF
  6 [root@k8smaster01 ~]# sysctl -p /etc/sysctl.d/k8s.conf
  7 [root@k8smaster01 ~]# mkdir -p  /opt/k8s/{bin,work} /etc/{kubernetes,etcd}/cert	#创建相应目录
  8 [root@k8smaster01 ~]# yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget

提示：必须关闭 tcp_tw_recycle，否则和 NAT 冲突，会导致服务不通；

关闭 IPV6，防止触发 docker BUG。

4.7 加载IPVS

pod的负载均衡是用kube-proxy来实现的，实现方式有两种，一种是默认的iptables，一种是ipvs，相对iptables，ipvs有更好的性能。且当前ipvs已经加入到了内核的主干。

为kube-proxy开启ipvs的前提需要加载以下的内核模块：

  • ip_vs
  • ip_vs_rr
  • ip_vs_wrr
  • ip_vs_sh
  • nf_conntrack_ipv4
  1 [root@k8smaster01 ~]# cat > /etc/sysconfig/modules/ipvs.modules <<EOF
  2 #!/bin/bash
  3 modprobe -- ip_vs
  4 modprobe -- ip_vs_rr
  5 modprobe -- ip_vs_wrr
  6 modprobe -- ip_vs_sh
  7 modprobe -- nf_conntrack_ipv4
  8 EOF
  9 [root@k8smaster01 ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules
 10 [root@k8smaster01 ~]# bash /etc/sysconfig/modules/ipvs.modules
 11 [root@k8smaster01 ~]# lsmod | grep -e ip_vs -e nf_conntrack_ipv4
 12 [root@k8smaster01 ~]# yum -y install ipvsadm

clipboard

提示：所有节点均建议如上操作。

为了更好的管理和查看ipvs，可安装相应的管理工具《002.LVS管理工具的安装与使用》。

五 环境准备

5.1 配置免秘钥

为了更方便远程分发文件和执行命令，本实验配置master节点到其它节点的 ssh 信任关系。

  1 [root@k8smaster01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''
  2 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster01
  3 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster02
  4 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster03
  5 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode01
  6 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode02

提示：此操作仅需要在master节点操作。

5.2 分发集群配置参数脚本

后续使用的环境变量都定义在文件 environment.sh 中，同时拷贝到所有节点的 /opt/k8s/bin 目录：

  1 #!/usr/bin/bash
  2 
  3 # 生成 EncryptionConfig 所需的加密 key
  4 export ENCRYPTION_KEY=$(head -c 32 /dev/urandom | base64)
  5 
  6 # 集群 MASTER 机器 IP 数组
  7 export MASTER_IPS=(172.24.8.71 172.24.8.72 172.24.8.73)
  8 
  9 # 集群 MASTER IP 对应的主机名数组
 10 export MASTER_NAMES=(k8smaster01 k8smaster02 k8smaster03)
 11 
 12 # 集群 NODE 机器 IP 数组
 13 export NODE_IPS=(172.24.8.74 172.24.8.75)
 14 
 15 # 集群 NODE IP 对应的主机名数组
 16 export NODE_NAMES=(k8snode01 k8snode02)
 17 
 18 # 集群所有机器 IP 数组
 19 export ALL_IPS=(172.24.8.71 172.24.8.72 172.24.8.73 172.24.8.74 172.24.8.75)
 20 
 21 # 集群所有IP 对应的主机名数组
 22 export ALL_NAMES=(k8smaster01 k8smaster02 k8smaster03 k8snode01 k8snode02)
 23 
 24 # etcd 集群服务地址列表
 25 export ETCD_ENDPOINTS="https://172.24.8.71:2379,https://172.24.8.72:2379,https://172.24.8.73:2379"
 26 
 27 # etcd 集群间通信的 IP 和端口
 28 export ETCD_NODES="k8smaster01=https://172.24.8.71:2380,k8smaster02=https://172.24.8.72:2380,k8smaster03=https://172.24.8.73:2380"
 29 
 30 # kube-apiserver 的反向代理(kube-nginx)地址端口
 31 export KUBE_APISERVER="https://127.0.0.1:8443"
 32 
 33 # 节点间互联网络接口名称
 34 export IFACE="eth0"
 35 
 36 # etcd 数据目录
 37 export ETCD_DATA_DIR="/data/k8s/etcd/data"
 38 
 39 # etcd WAL 目录，建议是 SSD 磁盘分区，或者和 ETCD_DATA_DIR 不同的磁盘分区
 40 export ETCD_WAL_DIR="/data/k8s/etcd/wal"
 41 
 42 # k8s 各组件数据目录
 43 export K8S_DIR="/data/k8s/k8s"
 44 
 45 # docker 数据目录
 46 export DOCKER_DIR="/data/k8s/docker"
 47 
 48 ## 以下参数一般不需要修改
 49 
 50 # TLS Bootstrapping 使用的 Token，可以使用命令 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 生成
 51 BOOTSTRAP_TOKEN="41f7e4ba8b7be874fcff18bf5cf41a7c"
 52 
 53 # 最好使用 当前未用的网段 来定义服务网段和 Pod 网段
 54 
 55 # 服务网段，部署前路由不可达，部署后集群内路由可达(kube-proxy 保证)
 56 SERVICE_CIDR="10.254.0.0/16"
 57 
 58 # Pod 网段，建议 /16 段地址，部署前路由不可达，部署后集群内路由可达(flanneld 保证)
 59 CLUSTER_CIDR="172.30.0.0/16"
 60 
 61 # 服务端口范围 (NodePort Range)
 62 export NODE_PORT_RANGE="30000-32767"
 63 
 64 # flanneld 网络配置前缀
 65 export FLANNEL_ETCD_PREFIX="/kubernetes/network"
 66 
 67 # kubernetes 服务 IP (一般是 SERVICE_CIDR 中第一个IP)
 68 export CLUSTER_KUBERNETES_SVC_IP="10.254.0.1"
 69 
 70 # 集群 DNS 服务 IP (从 SERVICE_CIDR 中预分配)
 71 export CLUSTER_DNS_SVC_IP="10.254.0.2"
 72 
 73 # 集群 DNS 域名（末尾不带点号）
 74 export CLUSTER_DNS_DOMAIN="cluster.local"
 75 
 76 # 将二进制目录 /opt/k8s/bin 加到 PATH 中
 77 export PATH=/opt/k8s/bin:$PATH
  1 [root@k8smaster01 ~]# source environment.sh
  2 [root@k8smaster01 ~]# for all_ip in ${ALL_IPS[@]}
  3   do
  4     echo ">>> ${all_ip}"
  5     scp environment.sh root@${all_ip}:/opt/k8s/bin/
  6     ssh root@${all_ip} "chmod +x /opt/k8s/bin/*"
  7   done


原文链接:https://www.cnblogs.com/itzgr/p/11863568.html
如有疑问请与原作者联系

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：linux shell 命令获取字符串/文件的MD5值

下一篇：软链接的妙用

相关文章

IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设

网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源

网站联盟： 联盟新闻 联盟介绍 联盟点评 网赚技巧

行业资讯： 搜索引擎 网络游戏 电子商务 广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护

软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识： 网络协议 网络安全 网络管理 组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条
最新资讯
热门关注
热门标签