Kubernetes:从Cloud Provider到Cloud Controller Mananger全解析_uninitialized=true:noschedule-程序员宅基地

技术标签: 云原生  Cloud Controller Manager  Cloud Provider  Kubernetes  

一、背景

1.1 基于Kubernetes的容器云

容器云最主要的功能帮助用户把应用以容器的形式在集群中跑起来。目前很多的容器云平台通过Docker及Kubernetes等技术提供应用运行平台,从而实现运维自动化、快速部署应用、弹性伸缩和动态调整应用环境资源,提高研发运营效率。

1.2 Cloud Provider与云厂商

为了更好的让Kubernetes在公有云平台上运行,提供容器云服务,云厂商需要实现自己的Cloud Provider,即实现cloudprovider.Interface(https://github.com/kubernetes/kubernetes/blob/master/pkg/cloudprovider/cloud.go)。
它是Kubernetes中开放给云厂商的通用接口,便于Kubernetes自动管理和利用云服务商提供的资源,这些资源包括虚拟机资源、负载均衡服务、弹性公网IP、存储服务等。
如下图所示,Kubernetes核心库内置了很多主流云厂商的实现,包括aws、gce、azure:
cloud-provider tree

1.3 Cloud Provider的重构之路

但是,问题随之而来。
随着Kubernetes成为在私有云、公有云和混合云环境中大规模部署容器化应用的事实标准,越来越多的云厂商加入了进来,Cloud Provider的实现也越来越多,作为在Kubernetes核心库中的代码,这必将影响其快速的更新和迭代。
所以产生了把Cloud Provider移出Kubernetes核心库并进行重构的提案(Refactor Cloud Provider out of Kubernetes Core)。
在k8s v1.6,引入了Cloud Controller Manager(CCM),目的就是最终替代Cloud Provider。截止到最新的k8s v1.11,还是处于beta阶段。

二、Cloud Provider解析

2.1 Cloud Provider的作用

在k8s中有三个组件对Cloud Provider有依赖,分别是:

  • kube-controller-manager
  • kubelet
  • kube-apiserver

这三个组件对Cloud Provider的依赖部分会最终编译进相应的二进制中,进一步的依赖关系如下图所示:
cloud-provider

2.1.1 kube-controller-manager依赖Cloud Provider相关部分

kube-controller-manager对Cloud Provider的依赖分布在四个controller中。

2.1.1.1 Node Controller

Node Controller使用Cloud Provider来检查node是否已经在云上被删除了,如果Cloud Provider返回有node被删除了,那么Node Controller立马就会把此node从k8s中删除。

2.1.1.2 Route Controller

用来配置node的路由。
对于Kubernetes的容器网络,基本的原则是:每个pod都拥有一个独立的IP地址(IP per Pod),而且假定所有的pod都在一个可以直接连通的、扁平的网络空间中。而在云上,node的基础设施是由云厂商提供的,所以Route Controller需要调用Cloud Provider来配置云上node的底层路由从而实现Kubernetes的容器网络。

2.1.1.3 Service Controller

Service Controller维护了当前可用node的列表,同时负责创建、删除、更新类型是LoadBalancer的Service,从而使用云厂商额外提供的负载均衡服务、弹性公网IP等服务。

2.1.1.4 PersistentVolumeLabel Controller

PersistentVolumeLabel Controller使用Cloud Provider来创建、删除、挂载、卸载node上的卷,因为卷也是云厂商额外提供的云存储服务。

2.1.2 kubelet依赖Cloud Provider相关部分

kubelet中的Node Status使用Cloud Provider来获得node的信息。包括:

  • nodename:运行kubelet的节点名字
  • InstanceID, ProviderID, ExternalID, Zone Info:初始化kubelet的时候需要
  • 周期性的同步node的IP

2.1.3 kube-apiserver依赖Cloud Provider相关部分

kube-apiserver使用Cloud Provider来给所有node派发SSH Keys。

2.2 Cloud Provider的设计

云厂商在实现自己的Cloud Provider时只需要实现cloudprovider.Interface即可,如下:

type Interface interface {
    // 初始化一个k8s client,用于和kube-apiserver通讯
    Initialize(clientBuilder controller.ControllerClientBuilder)
    // 与负载均衡相关的接口
    LoadBalancer() (LoadBalancer, bool)
    // 与节点信息相关的接口
    Instances() (Instances, bool)
    // 与节点可用区相关的接口
    Zones() (Zones, bool)
    // 与集群相关的接口
    Clusters() (Clusters, bool)
    // 与路由相关的接口
    Routes() (Routes, bool)
    // cloud provider ID.
    ProviderName() string
    // ClusterID
    HasClusterID() bool
}

重点讲下两个比较重要的接口LoadBalancer()与Routes()。

2.2.1 LoadBalancer()的接口设计

LoadBalancer()接口用来为kube-controller-manager的Service Controller服务,接口说明如下:

type LoadBalancer interface {
    // 根据clusterName和service返回是否存LoadBalancer,若存在则返回此LoadBalancer的状态信息,状态信息里包含此LoadBalancer的对外IP和一个可选的HostName
    GetLoadBalancer(ctx context.Context, clusterName string, service *v1.Service) (status *v1.LoadBalancerStatus, exists bool, err error)
    // 更新或者创建一个LoadBalancer,在用户创建一个type是LoadBalancer的Service时触发。
    EnsureLoadBalancer(ctx context.Context, clusterName string, service *v1.Service, nodes []*v1.Node) (*v1.LoadBalancerStatus, error)
    // 更新一个LoadBalancer,在Service信息发生改变或者集群信息发生改变时,例如集群新加入一个节点,那么需要更新下LoadBalancer,目的是为LoadBalancer更新下后端需要监听的新节点。
    UpdateLoadBalancer(ctx context.Context, clusterName string, service *v1.Service, nodes []*v1.Node) error
    // 删除一个LoadBalancer
    EnsureLoadBalancerDeleted(ctx context.Context, clusterName string, service *v1.Service) error
}

2.2.2 Routes()的接口设计

Routes()接口用来为kube-controller-manager的Route Controller服务,接口说明如下:

type Routes interface {
    // 列举集群的路由规则
    ListRoutes(ctx context.Context, clusterName string) ([]*Route, error)
    // 为当前集群新建路由规则
    CreateRoute(ctx context.Context, clusterName string, nameHint string, route *Route) error
    // 删除路由规则
    DeleteRoute(ctx context.Context, clusterName string, route *Route) error
}

三、从Cloud Provider到Cloud Controller Manager

从k8s v1.6开始,k8s的编译产物中多了一个二进制:cloud-controller manager,它就是用来替代Cloud Provider的。
因为原先的Cloud Provider与mater中的组件kube-controller-manager、kube-apiserver以及node中的组件kubelet耦合很紧密,所以这三个组件也需要相应的进行重构。

3.1 kube-controller-manager的重构策略

kube-controller-manager中有四个controller与Cloud Provider相关,相应的重构策略如下:

  • Route Controller
    • 移入CCM,并在相应的controller loop中运行。
  • Service Controller
    • 移入CCM,并在相应的controller loop中运行。
  • PersistentVolumeLabel Controller
    • 移入CCM,并在相应的controller loop中运行。
  • Node Controller
    • 在CCM中增加新controller:Cloud Node Controller。
    • Cloud Node Controller除了实现原来Node Controller的功能外,增加新功能:
      • CIDR的管理
      • 监控节点的状态
      • 节点Pod的驱逐策略

3.2 kube-apiserver的重构策略

对于kube-apiserver使用Cloud Provider的两个功能:

  • 分发SSH Keys
    • 移入CCM
  • 对于PV的Admission Controller
    • 在kubelet中实现

3.3 kubelet的重构策略

kubelet需要增加一个新功能:在CCM还未初始化kubelet所在节点时,需标记此节点类似“NotReady”的状态,防止scheduler调度pod到此节点时产生一系列错误。此功能通过给节点加上如下Taints并在CCM初始化后删去此Taints实现:

node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule

四、Cloud Controller Manager解析

4.1 Cloud Controller Manager架构

按照第三节所述进行重构后,新的模块Cloud Controller Manager将作为一个新的组件直接部署在集群内,如下图所示:
Cloud Controller Manager
CCM组件内各小模块的功能与原先Cloud Provider的差不多,见第二节对Cloud Provider的解析。
对于云厂商来说,需要:
(1)实现cloudprovider.Interface接口的功能,这部分在Cloud Provider中已经都实现,直接迁移就行。
(2)实现自己的Cloud Controller Manager,并在部署k8s时,把CCM按要求部署在集群内,部署时的注意事项及部署参考实践见第五节。

4.2 Cloud Controller Manager实现举例

实现自己的CCM也比较简单,举例如下:

package main

import (
    ...
    "k8s.io/kubernetes/cmd/cloud-controller-manager/app"
    "k8s.io/kubernetes/cmd/cloud-controller-manager/app/options"

    // (1)初始化原来Cloud Provider的相关逻辑,读取cloud配置、初始化云厂商的Clod SDK。
    _ "k8s.io/cloud-provider-baiducloud/pkg/cloud-provider"
)

func main() {
    goflag.CommandLine.Parse([]string{})
    // (2) 初始化一个默认的CCM配置
    s, _ := options.NewCloudControllerManagerOptions()
    if err != nil {
        glog.Fatalf("unable to initialize command options: %v", err)
    }
    // (3) CCM启动命令
    cmd := &cobra.Command{
        Use: "cloud-controller-manager",
        Long: `The Cloud controller manager is a daemon that embeds the cloud specific control loops shipped with Kubernetes.`,
        Run: func(cmd *cobra.Command, args []string) {
            c, err := s.Config()
            if err != nil {
                fmt.Fprintf(os.Stderr, "%v\n", err)
                os.Exit(1)
            }
            // (4) Run里会运行相关controller loops:CloudNode Controller、PersistentVolumeLabel Controller、Service Controller、Route Controller
            if err := app.Run(c.Complete()); err != nil {
                fmt.Fprintf(os.Stderr, "%v\n", err)
                os.Exit(1)
            }
        },
    }
    s.AddFlags(cmd.Flags())
    pflag.CommandLine.SetNormalizeFunc(flag.WordSepNormalizeFunc)
    pflag.CommandLine.AddGoFlagSet(goflag.CommandLine)
    logs.InitLogs()
    defer logs.FlushLogs()
    if err := c.Execute(); err != nil {
        fmt.Fprintf(os.Stderr, "%v\n", err)
        os.Exit(1)
    }
}

五、部署使用Cloud Controller Manager实践

5.1 总体要求

  • 云厂商提供给CCM的API需要有认证鉴权机制,防止恶意行为。
  • 因为CCM运行在集群内,所以需要RBAC规则去跟kube-apiserver通讯
  • CCM为了高可用,可开启选主功能

5.2 k8s相关组件的启动配置变化

将Cloud Provider改为CCM后,相关组件启动的配置需要修改。

5.2.1 kube-controller-manager启动配置变化

不指定cloud-provider。

5.2.2 kube-apiserver启动配置变化

(1)不指定cloud-provider
(2)admission-control中删去PersistentVolumeLabel,因为CCM将接手PersistentVolumeLabel
(3)admission-control中增加Initializers
(4)runtime-config中增加admissionregistration.k8s.io/v1alpha1

5.2.3 kubelet启动配置变化

指定cloud-provider=external,告诉kubelet,在它开始调度工作前,需要被CCM初始化。(node会被打上 Taints:node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule)

5.3 启动CCM举例

5.3.1 启用initializers并添加InitializerConifguration

CCM为了给PV打标签需要:
(1)启用initializers(https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#enable-initializers-alpha-feature
(2)添加InitializerConifguration:persistent-volume-label-initializer-config.yaml如下:

admin/cloud/pvl-initializer-config.yaml  
kind: InitializerConfiguration
apiVersion: admissionregistration.k8s.io/v1alpha1
metadata:
  name: pvlabel.kubernetes.io
initializers:
  - name: pvlabel.kubernetes.io
    rules:
    - apiGroups:
      - ""
      apiVersions:
      - "*"
      resources:
      - persistentvolumes

5.3.2 创建CCM的RBAC

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: system:cloud-controller-manager
  labels:
    kubernetes.io/cluster-service: "true"
rules:
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - '*'

- apiGroups:
  - ""
  resources:
  - nodes/status
  verbs:
  - patch

- apiGroups:
  - ""
  resources:
  - services
  verbs:
  - list
  - watch
  - patch

- apiGroups:
  - ""
  resources:
  - services/status
  verbs:
  - update

- apiGroups:
  - ""
  resources:
  - events
  verbs:
  - create
  - patch
  - update

# For leader election
- apiGroups:
  - ""
  resources:
  - endpoints
  verbs:
  - create

- apiGroups:
  - ""
  resources:
  - endpoints
  resourceNames:
  - "cloud-controller-manager"
  verbs:
  - get
  - list
  - watch
  - update

- apiGroups:
  - ""
  resources:
  - configmaps
  verbs:
  - create

- apiGroups:
  - ""
  resources:
  - configmaps
  resourceNames:
  - "cloud-controller-manager"
  verbs:
  - get
  - update

- apiGroups:
  - ""
  resources:
  - serviceaccounts
  verbs:
  - create
- apiGroups:
  - ""
  resources:
  - secrets
  verbs:
  - get
  - list

# For the PVL
- apiGroups:
  - ""
  resources:
  - persistentvolumes
  verbs:
  - list
  - watch
  - patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: xxx-cloud-controller-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:cloud-controller-manager
subjects:
- kind: ServiceAccount
  name: cloud-controller-manager
  namespace: kube-system

5.3.3 启动CCM

可以通过DaemonSet或者Deployment的方式启动CCM:

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: cloud-controller-manager
  namespace: kube-system
---
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: xxx-cloud-controller-manager
  namespace: kube-system
  labels:
    k8s-app: xxx-cloud-controller-manager
spec:
  selector:
    matchLabels:
      k8s-app: xxx-cloud-controller-manager
  updateStrategy:
    type: RollingUpdate
  template:
    metadata:
      labels:
        k8s-app: xxx-cloud-controller-manager
    spec:
      hostNetwork: true
      nodeSelector:
        node-role.kubernetes.io/master: ""
      tolerations:
      - key: node.cloudprovider.kubernetes.io/uninitialized
        value: "true"
        effect: NoSchedule
      - key: node-role.kubernetes.io/master
        operator: Exists
        effect: NoSchedule
      serviceAccountName: cloud-controller-manager
      containers:
        - name: cloud-controller-manager
          image: xxx-cloud-controller-manager:v1.0.0
          args:
            - --cloud-config=/path/to/cloud-config.yaml
            - --cloud-provider=xxx
            - -v=4
          volumeMounts:
            - name: cfg
              mountPath: /etc/xxx
              readOnly: true
            - name: kubernetes
              mountPath: /etc/kubernetes
              readOnly: true
      volumes:
        - name: cfg
          secret:
            secretName: xxx-cloud-controller-manager
        - name: kubernetes
          hostPath:
            path: /etc/kubernetes

六、参考

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/hello2mao/article/details/81261364

智能推荐

js-选项卡原理_选项卡js原理-程序员宅基地

文章浏览阅读90次。【代码】js-选项卡原理。_选项卡js原理

设计模式-原型模式(Prototype)-程序员宅基地

文章浏览阅读67次。原型模式是一种对象创建型模式,它采用复制原型对象的方法来创建对象的实例。它创建的实例,具有与原型一样的数据结构和值分为深度克隆和浅度克隆。浅度克隆:克隆对象的值类型(基本数据类型),克隆引用类型的地址;深度克隆:克隆对象的值类型,引用类型的对象也复制一份副本。UML图:具体代码:浅度复制:import java.util.List;/*..._prototype 设计模式

个性化政府云的探索-程序员宅基地

文章浏览阅读59次。入选国内首批云计算服务创新发展试点城市的北京、上海、深圳、杭州和无锡起到了很好的示范作用,不仅促进了当地产业的升级换代,而且为国内其他城市发展云计算产业提供了很好的借鉴。据了解,目前国内至少有20个城市确定将云计算作为重点发展的产业。这势必会形成新一轮的云计算基础设施建设的**。由于云计算基础设施建设具有投资规模大,运维成本高,投资回收周期长,地域辐射性强等诸多特点,各地在建...

STM32问题集之BOOT0和BOOT1的作用_stm32boot0和boot1作用-程序员宅基地

文章浏览阅读9.4k次,点赞2次,收藏20次。一、功能及目的 在每个STM32的芯片上都有两个管脚BOOT0和BOOT1,这两个管脚在芯片复位时的电平状态决定了芯片复位后从哪个区域开始执行程序。BOOT1=x BOOT0=0 // 从用户闪存启动,这是正常的工作模式。BOOT1=0 BOOT0=1 // 从系统存储器启动,这种模式启动的程序_stm32boot0和boot1作用

C语言函数递归调用-程序员宅基地

文章浏览阅读3.4k次,点赞2次,收藏22次。C语言函数递归调用_c语言函数递归调用

明日方舟抽卡模拟器wiki_明日方舟bilibili服-明日方舟bilibili服下载-程序员宅基地

文章浏览阅读410次。明日方舟bilibili服是一款天灾驾到战斗热血的创新二次元废土风塔防手游,精妙的二次元纸片人设计,为宅友们源源不断更新超多的纸片人老婆老公们,玩家将扮演废土正义一方“罗德岛”中的指挥官,与你身边的感染者们并肩作战。与同类塔防手游与众不同的几点,首先你可以在这抽卡轻松获得稀有,同时也可以在战斗体系和敌军走位机制看到不同。明日方舟bilibili服设定:1、起因不明并四处肆虐的天灾,席卷过的土地上出..._明日方舟抽卡模拟器

随便推点

Maven上传Jar到私服报错:ReasonPhrase: Repository version policy: SNAPSHOT does not allow version: xxx_repository version policy snapshot does not all-程序员宅基地

文章浏览阅读437次。Maven上传Jar到私服报错:ReasonPhrase: Repository version policy: SNAPSHOT does not allow version: xxx_repository version policy snapshot does not all

斐波那契数列、素数、质数和猴子吃桃问题_斐波那契日-程序员宅基地

文章浏览阅读1.2k次。斐波那契数列(Fibonacci Sequence)是由如下形式的一系列数字组成的:0, 1, 1, 2, 3, 5, 8, 13, 21, 34, …上述数字序列中反映出来的规律,就是下一个数字是该数字前面两个紧邻数字的和,具体如下所示:示例:比如上述斐波那契数列中的最后两个数,可以推导出34后面的数为21+34=55下面是一个更长一些的斐波那契数列:0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 987, 1597, 2584,_斐波那契日

PHP必会面试题_//该层循环用来控制每轮 冒出一个数 需要比较的次数-程序员宅基地

文章浏览阅读363次。PHP必会面试题1. 基础篇1. 用 PHP 打印出前一天的时间格式是 2017-12-28 22:21:21? //>>1.当前时间减去一天的时间,然后再格式化echo date('Y-m-d H:i:s',time()-3600*24);//>>2.使用strtotime,可以将任何字符串时间转换成时间戳,仅针对英文echo date('Y-m-d H:i:s',str..._//该层循环用来控制每轮 冒出一个数 需要比较的次数

windows用mingw(g++)编译opencv,opencv_contrib,并install安装_opencv mingw contrib-程序员宅基地

文章浏览阅读1.3k次,点赞26次,收藏26次。windows下用mingw编译opencv貌似不支持cuda,选cuda会报错,我无法解决,所以没选cuda,下面两种编译方式支持。打开cmake gui程序,在下面两个框中分别输入opencv的源文件和编译目录,build-mingw为你创建的目录,可自定义命名。1、如果已经安装Qt,则Qt自带mingw编译器,从Qt安装目录找到编译器所在目录即可。1、如果已经安装Qt,则Qt自带cmake,从Qt安装目录找到cmake所在目录即可。2、若未安装Qt,则安装Mingw即可,参考我的另外一篇文章。_opencv mingw contrib

5个高质量简历模板网站,免费、免费、免费_hoso模板官网-程序员宅基地

文章浏览阅读10w+次,点赞42次,收藏309次。今天给大家推荐5个好用且免费的简历模板网站,简洁美观,非常值得收藏!1、菜鸟图库https://www.sucai999.com/search/word/0_242_0.html?v=NTYxMjky网站主要以设计类素材为主,办公类素材也很多,简历模板大部个偏简约风,各种版式都有,而且经常会更新。最重要的是全部都能免费下载。2、个人简历网https://www.gerenjianli.com/moban/这是一个专门提供简历模板的网站,里面有超多模板个类,找起来非常方便,风格也很多样,无须注册就能免费下载,_hoso模板官网

通过 TikTok 联盟提高销售额的 6 个步骤_tiktok联盟-程序员宅基地

文章浏览阅读142次。你听说过吗?该计划可让您以推广您的产品并在成功销售时支付佣金。它提供了新的营销渠道,使您的产品呈现在更广泛的受众面前并提高品牌知名度。此外,TikTok Shop联盟可以是一种经济高效的产品或服务营销方式。您只需在有人购买时付费,因此不存在在无效广告上浪费金钱的风险。这些诱人的好处是否足以让您想要开始您的TikTok Shop联盟活动?如果是这样,本指南适合您。_tiktok联盟