kubernetes 百变定制: 支持的扩展点和扩展方法(api/crd/plugin...)

Tags: kubernetes 

本篇目录

说明

kubernetes 用的越多,定制的需求越强,作为基础设施存在的 kubernetes 有强大的扩展能力,能够应对各种各样的场景。这里梳理一下 kubernetes 支持的扩展点和扩展方法。

主要参考资料:

扩展点

kubernetes 的扩展点现在(2019-12-15 18:30:28)有以下几个:

  1. kubectl plugins,主要影响本地操作体验,非核心功能;
  2. AuthenticationAuthorizationAdmission Control,请求处理过程扩展,Admission Control 是重点,有十几个;
  3. Custom Resources,即 CRD,扩展 kubernetes 的资源种类;
  4. Scheduler Extensions,调度器扩展;
  5. API 扩展,支持 apiserver-aggregationOperator 两种方式;
  6. kubelet 扩展,主要是 CNICSICRI 插件等。

Authen 和 Authz

认证和授权支持 webook。

Authentication Webhook 设置:

--authentication-token-webhook-config-file=CONFIG_FILENAME  # webhook 配置文件
--authentication-token-webhook-cache-ttl                    # 结果缓存时间,默认 2min

认证的 webhook 地址在配置文件中指定,格式如下,clusters 是 webhook 地址:

# Kubernetes API version
apiVersion: v1
# kind of the API object
kind: Config
# clusters refers to the remote service.
clusters:
  - name: name-of-remote-authn-service
    cluster:
      certificate-authority: /path/to/ca.pem         # CA for verifying the remote service.
      server: https://authn.example.com/authenticate # URL of remote service to query. Must use 'https'.

# users refers to the API server's webhook configuration.
users:
  - name: name-of-api-server
    user:
      client-certificate: /path/to/cert.pem # cert for the webhook plugin to use
      client-key: /path/to/key.pem          # key matching the cert

# kubeconfig files require a context. Provide one for the API server.
current-context: webhook
contexts:
- context:
    cluster: name-of-remote-authn-service
    user: name-of-api-sever
  name: webhook

Authorization Webhook 设置:

--authorization-webhook-config-file=CONFIG_FILENAME

授权的 webhook 地址在配置文件中指定,格式如下,clusters 是 webhook 地址:

# Kubernetes API version
apiVersion: v1
# kind of the API object
kind: Config
# clusters refers to the remote service.
clusters:
  - name: name-of-remote-authz-service
    cluster:
      # CA for verifying the remote service.
      certificate-authority: /path/to/ca.pem
      # URL of remote service to query. Must use 'https'. May not include parameters.
      server: https://authz.example.com/authorize

# users refers to the API Server's webhook configuration.
users:
  - name: name-of-api-server
    user:
      client-certificate: /path/to/cert.pem # cert for the webhook plugin to use
      client-key: /path/to/key.pem          # key matching the cert

# kubeconfig files require a context. Provide one for the API Server.
current-context: webhook
contexts:
- context:
    cluster: name-of-remote-authz-service
    user: name-of-api-server
  name: webhook

交互的数据格式见:Authentication WebhookAuthorization Webhook

Admission Control

Admission Control 的作用位置在认证和授权之后,用下面的方式启用:

1.10版本之后:--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,...
1.9 版本之前:--admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,...

Admission Control 的数量非常多(十几个),个别 Admission Control 还会用到比较复杂的配置文件,有的 Admission Control 会修改用户提交的数据。

AlwaysPullImages:                     强制将 image pull policy 设置为 Always
DefaultStorageClass:                   为没有指定 StorageClass 的 PVC 设置默认的 StorageClass
DefaultTolerationSeconds:              node 被设置 NoExecute Taint 后,pod 的容忍时间,超过后被驱逐
EventRateLimit:                        事件限速
ExtendedResourceToleration:            自动为带有 extended resources(GPU/FPGA等)的 node 设置 taint
ImagePolicyWebhook:                    镜像访问控制的 webhook
LimitPodHardAntiAffinityTopology:     反亲和性
LimitRanger:                           为没有设置 cpu/memory 的 pod 设置默认数量
NamespaceAutoProvision:                自动创建 namespace
NamespaceExists:                       检查 namespace 是否存在
NamespaceLifecycle:                   namespace 删除期间,不接受相关请求
NodeRestriction:                      限制 kubelet 可以对 node 和 pod 做出的修改
OwnerReferencesPermissionEnforcement: 限制对 metadata.ownerReferences 的访问
PodNodeSelector:                       设置 namespace 的中的 pod 的选择 node 的条件
PersistentVolumeClaimResize:           pvc 扩容检查
PodPreset:                            自动在 Pod 创建时注入信息
PodSecurityPolicy:                     Pod 操作的细粒度权限控制
PodTolerationRestriction:              检查合并 Pod 和 Namespace 的 Toleration,并与 namespace 的 Toleration 白名单比对
Priority:                              Pod 的优先级设置 priorityClassName 
ResourceQuota:                         资源配额检查
RuntimeClass:                          自动为 Pod 设置 pod.Spec.Overhead(额外开销)
SecurityContextDeny:                   禁止 SecurityContext 权限提升
ServiceAccount:                        ServiceAccount 设置
StorageObjectInUseProtection:          为 PV 和 PVC 设置 Finalizers,防止正在使用时被删除,从而造成数据丢失
TaintNodesByCondition:                为新建的 Node 设置 NotReady 和 NoSchedule taint。
MutatingAdmissionWebhook:              顺序调用会修改 object 的 webhook
ValidatingAdmissionWebhook:            并发调用检验 object 的 webhook

Operator

operator 就像是在 kubernetes 平台上运行的软件。

kubernetes 提供了 Custom Resources 功能,允许自行定义任意格式的 Resource。为自定义的 Resource 开发一个独立运行的 controller,就是 Operator 开发。

kubernetes 提供了一系列工具简化 operator 的开发,譬如自动为 crd 生成相应的 informer 等等。

Apiserver Aggregation

apiserver-aggregation 是另一种扩展 kubernetes API 的方法(上一种是 operator)。

kubernetes 有一个 API 是 APIService

apiVersion: apiregistration.k8s.io/v1
kind: APIService
metadata:
  name: <name of the registration object>
spec:
  group: <API group name this extension apiserver hosts>
  version: <API version this extension apiserver hosts>
  groupPriorityMinimum: <priority this APIService for this group, see API documentation>
  versionPriority: <prioritizes ordering of this version within a group, see API documentation>
  service:
    namespace: <namespace of the extension apiserver service>
    name: <name of the extension apiserver service>
  caBundle: <pem encoded ca cert that signs the server cert used by the webhook>

APIService 定义的是请求的转发规则,kube-apiserver 把收到的匹配了 group 和 version 请求转发给 servcie 处理。 service 就是单独开发的专门处理这些扩展的 API 的服务。

Scheduler Extensions

kube-scheduler 是 kubernetes 提供的默认调度器,一般情况下,直接使用默认调度器就足够了。如果有需要可以自行开发调度器,可以同时用多个调度器分别调度不同的资源。

同时启动多个调度器的方法见:Multiple Scheduler

kube-scheduler 的 webhook:Scheduler extender

kube-scheduler 的调度策略可以通过配置文件调整:调度策略的调整方法

Kubelet 的扩展

kubelet 扩展主要是各种本地插件:

  • 网络插件:CNI
  • 存储插件:CSI
  • 运行时插件:CRI

参考

  1. 李佶澳的博客
  2. Extending your Kubernetes Cluster

kubernetes

  1. Prometheus 采集 Kubernetes 中的 pod 的 metrics 的方法
  2. kubernetes configmap 热加载,inotifywatch 监测文件触发热更新
  3. kubernetes 百变定制: 支持的扩展点和扩展方法(api/crd/plugin...)
  4. kubernetes 调度组件 kube-scheduler 1.16.3 源代码阅读指引
  5. kubernetes 代码中的 k8s.io 是怎么回事?
  6. 旌旗招展,向网格而行!
  7. 《不一样的 双11 技术,阿里巴巴经济体云原生实践》阅读笔记
  8. kubernetes ingress-nginx 启用 upstream 长连接,需要注意,否则容易 502
  9. ingress-nginx 的限速功能在 nginx.conf 中的对应配置
  10. kubernetes 中的容器设置透明代理,自动在 HTTP 请求头中注入 Pod 信息
  11. kubernetes ingress-nginx 的测试代码(单元测试+e2e测试)
  12. kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异
  13. kubernetes 基于 openresty 的 ingress-nginx 的状态和配置查询
  14. Kubernetes ingress-nginx 0.25 源代码走读笔记
  15. kubernetes ingress-nginx 的金丝雀(canary)/灰度发布功能的使用方法
  16. kubernetes code-generator 用法: 生成 kubernetes-style 的 api 和 client 代码
  17. kubernetes 操作命令 kubectl 在 shell 中的自动补全配置
  18. flannel ip 地址段扩容方法
  19. kubernetes 组件 kube-proxy 的 IPVS 功能的使用
  20. lxcfs 是什么? 怎样通过 lxcfs 在容器内显示容器的 CPU、内存状态
  21. kubernetes initializer 功能的使用方法: 在 Pod 等 Resource 落地前进行修改
  22. kubernetes 版本特性: 新特性支持版本和组件兼容版本
  23. kubernetes API 与 Operator: 不为人知的开发者战争(完整篇)
  24. kubernetes 1.12 从零开始(七): kubernetes开发资源
  25. kubernetes 1.12 从零开始(六): 从代码编译到自动部署
  26. kubernetes 网络方案 Flannel 的学习笔记
  27. kubernetes 1.12 从零开始(五): 自己动手部署 kubernetes
  28. kubernetes 1.12 从零开始(四): 必须先讲一下基本概念
  29. kubernetes 1.12 从零开始(三): 用 kubeadm 部署多节点集群
  30. kubernetes 1.12 从零开始(二): 用 minikube 部署开发测试环境
  31. kubernetes 1.12 从零开始(一): 部署环境准备
  32. kubernetes 1.12 从零开始(零): 遇到的问题与解决方法
  33. kubernetes 1.12 从零开始(初): 课程介绍与官方文档汇总
  34. 通过Prometheus查询计算Kubernetes集群中的容器CPU、内存使用率等指标
  35. 使用 grafana 和 prometheus 监控 kubernetes 集群状态
  36. 一些比较有意思的Kubernetes周边产品
  37. Borg论文阅读笔记
  38. kubelet下载pod镜像时,docker口令文件的查找顺序
  39. kubernetes 的 Client Libraries 的使用
  40. kubernetes的网络隔离networkpolicy
  41. kube-router的源码走读
  42. 使用calico的ipip模式解决k8s的跨网段通信
  43. kubernetes的调试方法
  44. kubernetes 与 calico 的衔接过程
  45. 怎样理解 kubernetes 以及微服务?
  46. kubernetes中部署有状态的复杂分布式系统
  47. kubernetes的apiserver的启动过程
  48. kubernetes的api定义与装载
  49. kubernetes的federation部署,跨区Service
  50. kubernetes的编译、打包、发布
  51. kubernetes的第三方包的使用
  52. kubernetes的Storage的实现
  53. kubernetes 的 Apiserver 的 storage 使用
  54. kubernetes的Controller-manager的工作过程
  55. kubernetes的Client端Cache
  56. kubernetes 的 Apiserver 的工作过程
  57. kubernetes的CNI插件初始化与Pod网络设置
  58. kubernetes的Pod变更过程
  59. kubernetes的kubelet的工作过程
  60. kuberntes 的 Cmdline 实现
  61. kubernetes的Pod内挂载的Service Account的使用方法
  62. kubernetes的社区资源与项目参与方式
  63. kubernetes的Kube-proxy的转发规则分析
  64. kubernetes的基本操作
  65. kubernetes在CentOS上的集群部署
  66. kubernetes在CentOS上的All In One部署
  67. 怎样选择集群管理系统?

推荐阅读

Copyright @2011-2019 All rights reserved. 转载请添加原文连接,合作请加微信lijiaocn或者发送邮件: [email protected],备注网站合作

友情链接:  李佶澳的博客  小鸟笔记  软件手册  编程手册  运营手册  网络课程  收藏文章  发现知识星球  百度搜索 谷歌搜索