kubernetes 使用:多可用区、Pod 部署拓扑与 Topology Aware Routing

目录

说明

把分布在不同可用区中的 node 纳入到一个 kubernetes 集群,意味着操作其中的负载时需要考虑可用区的影响。 比如 pod 如何在多个可用区之间分布,对 service 的请求会不会跨可用区传输。

Running in multiple zones 概括了包含多个可用区时需要考虑的问题以及解决方法:

  1. 控制组件在多个可用区中部署副本
  2. 在 node 上设置标识所属可用区的标签
  3. 在 pod 定义中增加 topologySpreadConstraints,影响 pod 的调度
  4. 启用名为 PersistentVolumeLabel 的 admission controller,为 PV 添加可用区 label
  5. 将 storageClass 设置为 WaitForFirstConsumer,或者在定义中增加 allowedTopologies,限定可用区
  6. 在 endpointSlice 注入可用区信息,影响 kube-proxy 的转发规则设置

整套方案在不冲击 kubernetes 整体架构的情况下增加了对可用区的支持,设计的比较巧妙,虽然不怎么强大。

node 和 pv 的可用区标签设置

kubernetes 对用来标识可用区的 label 名称并没有约束,只需要在单个集群内保持统一。比较常用的标签名是:topology.kubernetes.io/zone。 kubernetes 不自动设置 node 和 pv 的可用区标签。node 可用区标签需要人为在 kubelet 中设置或者通过 cloud-controller-manager 设置。

pod 跨可用区部署拓扑

topologySpreadConstraints 影响的是新增的 pod 被调度到 node 过程,实现 pod 在不同可用区中的数量平衡。具体用法见:Pod Topology Spread Constraints。

pod 避免跨可用区挂载存储

通过在 pv 上设置可用区标签来避免 pod 挂载了其它可用区的存储。用 persistentvolumelabel 从 cloud provider 获取到可用区信息然后设置标签的做法已经不建议使用,建议用 cloud-controller-manager。

storagte-class 可以限定 allowed-topologies,主要还是通过设置 WaitForFirstConsumer 模式,在可用区已知的时候进行 pv 创建。

Topology Aware Routing

为了避免访问 service 的请求被转发到另外的可用区,可以启用 Topology Aware Routing,kube-proxy 以及 dns 组件都需要开启。

参考

  1. 李佶澳的博客
  2. Running in multiple zones
  3. topology.kubernetes.io/zone
  4. Pod Topology Spread Constraints
  5. Topology Aware Routing
  6. admission-controllers/#persistentvolumelabel
  7. storage-classes/#allowed-topologies

推荐阅读

Copyright @2011-2019 All rights reserved. 转载请添加原文连接,合作请加微信lijiaocn或者发送邮件: [email protected],备注网站合作

友情链接:  Some Online Tools Develop by Me  系统软件  程序语言  运营经验  水库文集  网络课程  微信网文