kubernetes 与 calico 的衔接过程

Tags: kubernetes  calico 

目录

说明

这里分析的是kubernetes 1.6.4。

kubelet衔接calico的cni插件

kubelet与CNI插件的衔接过程,可以参考Kubernetes的CNI插件初始化与Pod网络设置

kubelet默认在/etc/cni/net.d目录寻找配置文件,在/opt/bin/目录中寻找二进制程序文件。

kubelet \
	...
	--network-plugin=cni 
	--cni-conf-dir=/etc/cni/net.d 
	--cni-bin-dir=/opt/cni/bin 
	...

如果要使用calico的CNI插件,需要使用如下格式的配置文件,/etc/cni/net.d/10-calico.conf

{
  "name": "calico-k8s-network",
  "type": "calico",
  "etcd_authority": "127.0.0.1:2379",
  "log_level": "info",
  "ipam": {
    "type": "calico-ipam"
  },
  "policy": {
    "type": "k8s"
  },
  "kubernetes": {
          "kubeconfig": "/etc/kubernetes/kubelet.conf"
 }
}

并且在/opt/cni/bin中准备好配置文件中type同名的插件程序:

$ls /opt/cni/bin/calico
/opt/cni/bin/calico

calico的cni-plugin的实现

calico cni-plugin是一个独立的项目,这里分析的版本是v1.5.0

代码结构特别清晰,就实现了两个方法cmdAdd()cmdDel()

- functions
   -cmdAdd(args *skel.CmdArgs) : error
   -cmdDel(args *skel.CmdArgs) : error
   -init()
   -main()

calico的cni-plugin被运行的时候,在calico中创建或者删除workloadEndpoint,具体过程可以阅读calico的架构设计与组件交互过程中的cni-plugin一节。

kubelet会将从/etc/cni/net.d/10-calico.conf中读取到的calico的配置传递给cni-plugin。

cni-plugin依据传递来的信息连接calico,例如:

{
  "name": "calico-k8s-network",
  "type": "calico",
  "etcd_authority": "127.0.0.1:2379",
  "log_level": "info",
  "ipam": {
    "type": "calico-ipam"
  },
  "policy": {
    "type": "k8s"
  },
  "kubernetes": {
          "kubeconfig": "/etc/kubernetes/kubelet.conf"
 }
}

NetworkPolicy的下发

kubernetes 1.6.4支持networkpolicy,创建的networkpolicy存放在etcd的*/networkpolicies目录中:

$etcdctl ls /registry/networkpolicies
/registry/networkpolicies/lijiaob-space
/registry/networkpolicies/earth
/registry/networkpolicies/lijiaob-space2

calico中ACL是通过profile和policy实现,profile相当于Openstack中的安全组,直接绑定到endpoint上的。

policy相当于网络防火墙。对报文做准入检查时,先检查policy,然后检查profile。

通过calico的cni-plugin创建的endpoint的默认绑定到了一个名为k8s_ns.<NAMESPACE>的profile。

TODO

参考

  1. kubernetes 1.6.4 networkpolicy
  2. CNI
  3. kubernetes的Pod网络设置
  4. calico cni-plugin
  5. calico的架构设计与组件交互过程

kubernetes

  1. kubernetes 使用:多可用区、Pod 部署拓扑与 Topology Aware Routing
  2. kubernetes 扩展:Cloud Controller Manager
  3. kubernetes 准入:操作合法性检查(Admission Control)
  4. kubernetes 鉴权:用户操作权限鉴定(Authorization)
  5. kubernetes 认证:用户管理与身份认证(Authenticating)
  6. kubernetes 开发:代码生成工具
  7. kubernetes 扩展:operator 开发
  8. kubernetes 扩展:CRD 的使用方法
  9. kubernetes configmap 热加载,inotifywatch 监测文件触发热更新
  10. kubernetes 扩展:扩展点和方法(api/cr/plugin...)
  11. kubernetes 调度组件 kube-scheduler 1.16.3 源代码阅读指引
  12. kubernetes 代码中的 k8s.io 是怎么回事?
  13. 阅读笔记《不一样的 双11 技术,阿里巴巴经济体云原生实践》
  14. kubernetes ingress-nginx 启用 upstream 长连接,需要注意,否则容易 502
  15. ingress-nginx 的限速功能在 nginx.conf 中的对应配置
  16. kubernetes 中的容器设置透明代理,自动在 HTTP 请求头中注入 Pod 信息
  17. kubernetes ingress-nginx 的测试代码(单元测试+e2e测试)
  18. kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异
  19. kubernetes 基于 openresty 的 ingress-nginx 的状态和配置查询
  20. kubernetes ingress-nginx 0.25 源代码走读笔记
  21. kubernetes ingress-nginx 的金丝雀(canary)/灰度发布功能的使用方法
  22. kubernetes 操作命令 kubectl 在 shell 中的自动补全配置
  23. kubernetes 组件 kube-proxy 的 IPVS 功能的使用
  24. kubernetes initializer 功能的使用方法: 在 Pod 等 Resource 落地前进行修改
  25. kubernetes 版本特性: 新特性支持版本和组件兼容版本
  26. kubernetes API 与 Operator: 不为人知的开发者战争(完整篇)
  27. kubernetes 1.12 从零开始(七): kubernetes开发资源
  28. kubernetes 1.12 从零开始(六): 从代码编译到自动部署
  29. kubernetes 网络方案 Flannel 的学习笔记
  30. kubernetes 1.12 从零开始(五): 自己动手部署 kubernetes
  31. kubernetes 1.12 从零开始(四): 必须先讲一下基本概念
  32. kubernetes 1.12 从零开始(三): 用 kubeadm 部署多节点集群
  33. kubernetes 1.12 从零开始(二): 用 minikube 部署开发测试环境
  34. kubernetes 1.12 从零开始(一): 部署环境准备
  35. kubernetes 1.12 从零开始(零): 遇到的问题与解决方法
  36. kubernetes 1.12 从零开始(初): 课程介绍与官方文档汇总
  37. kubernetes 集群状态监控:通过 grafana 和 prometheus
  38. 一些比较有意思的Kubernetes周边产品
  39. Borg论文阅读笔记
  40. kubelet下载pod镜像时,docker口令文件的查找顺序
  41. kubernetes 的 Client Libraries 的使用
  42. kubernetes的网络隔离networkpolicy
  43. kube-router的源码走读
  44. kubernetes 跨网段通信: 通过 calico 的 ipip 模式
  45. kubernetes的调试方法
  46. kubernetes 与 calico 的衔接过程
  47. 怎样理解 kubernetes 以及微服务?
  48. kubernetes中部署有状态的复杂分布式系统
  49. kubernetes的apiserver的启动过程
  50. kubernetes的api定义与装载
  51. kubernetes的federation部署,跨区Service
  52. kubernetes的编译、打包、发布
  53. kubernetes的第三方包的使用
  54. kubernetes的Storage的实现
  55. kubernetes 的 Apiserver 的 storage 使用
  56. kubernetes的Controller-manager的工作过程
  57. kubernetes的Client端Cache
  58. kubernetes 的 Apiserver 的工作过程
  59. kubernetes的CNI插件初始化与Pod网络设置
  60. kubernetes的Pod变更过程
  61. kubernetes的kubelet的工作过程
  62. kuberntes 的 Cmdline 实现
  63. kubernetes的Pod内挂载的Service Account的使用方法
  64. kubernetes的社区资源与项目参与方式
  65. kubernetes的Kube-proxy的转发规则分析
  66. kubernetes的基本操作
  67. kubernetes在CentOS上的集群部署
  68. kubernetes在CentOS上的All In One部署
  69. 怎样选择集群管理系统?

calico

  1. Calico的hostendpoint的IP地址为空,导致felix退出
  2. calico-cni使pod的删除反复重试,statefulset创建的pod被调度到以往的node上后,静态arp丢失,无法联通
  3. calico的ipam的数据混乱,重建ipam记录
  4. calico node重启时路由同步信息延迟高达4分钟
  5. 未在calico中创建hostendpoint,导致开启隔离后,在kubernetes的node上无法访问pod
  6. kubernetes 跨网段通信: 通过 calico 的 ipip 模式
  7. calico的felix组件的工作过程
  8. kubernetes 与 calico 的衔接过程
  9. 怎样排查calico的网络故障?
  10. calico路由丢失问题的调查
  11. calico分配的ip冲突,pod内部arp记录丢失,pod无法访问外部服务
  12. calico的架构设计与组件交互过程
  13. Calico网络的原理、组网方式与使用

推荐阅读

Copyright @2011-2019 All rights reserved. 转载请添加原文连接,合作请加微信lijiaocn或者发送邮件: [email protected],备注网站合作

友情链接:  系统软件  程序语言  运营经验  水库文集  网络课程  微信网文  发现知识星球