kubernetes 网络方案 Flannel 的学习笔记

Tags: flannel  kubernetes 

目录

说明

Flannel是Kubernetes最早期的网络方案之一,也是现在常用的方案之一。当时只了解到它采用overlay的方式,出于性能方面的考虑,重点学习calico了,后来发现用到flannel的公司还挺多,需要系统学习下。

Flannel的IP地址段扩容方法

下载编译

git clone https://github.com/coreos/flannel.git
cd flannel
make dist/flanneld-amd64

编译得到的文件flanneld-amd64位于dist目录中,参考Building flannel

工作原理

Flannel的工作原理很简单,在每一个需要使用Flannel网络的机器上都运行一个名为flanneld的服务。

Flanneld为所在的机器申请一小段虚拟网络的地址空间,并负责将通过这些虚拟地址发送的报文封装,用宿主机的网络送出。Flanneld还要负责解读宿主机网络收到发送给虚拟网络的中的地址的报文。

虚拟网络地址的分配情况直接写入etcd,或者通过kubernetes的api写入。

核心问题:Flannel是怎样通过宿主机网络传递虚拟机网络中的报文的?

Flannel支持几种不同的封装转发方式,把它们叫做Backends

配置文件

在了解flannel支持的多个backend之前,先了解一下它的配置文件和命令行参数。

$ /usr/bin/flanneld -h
Usage of /usr/bin/flanneld:
  -alsologtostderr
    	log to standard error as well as files
  -etcd-cafile string
    	SSL Certificate Authority file used to secure etcd communication
  -etcd-certfile string
    	SSL certification file used to secure etcd communication
  -etcd-endpoints string
    	a comma-delimited list of etcd endpoints (default "http://127.0.0.1:2379")
  ...

使用-h可以看到所有的命令行参数,这里只记录几个比较重要的参数的用法,flannel的版本是0.7.0。

-kube-subnet-mgr,如果是true,flanneld读取配置文件/etc/kube-flannel/net-conf.json,否则从etcd中读取配置。

从etcd中读取配置时,默认读取/coreos.com/network/config目录,可以用-etcd-prefix修改为其它目录。

config文件格式如下:

{
	"Network": "10.0.0.0/8",
	"SubnetLen": 20,
	"SubnetMin": "10.10.0.0",
	"SubnetMax": "10.99.0.0",
	"Backend": {
		"Type": "udp",
		"Port": 7890
	}
}

其中Backend配置因为选择的Backend的类型不同而不同,如果Backend为空,默认使用udp(建议用vxlan)。

已经支持的Backends

@2018-10-09 16:47:10

vxlan模式

最推荐使用的是vxlan,使用linux kernel的vxlan实现。vxlan backend的配置项有以下几个:

Type: string,backend类型,就是"vxlan"
VNI:  number,vxlan协议中的vni编号,不同的vni号码代表不同网段,类似vlan号,默认是1
Port: number,  宿主机的udp端口,用来发送封装后的报文,使用linux内核默认配置,8472
GBP:  boolean,是否使用vxlan Group Policy,默认false
DirectRouting:  boolean,是否启用直接路由,当两台宿主机位于同一个网段时,不封装通过路由直接送达,默认false

GBP特性参考:vxlan: Group Policy extension

DriectRouting:能够直接路由的时候采用直接路由的方式,否则就通过vxlan。

host-gw模式

其次是host-gw,通过直接路由的方式传送虚拟网络报文。

Host-gw原理和vxlan中的DirectRouting相同,但是要求所有宿主机都支持直接路由方式(即在同一个二层网络中),并全部采用采用直接路由的方式。

Host-gw的配置项只有一个:

Type: string,backend类型,就是"host-gw"

udp只建议调试时使用,或者另外两种方式不能使用的时候(譬如宿主机内核不支持vxlan)使用。

Type:string,backend类型,就是"udp"
Port: number,宿主机udp端口,默认8285

处于试验阶段的Backends

@2018-10-09 16:47:23

AliVPC,阿里云的VPC

Type (string): alloc

Alloc,这个没明白怎么回事,说是”performs subnet allocation with no forwarding of data packets”:

Type (string): alloc

AWS VPC,AWS的VPC:

Type (string): aws-vpc
RouteTableID (string): [optional] The ID of the VPC route table to add routes to. 

GCE,Google的云服务:

Type (string): gce

IPIP,使用内核实现的ipip隧道:

Type (string): ipip
DirectRouting (Boolean):

IPSec,使用内核实现的IpSec:

Type (string): ipsec
PSK (Boolean): Required. 
UDPEncap (string): Optional
ESPProposal (string): Optional

怎样做网络隔离?

Flannel是一个特别简单的网络方案,文档也就特别简单。把上面的backends梳理完,文档基本上就全读完了。

Kubernetes1.12从零开始(五):自己动手部署Kubernetes中讲到,Kubernetes设计的时候,就降低了对网络模型的要求。所以Flannel这样简单的网络方案,可以用于Kubernetes。

不过要注意,Flannel这个项目小而精,缺少了一些功能。最直接的缺陷就是:不支持ACL,即Kubernetes中的Network Policy。

网络隔离是非常重要的刚需,但是flannel不支持。根据flannel项目Readme中的表述,这个项目似乎也不打算支持”network policy”:

Flannel is focused on networking. For network policy, other projects such as Calico can be used.

有意思的是Calico启动了一个Canal项目,糅合了Calico和Flannel。Network policy功能由calico提供,network功能由flannel提供,也是醉了。

Flannels, Canals and Tigers, Oh My! — Big News in the Land of Project Calico介绍了Canal的诞生过程。

糅合了Calico和Flannel的Kubernetes网络方案Canal

参考

  1. Github Flannel
  2. Flannel: Backends
  3. Kubernetes1.12从零开始(五):自己动手部署Kubernetes
  4. Github: Canal
  5. Flannels, Canals and Tigers, Oh My! — Big News in the Land of Project Calico
  6. vxlan: Group Policy extension

kubernetes

  1. Prometheus 采集 Kubernetes 中的 pod 的 metrics 的方法
  2. kubernetes configmap 热加载,inotifywatch 监测文件触发热更新
  3. kubernetes 百变定制: 支持的扩展点和扩展方法(api/crd/plugin...)
  4. kubernetes 调度组件 kube-scheduler 1.16.3 源代码阅读指引
  5. kubernetes 代码中的 k8s.io 是怎么回事?
  6. 旌旗招展,向网格而行!
  7. 《不一样的 双11 技术,阿里巴巴经济体云原生实践》阅读笔记
  8. kubernetes ingress-nginx 启用 upstream 长连接,需要注意,否则容易 502
  9. ingress-nginx 的限速功能在 nginx.conf 中的对应配置
  10. kubernetes 中的容器设置透明代理,自动在 HTTP 请求头中注入 Pod 信息
  11. kubernetes ingress-nginx 的测试代码(单元测试+e2e测试)
  12. kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异
  13. kubernetes 基于 openresty 的 ingress-nginx 的状态和配置查询
  14. Kubernetes ingress-nginx 0.25 源代码走读笔记
  15. kubernetes ingress-nginx 的金丝雀(canary)/灰度发布功能的使用方法
  16. kubernetes code-generator 用法: 生成 kubernetes-style 的 api 和 client 代码
  17. kubernetes 操作命令 kubectl 在 shell 中的自动补全配置
  18. flannel ip 地址段扩容方法
  19. kubernetes 组件 kube-proxy 的 IPVS 功能的使用
  20. lxcfs 是什么? 怎样通过 lxcfs 在容器内显示容器的 CPU、内存状态
  21. kubernetes initializer 功能的使用方法: 在 Pod 等 Resource 落地前进行修改
  22. kubernetes 版本特性: 新特性支持版本和组件兼容版本
  23. kubernetes API 与 Operator: 不为人知的开发者战争(完整篇)
  24. kubernetes 1.12 从零开始(七): kubernetes开发资源
  25. kubernetes 1.12 从零开始(六): 从代码编译到自动部署
  26. kubernetes 网络方案 Flannel 的学习笔记
  27. kubernetes 1.12 从零开始(五): 自己动手部署 kubernetes
  28. kubernetes 1.12 从零开始(四): 必须先讲一下基本概念
  29. kubernetes 1.12 从零开始(三): 用 kubeadm 部署多节点集群
  30. kubernetes 1.12 从零开始(二): 用 minikube 部署开发测试环境
  31. kubernetes 1.12 从零开始(一): 部署环境准备
  32. kubernetes 1.12 从零开始(零): 遇到的问题与解决方法
  33. kubernetes 1.12 从零开始(初): 课程介绍与官方文档汇总
  34. 通过Prometheus查询计算Kubernetes集群中的容器CPU、内存使用率等指标
  35. 使用 grafana 和 prometheus 监控 kubernetes 集群状态
  36. 一些比较有意思的Kubernetes周边产品
  37. Borg论文阅读笔记
  38. kubelet下载pod镜像时,docker口令文件的查找顺序
  39. kubernetes 的 Client Libraries 的使用
  40. kubernetes的网络隔离networkpolicy
  41. kube-router的源码走读
  42. 使用calico的ipip模式解决k8s的跨网段通信
  43. kubernetes的调试方法
  44. kubernetes 与 calico 的衔接过程
  45. 怎样理解 kubernetes 以及微服务?
  46. kubernetes中部署有状态的复杂分布式系统
  47. kubernetes的apiserver的启动过程
  48. kubernetes的api定义与装载
  49. kubernetes的federation部署,跨区Service
  50. kubernetes的编译、打包、发布
  51. kubernetes的第三方包的使用
  52. kubernetes的Storage的实现
  53. kubernetes 的 Apiserver 的 storage 使用
  54. kubernetes的Controller-manager的工作过程
  55. kubernetes的Client端Cache
  56. kubernetes 的 Apiserver 的工作过程
  57. kubernetes的CNI插件初始化与Pod网络设置
  58. kubernetes的Pod变更过程
  59. kubernetes的kubelet的工作过程
  60. kuberntes 的 Cmdline 实现
  61. kubernetes的Pod内挂载的Service Account的使用方法
  62. kubernetes的社区资源与项目参与方式
  63. kubernetes的Kube-proxy的转发规则分析
  64. kubernetes的基本操作
  65. kubernetes在CentOS上的集群部署
  66. kubernetes在CentOS上的All In One部署
  67. 怎样选择集群管理系统?

flannel

  1. flannel ip 地址段扩容方法
  2. kubernetes 网络方案 Flannel 的学习笔记

推荐阅读

Copyright @2011-2019 All rights reserved. 转载请添加原文连接,合作请加微信lijiaocn或者发送邮件: [email protected],备注网站合作

友情链接:  李佶澳的博客  小鸟笔记  软件手册  编程手册  运营手册  网络课程  收藏文章  发现知识星球  百度搜索 谷歌搜索