kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异

Tags: kubernetes  apigateway 

本篇目录

说明

Kubernetes 以及 ingress-nginx 的用法已经整理到 小鸟笔记 中,大量的操作方法和操作细节,以及用到的素材都在笔记中。对某一具体问题或功能的分析用这里的单篇文章记录。

Nginx 从 1.13.4 开始提供了 http 请求复制功能,Ingress-nginx 也及时跟进提供了同样的功能,Nginx 请求复制功能。但是实际测试发现两者的行为不一致。

(更正)更好的解决方法 2019-11-08 21:56:47

下面的方法走弯路了,只需要对接收复制流量的 ingress 做一次 rewrite 就可以了,如下:

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    # 使用原始的 uri
    nginx.ingress.kubernetes.io/rewrite-target: $request_uri
  name: ingress-echo-with-mirror-backend
spec:
  rules:
  - host: mirror.echo.example
    http:
      paths:
      - path: /echo
        backend:
          serviceName: http-record
          servicePort: 80

具体效果见:ingress-nginx 复制原始的 uri

nginx 与 ingress-ningx 请求复制的差异

采用 nginx 的请求复制 中的配置,请求是原封不动复制,接收端收到的请求从 uri 到 body 完全相同。

采用 ingress-nginx 的请求复制功能 中的配置,请求 不是 原封不动地转发过去的,uri 被改变,原始的 uri 记录在 header 头中。

例如,发起下面的请求:

$ curl -X POST -d "111111" -H "Host: mirror.echo.example" "192.168.99.100:30933/aaaaaa/bbbb?c=a"

复制后的请求如下,request uri 变成 /echo?c=a

{
    "RemoteAddr": "172.17.0.11:59784",
    "Method": "POST",
    "Host": "mirror.echo.example",
    "RequestURI": "/echo?c=a",
    "Header": {
        "Accept": [
            "*/*"
        ],
        "Content-Length": [
            "6"
        ],
        "Content-Type": [
            "application/x-www-form-urlencoded"
        ],
        "User-Agent": [
            "curl/7.54.0"
        ],
        "X-Forwarded-For": [
            "172.17.0.1"
        ],
        "X-Forwarded-Host": [
            "mirror.echo.example"
        ],
        "X-Forwarded-Port": [
            "80"
        ],
        "X-Forwarded-Proto": [
            "http"
        ],
        "X-Original-Uri": [
            "/aaaaaa/bbbb?c=a"
        ],
        "X-Real-Ip": [
            "172.17.0.1"
        ],
        "X-Request-Id": [
            "86e25adfcd7f2a673925d9a17769272a"
        ],
        "X-Scheme": [
            "http"
        ]
    },
    "Body": "1111"

ingress-nginx 的请求复制行为不是我们预期的行为,也不方便应用,需要想办法让它的行为与 nginx 相同。

差异原因分析

ingress-nginx 的请求复制功能 中的环境为例,mirror 的 uri 是 /echo

  annotations:
    nginx.ingress.kubernetes.io/mirror-uri: "/echo"

检查 ingress-nginx 生成的配置文件,发现在 location 中设置了变量 $location_path:

## start server mirror.echo.example
server {
    server_name mirror.echo.example ;
    ...
    location /echo {
        set $namespace      "demo-echo";
        set $ingress_name   "ingress-echo-with-mirror-backend";
        set $service_name   "http-record";
        set $service_port   "{0 80 }";
        set $location_path  "/echo";
        ... 省略 ...
    }

    location / {
        set $namespace      "demo-echo";
        set $ingress_name   "ingress-echo-with-mirror";
        set $service_name   "echo";
        set $service_port   "{0 80 }";
        set $location_path  "/";

        mirror /echo;
        mirror_request_body on;
        ... 省略 ...
}

$location_path 的值是 /echo,正好是 mirror 的 uri,不过这个变量不是 nginx 的内置变量,会不会是 ingress-nginx 中的 lua 变量用该变量改写了 request_uri?

…走弯路了…

修改 ingress-nginx 的模板文件

比对 ingress-nginx 的配置文件和 nginx 请求复制功能 中的配置文件,注意到两者的 proxy_pass 不同。

nginx 中:

proxy_pass http://http-record_upstream$request_uri;

ingress-nginx 生成的配置文件中配置如下:

proxy_pass http://upstream_balancer;

特别注意:上面的 ingress-nginx 的 proxy_pass 是在 go 代码中写死的,不在 nginx.tmpl 模板中。

// internal/ingress/controller/tempalte/template.go: 522
func buildProxyPass(host string, b interface{}, loc interface{}) string {
    ...
    defProxyPass := fmt.Sprintf("%v %s%s;", proxyPass, proto, upstreamName)
    ...
}

简单修改一下:

// internal/ingress/controller/tempalte/template.go: 522
func buildProxyPass(host string, b interface{}, loc interface{}) string {
    ...
    defProxyPass := fmt.Sprintf("%v %s%s;", proxyPass, proto, upstreamName)
    if proto == "http://" || proto == "https://" {
        defProxyPass = fmt.Sprintf("%v %s%s$request_uri;", proxyPass, proto, upstreamName)
    }
    ...

重新编译,打包镜像:

make build
make container

效果

测试一下,搞定!

/go/src/Server/echo.go:46: {
    "RemoteAddr": "172.17.0.27:36124",
    "Method": "GET",
    "Host": "mirror.echo.example",
    "RequestURI": "/adba?abcdd",     # 接收端收到的 uri

参考

  1. 李佶澳的博客
  2. ingress-nginx 的使用方法
  3. Nginx 请求复制功能
  4. Ingress-nginx 的请求复制功能

kubernetes

  1. Prometheus 采集 Kubernetes 中的 pod 的 metrics 的方法
  2. kubernetes configmap 热加载,inotifywatch 监测文件触发热更新
  3. kubernetes 百变定制: 支持的扩展点和扩展方法(api/crd/plugin...)
  4. kubernetes 调度组件 kube-scheduler 1.16.3 源代码阅读指引
  5. kubernetes 代码中的 k8s.io 是怎么回事?
  6. 旌旗招展,向网格而行!
  7. 《不一样的 双11 技术,阿里巴巴经济体云原生实践》阅读笔记
  8. kubernetes ingress-nginx 启用 upstream 长连接,需要注意,否则容易 502
  9. ingress-nginx 的限速功能在 nginx.conf 中的对应配置
  10. kubernetes 中的容器设置透明代理,自动在 HTTP 请求头中注入 Pod 信息
  11. kubernetes ingress-nginx 的测试代码(单元测试+e2e测试)
  12. kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异
  13. kubernetes 基于 openresty 的 ingress-nginx 的状态和配置查询
  14. Kubernetes ingress-nginx 0.25 源代码走读笔记
  15. kubernetes ingress-nginx 的金丝雀(canary)/灰度发布功能的使用方法
  16. kubernetes code-generator 用法: 生成 kubernetes-style 的 api 和 client 代码
  17. kubernetes 操作命令 kubectl 在 shell 中的自动补全配置
  18. flannel ip 地址段扩容方法
  19. kubernetes 组件 kube-proxy 的 IPVS 功能的使用
  20. lxcfs 是什么? 怎样通过 lxcfs 在容器内显示容器的 CPU、内存状态
  21. kubernetes initializer 功能的使用方法: 在 Pod 等 Resource 落地前进行修改
  22. kubernetes 版本特性: 新特性支持版本和组件兼容版本
  23. kubernetes API 与 Operator: 不为人知的开发者战争(完整篇)
  24. kubernetes 1.12 从零开始(七): kubernetes开发资源
  25. kubernetes 1.12 从零开始(六): 从代码编译到自动部署
  26. kubernetes 网络方案 Flannel 的学习笔记
  27. kubernetes 1.12 从零开始(五): 自己动手部署 kubernetes
  28. kubernetes 1.12 从零开始(四): 必须先讲一下基本概念
  29. kubernetes 1.12 从零开始(三): 用 kubeadm 部署多节点集群
  30. kubernetes 1.12 从零开始(二): 用 minikube 部署开发测试环境
  31. kubernetes 1.12 从零开始(一): 部署环境准备
  32. kubernetes 1.12 从零开始(零): 遇到的问题与解决方法
  33. kubernetes 1.12 从零开始(初): 课程介绍与官方文档汇总
  34. 通过Prometheus查询计算Kubernetes集群中的容器CPU、内存使用率等指标
  35. 使用 grafana 和 prometheus 监控 kubernetes 集群状态
  36. 一些比较有意思的Kubernetes周边产品
  37. Borg论文阅读笔记
  38. kubelet下载pod镜像时,docker口令文件的查找顺序
  39. kubernetes 的 Client Libraries 的使用
  40. kubernetes的网络隔离networkpolicy
  41. kube-router的源码走读
  42. 使用calico的ipip模式解决k8s的跨网段通信
  43. kubernetes的调试方法
  44. kubernetes 与 calico 的衔接过程
  45. 怎样理解 kubernetes 以及微服务?
  46. kubernetes中部署有状态的复杂分布式系统
  47. kubernetes的apiserver的启动过程
  48. kubernetes的api定义与装载
  49. kubernetes的federation部署,跨区Service
  50. kubernetes的编译、打包、发布
  51. kubernetes的第三方包的使用
  52. kubernetes的Storage的实现
  53. kubernetes 的 Apiserver 的 storage 使用
  54. kubernetes的Controller-manager的工作过程
  55. kubernetes的Client端Cache
  56. kubernetes 的 Apiserver 的工作过程
  57. kubernetes的CNI插件初始化与Pod网络设置
  58. kubernetes的Pod变更过程
  59. kubernetes的kubelet的工作过程
  60. kuberntes 的 Cmdline 实现
  61. kubernetes的Pod内挂载的Service Account的使用方法
  62. kubernetes的社区资源与项目参与方式
  63. kubernetes的Kube-proxy的转发规则分析
  64. kubernetes的基本操作
  65. kubernetes在CentOS上的集群部署
  66. kubernetes在CentOS上的All In One部署
  67. 怎样选择集群管理系统?

apigateway

  1. 公众号文章同步: istio 的目标是去掉中心化网关吗?
  2. kubernetes 中的容器设置透明代理,自动在 HTTP 请求头中注入 Pod 信息
  3. kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异
  4. 开源的api网关gloo的源代码粗略阅读
  5. 基于Envoy的ApiGateway/Ingress Controller项目梳理(总结)
  6. 基于Envoy的ApiGateway/Ingress Controller项目梳理(四): Istio
  7. 基于Envoy的ApiGateway/Ingress Controller项目梳理(三): Gloo
  8. 基于Envoy的ApiGateway/Ingress Controller项目梳理(二): Contour
  9. 基于Envoy的ApiGateway/Ingress Controller项目梳理(一): Ambassador
  10. nginx、kong、enovy代理转发功能的性能测试结果对比

推荐阅读

Copyright @2011-2019 All rights reserved. 转载请添加原文连接,合作请加微信lijiaocn或者发送邮件: [email protected],备注网站合作

友情链接:  李佶澳的博客  小鸟笔记  软件手册  编程手册  运营手册  网络课程  收藏文章  发现知识星球  百度搜索 谷歌搜索