问题排查记录-李佶澳

2019-12-14 李佶澳 linux

网上关闭 lockdown 的方法不靠谱，是 snap 的原因，不是 kernel lockdown 造成的

kubernetes ingress-nginx 启用 upstream 长连接，需要注意，否则容易 502

2019-12-04 李佶澳 nginx kubernetes kubernetes_problem

nginx 中配置的连接断开条件比后端服务宽松，容易出现后端服务先断开连接的情况

kubernetes ingress-nginx 的 canary 影响指向同一个 service 的所有 ingress

2019-10-30 李佶澳 kubernetes_problem

使用不同 host 的 ingress 指向同一个 service，一个启用金丝雀功能，全都受影响

kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异

2019-10-21 李佶澳 kubernetes gateway

ingress-nginx 的请求复制行为不是预期的行为，不方便应用，想办法让它与 nginx mirror 相同

ingress-nginx 启用 tls 加密，配置了不存在的证书，导致 unable to get local issuer certificate

2019-10-12 李佶澳 kubernetes_problem

一个特别低级的错误，浪费了我很多时间，找出原因后，哭笑不得，ingress 指向了一个不存在的证书

https 协议访问，误用 http 端口，CONNECT_CR_SRVR_HELLO: wrong version number

2019-10-12 李佶澳 kubernetes_problem

测试 ingress-nginx 的 client cert 认证功能遇到的问题，使用 curl 访问时，提示 routines:CONNECT_CR_SRVR_HELLO:wrong version number

Kubernetes ingress-nginx 4 层 tcp 代理，无限重试不存在的地址，高达百万次

2019-09-17 李佶澳 kubernetes_problem

使用 lua 脚本设置 tcp 转发规则，如果 peer 地址不存在会无限重试, 需配置 proxy_next_upstream_tries

Kubernetes 集群中个别 Pod 的 CPU 使用率异常高的问题调查

2019-09-09 李佶澳 kubernetes_problem

使用 nginx 作反向代理，启用 keepalive 时，遇到 502 错误的调查过程

2019-06-13 李佶澳 nginx

提出的两个假设未能稳定复现，方案可能有效，意外发现是当 nginx 上的端口耗尽时，会引发 502

Kubernetes 集群 Node 间歇性变为 NotReady 状态: IO 负载高，延迟严重

2019-05-27 李佶澳 kubernetes_problem

Kubernetes的node间歇性变成NodeNotReady，非常短暂，监听kubernetes集群的事件可以发现

Kubernetes的nginx-ingress-controller刷新nginx的配置滞后十分钟导致504

2019-05-17 李佶澳 kubernetes_problem

Kubernetes集群上的应用在重新部署的之后，频繁出现504错误，nginx-ingress-controller刷新配置滞后

Kubernetes的Nginx Ingress 0.20之前的版本，upstream的keep-alive不生效

2019-05-08 李佶澳 kubernetes_problem

nginx-ingress 0.20之前版本配置模板nginx.tmpl有Bug，使UpstreamKeepaliveConnections无效

Kubernetes node 的 xfs文件系统损坏，kubelet主动退出且重启失败，恢复后无法创建pod

2019-04-15 李佶澳 kubernetes_problem

xfs文件系统元数据损坏metadata I/O error: block,xfs_log_force: error -5,input/output error

Kubernetes的Pod无法删除，glusterfs导致docker无响应，集群雪崩

2019-04-08 李佶澳 kubernetes_problem

故障容器都挂载了glusterfs，不可用的node上也有，这些容器被重新调度到哪里，哪个node就随之崩溃。

Kubernetes集群node无法访问service: kube-proxy没有正确设置cluster-cidr

2019-02-28 李佶澳 kubernetes_problem

异常机器上的kube-proxy缺失参数--cluster-cidr，pod的网段和service的cluster ip不是一个网段

Linux关闭swap失败，swapoff failed: cannot allocate memory

2019-02-27 李佶澳 linux

执行swapoff -a关闭swap的时候，报不能分配内存的错误：swapoff failed: Cannot allocate memory

Kubernetes集群node上的容器无法ping通外网: iptables snat规则缺失导致

2019-02-15 李佶澳 kubernetes_problem

kubernets集群问题node上缺失了一条iptables snat规则，导致node上所有容器不能访问外网iptables -t nat -A POSTROUTING -s 10.12.9.138/26 ! -o docker0 -j MASQUERADE

Kubernetes问题调查: failed to get cgroup stats for /systemd/system.slice

2019-01-25 李佶澳 kubernetes_problem

summary.go:92] Failed to get system container stats for "/systemd/system.slice" cgroup stats

Kubelet1.7.16使用kubeconfig时，没有设置--require-kubeconfig，导致node不能注册

2019-01-14 李佶澳 kubernetes_problem

“因为没有指定apiservers，所以node状态不会上报”，用kubeconfig文件就不能上报node状态了？？

Kubelet从1.7.16升级到1.9.11，Sandbox以外的容器都被重建的问题调查

2019-01-14 李佶澳 kubernetes_problem

kubelet从1.7.16升级到1.9.11，重启时，sandbox以外的容器会被重建，Container定义变化导致的

Mac系统升级后，Vim的UltiSnip插件出错: Error No module named UltiSnips

2019-01-02 李佶澳 mac

mac升级后，vim中ultisnips的插件的不能用了，键入字符时弹出下面的错误`No module named UltiSnips`

docker 使用：overlay2 限制单个容器可用存储空间

2018-12-26 李佶澳 docker

使用overlay2时要限制单个容器的可占用空间，需要使用xfs文件系统

火焰图生成工具nginx-systemtap-toolkit使用时遇到的问题

2018-12-06 李佶澳 linux

stapxx是一套封装了stap命令的perl脚本，可以抓取nginx，以及系统上其它进程的调用栈

curl能访问的url，通过blackbox-exporter进行探测时，返回404

2018-12-03 李佶澳 prometheus

有一个url，直接用curl进行访问，返回200 OK，但是通过blackbox访问时，返回404

Kubernetes: 内核参数rp_filter设置为Strict RPF，导致Service不通

2018-11-26 李佶澳 kubernetes_problem

网络方案是flannel，从node上直接用telnet访问Service的服务地址（IP 端口），不通

keepalived的vrrp多播报文被禁，导致VIP同时位于多个机器上

2018-11-12 李佶澳 keepalived

原本好好的vip，突然同时存在于两个机器上了，发现是默认用的多播被禁了，需要换成单播

Kubernetes使用过程中遇到的一些问题与解决方法

2018-10-22 李佶澳 kubernetes_problem

这里记录Kubernetes使用过程中遇到的一些比较的问题与解决方法

kubernetes 1.12 从零开始（零）: 遇到的问题与解决方法

2018-10-01 李佶澳视频教程 kubernetes

这里记录Kubernetes1.12从零开始的过程中遇到的一些问题与解决方法。

API网关Kong学习笔记（零）: 使用过程中遇到的问题以及解决方法

2018-09-29 李佶澳 kong

这里记录使用Kong时遇到的问题，以及找到的解决方法

CentOS Local设置，消除告警: warning: Setting locale failed

2018-09-07 李佶澳 centos

经常遇到Setting locale failed.问题，虽然不影响命令运行，但是总是出现warning，比较烦：

Prometheus（普罗米修斯）使用过程中遇到的问题

2018-08-03 李佶澳 prometheus

prometheus是最近几年开始流行的一个新兴监控告警工具，特别是kubernetes的流行带动了prometheus的应用。

超级账本HyperLedger: Fabric 1.2.0使用时遇到的问题

2018-07-25 李佶澳 HyperLedger

HyperLedger Fabric 1.2.0使用过程中遇到的一些问题。

Kubernetes集群节点被入侵挖矿，CPU被占满

2018-07-20 李佶澳 kubernetes_problem

kubelet漏洞导致不需要任何认证就可以到容器中执行命令，通过这种方式可以在任意一个容器中安装恶意程序。

超级账本HyperLedger: Fabric的Chaincode开发过程中遇到的问题

2018-07-20 李佶澳 HyperLedger

这里记录在开发ChainCode的过程中遇到的一些问题，以及解决方法。

超级账本HyperLedger: Fabric Node.js SDK使用时遇到的问题

2018-07-15 李佶澳 HyperLedger

这里记录使用HyperLedger Fabric的nodejs sdk时遇到的一些问题

超级账本HyperLedger: Fabric Golang SDK使用时遇到的问题

2018-07-15 李佶澳 HyperLedger

这里记录使用HyperLedger Fabric的golang sdk时遇到的一些问题

kubernetes的node上的重启linux网络服务后，pod无法联通

2018-06-12 李佶澳 kubernetes_problem

在node上重启网络(执行`systemctl restart network`)后，pod无法联通

超级账本HyperLedger: Fabric部署过程时遇到的问题汇总

2018-04-25 李佶澳视频教程 HyperLedger

这里记录部署hyperledger fabric时遇到的一些问题

Calico的hostendpoint的IP地址为空，导致felix退出

2018-01-19 李佶澳 calico

calico

容器中运行的haproxy的端口复用问题再解决

2018-01-10 李佶澳 haproxy

使用haproxy代理的部分http服务突然不能访问，一直没有数据返回。

haproxy的配置文件存在重复项目，导致reload失败，新规则未生效

2017-12-21 李佶澳 haproxy

calico-cni使pod的删除反复重试，statefulset创建的pod被调度到以往的node上后，静态arp丢失，无法联通

2017-12-12 李佶澳 calico

终于找到pod的网关静态arp丢失,calico中的workloadendpoint丢失的原因了

calico的ipam的数据混乱，重建ipam记录

2017-12-11 李佶澳 calico

自从上次系统升级之后，kubernetes故障频出，大部分都是网络问题。

calico node重启时路由同步信息延迟高达4分钟

2017-12-08 李佶澳 calico

kubernetes有100个node，1416个pod，重启node上的calico时，路由同步时间高达4分钟

kubernetes的pod因为同名Sandbox的存在，一直无法删除

2017-12-08 李佶澳 kubernetes_problem

kubernetes版本为1.7.6，用kubectl删除pod后，pod一直处于Terminating的状态

grpc 服务调用，首次建立连接后首次请求超时

2017-12-06 李佶澳 grpc

用户反映在kubernetes平台上使用自主开发的微服务系统（使用grpc调用），经常出现timeout的情况。

kubelet升级，导致calico中存在多余的workloadendpoint，node上存在多余的veth设备

2017-12-04 李佶澳 kubernetes_problem

有一个pod容器，无法对外访问，发现容器内的arp记录缺失

使用petset创建的etcd集群在kubernetes中运行失败

2017-11-29 李佶澳 kubernetes_problem etcd

使用petset在kubernetes中创建的etcd集群，运行一段时间后一个成员异常

Kubernetes 容器启动失败: unable to create nf_conn slab cache

2017-11-13 李佶澳 kubernetes_problem

kubernetes集群的一台node上容器启动失败，日志显示unable to create nf_conn slab cache

容器内部的go程序没有使用/etc/hosts中记录的地址

2017-11-09 李佶澳 golang

运行在容器内的go程序发起http请求的时候，没有使用/etc/host中配置的地址

ceph: 1 full osd(s)，整个集群不可用的问题

2017-10-31 李佶澳 ceph

一个osd使用超过95%，导致整个ceph集群不可用。

未在calico中创建hostendpoint，导致开启隔离后，在kubernetes的node上无法访问pod

2017-10-27 李佶澳 calico kubernetes_problem

在calico上开启policy后，node无法访问pod

使用端口复用(SO_REUSEPORT)、反复对haproxy进行reload操作，导致访问haproxy间歇性返回"503"

2017-09-19 李佶澳 haproxy

运行一端时间后会出现client连接haproxy间歇性失败的情况，重启haproxy后恢复

服务器存在较多的FIN_WAIT1和TIME_WAIT状态的连接

2017-09-05 李佶澳 linux

发现linux服务器上的FIN_WAIT1状态的连接持续很长时间

ios以及safari中的pre标签设置overflow后，不显示水平滚动条

2017-09-04 李佶澳 web

ios和safari中，为`pre标签`设置了overflow:auto，没有产生水平滚动条

连接haproxy间歇性失败的问题调查

2017-09-04 李佶澳 haproxy

运行一端时间后会出现client连接haproxy间歇性失败的情况，重启haproxy后恢复

haproxy返回的http头中没有keep-alive

2017-08-11 李佶澳 haproxy

用户反应得到的http响应头中没有keep-alive，调查发现

calico路由丢失问题的调查

2017-08-08 李佶澳 calico

kubernetes中的一个pod访问一个service的时候，时不时的出现timeout，经查发现是BGP连接故障，路由缺失。

calico分配的ip冲突，pod内部arp记录丢失，pod无法访问外部服务

2017-08-04 李佶澳 calico kubernetes_problem

使用calico的kubernetes集群中，pod断网的问题调查

kubernetes的dnsmasq缓存查询结果，导致pod偶尔无法访问域名

2017-08-03 李佶澳 kubernetes_problem

在kubernete的pod中，访问域名`repo1.maven.org`的时候，发现无法访问。

docker 排查：目录被其它的容器挂载使用，导致已经退出的容器无法被删除

2017-07-14 李佶澳 docker

docker: unable to remove filesystem for 593d8...

k8s: rbd image is locked by other nodes

2017-07-13 李佶澳 kubernetes_problem

k8s中rbd image is locked by other nodes的问题排查

kuberntes的node无法通过物理机网卡访问Service

2017-03-31 李佶澳 kubernetes_problem

在kubernetes的一台物理机上访问service的clusterIP，没有响应，经过调查发现通过物理机的网卡无法访问服务。

vagrant: /sbin/mount.vboxsf mounting failed with the error: No such device

2017-03-22 李佶澳 vagrant

vagrant /sbin/mount.vboxsf: mounting failed with the error: No such device

cannot change locale (UTF-8): No such file or directory

2017-03-21 李佶澳 centos shell

cannot change locale (UTF-8): No such file or directory

编程基础系统基础关注跟踪

Kubernetes Prometheus 超级账本

推荐阅读