bpftrace 执行失败 Operation not permitted，不是因为 kernel lockdown!
问题 / 李佶澳 / linux_problem
网上关闭 lockdown 的方法不靠谱，是 snap 的原因，不是 kernel lockdown 造成的...more
kubernetes ingress-nginx 启用 upstream 长连接，需要注意，否则容易 502
nginx 中配置的连接断开条件比后端服务宽松，容易出现后端服务先断开连接的情况...more
kubernetes ingress-nginx 的 canary 影响指向同一个 service 的所有 ingress
问题 / 李佶澳 / kubernetes_problem
使用不同 host 的 ingress 指向同一个 service，一个启用金丝雀功能，全都受影响...more
kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异
问题 / 李佶澳 / kubernetes apigateway
ingress-nginx 的请求复制行为不是预期的行为，不方便应用，想办法让它与 nginx mirror 相同...more
ingress-nginx 启用 tls 加密，配置了不存在的证书，导致 unable to get local issuer certificate
问题 / 李佶澳 / kubernetes_problem
一个特别低级的错误，浪费了我很多时间，找出原因后，哭笑不得，ingress 指向了一个不存在的证书...more
https 协议访问，误用 http 端口，CONNECT_CR_SRVR_HELLO: wrong version number
问题 / 李佶澳 / kubernetes_problem
测试 ingress-nginx 的 client cert 认证功能遇到的问题，使用 curl 访问时，提示 routines:CONNECT_CR_SRVR_HELLO:wrong version number...more
Kubernetes ingress-nginx 4 层 tcp 代理，无限重试不存在的地址，高达百万次
问题 / 李佶澳 / kubernetes_problem
使用 lua 脚本设置 tcp 转发规则，如果 peer 地址不存在会无限重试, 需配置 proxy_next_upstream_tries...more
Kubernetes 集群中个别 Pod 的 CPU 使用率异常高的问题调查
问题 / 李佶澳 / kubernetes_problem
...more
使用 nginx 作反向代理，启用 keepalive 时，遇到 502 错误的调查过程
提出的两个假设未能稳定复现，方案可能有效，意外发现是当 nginx 上的端口耗尽时，会引发 502...more
Kubernetes 集群 Node 间歇性变为 NotReady 状态：IO 负载高，延迟严重
问题 / 李佶澳 / 2019-05-27 15:03:29 +0800 kubernetes_problem
Kubernetes的node间歇性变成NodeNotReady，非常短暂，监听kubernetes集群的事件可以发现...more
Kubernetes的nginx-ingress-controller刷新nginx的配置滞后十分钟导致504
问题 / 李佶澳 / 2019-05-17 19:37:07 +0800 kubernetes_problem
Kubernetes集群上的应用在重新部署的之后，频繁出现504错误，nginx-ingress-controller刷新配置滞后...more
Kubernetes的Nginx Ingress 0.20之前的版本，upstream的keep-alive不生效
问题 / 李佶澳 / 2019-05-08 15:05:39 +0800 kubernetes_problem
nginx-ingress 0.20之前版本配置模板nginx.tmpl有Bug，使UpstreamKeepaliveConnections无效...more
Kubernetes node 的 xfs文件系统损坏，kubelet主动退出且重启失败，恢复后无法创建pod
问题 / 李佶澳 / 2019-04-15 15:49:34 +0800 kubernetes_problem
xfs文件系统元数据损坏metadata I/O error: block,xfs_log_force: error -5,input/output error...more
Kubernetes的Pod无法删除，glusterfs导致docker无响应，集群雪崩
问题 / 李佶澳 / 2019-04-08 10:10:10 +0800 kubernetes_problem
故障容器都挂载了glusterfs，不可用的node上也有，这些容器被重新调度到哪里，哪个node就随之崩溃。...more
Kubernetes集群node无法访问service：kube-proxy没有正确设置cluster-cidr
问题 / 李佶澳 / 2019-02-27 18:21:19 +0800 kubernetes_problem
异常机器上的kube-proxy缺失参数--cluster-cidr，pod的网段和service的cluster ip不是一个网段...more
Linux关闭swap失败，swapoff failed: cannot allocate memory
执行swapoff -a关闭swap的时候，报不能分配内存的错误：swapoff failed: Cannot allocate memory...more
Kubernetes集群node上的容器无法ping通外网：iptables snat规则缺失导致
问题 / 李佶澳 / 2019-02-15 12:04:04 +0800 kubernetes_problem
kubernets集群问题node上缺失了一条iptables snat规则，导致node上所有容器不能访问外网iptables -t nat -A POSTROUTING -s 10.12.9.138/26 ! -o docker0 -j MASQUERADE...more
Kubernetes问题调查：failed to get cgroup stats for /systemd/system.slice
问题 / 李佶澳 / 2019-01-25 11:28:17 +0800 kubernetes_problem
summary.go:92] Failed to get system container stats for "/systemd/system.slice" cgroup stats...more
Kubelet1.7.16使用kubeconfig时，没有设置--require-kubeconfig，导致node不能注册
问题 / 李佶澳 / 2019-01-14 11:08:17 +0800 kubernetes_problem
“因为没有指定apiservers，所以node状态不会上报”，用kubeconfig文件就不能上报node状态了？？...more
Kubelet从1.7.16升级到1.9.11，Sandbox以外的容器都被重建的问题调查
问题 / 李佶澳 / 2019-01-14 16:38:38 +0800 kubernetes_problem
kubelet从1.7.16升级到1.9.11，重启时，sandbox以外的容器会被重建，Container定义变化导致的...more
Mac系统升级后，Vim的UltiSnip插件出错：Error No module named UltiSnips
mac升级后，vim中ultisnips的插件的不能用了，键入字符时弹出下面的错误`No module named UltiSnips`...more
docker的storage-driver是overlay2时，限制单个容器可占用的磁盘空间
使用overlay2时要限制单个容器的可占用空间，需要使用xfs文件系统...more
火焰图生成工具nginx-systemtap-toolkit使用时遇到的问题
stapxx是一套封装了stap命令的perl脚本，可以抓取nginx，以及系统上其它进程的调用栈...more
curl能访问的url，通过blackbox-exporter进行探测时，返回404
问题 / 李佶澳 / 2018-12-03 16:08:22 +0800 prometheus
有一个url，直接用curl进行访问，返回200 OK，但是通过blackbox访问时，返回404...more
Kubernetes: 内核参数rp_filter设置为Strict RPF，导致Service不通
问题 / 李佶澳 / 2018-11-26 17:40:06 +0800 kubernetes_problem
网络方案是flannel，从node上直接用telnet访问Service的服务地址（IP 端口），不通...more
keepalived的vrrp多播报文被禁，导致VIP同时位于多个机器上
问题 / 李佶澳 / 2018-11-12 17:37:51 +0800 keepalived
原本好好的vip，突然同时存在于两个机器上了，发现是默认用的多播被禁了，需要换成单播...more
Kubernetes使用过程中遇到的一些问题与解决方法
问题 / 李佶澳 / 2018/10/22 14:25:00 kubernetes_problem
这里记录Kubernetes使用过程中遇到的一些比较的问题与解决方法...more
kubernetes 1.12 从零开始（零）：遇到的问题与解决方法
问题 / 李佶澳 / 2018/10/21 12:06:00 视频教程 kubernetes
这里记录Kubernetes1.12从零开始的过程中遇到的一些问题与解决方法。...more
API网关Kong学习笔记（零）：使用过程中遇到的问题以及解决方法
这里记录使用Kong时遇到的问题，以及找到的解决方法...more
CentOS Local设置，消除告警：warning: Setting locale failed
经常遇到Setting locale failed.问题，虽然不影响命令运行，但是总是出现warning，比较烦：...more
Prometheus（普罗米修斯）使用过程中遇到的问题
问题 / 李佶澳 / 2018/08/03 10:26:00 prometheus
prometheus是最近几年开始流行的一个新兴监控告警工具，特别是kubernetes的流行带动了prometheus的应用。...more
超级账本HyperLedger：Fabric 1.2.0使用时遇到的问题
问题 / 李佶澳 / 2018/07/26 11:07:00 HyperLedger
HyperLedger Fabric 1.2.0使用过程中遇到的一些问题。...more
Kubernetes集群节点被入侵挖矿，CPU被占满
问题 / 李佶澳 / 2018/07/20 19:38:00 kubernetes_problem
kubelet漏洞导致不需要任何认证就可以到容器中执行命令，通过这种方式可以在任意一个容器中安装恶意程序。...more
超级账本HyperLedger：Fabric的Chaincode开发过程中遇到的问题
问题 / 李佶澳 / 2018/07/20 16:22:00 HyperLedger
这里记录在开发ChainCode的过程中遇到的一些问题，以及解决方法。...more
超级账本HyperLedger：Fabric Node.js SDK使用时遇到的问题
问题 / 李佶澳 / 2018/07/15 17:38:00 HyperLedger
这里记录使用HyperLedger Fabric的nodejs sdk时遇到的一些问题...more
超级账本HyperLedger：Fabric Golang SDK使用时遇到的问题
问题 / 李佶澳 / 2018/07/17 13:24:00 HyperLedger
这里记录使用HyperLedger Fabric的golang sdk时遇到的一些问题...more
kubernetes的node上的重启linux网络服务后，pod无法联通
问题 / 李佶澳 / 2018/06/12 11:25:00 kubernetes_problem
在node上重启网络(执行`systemctl restart network`)后，pod无法联通...more
超级账本HyperLedger：Fabric部署过程时遇到的问题汇总
问题 / 李佶澳 / 2018/05/04 21:14:00 视频教程 HyperLedger
这里记录部署hyperledger fabric时遇到的一些问题...more
Calico的hostendpoint的IP地址为空，导致felix退出
calico...more
容器中运行的haproxy的端口复用问题再解决
使用haproxy代理的部分http服务突然不能访问，一直没有数据返回。...more
haproxy的配置文件存在重复项目，导致reload失败，新规则未生效
...more
calico-cni使pod的删除反复重试，statefulset创建的pod被调度到以往的node上后，静态arp丢失，无法联通
终于找到pod的网关静态arp丢失,calico中的workloadendpoint丢失的原因了...more
calico的ipam的数据混乱，重建ipam记录
自从上次系统升级之后，kubernetes故障频出，大部分都是网络问题。...more
calico node重启时路由同步信息延迟高达4分钟
kubernetes有100个node，1416个pod，重启node上的calico时，路由同步时间高达4分钟...more
kubernetes的pod因为同名Sandbox的存在，一直无法删除
问题 / 李佶澳 / 2017/12/08 16:58:13 kubernetes_problem
kubernetes版本为1.7.6，用kubectl删除pod后，pod一直处于Terminating的状态...more
grpc服务调用，首次建立连接后首次请求超时
用户反映在kubernetes平台上使用自主开发的微服务系统（使用grpc调用），经常出现timeout的情况。...more
kubelet升级，导致calico中存在多余的workloadendpoint，node上存在多余的veth设备
问题 / 李佶澳 / 2017/12/04 10:52:09 kubernetes_problem
有一个pod容器，无法对外访问，发现容器内的arp记录缺失...more
使用petset创建的etcd集群在kubernetes中运行失败
问题 / 李佶澳 / 2017/11/29 16:16:09 kubernetes_problem etcd
使用petset在kubernetes中创建的etcd集群，运行一段时间后一个成员异常...more
Kubernetes 容器启动失败：unable to create nf_conn slab cache
问题 / 李佶澳 / 2017/11/13 09:42:36 kubernetes_problem
kubernetes集群的一台node上容器启动失败，日志显示unable to create nf_conn slab cache...more
容器内部的go程序没有使用/etc/hosts中记录的地址
运行在容器内的go程序发起http请求的时候，没有使用/etc/host中配置的地址...more
ceph：1 full osd(s)，整个集群不可用的问题
一个osd使用超过95%，导致整个ceph集群不可用。...more
未在calico中创建hostendpoint，导致开启隔离后，在kubernetes的node上无法访问pod
问题 / 李佶澳 / 2017/10/27 14:45:26 calico kubernetes_problem
在calico上开启policy后，node无法访问pod...more
使用端口复用(SO_REUSEPORT)、反复对haproxy进行reload操作，导致访问haproxy间歇性返回"503"
运行一端时间后会出现client连接haproxy间歇性失败的情况，重启haproxy后恢复...more
服务器存在较多的FIN_WAIT1和TIME_WAIT状态的连接
发现linux服务器上的FIN_WAIT1状态的连接持续很长时间...more
ios以及safari中的pre标签设置overflow后，不显示水平滚动条
ios和safari中，为`pre标签`设置了overflow:auto，没有产生水平滚动条...more
连接haproxy间歇性失败的问题调查
运行一端时间后会出现client连接haproxy间歇性失败的情况，重启haproxy后恢复...more
haproxy返回的http头中没有keep-alive
用户反应得到的http响应头中没有keep-alive，调查发现...more
calico路由丢失问题的调查
kubernetes中的一个pod访问一个service的时候，时不时的出现timeout，经查发现是BGP连接故障，路由缺失。...more
calico分配的ip冲突，pod内部arp记录丢失，pod无法访问外部服务
问题 / 李佶澳 / 2017/08/04 10:22:14 calico kubernetes_problem
使用calico的kubernetes集群中，pod断网的问题调查...more
kubernetes的dnsmasq缓存查询结果，导致pod偶尔无法访问域名
问题 / 李佶澳 / 2017/08/03 14:22:43 kubernetes_problem
在kubernete的pod中，访问域名`repo1.maven.org`的时候，发现无法访问。...more
目录被其它的容器挂载使用，导致已经退出的容器无法被删除
docker: unable to remove filesystem for 593d8......more
k8s: rbd image is locked by other nodes
问题 / 李佶澳 / 2017/07/13 15:03:27 kubernetes_problem
k8s中rbd image is locked by other nodes的问题排查...more
kuberntes的node无法通过物理机网卡访问Service
问题 / 李佶澳 / 2017/03/31 16:26:56 kubernetes_problem
在kubernetes的一台物理机上访问service的clusterIP，没有响应，经过调查发现通过物理机的网卡无法访问服务。...more
vagrant: /sbin/mount.vboxsf mounting failed with the error: No such device
vagrant /sbin/mount.vboxsf: mounting failed with the error: No such device...more
docker搜索其它registry中的镜像
docker搜索其它registry中的镜像...more
cannot change locale (UTF-8): No such file or directory
cannot change locale (UTF-8): No such file or directory...more
