Flannel镜像使用故障排查指南：从原理到解决方案

一、问题现象与初步诊断

在Kubernetes集群中使用Flannel作为CNI插件时，用户可能遇到以下典型问题：

1. 镜像拉取超时：Failed to pull image "xxx": rpc error: code = Unknown desc = Error response from daemon
2. 网络连通性异常：容器内无法访问外部镜像仓库（如Docker Hub、私有Harbor）
3. DNS解析失败：Temporary failure in name resolution错误
4. 权限拒绝错误：Permission denied或TLS handshake timeout

诊断流程：

1. 使用kubectl describe pod <pod-name>查看事件日志
2. 在容器内执行curl -v <镜像仓库地址>测试网络连通性
3. 检查Node节点上的/var/log/flannel.log日志
4. 验证kubelet日志：journalctl -u kubelet -f

二、Flannel网络配置深度排查

1. CNI配置文件验证

检查/etc/cni/net.d/10-flannel.conflist文件内容：

{
  "name": "cbr0",
  "cniVersion": "0.3.1",
  "plugins": [
    {
      "type": "flannel",
      "delegate": {
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    },
    {
      "type": "portmap",
      "capabilities": {
        "portMappings": true
      }
    }
  ]
}

关键参数：

• isDefaultGateway：必须设为true确保容器流量经过Flannel
• hairpinMode：允许容器访问自身服务

2. 网络命名空间检查

在Node节点执行：

# 查看Flannel创建的网桥
ip link show | grep cni0
# 检查veth对连接
ip link show | grep vet
# 验证路由表
ip route show | grep 10.244.0.0/16

3. 跨节点通信测试

1. 在Node1上启动测试容器：

   kubectl run -it --image=busybox:1.34 test --restart=Never -- sh

2. 在Node2上执行：

   ping <Node1上容器的IP>

3. 使用tcpdump抓包分析：

   tcpdump -i any host <目标IP> and port 80

三、镜像拉取问题解决方案

1. 私有仓库认证配置

场景：使用私有Harbor仓库时出现401错误

解决方案：

1. 创建Secret：

   kubectl create secret docker-registry regcred \
   --docker-server=<harbor-server> \
   --docker-username=<username> \
   --docker-password=<password> \
   --docker-email=<email>

2. 在Pod定义中引用：

   spec:
   imagePullSecrets:
   - name: regcred

2. 镜像仓库网络策略

场景：企业内网限制访问公网仓库

解决方案：

1. 配置镜像代理：

   # /etc/docker/daemon.json
   {
   "registry-mirrors": ["https://<mirror-server>"],
   "insecure-registries": ["<internal-registry>"]
   }

2. 重启Docker服务：

   systemctl restart docker

3. 存储驱动兼容性

场景：OverlayFS存储驱动导致镜像损坏

诊断命令：

docker info | grep "Storage Driver"
docker inspect <image-id> | grep "GraphDriver"

解决方案：

1. 修改存储驱动为aufs（需内核支持）：

   # /etc/docker/daemon.json
   {
   "storage-driver": "aufs"
   }

2. 清理无效镜像层：

   docker system prune -af

四、高级故障排除技巧

1. 使用nsenter进入网络命名空间

# 获取容器PID
PID=$(docker inspect --format '{{.State.Pid}}' <container-id>)
# 进入网络命名空间
nsenter -t $PID -n ip addr show

2. Flannel日志分析

关键日志字段解析：

• Level=error msg="Failed to create Subnet"：子网分配失败
• Backend type vxlan not found：后端驱动不匹配
• ETCD cluster unavailable：etcd集群不可用

3. 性能优化配置

VXLAN后端优化：

# flannel配置示例
{
  "Network": "10.244.0.0/16",
  "Backend": {
    "Type": "vxlan",
    "VNI": 4096,
    "Port": 8472,
    "DirectRouting": true
  }
}

五、预防性维护建议

1. 定期更新组件：

   # 升级Flannel
   kubectl set image deployment/kube-flannel-ds \
   -n kube-system \
   kube-flannel=quay.io/coreos/flannel:v0.15.1

2. 监控关键指标：

• 节点间网络延迟（Prometheus查询示例）：

  histogram_quantile(0.99, sum(rate(flannel_packet_latency_seconds_bucket[5m])) by (le))

• 镜像拉取成功率：

  sum(rate(kube_pod_container_status_restarts_total[5m])) by (namespace)

1. 备份配置：

   # 备份Flannel配置
   kubectl get cm -n kube-system kube-flannel-cfg -o yaml > flannel-cfg-backup.yaml

六、典型案例分析

案例1：跨子网镜像拉取失败

• 现象：Node1（192.168.1.0/24）可拉取镜像，Node2（192.168.2.0/24）失败
• 原因：防火墙阻止UDP 8472端口
• 解决：

  # 在防火墙添加规则
  iptables -A INPUT -p udp --dport 8472 -j ACCEPT

案例2：Flannel与Calico混用导致冲突

• 现象：随机出现network plugin is not ready错误
• 原因：多个CNI插件同时修改网络命名空间
• 解决：

  # 清理残留CNI配置
  rm -rf /etc/cni/net.d/*calico*

通过系统性地应用上述排查方法和解决方案，开发者可以高效解决Flannel环境下的镜像使用问题。建议建立标准化的问题处理流程，结合监控告警系统实现自动化故障定位。