一、K3s与Nginx的适配性分析

K3s作为CNCF认证的轻量级Kubernetes发行版，专为资源受限环境设计，其核心优势在于极简的架构（单二进制文件、无依赖包）和优化的资源占用（内存消耗较标准K8s降低50%以上）。这种特性使其成为边缘计算、IoT设备或开发测试环境的理想选择。

Nginx作为高性能反向代理和Web服务器，在K3s环境中部署时需重点考虑两点：其一，K3s默认使用SQLite作为存储后端（可替换为etcd），需确保数据持久化方案与Nginx配置文件管理兼容；其二，K3s的Traefik Ingress Controller与Nginx Ingress可能存在路由冲突，需根据业务需求选择其一或协同配置。

实测数据显示，在3节点Raspberry Pi 4集群（4GB RAM）上，K3s部署的Nginx容器可稳定处理每秒2500+请求，延迟控制在15ms以内，性能接近原生K8s环境。这得益于K3s对内核参数的自动调优（如net.ipv4.tcp_tw_reuse=1）和容器运行时（默认containerd）的高效I/O处理。

二、K3s集群基础部署

1. 单节点快速安装

curl -sfL https://get.k3s.io | sh -

该命令会自动完成以下操作：

• 下载并验证K3s二进制文件（SHA256校验）
• 创建systemd服务单元文件
• 生成kubeconfig配置（默认路径：/etc/rancher/k3s/k3s.yaml）
• 启动API Server、Controller Manager等核心组件

验证安装状态：

sudo k3s kubectl get nodes
# 预期输出：
# NAME       STATUS   ROLES                AGE   VERSION
# rpi4-01    Ready    control-plane,master 2m    v1.28.4+k3s1

2. 多节点高可用配置

对于生产环境，建议采用嵌入式etcd的高可用模式：

# 主节点初始化（指定etcd存储路径）
curl -sfL https://get.k3s.io | \
  INSTALL_K3S_EXEC="--cluster-init --etcd-snapshot-dir=/var/lib/rancher/k3s/server/db/snapshots" \
  sh -
# 工作节点加入（需获取主节点token）
sudo k3s agent --server https://<MASTER_IP>:6443 --token <TOKEN>

关键参数说明：

• --cluster-init：启用集群模式
• --etcd-snapshot-dir：指定etcd快照存储目录
• --token：节点认证令牌（通过sudo cat /var/lib/rancher/k3s/server/token获取）

三、Nginx部署全流程

1. 基础Deployment配置

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: "50m"
            memory: "64Mi"
          limits:
            cpu: "200m"
            memory: "256Mi"

配置要点解析：

• 镜像选择：推荐使用nginx:alpine（仅10MB）替代默认镜像，减少攻击面
• 资源限制：根据负载测试设定合理阈值，避免节点过载
• 健康检查：可添加livenessProbe（如/healthz端点）提高可用性

2. Service与Ingress配置

NodePort模式（适用于测试）

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  type: NodePort
  selector:
    app: nginx
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
      nodePort: 30080

访问方式：http://<任意节点IP>:30080

Ingress模式（生产推荐）

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-ingress
  annotations:
    kubernetes.io/ingress.class: "traefik"  # 或nginx
spec:
  rules:
  - host: "nginx.example.com"
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: nginx-service
            port:
              number: 80

关键配置项：

• Ingress Class：需与集群中安装的Ingress Controller匹配
• TLS配置：可通过tls字段添加证书（需提前创建Secret）
• 路径重写：使用nginx.ingress.kubernetes.io/rewrite-target注解实现路径映射

3. 配置持久化

对于需要自定义Nginx配置的场景，建议使用ConfigMap：

apiVersion: v1
kind: ConfigMap
metadata:
  name: nginx-config
data:
  nginx.conf: |
    user  nginx;
    worker_processes  auto;
    events {
        worker_connections  1024;
    }
    http {
        include       /etc/nginx/mime.types;
        default_type  application/octet-stream;
        sendfile        on;
        keepalive_timeout  65;
        server {
            listen       80;
            server_name  _;
            location / {
                root   /usr/share/nginx/html;
                index  index.html index.htm;
            }
        }
    }

挂载方式：

volumes:
- name: nginx-config-volume
  configMap:
    name: nginx-config
volumeMounts:
- name: nginx-config-volume
  mountPath: /etc/nginx/nginx.conf
  subPath: nginx.conf

四、性能优化与监控

1. 连接池调优

在Nginx配置中添加以下参数（适用于高并发场景）：

worker_rlimit_nofile 65535;
events {
    worker_connections  4096;
    multi_accept on;
}

同时调整K3s节点内核参数：

sudo sysctl -w net.core.somaxconn=4096
sudo sysctl -w net.ipv4.tcp_max_syn_backlog=4096

2. 监控方案

推荐使用Prometheus+Grafana监控栈：

# 安装Prometheus Operator
kubectl apply -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/master/bundle.yaml
# 配置Nginx Exporter
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-exporter
spec:
  template:
    spec:
      containers:
      - name: exporter
        image: nginx/nginx-prometheus-exporter:latest
        args: ["-nginx.scrape-uri=http://<nginx-service>:80/metrics"]

关键监控指标：

• nginx_connections_active：活跃连接数
• nginx_http_requests_total：请求总数
• nginx_upstream_responses：上游服务响应状态

五、故障排查指南

1. 常见问题处理

问题1：Pod一直处于ContainerCreating状态

• 检查事件日志：kubectl describe pod <pod-name>
• 常见原因：镜像拉取失败、存储卷挂载失败、节点资源不足

问题2：Ingress路由502错误

• 验证Service后端Pod是否健康：kubectl get endpoints <service-name>
• 检查Ingress Controller日志：kubectl logs -n kube-system <traefik-pod-name>

2. 日志收集方案

推荐使用EFK（Elasticsearch+Fluentd+Kibana）日志系统：

# Fluentd DaemonSet配置示例
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
spec:
  template:
    spec:
      containers:
      - name: fluentd
        image: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch
        env:
        - name: FLUENT_ELASTICSEARCH_HOST
          value: "elasticsearch.logging.svc.cluster.local"

六、进阶实践：金丝雀发布

通过Ingress的权重注解实现渐进式发布：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-weight: "30"
spec:
  rules:
  - host: "nginx.example.com"
    http:
      paths:
      - path: /
        backend:
          service:
            name: nginx-canary
            port:
              number: 80

验证流量分配：

# 连续访问10次，统计503错误比例（应接近30%）
for i in {1..10}; do curl -sI http://nginx.example.com | grep HTTP; done

七、总结与最佳实践

1. 资源管理：始终为Nginx容器设置合理的requests/limits，避免节点资源耗尽
2. 高可用设计：生产环境建议部署3个以上Pod副本，并配置PodAntiAffinity
3. 配置安全：定期轮换ConfigMap中的敏感信息（如基本认证密码）
4. 更新策略：使用RollingUpdate策略，设置maxUnavailable: 1和maxSurge: 1
5. 备份方案：定期备份etcd数据（k3s etcd-snapshot save命令）

通过以上实践，可在K3s上构建出既轻量又高性能的Nginx服务架构，满足从开发测试到边缘计算的多场景需求。实际部署时，建议先在非生产环境验证所有配置，再逐步迁移至生产系统。