一、K3s与Nginx的协同价值

K3s作为CNCF认证的轻量级Kubernetes发行版，专为边缘计算、IoT和资源受限环境设计，其单二进制文件（<60MB）和零依赖特性使其成为快速构建容器化环境的理想选择。Nginx作为全球使用最广泛的Web服务器和反向代理，其高性能、低资源消耗的特性与K3s的轻量化设计形成完美互补。

在K3s上部署Nginx具有显著优势：1）资源利用率提升30%-50%，特别适合树莓派等低配设备；2）通过Kubernetes原生机制实现自动故障恢复和滚动更新；3）与Ingress等K8s资源深度集成，简化服务暴露流程。某物联网企业实测数据显示，采用K3s+Nginx方案后，其边缘设备上的Web服务部署时间从2小时缩短至8分钟，运维成本降低65%。

二、部署前环境准备

2.1 节点配置要求

• 主节点：至少1核CPU、1GB内存（生产环境建议2核2GB）
• 工作节点：每节点512MB内存（Nginx Pod约占用30MB）
• 存储：每个节点预留5GB可用空间（含镜像存储）
• 网络：确保节点间网络延迟<50ms，带宽>100Mbps

2.2 安装介质准备

推荐使用最新稳定版K3s（当前v1.28.x）：

# 主节点安装
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="--disable traefik" sh -
# 工作节点安装（需提前获取主节点token）
curl -sfL https://get.k3s.io | K3S_URL=https://<master-ip>:6443 K3S_TOKEN=<token> sh -

通过--disable traefik参数禁用默认Ingress控制器，为后续Nginx Ingress部署预留端口。

2.3 集群健康检查

安装完成后执行：

sudo k3s kubectl get nodes
# 预期输出：
NAME       STATUS   ROLES                AGE   VERSION
k3s-node   Ready    control-plane,master 5m    v1.28.4+k3s1

检查所有节点STATUS为Ready，且AGE时间合理增长。

三、Nginx部署实施

3.1 基础Deployment配置

创建nginx-deployment.yaml：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.25.3-alpine
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: "50m"
            memory: "64Mi"
          limits:
            cpu: "200m"
            memory: "128Mi"

关键配置说明：

• 使用轻量级alpine基础镜像（仅23MB）
• 资源限制确保低配节点稳定运行
• 3个副本提供基础高可用

3.2 服务暴露与访问

创建nginx-service.yaml：

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  selector:
    app: nginx
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  type: NodePort

应用配置后获取访问端口：

sudo k3s kubectl get svc
# 记录NodePort值（如31234）

通过任意节点IP:NodePort即可访问服务。

3.3 Ingress控制器部署（推荐）

对于多服务场景，建议部署Nginx Ingress Controller：

# 安装Helm（如未安装）
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
# 添加Ingress仓库
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update
# 安装Ingress Controller
helm install ingress-nginx ingress-nginx/ingress-nginx \
  --namespace ingress-nginx --create-namespace \
  --set controller.metrics.enabled=true \
  --set controller.podAnnotations."prometheus\.io/scrape"="true"

创建Ingress规则nginx-ingress.yaml：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: "nginx.example.com"
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: nginx-service
            port:
              number: 80

四、生产环境优化建议

4.1 性能调优参数

在Deployment中添加启动参数：

args:
- "-c=/etc/nginx/nginx.conf"
- "-g=worker_processes auto; worker_rlimit_nofile 65535;"

配置自定义nginx.conf：

events {
    worker_connections  4096;
    multi_accept on;
    use epoll;
}
http {
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 65;
    types_hash_max_size 2048;
    client_max_body_size 20m;
}

4.2 高可用架构设计

采用多主节点部署：

# 主节点1安装
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="--server https://<master1-ip>:6443 --token <shared-token>" sh -
# 主节点2安装
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="--server https://<master1-ip>:6443 --token <shared-token> --server https://<master2-ip>:6443" sh -

配置Nginx负载均衡上游服务器组，实现控制平面高可用。

4.3 监控告警体系

部署Prometheus Operator收集Nginx指标：

# 添加ServiceMonitor
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: nginx-monitor
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
  endpoints:
  - port: metrics
    interval: 30s
    path: /metrics

配置Grafana看板监控关键指标：

• 请求速率（requests/sec）
• 5xx错误率
• 响应时间分布
• 连接队列深度

五、故障排查指南

5.1 常见问题处理

1. Pod启动失败：

   sudo k3s kubectl describe pod <pod-name>
   # 检查Events部分，常见原因：
   # - ImagePullBackOff（镜像拉取失败）
   # - CrashLoopBackOff（应用崩溃）
   # - DiskPressure（节点存储不足）

2. 服务不可达：

   # 检查Service端点
   sudo k3s kubectl get endpoints nginx-service
   # 验证NodePort是否被占用
   sudo netstat -tulnp | grep <NodePort>

3. Ingress路由失效：

   # 检查Ingress Controller日志
   sudo k3s kubectl logs -n ingress-nginx <ingress-pod>
   # 验证DNS解析（如使用host规则）
   dig nginx.example.com

5.2 日志收集方案

配置Fluentd收集Nginx访问日志：

# 创建DaemonSet
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
spec:
  template:
    spec:
      containers:
      - name: fluentd
        image: fluent/fluentd:v1.14-1
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers

六、升级与维护策略

6.1 版本升级流程

1. K3s升级：

   # 查看可用版本
   curl -s https://update.k3s.io/v1-release/channels/stable
   # 执行升级
   sudo k3s-uninstall.sh
   curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION=v1.29.0+k3s1 sh -

2. Nginx镜像升级：

   # 修改Deployment中的image字段
   sudo k3s kubectl set image deployment/nginx-deployment nginx=nginx:1.26.0-alpine
   # 验证滚动更新状态
   sudo k3s kubectl rollout status deployment/nginx-deployment

6.2 备份恢复方案

1. ETCD数据备份：

   # 获取ETCD端点
   sudo k3s kubectl get endpoints etcd-k3s
   # 执行备份
   ETCDCTL_API=3 etcdctl --endpoints=<etcd-endpoint> snapshot save snapshot.db

2. 资源定义备份：

   # 备份所有资源
   sudo k3s kubectl get all --all-namespaces -o yaml > all-resources.yaml
   # 恢复时应用
   sudo k3s kubectl apply -f all-resources.yaml

通过以上系统化的部署方案和优化策略，开发者可在K3s上构建出高性能、高可用的Nginx服务，满足从边缘计算到企业级应用的各种场景需求。实际部署中建议结合具体业务负载进行参数调优，并建立完善的监控告警体系确保服务稳定性。