一、故障诊断：快速定位宕机原因

1.1 基础环境检查

当发现Nginx服务不可用时，需立即执行系统级检查：

• 资源监控：通过top/htop查看CPU、内存使用率，使用free -h确认内存是否耗尽
• 磁盘状态：df -h检查存储空间，dmesg | grep error排查磁盘I/O错误
• 网络连通性：ping测试基础网络，telnet <IP> 80验证端口可达性

典型案例：某电商网站因日志文件占满磁盘导致Nginx无法写入临时文件，通过df -i发现inode耗尽，清理旧日志后恢复服务。

1.2 Nginx进程状态分析

执行ps aux | grep nginx确认进程状态：

• 进程缺失：需检查启动脚本/etc/init.d/nginx或systemd服务状态
• 僵尸进程：使用ps -ef | grep defunct识别，通过kill -9终止父进程
• 权限问题：检查nginx.conf文件权限（应为644），工作目录权限（需可执行）

1.3 日志深度排查

Nginx日志是故障诊断的核心依据：

• 错误日志：tail -100f /var/log/nginx/error.log

  2023-08-15 14:32:11 [crit] 12345#0: *123 connect() to upstream failed (111: Connection refused)

• 访问日志：awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr分析异常IP
• 核心转储：若配置了worker_rlimit_core，需分析core dump文件

二、紧急恢复：最小化停机时间

2.1 服务快速重启

根据不同初始化系统执行：

# Systemd系统
sudo systemctl restart nginx
# SysVinit系统
sudo service nginx restart
# 强制终止后重启（谨慎使用）
sudo pkill -9 nginx && sudo systemctl start nginx

2.2 降级方案实施

当主服务不可用时：

• 静态页面托管：修改配置指向本地HTML文件

  server {
      listen 80;
      server_name example.com;
      root /var/www/maintenance;
      index maintenance.html;
  }

• TCP/UDP负载均衡：通过stream模块将流量导向备用服务

  stream {
      server {
          listen 12345;
          proxy_pass backup_server:12345;
      }
  }

2.3 流量疏导策略

• DNS解析调整：修改A记录TTL至60秒，临时指向备用IP
• CDN回源配置：启用CDN的备用源站功能
• Anycast路由：具备BGP能力的环境可宣布更优路径

三、根因分析与预防体系

3.1 常见故障模式

故障类型	典型表现	解决方案
资源耗尽	高负载时502错误	配置worker_rlimit_nofile
配置错误	重启后服务无法启动	使用nginx -t预检验配置
第三方依赖故障	上游服务不可用导致504	配置proxy_next_upstream
安全攻击	异常大量的4xx/5xx请求	部署WAF模块限制请求频率

3.2 自动化监控方案

• Prometheus+Grafana：配置Nginx exporter监控关键指标

  # prometheus.yml片段
  scrape_configs:
    - job_name: 'nginx'
      static_configs:
        - targets: ['localhost:9113']

• ELK日志系统：实时分析访问日志中的异常模式
• Zabbix触发器：设置CPU>85%持续5分钟的告警规则

3.3 高可用架构设计

3.3.1 主备架构实现

# 主服务器配置
upstream backend {
    server primary:8080;
    server backup:8080 backup;
}
# Keepalived配置示例
vrrp_script chk_nginx {
    script "killall -0 nginx"
    interval 2
    weight -20
}

3.3.2 容器化部署方案

Docker Compose示例：

version: '3'
services:
  nginx:
    image: nginx:latest
    ports:
      - "80:80"
    volumes:
      - ./nginx.conf:/etc/nginx/nginx.conf
    deploy:
      replicas: 3
      restart_policy:
        condition: on-failure

四、灾备演练与持续优化

4.1 定期演练流程

1. 模拟Nginx进程崩溃
2. 验证监控系统告警推送
3. 执行切换到备用节点操作
4. 记录恢复时间（RTO）和数据丢失量（RPO）

4.2 性能调优参数

参数	推荐值	作用说明
worker_processes	auto	自动匹配CPU核心数
worker_connections	10240	单进程最大连接数
keepalive_timeout	65	长连接保持时间
multi_accept	on	批量接受新连接

4.3 安全加固措施

• 禁用非必要模块：编译时移除--without-http_autoindex_module
• 配置TLS 1.3：

  ssl_protocols TLSv1.3 TLSv1.2;
  ssl_prefer_server_ciphers on;

• 限制请求体大小：

  client_max_body_size 10m;

五、典型故障案例库

案例1：证书过期导致服务中断

现象：HTTPS站点返回502错误
诊断：openssl s_client -connect example.com:443验证证书有效期
解决：更新证书后执行nginx -s reload

案例2：配置文件语法错误

现象：重启后服务未运行，无错误日志
诊断：使用nginx -t检测到第42行缺少分号
解决：修正配置后重新加载

案例3：DDoS攻击导致资源耗尽

现象：CPU使用率持续100%，正常请求被丢弃
解决：启用limit_req_zone限制请求频率

limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
server {
    location / {
        limit_req zone=one burst=5;
    }
}

通过系统化的故障处理流程和预防性措施，可显著提升Nginx服务的可靠性。建议建立包含监控、告警、恢复的完整SOP文档，并每季度进行容灾演练，确保在真实故障场景下能在30分钟内完成服务恢复。