一、故障诊断：快速定位宕机原因

当nginx服务器出现不可用时，需按”由外到内”的顺序进行系统性排查：

1. 网络层检查

• 基础连通性测试：使用ping命令验证服务器网络响应，若丢包率超过5%需检查网络设备

  ping -c 10 your.server.ip | grep "packet loss"

• 端口监听验证：通过telnet或nc确认80/443端口是否开放

  telnet your.server.ip 80
  # 或
  nc -zv your.server.ip 443

• DNS解析验证：检查域名解析是否正常

  dig +short your.domain.com
  nslookup your.domain.com

2. 系统资源分析

• CPU/内存监控：使用top或htop查看资源占用

  top -n 1 | head -10
  free -h

• 磁盘空间检查：确认/var/log/nginx/目录是否因日志堆积导致空间耗尽

  df -h /var/log/
  du -sh /var/log/nginx/

• 进程状态检测：通过ps命令确认nginx进程是否存在

  ps aux | grep nginx

3. 服务层诊断

• nginx错误日志分析：重点检查error.log中的关键错误

  tail -100 /var/log/nginx/error.log | grep -E "critical|error|fail"

• 配置文件语法验证：使用nginx -t检测配置文件正确性

  nginx -t 2>&1 | grep -i failed

• 依赖服务检查：确认后端服务（如PHP-FPM、数据库）是否正常运行

  systemctl status php-fpm

二、应急恢复：分场景解决方案

场景1：nginx进程崩溃

1. 尝试优雅重启：

   nginx -s reload

2. 强制重启服务：

   systemctl restart nginx
   # 或
   service nginx restart

3. 检查依赖库：确认/etc/ld.so.conf中路径是否有效

场景2：系统资源耗尽

• 内存不足处理：
  • 临时释放缓存：sync; echo 3 > /proc/sys/vm/drop_caches
  • 终止异常进程：pkill -9 -f "abnormal_pattern"
• 磁盘空间不足：
  • 清理旧日志：find /var/log/nginx/ -type f -name "*.log" -mtime +30 -delete
  • 启用日志轮转：确保/etc/logrotate.d/nginx配置有效

场景3：网络中断

• 检查防火墙规则：

  iptables -L -n | grep 80
  firewall-cmd --list-all

• 验证路由表：

  ip route show
  traceroute 8.8.8.8

三、预防措施：构建高可用架构

1. 监控告警体系

• 基础监控：使用Prometheus+Grafana监控nginx指标

  # prometheus.yml 示例配置
  scrape_configs:
  - job_name: 'nginx'
    static_configs:
      - targets: ['localhost:9113']  # nginx-prometheus-exporter

• 日志告警：通过ELK或Loki+Alertmanager设置错误日志告警

2. 进程管理优化

• 配置systemd守护：

  # /etc/systemd/system/nginx.service.d/override.conf
  [Service]
  Restart=on-failure
  RestartSec=5s
  StartLimitInterval=300
  StartLimitBurst=10

• 使用进程管理工具：推荐supervisord作为备用管理方案

3. 负载均衡方案

• 硬件负载均衡：部署F5/A10等设备实现流量分发
• 软件负载均衡：
  • 使用HAProxy作为反向代理
  • 配置Keepalived实现VIP漂移

    # keepalived.conf 示例片段
    vrrp_script chk_nginx {
    script "killall -0 nginx"
    interval 2
    weight -20
    }

4. 灾备设计

• 异地容灾：使用DNS智能解析实现跨机房流量切换
• 蓝绿部署：维护两套完全独立的环境，通过切换CNAME实现无缝迁移

四、典型故障案例分析

案例1：证书过期导致服务中断

现象：SSL握手失败，错误日志出现SSL_ERROR_EXPIRED_CERT
处理：

1. 立即更新证书：

   certbot renew --force-renewal

2. 配置自动续期：设置cron任务每月执行证书检查

案例2：DDoS攻击引发宕机

现象：CPU使用率持续100%，连接数激增
处理：

1. 启用限流模块：

   limit_conn_zone $binary_remote_addr zone=addr:10m;
   server {
    limit_conn addr 50;
   }

2. 接入云防护服务：配置AWS Shield或阿里云DDoS高防

案例3：配置文件错误导致启动失败

现象：nginx -t报错unknown directive
处理：

1. 使用git bisect定位配置变更点
2. 恢复备份配置：

   cp /etc/nginx/nginx.conf.bak /etc/nginx/nginx.conf

五、持续优化建议

1. 定期压力测试：使用ab或wrk进行基准测试

   wrk -t12 -c400 -d30s http://your.domain.com/

2. 配置审计：建立配置变更评审流程，使用Ansible进行标准化部署
3. 知识库建设：维护故障处理SOP文档，包含常见问题解决方案

通过系统化的故障处理流程和预防性措施，可显著提升nginx服务的可用性。建议每季度进行故障演练，验证应急预案的有效性，确保在真实故障发生时能够快速响应。