一、服务器异常关机后的紧急处理流程

1.1 物理服务器重启步骤

当服务器因断电或系统崩溃异常关机时，首先需执行物理重启操作：

• 电源检查：确认电源线连接正常，UPS设备（如有）是否触发保护
• 硬件自检：观察服务器启动时BIOS自检过程，记录是否有硬件报错（如内存、磁盘错误）
• 系统引导：等待操作系统完成启动，特别注意观察GRUB引导菜单是否出现异常

典型案例：某金融企业服务器因UPS故障断电，重启后发现/dev/sda磁盘出现I/O错误，通过fsck命令修复文件系统后才恢复正常。

1.2 系统日志分析

重启后立即执行日志检查：

# 查看系统关机记录
journalctl -b-1 | grep -i "shutdown"
# 检查Docker服务日志
journalctl -u docker.service --no-pager -n 100

重点关注：

• 异常关机前最后操作记录
• Docker守护进程是否正常终止
• 存储驱动（overlay2/aufs）状态

二、Docker服务恢复操作指南

2.1 Docker服务启动流程

# 基础启动命令
systemctl start docker
# 带依赖检查的启动（推荐）
systemctl start docker --no-block && systemctl is-active docker

启动失败时需检查：

• /var/lib/docker目录权限（应为docker:docker）
• 存储空间是否充足（df -h /var/lib/docker）
• 内核参数配置（如vm.max_map_count）

2.2 容器状态恢复策略

2.2.1 自动重启容器

检查容器配置中的restart策略：

docker inspect <container_id> | grep -i RestartPolicy

有效策略包括：

• no：不自动重启（默认）
• on-failure[:max-retries]：失败时重启
• unless-stopped：总是重启除非手动停止
• always：无条件重启

2.2.2 手动恢复容器

对于未配置自动重启的容器：

# 1. 检查容器状态
docker ps -a | grep Exit
# 2. 启动特定容器
docker start <container_id>
# 3. 附加日志检查
docker logs <container_id> --tail 100

2.3 数据卷恢复技巧

异常关机可能导致数据卷不一致：

1. 检查卷状态：

   docker volume inspect <volume_name>

2. 修复工具：

• 对于数据库容器，执行特定修复命令（如MySQL的mysqlcheck）
• 文件系统检查：fsck对应设备

三、深度故障排查

3.1 存储驱动异常处理

当出现Error starting userland proxy等错误时：

# 1. 检查存储驱动状态
docker info | grep Storage
# 2. 清理无效镜像
docker system prune -af
# 3. 重建存储目录（谨慎操作）
systemctl stop docker
mv /var/lib/docker /var/lib/docker.bak
mkdir /var/lib/docker
systemctl start docker

3.2 网络配置恢复

网络命名空间损坏时：

# 1. 重启docker网络
docker network prune -f
systemctl restart docker
# 2. 重建自定义网络
docker network create --driver=bridge my_network

四、预防性措施

4.1 配置优化建议

1. 守护进程配置：

   # /etc/docker/daemon.json 示例
   {
   "live-restore": true,
   "shutdown-timeout": 15,
   "storage-driver": "overlay2"
   }

2. 资源限制：

   # 设置容器内存限制
   docker run -it --memory="1g" --memory-swap="2g" ubuntu

4.2 监控告警方案

推荐监控指标：

• Docker守护进程存活状态
• 容器退出代码统计
• 磁盘空间使用率（重点监控/var/lib/docker）
• 内存使用预警（设置--oom-kill-disable谨慎使用）

4.3 备份恢复策略

1. 定期备份：

   # 保存容器配置
   docker inspect <container_id> > container_config.json
   # 导出镜像
   docker save -o my_image.tar my_image

2. 灾难恢复演练：

• 每月执行一次冷启动测试
• 验证备份数据的可恢复性
• 记录恢复时间目标(RTO)和恢复点目标(RPO)

五、企业级解决方案

对于生产环境，建议采用：

1. 集群管理：使用Swarm或Kubernetes实现高可用

   # Swarm示例配置
   version: '3.8'
   services:
   web:
    image: nginx
    deploy:
      restart_policy:
        condition: on-failure
        max_attempts: 3

2. 基础设施即代码：通过Terraform/Ansible自动化恢复流程
3. 混合云架构：将关键容器部署在多可用区

六、常见问题解答

Q1：重启后部分容器无法访问怎么办？
A：检查容器依赖的服务是否启动，使用docker network inspect查看网络连通性，必要时重建网络。

Q2：如何防止异常关机导致的数据损坏？
A：对关键数据卷配置实时同步（如DRBD），或使用分布式存储（如Ceph）。

Q3：Docker守护进程无法启动如何处理？
A：查看/var/log/docker.log，常见原因包括：

• 端口冲突（检查53/tcp, 2375/tcp等）
• 配置文件语法错误
• 存储目录权限问题

通过系统化的故障处理流程和预防措施，可显著降低服务器异常关机对Docker环境的影响。建议将本文所述检查项纳入运维SOP，并定期进行演练验证。