一、系统盘空间耗尽的危害与诊断

当Linux服务器系统盘（通常为/分区）空间耗尽时，会导致系统级服务异常、应用进程崩溃甚至无法登录。典型表现为：

• 命令行操作报错”No space left on device”
• 日志服务（如rsyslog）停止记录
• 关键服务（如MySQL、Nginx）启动失败
• 用户登录时提示”write error: No space left on device”

诊断三步法：

1. 使用df -h查看磁盘使用情况，重点关注/分区的Use%列

   $ df -h
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/vda1        50G   49G  200M 100% /

2. 通过du -sh *定位大文件（建议在目标目录执行）

   $ cd /var
   $ du -sh * | sort -rh | head -10
   12G    log
   8.2G   cache

3. 检查inode耗尽情况（df -i），当IUse%接近100%时，即使空间未满也会无法创建文件

二、紧急空间释放方案

1. 日志文件专项清理

系统日志是空间占用的重灾区，需按优先级处理：

• 历史日志归档：使用logrotate工具自动轮转，或手动压缩

  # 压缩旧日志（保留最近7天）
  find /var/log -name "*.log" -mtime +7 -exec gzip {} \;
  # 清空特定日志（谨慎操作）
  > /var/log/syslog

• 日志服务配置优化：修改/etc/rsyslog.conf限制日志大小

  $ModLoad imuxsock
  $MaxMessageSize 64k
  $SystemLogRateLimitInterval 5
  $SystemLogRateLimitBurst 200

2. 缓存文件深度清理

• APT/YUM缓存：

  # Debian/Ubuntu
  apt-get clean
  # CentOS/RHEL
  yum clean all

• Docker镜像缓存：

  docker system prune -a --volumes
  # 保留最近3个镜像
  docker image prune -a --filter "until=240h"

• 内存转储文件：

  # 清理core dump文件
  find / -name "core.*" -delete
  # 禁用core dump（临时）
  echo "core file size (blocks) 0" > /proc/sys/kernel/core_pattern

3. 临时文件系统清理

• 删除旧内核（保留最新2个）：

  # Debian/Ubuntu
  dpkg --list | grep linux-image
  apt-get purge linux-image-4.4.0-XX-generic
  # CentOS/RHEL
  package-cleanup --oldkernels --count=2

• 清理缩略图缓存：

  rm -rf ~/.cache/thumbnails/*

三、长期存储优化策略

1. 分区方案重构

对于新部署系统，建议采用LVM分区方案：

# 创建物理卷
pvcreate /dev/vdb
# 创建卷组
vgcreate vg_system /dev/vdb
# 创建逻辑卷（可扩展）
lvcreate -L 100G -n lv_root vg_system
# 格式化并挂载
mkfs.ext4 /dev/vg_system/lv_root
mount /dev/vg_system/lv_root /

2. 自动清理机制配置

• 设置logrotate（示例配置）：

  /var/log/nginx/*.log {
      daily
      missingok
      rotate 14
      compress
      delaycompress
      notifempty
      create 640 root adm
      sharedscripts
      postrotate
          [ -s /run/nginx.pid ] && kill -USR1 `cat /run/nginx.pid`
      endscript
  }

• 配置tmpwatch（自动清理临时文件）：

  # 安装工具
  yum install tmpwatch
  # 配置每日清理（保留最近7天）
  echo "0 3 * * * /usr/sbin/tmpwatch 7d /tmp" > /etc/cron.daily/tmpclean

3. 监控告警体系搭建

• 基础监控脚本：

  #!/bin/bash
  THRESHOLD=90
  USAGE=$(df -h / | awk 'NR==2 {print $5}' | tr -d '%')
  if [ "$USAGE" -gt "$THRESHOLD" ]; then
      echo "CRITICAL: Disk usage ${USAGE}% exceeds threshold ${THRESHOLD}%" | mail -s "Disk Alert" admin@example.com
  fi

• Prometheus监控配置：

  # node_exporter配置示例
  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']
    metric_relabel_configs:
      - source_labels: [__name__]
        regex: 'node_filesystem_avail_bytes{device="rootfs",mountpoint="/"}'
        action: keep

四、特殊场景处理

1. 数据库文件处理

• MySQL数据归档：

  -- 创建归档表
  CREATE TABLE orders_archive LIKE orders;
  -- 迁移历史数据
  INSERT INTO orders_archive SELECT * FROM orders WHERE order_date < '2023-01-01';
  -- 删除原数据
  DELETE FROM orders WHERE order_date < '2023-01-01';

• MongoDB压缩：

  // 执行修复操作（需预留双倍空间）
  db.repairDatabase();
  // 或使用compact命令
  use mydb;
  db.runCommand({compact: 'mycollection'});

2. 容器化环境处理

• Kubernetes节点清理：

  # 清理未使用的镜像
  kubectl get pods --all-namespaces -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.containers[*].image}{"\n"}{end}' | while read pod image; do
      docker rmi $(docker images | grep "<none>" | awk '{print $3}')
  done
  # 清理空目录
  find /var/lib/kubelet/pods -type d -empty -delete

五、预防性维护建议

1. 实施存储配额：

   # 设置用户磁盘配额
   edquota -u username
   # 启用项目配额
   quotaon -vug /dev/vg_system/lv_root

2. 建立备份策略：

   # 增量备份方案
   tar -czf /backup/system_$(date +%Y%m%d).tar.gz --listed-incremental=/backup/snapshot.file /etc /var

3. 定期健康检查：

   # 每周检查脚本
   0 2 * * 1 /usr/local/bin/check_disk.sh >> /var/log/healthcheck.log

通过系统化的诊断流程、针对性的清理策略和预防性的维护机制，可有效解决Linux服务器系统盘空间耗尽问题。建议运维团队建立标准化操作流程（SOP），将空间监控纳入日常巡检体系，结合自动化工具实现问题预判与快速响应。对于关键业务系统，建议采用分布式存储或云存储方案，从根本上解决单点存储瓶颈问题。