Linux服务器系统盘告急：五步解决空间耗尽危机

一、紧急诊断：定位空间占用元凶

当系统盘空间耗尽时，服务器可能表现为：SSH连接缓慢、服务无法启动、日志写入失败等。此时需立即执行以下诊断步骤：

1. 基础空间检查
   使用df -hT命令查看各分区使用情况，重点关注根分区（/）和/boot分区：

   df -hT
   # 输出示例：
   # Filesystem     Type      Size  Used Avail Use% Mounted on
   # /dev/sda1      ext4       50G   48G  1.2G  98% /

   当Use%超过90%时需立即处理。

2. 目录级空间分析
   通过du命令定位大文件目录，推荐组合使用：

   # 查看根目录下各子目录大小（按MB排序）
   du -hm / --max-depth=1 | sort -nr
   # 输出示例：
   # 12000  /var
   # 8000   /usr
   # 5000   /home

   对可疑目录（如/var/log、/tmp）进一步钻取：

   du -sh /var/log/* | sort -rh  # 查看日志目录
   find /tmp -type f -size +100M -exec ls -lh {} \;  # 查找/tmp下大于100MB的文件

二、日志文件专项清理

日志文件是系统盘空间的主要消耗源，需针对性处理：

1. 日志轮转配置
   检查/etc/logrotate.conf及子目录配置，确保：

   • 每日轮转（daily）
   • 保留周期（rotate 7）
   • 压缩选项（compress）

     /var/log/messages {
       daily
       rotate 7
       compress
       missingok
       notifempty
     }

2. 手动清理旧日志
   使用find命令批量删除超过30天的日志：

   find /var/log -name "*.log" -mtime +30 -exec rm -f {} \;

   或清空特定日志文件（需重启相关服务）：

   > /var/log/nginx/access.log

3. 日志服务优化
   对于高流量服务（如Nginx、MySQL），建议：

   • 修改日志路径到数据盘（如/data/logs）
   • 配置日志分割（按小时/天）
   • 使用logrotate的copytruncate选项避免服务重启

三、临时文件深度清理

系统临时文件常隐藏在多个目录，需全面排查：

1. /tmp目录清理

   # 安全清理/tmp下超过7天的文件
   find /tmp -type f -atime +7 -exec rm -f {} \;
   # 清理残留的socket文件
   find /tmp -name "*.sock" -exec rm -f {} \;

2. 缓存文件处理

   • YUM/APT缓存：

     yum clean all      # CentOS/RHEL
     apt-get clean      # Debian/Ubuntu

   • Docker缓存：

     docker system prune -af --volumes

   • 包管理器缓存：

     rm -rf /var/cache/apt/archives/*
     rm -rf /var/cache/yum/*

3. 核心转储文件

   find /var -name "core.*" -exec rm -f {} \;
   # 永久禁用核心转储（修改/etc/security/limits.conf）
   echo "* hard core 0" >> /etc/security/limits.conf

四、大文件处理策略

针对占用空间的大文件，需采取差异化处理：

1. 数据库文件迁移
   将MySQL/MongoDB数据目录迁移到独立分区：

   # MySQL迁移示例
   systemctl stop mysql
   mv /var/lib/mysql /data/mysql
   ln -s /data/mysql /var/lib/mysql
   chown -R mysql:mysql /data/mysql
   systemctl start mysql

2. 备份文件归档
   使用tar+gzip压缩旧备份：

   tar -czf /backup/old_backups_$(date +%Y%m%d).tar.gz /backup/2022*
   rm -rf /backup/2022*

3. 无用软件包卸载

   # CentOS/RHEL
   yum remove $(yum list installed | grep "unused" | awk '{print $1}')
   # Debian/Ubuntu
   apt-get autoremove --purge

五、预防性监控体系

建立长效监控机制避免问题复发：

1. 磁盘空间告警
   配置/etc/cron.daily/disk_check脚本：

   #!/bin/bash
   FREE=$(df -h / | awk 'NR==2{print $4}' | tr -d '%')
   if [ "$FREE" -lt 20 ]; then
       echo "WARNING: / partition is ${FREE}% full" | mail -s "Disk Alert" admin@example.com
   fi

2. 日志自动清理
   使用logrotate的高级配置：

   /var/log/app/*.log {
       daily
       rotate 14
       missingok
       notifempty
       compress
       delaycompress
       postrotate
           /bin/systemctl reload app-service >/dev/null 2>&1 || true
       endscript
   }

3. 云服务器扩展方案
   对于云服务器，可考虑：

   • 垂直扩展：升级系统盘容量（需注意数据迁移）
   • 水平扩展：将静态资源（如图片、上传文件）迁移到对象存储
   • 使用LVM实现动态扩容：

     pvcreate /dev/sdb
     vgextend vg00 /dev/sdb
     lvextend -l +100%FREE /dev/vg00/lv_root
     resize2fs /dev/vg00/lv_root

六、特殊场景处理

1. /boot分区满

   # 查看旧内核
   dpkg --list | grep linux-image  # Debian/Ubuntu
   rpm -q kernel                   # CentOS/RHEL
   # 删除旧内核（保留最新2个）
   apt-get purge linux-image-5.4.0-xx-generic  # Debian/Ubuntu
   package-cleanup --oldkernels --count=2       # CentOS/RHEL

2. Inode耗尽
   当df -i显示Inode使用率100%时：

   # 查找小文件过多的目录
   find / -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -n
   # 典型场景：大量缓存文件或会话文件

七、最佳实践建议

1. 分区规划原则

   • 系统盘（/）建议50-100GB
   • 单独分区/var（日志）、/tmp（临时文件）、/home（用户数据）
   • 使用LVM便于后续扩容

2. 自动化运维工具

   • 部署Prometheus+Grafana监控磁盘空间
   • 使用Ansible定期执行清理任务
   • 配置CloudWatch/Zabbix告警规则

3. 定期维护计划
   | 频率 | 任务内容 |
   |————|—————————————————-|
   | 每日 | 清理/tmp、轮转日志 |
   | 每周 | 检查大文件、清理缓存 |
   | 每月 | 评估存储需求、优化分区 |

通过系统化的诊断、清理和预防措施，可有效解决Linux服务器系统盘空间耗尽问题。建议运维团队建立标准化的存储管理流程，将磁盘空间监控纳入日常巡检体系，从被动救火转向主动预防，确保业务系统的持续稳定运行。