引言

服务器Linux系统盘空间耗尽是运维工作中常见的高危故障，可能导致服务中断、日志无法写入、甚至系统崩溃。本文将从问题诊断、临时缓解、长期优化三个维度，系统阐述如何高效解决系统盘满问题，并结合实际案例提供可落地的解决方案。

一、问题诊断：精准定位空间占用源

1.1 基础空间分析工具

使用df -h命令可快速查看各分区使用情况，重点关注/根分区的Use%列。当使用率超过90%时需立即处理。进一步通过du -sh *分析根目录下各文件夹大小，识别大文件目录。

# 查看分区使用情况（示例输出）
$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        50G   48G  1.2G  97% /
# 分析根目录空间占用
$ du -sh /* 2>/dev/null | sort -rh | head -10
12G    /var
8.2G   /usr
5.1G   /home

1.2 深度日志分析

日志文件是系统盘占用的主要来源之一。通过journalctl --disk-usage查看systemd日志占用，使用ls -lh /var/log/分析传统日志文件大小。重点关注/var/log/journal/、/var/log/messages等路径。

# 查看systemd日志占用
$ journalctl --disk-usage
Archived and active journals take up 1.2G in the file system.
# 查找大于100MB的日志文件
$ find /var/log -type f -size +100M -exec ls -lh {} \;

1.3 进程级空间占用

使用lsof | grep deleted检查已删除但未释放的文件，这类文件常见于正在运行的进程（如Nginx、MySQL）。通过ls -l /proc/<pid>/fd/可查看具体文件描述符。

# 查找已删除但未释放的文件
$ lsof | grep deleted
nginx   1234 root    1w   REG    8,1   10485760    123456 /tmp/cache.log (deleted)
# 释放空间（重启对应服务）
$ systemctl restart nginx

二、临时缓解措施：快速释放空间

2.1 日志轮转与清理

配置logrotate实现日志自动轮转，手动执行时使用logrotate -f /etc/logrotate.conf强制触发。对于紧急情况，可直接清空大日志文件（需确保服务可正常重建日志）。

# 手动清空日志文件（保留文件描述符）
$ > /var/log/nginx/access.log
# 或使用truncate命令
$ truncate -s 0 /var/log/mysql/error.log

2.2 缓存清理

清理YUM/APT缓存：yum clean all或apt-get clean。对于Docker环境，执行docker system prune -af可释放镜像、容器占用的空间。

# 清理Docker无用数据
$ docker system prune -af
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all dangling images
  - all build cache
Are you sure you want to continue? [y/N] y

2.3 核心系统文件清理

谨慎删除旧内核：通过dpkg --list | grep linux-image（Debian系）或rpm -qa | grep kernel（RHEL系）列出已安装内核，保留最新2个版本后删除其余。

# Debian系删除旧内核示例
$ apt-get purge linux-image-4.4.0-142-generic
$ update-grub

三、长期优化策略：预防空间耗尽

3.1 日志管理优化

配置rsyslog或syslog-ng将非核心日志输出到独立分区，设置/etc/logrotate.d/中各日志的轮转周期（如每周）、保留份数（如保留4份）。

# /etc/logrotate.d/nginx 示例配置
/var/log/nginx/*.log {
    daily
    missingok
    rotate 4
    compress
    delaycompress
    notifempty
    create 0640 www-data adm
    sharedscripts
    postrotate
        systemctl reload nginx >/dev/null 2>&1
    endscript
}

3.2 监控告警机制

通过cron任务定期检查空间：

# 添加到/etc/crontab，每天8点检查
0 8 * * * root /usr/bin/df -h / | awk 'NR==2{if($5>90) system("echo \"警告：系统盘使用率超过90%\" | mail -s \"磁盘告警\" admin@example.com")}'

或使用Prometheus+Alertmanager配置阈值告警，当node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} * 100 < 10时触发。

3.3 分区扩容方案

对于云服务器，可通过控制台扩展云盘后执行：

# 假设原分区为/dev/vda1，使用LVM时
$ pvcreate /dev/vdb
$ vgextend vg00 /dev/vdb
$ lvextend -l +100%FREE /dev/vg00/lv_root
$ resize2fs /dev/vg00/lv_root  # 对于ext4文件系统
# 或xfs_growfs /dev/vg00/lv_root  # 对于XFS文件系统

非LVM环境下需使用fdisk调整分区表，配合resize2fs（需先卸载分区或进入救援模式）。

四、典型案例分析

案例1：Docker镜像堆积
某电商服务器因持续部署测试镜像，导致/var/lib/docker占用达45GB。通过docker images | grep none | awk '{print $3}' | xargs docker rmi清理悬空镜像，配合docker system prune释放空间。

案例2：日志文件失控
某金融系统因应用错误持续写入/var/log/app.log，单日产生20GB日志。解决方案包括：修改应用日志级别、配置logrotate按小时轮转、将日志通过Fluentd发送至ES集群。

五、总结与建议

1. 预防优先：建立日志轮转、监控告警、定期清理机制
2. 分层存储：将/var/log、/tmp等目录挂载至独立分区
3. 自动化运维：通过Ansible等工具统一管理多台服务器的清理任务
4. 云环境优化：利用对象存储归档冷数据，减少本地存储依赖

当系统盘满问题发生时，建议按照”诊断→临时清理→根本解决”的三步法处理，避免直接删除系统关键文件导致服务不可用。对于生产环境，建议提前规划存储扩容方案，预留20%以上的缓冲空间。