Linux服务器系统盘告急：紧急处理与深度优化指南

一、紧急处理：快速释放空间的三步策略

当系统盘空间耗尽导致服务中断时，需立即执行以下操作：

1. 终止非核心进程：使用top或htop命令定位占用CPU/内存的进程，通过kill -9 PID终止非关键服务。特别注意journald、mysql等可能产生大量日志的服务。
2. 清理临时文件：

   # 清理/tmp目录（系统重启后自动重建）
   sudo rm -rf /tmp/*
   # 清理用户缓存（需谨慎操作）
   sudo find /var/cache -type f -atime +7 -delete

3. 迁移大文件：使用du -sh * | sort -h定位大目录，通过rsync将非核心数据迁移至独立存储：

   rsync -avz /var/log/ /mnt/external_disk/backup_logs/
   rm -rf /var/log/*.gz /var/log/*.old

二、深度诊断：精准定位空间占用

1. 磁盘使用可视化分析

# 安装ncdu工具（需先确认包管理器）
sudo apt install ncdu  # Debian/Ubuntu
sudo yum install ncdu  # CentOS/RHEL
# 扫描根目录
sudo ncdu /

ncdu提供交互式界面，可直观显示各目录占用比例，支持按大小排序和钻取分析。

2. 日志文件专项检查

# 查找超过100MB的日志文件
sudo find /var/log -type f -size +100M -exec ls -lh {} \;
# 检查journald日志占用
journalctl --disk-usage
sudo journalctl --vacuum-size=500M  # 限制日志最大占用

3. 核心系统文件分析

# 检查核心系统文件增长
ls -lh /boot/vmlinuz-*
du -sh /usr/lib/modules/
# 清理旧内核（以Ubuntu为例）
sudo apt autoremove --purge

三、系统优化：预防性维护方案

1. 日志管理策略

• 配置logrotate：修改/etc/logrotate.conf，设置日志轮转周期和压缩：

  /var/log/*.log {
      daily
      missingok
      rotate 14
      compress
      delaycompress
      notifempty
      create 640 root adm
  }

• 禁用非必要日志：编辑/etc/rsyslog.conf，注释掉非关键服务的日志记录规则。

2. 软件包管理优化

# 清理无用依赖（Debian系）
sudo apt autoremove
sudo apt clean
# 清理YUM缓存（RHEL系）
sudo yum clean all
sudo package-cleanup --oldkernels --count=2

3. 存储架构改进

• LVM扩展：若使用LVM，可在线扩展逻辑卷：

  # 添加新磁盘并创建物理卷
  sudo pvcreate /dev/sdb
  # 扩展卷组
  sudo vgextend vg00 /dev/sdb
  # 扩展逻辑卷
  sudo lvextend -L +10G /dev/vg00/lv_root
  # 调整文件系统大小
  sudo resize2fs /dev/vg00/lv_root

• 独立存储分区：将/var/log、/tmp等目录挂载至独立磁盘，通过/etc/fstab配置：

  /dev/sdc1 /var/log ext4 defaults 0 2

四、监控与自动化

1. 磁盘预警系统

# 安装监控工具（以monitorix为例）
sudo apt install monitorix
# 配置阈值告警（编辑/etc/monitorix/conf.cfg）
<alert>
    <service>disk</service>
    <item>/</item>
    <max>90</max>
    <command>/usr/local/bin/send_alert.sh</command>
</alert>

2. 定时清理任务

通过cron设置每周清理任务：

# 编辑root用户的crontab
sudo crontab -e
# 添加以下内容（每周日凌晨3点执行）
0 3 * * 0 find /var/log -name "*.log" -mtime +7 -exec rm {} \;

五、特殊场景处理

1. Docker容器存储清理

# 清理悬空镜像
docker system prune -f
# 清理未使用的卷
docker volume prune -f
# 限制容器日志大小（修改/etc/docker/daemon.json）
{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}

2. 数据库存储优化

• MySQL清理：

  -- 清理二进制日志
  PURGE BINARY LOGS BEFORE DATE_SUB(NOW(), INTERVAL 7 DAY);
  -- 优化表空间
  OPTIMIZE TABLE large_table;

• MongoDB清理：

  // 删除旧数据
  db.getCollectionNames().forEach(function(collection) {
      db[collection].deleteMany({createdAt: {$lt: new Date(Date.now() - 30*24*60*60*1000)}});
  });

六、最佳实践总结

1. 分区策略：生产环境建议采用/(20GB)、/var(50GB+)、/home(按需)的独立分区方案
2. 监控体系：部署Prometheus+Grafana监控磁盘使用趋势，设置85%使用率告警
3. 备份策略：重要数据实施3-2-1备份原则（3份副本，2种介质，1份异地）
4. 变更管理：所有存储调整操作需通过变更管理流程，在维护窗口期执行

通过实施上述方案，可系统性解决Linux服务器系统盘空间问题，同时建立预防机制，确保系统长期稳定运行。建议每季度进行存储健康检查，根据业务发展动态调整存储策略。