一、CPU性能参数：理解处理器工作状态

1.1 基础负载指标

top与htop命令是CPU监控的起点，重点关注以下数据：

• Load Average：1/5/15分钟平均负载，反映系统整体压力。例如0.75, 1.20, 0.90表示近期负载中等，需结合CPU核心数判断（单核CPU负载>1即过载）。
• CPU使用率：区分用户态(us)、系统态(sy)、空闲(id)比例。持续高sy值（>20%）可能提示内核或驱动问题。
• 上下文切换：vmstat 1中的cs列，每秒超过10万次可能引发性能下降。

1.2 进程级监控

pidstat -u 1可追踪特定进程的CPU消耗：

# 监控nginx进程的CPU使用
pidstat -p $(pgrep nginx) -u 1

• 软中断(si)：网络包处理过载时显著升高，需检查/proc/interrupts确认中断分布。
• 运行队列长度：mpstat -P ALL 1查看各核运行队列，理想值应<核心数×0.7。

1.3 高级诊断工具

• perf：采样CPU指令流，定位热点函数：

  perf stat -e cycles,instructions,cache-misses ./your_program

• 火焰图：通过perf script生成可视化调用栈，快速识别性能瓶颈。

二、内存管理：从物理内存到虚拟内存

2.1 内存使用全景

free -h输出解读：

              total        used        free      shared  buff/cache   available
Mem:           31Gi        8.2Gi       12Gi       1.2Gi       11Gi       21Gi
Swap:          2.0Gi       512Mi       1.5Gi

• available：实际可用内存，比free更准确。
• buff/cache：内核缓存，可被快速回收。
• Swap使用率：持续>30%需警惕内存泄漏。

2.2 内存泄漏检测

• valgrind：分析C/C++程序内存问题：

  valgrind --leak-check=full ./your_program

• pmap：查看进程内存映射：

  pmap -x $(pidof java) | head -20

2.3 透明大页(THP)优化

检查THP状态：

cat /sys/kernel/mm/transparent_hugepage/enabled
# 关闭THP（某些数据库建议）
echo never > /sys/kernel/mm/transparent_hugepage/enabled

三、磁盘I/O：从块设备到文件系统

3.1 基础I/O监控

iostat -x 1核心指标：

• %util：设备繁忙程度，持续>80%需优化。
• await：I/O请求平均等待时间（ms），>100ms表明瓶颈。
• svctm：设备实际服务时间，应与await接近。

3.2 文件系统级监控

iotop -o显示进程级I/O：

# 找出I/O最高的进程
iotop -o -P -d 5

• df -h：监控磁盘空间，设置/etc/cron.daily/脚本自动清理。
• du -sh：定位大文件，配合find命令自动化：

  find /var/log -type f -size +100M -exec ls -lh {} \;

3.3 存储优化技术

• RAID配置：根据I/O模式选择RAID10（随机写）或RAID5（顺序读）。
• LVM快照：创建生产环境备份：

  lvcreate -L 10G -s -n snapshot /dev/vg0/lv_root

• fio基准测试：模拟真实负载：

  fio --name=randwrite --ioengine=libaio --rw=randwrite --bs=4k --numjobs=1 --size=1G --runtime=60 --time_based --end_fsync=1 --filename=/tmp/testfile

四、网络性能：从链路层到应用层

4.1 基础网络监控

sar -n DEV 1关键指标：

• rxpck/s/txpck/s：包接收/发送速率，>10万包/秒需优化。
• rxkB/s/txkB/s：吞吐量，接近网卡上限时考虑绑定多网卡。
• retrans：TCP重传率，>1%表明网络不稳定。

4.2 连接状态分析

ss -s统计连接数：

Total: 1234 (kernel 5678)
TCP:   987 (estab 456, closed 123, orphaned 0, synrecv 0, timewait 234/0), ports 0

• TIME_WAIT过多：调整net.ipv4.tcp_tw_reuse=1。
• SYN_RECV堆积：可能遭受SYN Flood攻击。

4.3 高级诊断工具

• tcpdump：抓包分析：

  tcpdump -i eth0 'port 80' -w http.pcap

• Wireshark：离线分析.pcap文件，识别重传、乱序等问题。
• nethogs：按进程统计带宽：

  nethogs eth0

五、综合监控方案

5.1 Prometheus+Grafana架构

1. Node Exporter：采集硬件指标
2. Prometheus：时序数据库存储
3. Grafana：可视化看板配置

示例告警规则：

groups:
- name: cpu.rules
  rules:
  - alert: HighCPUUsage
    expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 90
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High CPU usage on {{ $labels.instance }}"

5.2 自动化巡检脚本

#!/bin/bash
# 系统健康检查脚本
echo "=== System Overview ==="
uptime
free -h
df -h
echo "=== Top CPU Processes ==="
top -b -n 1 | head -20
echo "=== Network Connections ==="
ss -s
echo "=== Disk I/O Stats ==="
iostat -x 1 3 | tail -10

六、性能优化实践

6.1 参数调优建议

• 内核参数：

  # 增大TCP缓冲区
  net.core.rmem_max = 16777216
  net.core.wmem_max = 16777216
  # 减少交换倾向
  vm.swappiness = 10

• 文件系统：XFS适合大文件，Ext4适合小文件密集场景。

6.2 容器化环境监控

• cAdvisor：容器资源监控
• eBPF：无侵入式性能分析：

  # 使用bcc工具跟踪syscall
  /usr/share/bcc/tools/execsnoop

6.3 云环境特殊考虑

• 弹性伸缩：基于CPU/内存阈值自动扩缩容
• 存储类型选择：SSD云盘（高IOPS）、高效云盘（性价比）
• 网络增强：启用增强型网络（SR-IOV）

七、故障排查流程

1. 确认现象：通过dmesg查看内核日志
2. 定位组件：使用strace跟踪系统调用

   strace -p $(pidof java) -o trace.log

3. 隔离测试：在测试环境复现问题
4. 验证修复：通过AB测试确认优化效果

结语：Linux服务器性能监控是一个系统工程，需要结合工具使用与业务理解。建议建立分级监控体系：基础指标（5分钟粒度）、业务指标（1分钟粒度）、实时告警（秒级）。定期进行压力测试和容量规划，确保系统在峰值时仍能保持稳定。