一、CPU性能指标：核心调度与负载分析

1.1 CPU使用率（Utilization）

CPU使用率反映处理器时间占用比例，需区分用户态（user）、系统态（system）及空闲状态（idle）。通过top或mpstat -P ALL 1命令可查看各核心实时数据：

# mpstat示例输出
%usr %nice %sys %iowait %irq %soft %steal %idle
85.2  0.1   3.5   2.1    0.0   0.3    0.0    8.8

• 用户态高占比：表明应用计算密集，需检查进程优先级（nice值）及多线程优化
• 系统态异常：可能由频繁系统调用（如大量小文件I/O）或中断处理导致
• iowait警示：当%iowait持续超过10%，需立即检查存储设备性能

1.2 上下文切换（Context Switches）

每秒上下文切换次数（vmstat中的cs字段）异常升高（>50k/s）会导致性能下降。常见原因：

• 进程/线程数量过多（建议单核线程数<50）
• 锁竞争激烈（通过perf stat分析锁持有时间）
• 中断处理不当（检查/proc/interrupts）

优化方案：调整进程亲和性（taskset）、优化锁粒度、升级网卡中断绑定。

二、内存管理：物理与虚拟内存协同

2.1 物理内存监控

free -h命令显示关键指标：

              total  used  free  shared buff/cache available
Mem:           31G   8.2G  2.1G   500M       20G       22G
Swap:          2.0G  0.5G  1.5G

• available内存：真实可用内存（含缓存回收空间）
• buff/cache：文件系统缓存，可通过echo 3 > /proc/sys/vm/drop_caches手动释放
• Swap使用：持续使用swap表明物理内存不足，需调整应用内存限制或扩容

2.2 虚拟内存效率

• 缺页错误（Page Faults）：通过sar -B 1监控major/minor fault

  • 主要缺页（major）：需从磁盘加载，过高会导致I/O风暴
  • 解决方案：优化内存分配模式，使用大页内存（HugePages）

• 内存碎片：通过cat /proc/buddyinfo查看碎片情况，碎片率>30%需重启服务或迁移实例

三、存储I/O性能：从块设备到文件系统

3.1 块设备层监控

iostat -x 1核心字段解析：

Device    r/s   w/s   rkB/s   wkB/s  avgrq-sz  avgqu-sz  await  svctm  %util
sda      120   30    1200    3000    40.0       1.2       8.5    2.1   31.2

• %util接近100%：设备饱和，需检查队列深度（avgqu-sz）
• await与svctm差异：await包含等待时间，若远大于svctm表明存在队列堆积
• 随机I/O优化：对于SSD，建议调整scheduler=noop，关闭磁盘缓存（hdparm -W0 /dev/sda）

3.2 文件系统层优化

• inode耗尽：通过df -i检查，典型场景为小文件存储
• 目录索引优化：对高频访问目录启用dir_index特性（tune2fs -O dir_index /dev/sda1）
• 预读策略调整：根据工作负载调整read_ahead_kb参数（blockdev --setra）

四、网络性能：吞吐量与延迟控制

4.1 基础指标监控

nload或iftop显示实时带宽，sar -n DEV 1提供详细统计：

IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s
eth0     1200      800        950       620       0         0

• 包率（pck/s）：超过10k pps可能触发软中断风暴
• TCP重传率：通过netstat -s | grep retransmits计算，>1%需检查网络质量

4.2 高级调优

• 中断均衡：使用smp_affinity绑定中断到不同CPU核心
• TCP栈优化：

  # 增大TCP内存缓冲区
  net.core.rmem_max = 16777216
  net.core.wmem_max = 16777216
  # 调整TCP写缓冲区
  net.ipv4.tcp_wmem = 4096 12582912 16777216

• 连接跟踪优化：对于高并发场景，调整nf_conntrack_max（sysctl -w net.netfilter.nf_conntrack_max=1048576）

五、综合监控工具链

5.1 基础工具集

• 动态监控：htop（支持树状视图）、glances（多维度聚合）
• 历史分析：sar（需配置sysstat服务）、prometheus + node_exporter
• 进程分析：strace（系统调用跟踪）、perf（性能事件采样）

5.2 自动化告警方案

推荐Prometheus告警规则示例：

groups:
- name: linux-server
  rules:
  - alert: HighCPU
    expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 90
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "CPU使用率过高 {{ $labels.instance }}"

六、性能优化方法论

1. 基准测试：使用fio（存储）、iperf（网络）、sysbench（CPU/内存）建立性能基线
2. 瓶颈定位：采用USE方法（Utilization, Saturation, Errors）逐层排查
3. 渐进优化：每次只修改一个参数，通过vmstat 1、dstat验证效果
4. 容灾设计：对关键服务配置资源限制（cgroups）、实现自动故障转移

实践建议：建立性能监控仪表盘，将%util、await、内存可用量等关键指标可视化，设置阈值告警。对于云服务器，注意实例规格与工作负载的匹配度，避免”小马拉大车”式配置。定期进行压力测试（如使用stress-ng工具），验证系统在峰值负载下的稳定性。