深入Prometheus+Grafana实战：MySQL、Redis、Docker与服务监控预警

一、监控架构设计：从数据采集到可视化预警

Prometheus与Grafana的组合已成为现代云原生监控的标配，其核心优势在于灵活的数据模型（基于时间序列的指标）和强大的可视化能力。针对MySQL、Redis、Docker容器及服务端点的监控，需设计分层架构：

1. 数据采集层：通过Exporter或内置指标接口暴露关键指标（如MySQL的mysql_exporter、Redis的redis_exporter、Docker的cAdvisor）。
2. 存储与计算层：Prometheus作为时序数据库存储指标，支持高效查询与聚合。
3. 可视化与告警层：Grafana提供动态仪表盘，Prometheus Alertmanager处理告警逻辑。

关键配置示例：
在Prometheus配置文件中，需为每个服务定义独立的job，例如MySQL的监控配置：

scrape_configs:
  - job_name: 'mysql'
    static_configs:
      - targets: ['mysql-host:9104']  # mysql_exporter默认端口
    metrics_path: '/metrics'

二、MySQL监控：从基础指标到性能瓶颈定位

MySQL监控需覆盖连接数、查询性能、锁等待、缓存命中率等核心指标。通过mysql_exporter可采集以下关键数据：

1. 连接状态：mysql_global_status_threads_connected（当前连接数）与mysql_global_status_max_used_connections（峰值连接数）对比，可发现连接泄漏。
2. 查询性能：mysql_global_status_questions（总查询量）与mysql_global_status_slow_queries（慢查询数）的差值，可评估SQL优化效果。
3. 缓存效率：mysql_global_status_innodb_buffer_pool_reads（从磁盘读取的页数）与mysql_global_status_innodb_buffer_pool_read_requests（总请求页数）的比值，低于95%需优化缓存。

Grafana仪表盘设计建议：

• 使用单值图（Singlestat）展示实时连接数，搭配阈值标记（如红色警告线）。
• 通过表格（Table）展示慢查询TOP 10，结合日志分析工具定位问题SQL。

三、Redis监控：内存、命令与集群健康度

Redis监控需聚焦内存使用、命令延迟、集群节点状态。通过redis_exporter可采集以下指标：

1. 内存压力：redis_memory_used_bytes（已用内存）与redis_memory_max_bytes（最大内存）的比值，超过80%需警惕OOM。
2. 命令延迟：redis_commands_duration_seconds_sum（命令总耗时）与redis_commands_total（总命令数）的比值，可计算平均延迟。
3. 集群健康：redis_cluster_nodes_connected（连接节点数）与redis_cluster_nodes_total（总节点数）的比值，需保持100%。

告警规则优化：

• 内存告警：redis_memory_used_bytes / redis_memory_max_bytes > 0.8，持续5分钟触发。
• 命令延迟告警：rate(redis_commands_duration_seconds_sum[1m]) / rate(redis_commands_total[1m]) > 0.1（100ms平均延迟）。

四、Docker容器监控：资源利用率与镜像优化

Docker容器监控需通过cAdvisor采集CPU、内存、磁盘I/O、网络流量等指标。关键监控点包括：

1. 资源限制：container_cpu_usage_seconds_total与container_spec_cpu_quota的比值，接近100%时需调整资源限制。
2. 内存泄漏：container_memory_usage_bytes持续上升且无对应业务增长，可能存在内存泄漏。
3. 磁盘压力：container_fs_usage_bytes与container_fs_limit_bytes的比值，超过90%需清理日志或扩容。

Grafana动态仪表盘技巧：

• 使用变量（Variable）实现按容器名过滤，例如定义$container变量，数据源为label_values(container_name)。
• 通过热力图（Heatmap）展示容器CPU使用率的时间分布，快速定位高峰时段。

五、服务端点监控：HTTP状态码与响应时间

服务端点监控需通过Blackbox Exporter实现HTTP/TCP/ICMP探测，核心指标包括：

1. 可用性：probe_success（1表示成功，0表示失败），需配置重试机制（如3次重试）。
2. 响应时间：probe_http_duration_seconds（总耗时）、probe_http_connect_duration_seconds（连接耗时）。
3. 状态码分布：probe_http_status_code（如200、500），需告警非2xx/3xx状态码。

Prometheus告警规则示例：

groups:
  - name: service-endpoints
    rules:
      - alert: ServiceDown
        expr: probe_success == 0
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "服务 {{ $labels.instance }} 不可用"

六、预警策略优化：从阈值告警到智能预测

传统阈值告警（如CPU>90%）易产生误报，需结合以下策略优化：

1. 动态阈值：通过Prometheus的record规则计算历史均值（如avg_over_time(cpu_usage[1h])），动态调整告警阈值。
2. 预测告警：使用predict_linear函数预测未来趋势（如predict_linear(cpu_usage[1h], 30*60) > 0.9），提前30分钟预警。
3. 告警聚合：通过Alertmanager的group_by和repeat_interval减少重复告警（如按服务名分组，每10分钟重复一次）。

七、实战建议：从0到1搭建监控平台

1. 快速验证：使用Docker Compose部署Prometheus、Grafana和Exporter，例如：

   version: '3'
   services:
     prometheus:
       image: prom/prometheus
       volumes:
         - ./prometheus.yml:/etc/prometheus/prometheus.yml
     grafana:
       image: grafana/grafana
       ports:
         - "3000:3000"
     mysql-exporter:
       image: prom/mysqld-exporter
       environment:
         - DATA_SOURCE_NAME=user:pass@mysql-host:3306/

2. 模板复用：在Grafana中导入官方模板（如ID 7362对应MySQL监控），减少重复配置。
3. 渐进式优化：先覆盖核心指标（如可用性、错误率），再逐步扩展至性能指标（如延迟、吞吐量）。

八、总结与展望

Prometheus+Grafana的组合为MySQL、Redis、Docker容器及服务端点提供了全链路、可扩展的监控解决方案。通过合理设计监控指标、优化告警策略，可显著提升系统稳定性。未来可探索eBPF技术（如Prometheus的node_exporter集成eBPF）实现更细粒度的内核级监控，或结合AIops实现异常检测的自动化。