Prometheus与cAdvisor联动：实现Docker容器实时监控与告警

一、背景与需求

在容器化部署日益普及的今天，Docker容器的运行状态监控成为运维工作的核心环节。传统监控方式（如日志分析或手动检查）存在滞后性，难以满足实时性要求。通过Prometheus结合cAdvisor的方案，可实现容器资源（CPU、内存、网络等）的实时采集与告警，提升故障响应效率。

关键痛点

1. 监控盲区：容器动态扩缩容导致传统监控工具难以覆盖。
2. 告警延迟：依赖轮询式检查，无法及时感知异常。
3. 资源浪费：缺乏精细化监控导致资源分配不合理。

二、技术选型与原理

1. cAdvisor：容器资源采集器

cAdvisor（Container Advisor）是Google开源的容器监控工具，运行在每个节点上，自动发现并监控本地容器。其核心功能包括：

• 实时指标采集：CPU使用率、内存占用、磁盘I/O、网络流量等。
• 历史数据存储：默认保留1分钟级别的指标数据。
• 开放接口：通过/metrics端点暴露Prometheus格式的指标。

2. Prometheus：时序数据库与告警引擎

Prometheus通过拉取（Pull）模式定期从cAdvisor采集指标，存储为时序数据，并支持以下功能：

• 多维数据模型：通过标签（如container_name、pod_name）灵活查询。
• PromQL查询语言：支持复杂聚合与告警规则定义。
• Alertmanager：接收Prometheus触发的告警，通过邮件、Webhook等方式通知。

3. 联动架构图

┌─────────────┐    ┌─────────────┐    ┌─────────────┐
│  Docker     │    │  cAdvisor   │    │  Prometheus │
│  Container  │←→│ (Per Node)  │←→│ (Scrape)    │
└─────────────┘    └─────────────┘    └─────────────┘
                                          │
                                          ↓
                                  ┌─────────────────┐
                                  │  Alertmanager  │
                                  └─────────────────┘

三、实施步骤

1. 部署cAdvisor

方法一：Docker容器方式（推荐）

docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:ro \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  google/cadvisor:latest

参数说明：

• --volume：挂载主机文件系统，使cAdvisor能读取容器资源。
• --publish：暴露8080端口，访问http://<IP>:8080/metrics验证指标输出。

方法二：Kubernetes DaemonSet

适用于集群环境，通过以下YAML部署：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: cadvisor
spec:
  template:
    spec:
      containers:
      - name: cadvisor
        image: google/cadvisor:latest
        ports:
        - containerPort: 8080
        volumeMounts:
        - name: rootfs
          mountPath: /rootfs
          readOnly: true
        # 其他卷挂载（同Docker方式）
      volumes:
      - name: rootfs
        hostPath:
          path: /

2. 配置Prometheus采集cAdvisor数据

在Prometheus的prometheus.yml中添加cAdvisor的抓取任务：

scrape_configs:
  - job_name: 'cadvisor'
    static_configs:
      - targets: ['<cAdvisor_IP>:8080']  # 替换为实际IP
    metrics_path: '/metrics'
    scrape_interval: 15s  # 建议15-30秒

验证步骤：

1. 重启Prometheus：systemctl restart prometheus。
2. 访问Prometheus UI（默认http://<Prometheus_IP>:9090）。
3. 执行查询：container_cpu_usage_seconds_total{container_name="your_container"}，确认有数据返回。

3. 定义告警规则

在Prometheus的rules目录下创建container_alerts.yml，示例规则如下：

groups:
- name: container.rules
  rules:
  - alert: HighCPUUsage
    expr: (sum(rate(container_cpu_usage_seconds_total[1m])) by (container_name) / scalar(node_cpu_seconds_total{mode="system"})) * 100 > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "容器 {{ $labels.container_name }} CPU使用率过高"
      description: "当前使用率: {{ $value }}%"
  - alert: HighMemoryUsage
    expr: (container_memory_working_set_bytes{container_name!=""} / node_memory_MemTotal_bytes) * 100 > 90
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "容器 {{ $labels.container_name }} 内存不足"

规则说明：

• expr：使用PromQL定义触发条件（如CPU>80%持续5分钟）。
• labels：附加标签用于Alertmanager路由。
• annotations：告警消息模板，支持变量替换。

4. 配置Alertmanager通知

编辑alertmanager.yml，示例配置（邮件通知）：

global:
  resolve_timeout: 5m
route:
  group_by: ['alertname']
  receiver: email-notify
receivers:
- name: email-notify
  email_configs:
  - to: 'your_email@example.com'
    from: 'alert@example.com'
    smarthost: smtp.example.com:587
    auth_username: 'user'
    auth_password: 'pass'

启动Alertmanager：

alertmanager --config.file=alertmanager.yml

四、优化与扩展

1. 性能调优

• cAdvisor资源限制：在Kubernetes中为cAdvisor的DaemonSet设置resources.requests/limits，避免占用过多节点资源。
• Prometheus存储：使用TSDB块存储或远程存储（如Thanos）解决长期存储问题。

2. 多通知渠道

Alertmanager支持多种通知方式，可通过webhook_configs集成企业微信、Slack等：

receivers:
- name: wechat-notify
  webhook_configs:
  - url: 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=YOUR_KEY'
    send_resolved: true

3. 容器自动发现

在Prometheus中启用Kubernetes服务发现，动态监控新创建的容器：

scrape_configs:
  - job_name: 'kubernetes-cadvisor'
    kubernetes_sd_configs:
    - role: node
    relabel_configs:
    - source_labels: [__address__]
      target_label: __address__
      replacement: '<NODE_IP>:10250'  # 默认kubelet的cAdvisor端口

五、常见问题与解决

1. 指标缺失

• 问题：Prometheus中无容器指标。
• 排查：
  1. 检查cAdvisor日志：docker logs cadvisor。
  2. 确认Prometheus的targets页面中cAdvisor状态为UP。
  3. 验证防火墙是否放行8080端口。

2. 告警重复发送

• 原因：Alertmanager的group_wait或repeat_interval配置不当。
• 解决：调整alertmanager.yml中的时间参数：

  route:
    group_wait: 30s
    repeat_interval: 1h

六、总结

通过Prometheus结合cAdvisor的方案，可实现Docker容器运行状态的全方位监控与实时告警。其核心优势在于：

1. 无侵入性：cAdvisor以容器或DaemonSet形式运行，无需修改应用代码。
2. 高实时性：Prometheus的Pull模式与短间隔抓取确保数据及时性。
3. 灵活扩展：支持从单机到集群的监控需求，告警规则可按业务定制。

下一步建议：

• 结合Grafana搭建可视化看板，直观展示容器资源趋势。
• 针对关键业务容器设置更严格的告警阈值。
• 定期复盘告警记录，优化监控指标与通知策略。