Prometheus深度监控K8s集群：从配置到实践的全指南

一、K8s监控的核心挑战与Prometheus的适配性

Kubernetes（K8s）的动态性（Pod频繁扩缩容、服务自动发现）对传统监控工具提出挑战。Prometheus凭借其服务发现机制、Pull-based拉取模型和多维数据模型，成为K8s监控的首选方案。其关键优势包括：

1. 原生适配K8s API：通过kubernetes_sd_config自动发现Endpoints、Pod、Service等资源。
2. 时序数据高效存储：采用TSDB（时序数据库），支持百万级时间序列的高效查询。
3. 灵活的告警规则：基于PromQL定义动态阈值，适配K8s资源波动特性。

二、Prometheus监控K8s的核心组件与架构

1. 服务发现机制：动态追踪K8s资源

Prometheus通过scrape_configs中的kubernetes_sd_roles实现四类资源发现：

scrape_configs:
  - job_name: 'kubernetes-pods'
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      # 筛选包含prometheus.io/scrape=true注解的Pod
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
        action: keep
        regex: true

• 角色类型：pod、service、endpoints、ingress，覆盖K8s核心资源。
• 重标签（Relabeling）：通过__meta_kubernetes_*元标签过滤目标，例如仅监控带有prometheus.io/port=9100注解的Pod端口。

2. 指标采集：Exporter与原生支持

• Node Exporter：采集节点级指标（CPU、内存、磁盘），通过DaemonSet部署到每个Node。
• cAdvisor：K8s内置容器指标采集器，通过/metrics/cadvisor端点暴露容器资源使用数据。
• Kube-State-Metrics：将K8s对象状态（Deployment状态、Pod就绪数）转换为Prometheus格式指标。
• 自定义Exporter：针对业务应用，可通过Prometheus Client库（如Go、Python）暴露应用指标。

3. 数据模型：多维标签设计

Prometheus的指标格式为<metric_name>{label_name=label_value,...}，例如：

container_cpu_usage_seconds_total{container="nginx",pod="web-7d8f6b9c"} 1250.34

• 标签设计原则：
  • 必选标签：namespace、pod、container，用于区分K8s资源。
  • 业务标签：如service、version，支持按服务维度聚合分析。

三、Prometheus监控K8s的完整部署流程

1. 基础组件部署

（1）Prometheus Server安装

使用Helm Chart快速部署：

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install prometheus prometheus-community/prometheus \
  --set server.retention=15d \
  --set server.service.type=NodePort

• 关键配置：--set server.retention设置数据保留周期，--set server.persistentVolume.size配置存储大小。

（2）Kube-State-Metrics部署

kubectl apply -f https://github.com/kubernetes/kube-state-metrics/releases/download/v2.8.1/kube-state-metrics.yaml

• 验证指标：访问http://<kube-state-metrics-ip>:8080/metrics，检查是否存在kube_deployment_status_replicas等指标。

2. 服务发现与采集配置

在Prometheus的configmap中定义动态采集规则：

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config
data:
  prometheus.yml: |
    scrape_configs:
      - job_name: 'kubernetes-service-endpoints'
        kubernetes_sd_configs:
          - role: endpoints
        relabel_configs:
          - source_labels: [__meta_kubernetes_namespace]
            target_label: namespace
          - source_labels: [__meta_kubernetes_service_name]
            target_label: service

• 效果：自动发现所有Service的Endpoints，并添加namespace和service标签。

3. 告警规则设计

在prometheus-rules.yaml中定义告警规则：

groups:
  - name: k8s-alerts
    rules:
      - alert: HighPodRestartRate
        expr: rate(kube_pod_container_status_restarts_total[5m]) > 0.1
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: "Pod {{ $labels.pod }} in namespace {{ $labels.namespace }} has high restart rate"

• 关键参数：
  • expr：基于PromQL定义触发条件。
  • for：持续满足条件的时间阈值。
  • labels：附加标签（如severity）用于告警分级。

四、可视化与告警集成

1. Grafana仪表盘配置

• 推荐模板：
  • K8s集群概览：使用模板ID 3119（Node资源）、12839（Pod状态）。
  • 业务应用监控：自定义Dashboard，关联http_requests_total等业务指标。
• 变量设计：通过${__interval}动态调整查询范围，例如：

  rate(http_requests_total{service="$service"}[${__interval}])

2. Alertmanager告警路由

配置alertmanager.yml实现多渠道通知：

route:
  receiver: 'email'
  group_by: ['alertname', 'namespace']
  routes:
    - match:
        severity: critical
      receiver: 'slack'
receivers:
  - name: 'slack'
    slack_configs:
      - api_url: https://hooks.slack.com/services/...
        channel: '#k8s-alerts'

• 分组策略：按alertname和namespace聚合告警，避免信息过载。

五、优化与故障排查

1. 性能优化

• 数据分片：通过Thanos或Cortex实现横向扩展，支持PB级数据存储。
• 采集间隔调整：对高频指标（如container_cpu_usage）设置scrape_interval: 15s，低频指标设为1m。

2. 常见问题解决

• 问题：Prometheus无法发现新Pod。
  • 排查步骤：
    1. 检查kube-state-metrics日志：kubectl logs -f kube-state-metrics-<pod>。
    2. 验证Prometheus配置：curl http://prometheus:9090/-/ready。
    3. 确认Pod注解：kubectl get pod <pod-name> -o yaml | grep prometheus.io/scrape。

六、进阶实践：自定义监控方案

1. 业务指标接入

以Java应用为例，通过Micrometer库暴露指标：

@Bean
public MeterRegistry meterRegistry() {
    return new PrometheusMeterRegistry();
}
@GetMapping("/metrics")
public String metrics() {
    return meterRegistry.scrape();
}

• Pod配置：添加注解prometheus.io/scrape: "true"和prometheus.io/port: "8080"。

2. 动态告警阈值

结合K8s HPA（水平自动扩缩容）数据，动态调整告警阈值：

# 当Pod副本数增加时，放宽CPU使用率告警阈值
(rate(container_cpu_usage_seconds_total[5m]) / 
 on(pod) group_left() 
 (kube_pod_status_phase{phase="Running"} == 1)) > 
(0.8 * scalar(max(kube_deployment_spec_replicas) / 10))

七、总结与建议

1. 标签设计优先：在采集阶段规范标签命名（如env=prod），避免后期数据混乱。
2. 渐进式部署：先监控核心组件（Node、API Server），再扩展至业务应用。
3. 备份与恢复：定期备份Prometheus数据目录，或使用Thanos Sidecar实现远程存储。

通过以上方案，Prometheus可实现K8s集群从基础设施到业务应用的全方位监控，为稳定性保障提供数据支撑。