Prometheus深度集成：实现K8s集群高效监控指南

一、Prometheus监控K8s的核心机制

1.1 ServiceMonitor与PodMonitor的协同作用

Prometheus通过ServiceMonitor和PodMonitor两种CRD（Custom Resource Definition）实现K8s资源的动态发现。ServiceMonitor通过标签选择器匹配Service后端Pod的Endpoint，自动抓取指标；而PodMonitor直接针对Pod的端口进行监控，适用于无Service的场景。例如，监控Nginx Ingress的7999端口指标时，可通过以下PodMonitor配置实现：

apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
  name: nginx-ingress-monitor
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
  podMetricsEndpoints:
  - port: metrics
    interval: 30s
    path: /metrics

此配置会持续抓取所有带有app.kubernetes.io/name=ingress-nginx标签的Pod的7999端口指标。

1.2 节点级监控：Node Exporter的部署策略

节点监控依赖Node Exporter，其以DaemonSet形式部署，确保每个节点运行一个实例。通过hostNetwork: true和hostPID: true配置，可访问节点级资源（如CPU、内存、磁盘）。关键配置包括：

• 资源限制：避免Exporter占用过多节点资源，建议设置resources.limits.cpu=100m。
• 安全加固：禁用敏感指标（如/proc/kallsyms），通过--no-collector参数过滤。
• 持久化卷：若需监控磁盘，需挂载/host路径至Exporter容器。

1.3 核心组件监控：cAdvisor与Kubelet集成

K8s的kubelet内置cAdvisor，提供容器级资源指标（CPU、内存、网络）。Prometheus通过/metrics/cadvisor端点直接抓取，但需注意：

• 认证配置：若Kubelet启用TLS，需在Prometheus的scrape_configs中配置tls_config和bearer_token。
• 标签标准化：使用relabel_configs将K8s元数据（如Pod名称、命名空间）转换为Prometheus标签，便于多维度查询。

二、Prometheus Operator：自动化监控的利器

2.1 Operator的核心功能

Prometheus Operator通过CRD简化监控配置，主要组件包括：

• Prometheus：定义Prometheus实例的版本、存储和副本数。
• ServiceMonitor/PodMonitor：动态发现监控目标。
• Alertmanager：配置告警规则和通知渠道。
• Probe：监控外部服务（如HTTP端点）。

2.2 实战：部署Prometheus Operator

1. 安装Operator：

   helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
   helm install prometheus-operator prometheus-community/kube-prometheus-stack

2. 自定义监控：通过AdditionalScrapeConfigs注入自定义scrape_configs，例如监控MySQL：

   prometheus:
     prometheusSpec:
       additionalScrapeConfigs:
       - job_name: mysql
         static_configs:
         - targets: ['mysql-service:9104']

2.3 告警规则设计：从检测到响应

告警规则需遵循“SMART原则”（具体、可衡量、可实现、相关性、时限性）。例如，监控Pod重启次数的规则：

groups:
- name: pod-alerts
  rules:
  - alert: HighPodRestarts
    expr: increase(kube_pod_container_status_restarts_total{namespace="prod"}[1h]) > 3
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "Pod {{ $labels.pod }} in {{ $labels.namespace }} restarted {{ $value }} times in 1h"

此规则会在1小时内Pod重启超过3次时触发告警，并通过Alertmanager发送至Slack或邮件。

三、监控数据优化与存储策略

3.1 指标分类与保留策略

Prometheus默认保留30天数据，但可通过storage.tsdb.retention.time调整。建议按指标重要性分类：

• 高优先级（如CPU、内存）：保留90天，采样间隔15s。
• 中优先级（如网络流量）：保留30天，采样间隔1m。
• 低优先级（如自定义业务指标）：保留7天，采样间隔5m。

3.2 远程存储集成：Thanos或Cortex

当数据量超过单机存储时，需集成远程存储：

• Thanos：通过Sidecar模式将数据上传至对象存储（如S3），支持全局查询和降采样。
• Cortex：水平扩展的分布式存储，适合超大规模集群。

配置示例（Thanos Sidecar）：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-thanos
spec:
  template:
    spec:
      containers:
      - name: prometheus
        args:
        - --storage.tsdb.path=/prometheus
        - --web.enable-lifecycle
        - --web.enable-admin-api
      - name: thanos-sidecar
        image: quay.io/thanos/thanos:v0.25.0
        args:
        - sidecar
        - --prometheus.url=http://localhost:9090
        - --objstore.config-file=/etc/thanos/storage.yaml

四、常见问题与解决方案

4.1 监控目标不可达

现象：Prometheus日志显示context deadline exceeded。
原因：网络策略限制、Endpoint未就绪或证书过期。
解决：

1. 检查NetworkPolicy是否允许Prometheus访问目标Pod。
2. 验证Endpoint的ready状态：kubectl get endpoints <service-name>。
3. 更新Kubelet证书或配置Prometheus跳过TLS验证（仅测试环境）。

4.2 指标缺失或标签错误

现象：查询kube_pod_status_phase无数据。
原因：标签不匹配或Exporter未暴露指标。
解决：

1. 使用promtool检查指标是否存在：

   curl http://<pod-ip>:9100/metrics | grep kube_pod_status_phase

2. 调整relabel_configs修正标签：

   relabel_configs:
   - source_labels: [__meta_kubernetes_pod_name]
     target_label: pod_name

五、进阶实践：自定义指标与HPA集成

5.1 部署Custom Metrics API

通过Prometheus Adapter将自定义指标暴露为HPA可用的资源：

apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
metadata:
  name: podmonitors.monitoring.coreos.com
spec:
  group: monitoring.coreos.com
  versions:
  - name: v1
    served: true
    storage: true

5.2 配置HPA使用自定义指标

示例：根据Redis内存使用率自动扩容：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: redis-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: redis
  metrics:
  - type: External
    external:
      metric:
        name: redis_memory_used_bytes
        selector:
          matchLabels:
            app: redis
      target:
        type: AverageValue
        averageValue: 500Mi

六、总结与最佳实践

1. 分层监控：节点级（Node Exporter）、Pod级（cAdvisor）、应用级（Exporter）分层覆盖。
2. 标签标准化：统一使用namespace、pod、container等标签，便于跨维度查询。
3. 告警降噪：通过inhibit_rules抑制重复告警，例如同一节点的多个Pod崩溃时仅触发一次节点级告警。
4. 性能优化：对高频指标（如container_cpu_usage_seconds_total）设置__rate_interval__参数，减少计算开销。

通过以上策略，Prometheus可实现K8s集群的全面、高效监控，为运维和开发提供实时洞察与自动化决策支持。