一、Prometheus 概述：为什么选择它？

Prometheus 是 CNCF（云原生计算基金会）旗下的开源监控系统，以其强大的多维度数据采集、灵活的查询语言（PromQL）和高效的告警机制，成为 Kubernetes 生态中最主流的监控解决方案。其核心特点包括：

1. 时序数据库存储：基于时间序列的数据模型，支持高并发写入与低延迟查询。
2. 拉取式数据采集：通过 HTTP 协议主动拉取目标服务的指标数据，避免依赖被监控方的推送逻辑。
3. 服务发现集成：原生支持 Kubernetes、Consul、DNS 等服务发现机制，动态适应容器化环境。
4. 告警管理：通过 Alertmanager 实现告警路由、抑制和分组，减少噪音。
5. 可视化生态：与 Grafana 无缝集成，提供丰富的仪表盘模板。

二、环境准备与安装部署

1. 单机环境快速搭建

（1）下载与解压

wget https://github.com/prometheus/prometheus/releases/download/v2.47.2/prometheus-2.47.2.linux-amd64.tar.gz
tar xvfz prometheus-*.tar.gz
cd prometheus-*

（2）基础配置文件

创建 prometheus.yml，配置最简单的监控目标：

global:
  scrape_interval: 15s
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

（3）启动服务

./prometheus --config.file=prometheus.yml

访问 http://localhost:9090 即可看到 Web UI。

2. 生产环境集群部署

（1）高可用架构设计

• 联邦集群（Federation）：通过 honor_labels: true 实现层级数据聚合。
• 远程存储：集成 Thanos、InfluxDB 或 M3DB 解决单机存储瓶颈。
• 多副本部署：使用 Keepalived + Nginx 实现负载均衡。

（2）Kubernetes 环境部署示例

# prometheus-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus
spec:
  replicas: 2
  selector:
    matchLabels:
      app: prometheus
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      containers:
      - name: prometheus
        image: prom/prometheus:v2.47.2
        args:
        - "--config.file=/etc/prometheus/prometheus.yml"
        - "--storage.tsdb.retention.time=30d"
        ports:
        - containerPort: 9090
        volumeMounts:
        - name: config-volume
          mountPath: /etc/prometheus
      volumes:
      - name: config-volume
        configMap:
          name: prometheus-config

三、数据采集与指标暴露

1. 静态目标配置

scrape_configs:
  - job_name: 'node-exporter'
    static_configs:
      - targets: ['192.168.1.100:9100', '192.168.1.101:9100']

2. 动态服务发现（以 Kubernetes 为例）

scrape_configs:
  - job_name: 'kubernetes-pods'
    kubernetes_sd_configs:
    - role: pod
    relabel_configs:
    - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
      action: keep
      regex: true

3. 自定义指标暴露

通过客户端库（如 Python 的 prometheus_client）暴露业务指标：

from prometheus_client import start_http_server, Counter
REQUEST_COUNT = Counter('app_requests_total', 'Total HTTP Requests')
@app.route('/')
def index():
    REQUEST_COUNT.inc()
    return "Hello"
if __name__ == '__main__':
    start_http_server(8000)
    app.run()

四、告警规则配置与 Alertmanager

1. 定义告警规则

在 prometheus.yml 中引用规则文件：

rule_files:
  - 'alert.rules.yml'

示例规则文件：

groups:
- name: node.rules
  rules:
  - alert: HighCPUUsage
    expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
    for: 10m
    labels:
      severity: warning
    annotations:
      summary: "High CPU usage on {{ $labels.instance }}"

2. Alertmanager 配置

# alertmanager.yml
route:
  group_by: ['alertname']
  receiver: email
receivers:
- name: email
  email_configs:
  - to: alert@example.com

五、可视化与最佳实践

1. Grafana 集成

• 安装 Grafana：docker run -d -p 3000:3000 grafana/grafana
• 添加 Prometheus 数据源：http://prometheus:9090
• 导入官方仪表盘（ID：1860、315）

2. PromQL 实战

• 查询内存使用率：

  (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100

• 计算请求错误率：

  rate(http_requests_total{status="5xx"}[5m]) / rate(http_requests_total[5m])

3. 性能优化建议

• 存储优化：设置 --storage.tsdb.retention.time=90d 避免数据膨胀。
• 查询优化：避免在 PromQL 中使用高基数标签（如用户 ID）。
• 告警降噪：通过 inhibit_rules 防止关联告警爆发。

六、常见问题排查

1. 数据采集失败：

   • 检查 up{job="xxx"} == 1 确认目标健康状态。
   • 使用 curl http://target:port/metrics 验证指标暴露。

2. 告警未触发：

   • 确认 expr 表达式在 Prometheus Web UI 中能返回结果。
   • 检查 Alertmanager 日志是否有路由错误。

3. 高内存占用：

   • 调整 --web.enable-admin-api 和 --web.enable-lifecycle 参数。
   • 考虑分片存储（如 Thanos Sidecar）。

七、总结与延伸

Prometheus 的成功在于其简单而强大的设计哲学：通过统一的指标模型和查询语言，解决分布式系统的可观测性问题。对于中大型企业，建议结合以下方案：

• 长期存储：Thanos + Object Storage（如 S3）
• 多集群监控：Thanos Receive 或 Cortex
• AI 运维：将 Prometheus 指标接入机器学习平台实现异常预测

通过本文的实践，读者可以快速搭建起符合生产标准的监控体系，并根据业务需求持续优化。