一、背景与需求分析

在自动化运维和持续集成场景中，脚本运行状态的实时监控至关重要。传统监控方式（如日志分析、轮询检查）存在实时性差、扩展性弱等问题。Prometheus作为开源监控系统，擅长时序数据采集与告警，但其原生设计更适用于服务端主动拉取指标。对于短生命周期的脚本任务（如定时任务、批处理作业），需通过Pushgateway实现”被动推送”模式，解决监控数据上报难题。

核心需求场景

1. 短生命周期任务监控：脚本运行时间短于Prometheus默认抓取间隔（如1分钟）
2. 无服务端组件监控：脚本运行在无HTTP服务的容器/主机环境
3. 批量任务聚合监控：需要统一监控多个脚本实例的运行状态

二、技术架构解析

1. Prometheus核心组件

• 时序数据库：高压缩率存储监控数据
• Pull模型：通过HTTP定期抓取目标指标
• PromQL查询语言：支持灵活的数据聚合与告警规则

2. Pushgateway作用

作为中间代理层，接收脚本推送的监控数据并持久化存储，供Prometheus后续抓取。其核心价值在于：

• 适配Push模型需求
• 支持临时任务数据存储
• 提供任务级别的指标聚合能力

3. 典型工作流程

graph TD
    A[脚本执行] --> B[生成监控指标]
    B --> C[推送至Pushgateway]
    C --> D[Prometheus抓取]
    D --> E[存储/告警/可视化]

三、实施步骤详解

1. 环境准备

组件安装

# Docker方式部署（推荐）
docker run -d --name prometheus -p 9090:9090 \
  -v /path/to/prometheus.yml:/etc/prometheus/prometheus.yml \
  prom/prometheus
docker run -d --name pushgateway -p 9091:9091 \
  prom/pushgateway

配置Prometheus抓取Pushgateway

# prometheus.yml配置示例
scrape_configs:
  - job_name: 'pushgateway'
    static_configs:
      - targets: ['pushgateway:9091']
    honor_labels: true  # 保留Pushgateway中的标签

2. 脚本端指标推送

指标定义规范

• 指标名称：<prefix>_开头（如script_）
• 必需标签：job（任务类型）、instance（实例标识）
• 推荐指标：
  • script_duration_seconds：执行耗时
  • script_success_total：成功次数（Counter）
  • script_last_run_timestamp：最后运行时间（Gauge）

Python示例代码

import time
from prometheus_client import CollectorRegistry, Gauge, push_to_gateway
def monitor_script():
    registry = CollectorRegistry()
    duration = Gauge('script_duration_seconds', 
                    'Execution duration', 
                    registry=registry)
    success = Gauge('script_success', 
                    'Success status (1=success)', 
                    registry=registry)
    try:
        start_time = time.time()
        # 模拟业务逻辑
        time.sleep(2)
        end_time = time.time()
        duration.set(end_time - start_time)
        success.set(1)
        push_to_gateway('localhost:9091', 
                       job='data_processing',
                       instance='worker-01',
                       registry=registry)
    except Exception as e:
        success.set(0)
        push_to_gateway('localhost:9091', 
                       job='data_processing',
                       instance='worker-01',
                       registry=registry)

3. Bash脚本实现方案

#!/bin/bash
# 生成唯一实例ID
INSTANCE_ID=$(hostname)-$(date +%s%N | cut -b1-10)
# 执行业务逻辑
start_time=$(date +%s.%N)
# 模拟业务操作
sleep 1
end_time=$(date +%s.%N)
# 计算指标值
duration=$(echo "$end_time - $start_time" | bc)
status=$?
# 生成Prometheus格式指标
METRICS=$(cat <<EOF
# HELP script_duration_seconds Execution duration in seconds
# TYPE script_duration_seconds gauge
script_duration_seconds{job="backup_task",instance="$INSTANCE_ID"} $duration
# HELP script_exit_code Exit code of the script
# TYPE script_exit_code gauge
script_exit_code{job="backup_task",instance="$INSTANCE_ID"} $status
EOF
)
# 推送至Pushgateway
echo "$METRICS" | curl --data-binary @- http://pushgateway:9091/metrics/job/backup_task/instance/$INSTANCE_ID

四、进阶配置建议

1. 标签设计最佳实践

• 必需标签：job、instance
• 业务标签：script_name、environment、version
• 避免标签：高基数标签（如用户ID、随机字符串）

2. 数据清理策略

在Pushgateway中设置--persistence.file参数实现持久化，同时配置Prometheus的relabel_configs过滤过期数据：

metric_relabel_configs:
  - source_labels: [__name__]
    regex: 'script_.*'
    action: keep

3. 告警规则配置

groups:
- name: script-alerts
  rules:
  - alert: ScriptFailure
    expr: script_exit_code{job="backup_task"} != 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "Backup script failed on {{ $labels.instance }}"
      description: "Script {{ $labels.job }} failed with exit code {{ $value }}"

五、可视化方案

1. Grafana仪表盘设计

推荐面板组合：

1. 执行状态矩阵：使用script_exit_code的last()函数
2. 耗时趋势图：rate(script_duration_seconds[5m])
3. 成功率热力图：sum(increase(script_success_total[1h])) by (job)

2. 关键指标看板配置

{
  "panels": [
    {
      "type": "gauge",
      "title": "Last Run Success Rate",
      "targets": [
        {
          "expr": "sum(script_success_total{job=\"data_processing\"}) / ignoring(instance) group_left sum(script_runs_total{job=\"data_processing\"})",
          "legendFormat": ""
        }
      ]
    }
  ]
}

六、常见问题解决方案

1. 数据重复问题

• 现象：同一实例多次推送导致数据叠加
• 解决：
  • 每次推送使用唯一instance标识
  • 配置--push.discard-same-metrics参数（Pushgateway 1.4+）

2. 内存泄漏风险

• 监控指标：

  process_resident_memory_bytes{job="pushgateway"}

• 优化方案：
  • 限制单个job的指标数量
  • 配置--web.enable-admin-api进行手动清理

3. 高可用部署建议

• Pushgateway集群：使用共享存储（如NFS）持久化数据
• Prometheus联邦：多地域部署时采用联邦架构

七、性能优化建议

1. 批量推送：合并多个指标后一次性推送
2. 压缩传输：启用gzip压缩（--web.enable-gzip）
3. 指标过滤：在客户端过滤无效指标，减少网络传输

通过上述方案，开发者可以构建完整的脚本运行状态监控体系，实现从指标采集、存储到可视化的全流程管理。实际部署时建议先在测试环境验证指标推送逻辑，再逐步推广到生产环境。