一、为什么需要监控Tomcat运行状态？

Tomcat作为Java Web应用的核心容器，其运行状态直接影响业务系统的可用性与性能。未监控的Tomcat可能隐藏以下风险：

1. 内存泄漏：未释放的对象导致JVM频繁Full GC，响应时间飙升。
2. 线程阻塞：数据库连接池耗尽或死锁导致请求堆积。
3. 连接超载：最大线程数（maxThreads）配置不当引发拒绝服务。
4. 资源争用：高并发下线程队列（acceptCount）溢出。

传统监控方式（如JConsole、VisualVM）需手动连接且缺乏历史数据，而Prometheus通过时序数据库存储指标，结合Grafana实现可视化，可主动发现潜在问题。

二、Prometheus监控Tomcat的核心原理

Prometheus通过服务发现机制定期抓取目标（Tomcat）暴露的指标，存储为时序数据（如tomcat_threads_busy{instance="192.168.1.100:8080"} 15）。其监控Tomcat的关键路径如下：

1. 指标暴露：Tomcat通过JMX（Java Management Extensions）或自定义Exporter暴露指标。
2. 数据抓取：Prometheus Server配置scrape_configs定期拉取指标。
3. 存储与查询：Prometheus TSDB存储指标，支持PromQL查询。
4. 告警与可视化：Alertmanager触发告警，Grafana展示仪表盘。

三、具体实施步骤

1. 配置Tomcat暴露JMX指标

方案一：启用Tomcat内置JMX（推荐）

修改catalina.sh（Linux）或catalina.bat（Windows），添加JMX参数：

# Linux示例
export JAVA_OPTS="$JAVA_OPTS -Dcom.sun.management.jmxremote \
  -Dcom.sun.management.jmxremote.port=9004 \
  -Dcom.sun.management.jmxremote.ssl=false \
  -Dcom.sun.management.jmxremote.authenticate=false"

重启Tomcat后，通过jconsole或jcmd验证JMX端口是否开放。

方案二：使用jmx_exporter（需额外部署）

若无法直接启用JMX，可部署jmx_exporter作为代理：

1. 下载jmx_prometheus_javaagent.jar。
2. 创建配置文件tomcat-jmx-config.yml，定义需采集的MBean（如线程、内存）：
   ```yaml
   rules:

• pattern: “Catalina:type=ThreadPool,name=.*”
  name: “tomcat_threads”
  labels:
  pool: “$2”
  help: “Tomcat thread pool metrics”
  value_factor: 1
  ```

1. 启动Tomcat时附加Agent参数：

   JAVA_OPTS="$JAVA_OPTS -javaagent:/path/to/jmx_prometheus_javaagent.jar=9004:/path/to/tomcat-jmx-config.yml"

2. 配置Prometheus抓取Tomcat指标

编辑prometheus.yml，添加Tomcat的抓取任务：

scrape_configs:
  - job_name: 'tomcat'
    static_configs:
      - targets: ['192.168.1.100:9004']  # JMX Exporter或Tomcat JMX端口
    metrics_path: '/metrics'  # 若使用jmx_exporter，默认路径为/metrics

重启Prometheus后，访问http://<prometheus-server>:9090/targets确认Tomcat状态为UP。

3. 关键指标解析与监控建议

3.1 线程池指标

指标名称	PromQL示例	监控意义
tomcat_threads_busy	sum(tomcat_threads_busy)	当前繁忙线程数，接近maxThreads时需扩容
tomcat_threads_current	avg(tomcat_threads_current)	当前线程数，反映负载趋势
tomcat_thread_pool_waiters	max(tomcat_thread_pool_waiters)	线程队列堆积数，过高会导致请求超时

建议：设置告警规则，当tomcat_threads_busy / maxThreads > 0.8持续5分钟时触发告警。

3.2 内存指标

指标名称	PromQL示例	监控意义
jvm_memory_bytes_used{area="heap"}	sum(jvm_memory_bytes_used{area="heap"}) by (instance)	JVM堆内存使用量，接近Xmx时可能OOM
jvm_gc_collection_seconds_count	increase(jvm_gc_collection_seconds_count{gc="PS Scavenge"}[5m])	5分钟内Young GC次数，频繁GC需调整新生代大小

建议：结合jvm_memory_bytes_max计算内存使用率，超过85%时检查是否有内存泄漏。

3.3 请求处理指标

指标名称	PromQL示例	监控意义
tomcat_global_request_seconds_count	rate(tomcat_global_request_seconds_count[1m])	每秒请求数（QPS），突增可能引发拒绝服务
tomcat_global_request_seconds_sum	rate(tomcat_global_request_seconds_sum[1m]) / rate(tomcat_global_request_seconds_count[1m])	平均请求耗时，超过500ms需优化

建议：对tomcat_global_error_count设置告警，5分钟内错误率超过1%时通知开发人员。

4. 构建Grafana可视化仪表盘

1. 添加Prometheus数据源：在Grafana中配置Prometheus Server地址。
2. 创建仪表盘：
   • 线程池面板：使用Gauge图表展示tomcat_threads_busy / maxThreads比例。
   • 内存面板：使用Graph图表对比jvm_memory_bytes_used与jvm_memory_bytes_max。
   • QPS面板：使用Stat图表显示rate(tomcat_global_request_seconds_count[1m])。
3. 示例仪表盘JSON：可从Grafana官网导入预置的Tomcat监控模板（如ID：12182）。

5. 设置Alertmanager告警规则

在alert.rules.yml中定义Tomcat相关告警：

groups:
- name: tomcat.rules
  rules:
  - alert: HighThreadUtilization
    expr: sum(tomcat_threads_busy) by (instance) / on(instance) group_left max(tomcat_threads_max) by (instance) > 0.8
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "Tomcat线程利用率过高 (instance {{ $labels.instance }})"
      description: "当前繁忙线程数占比 {{ $value }}, 接近最大线程数限制"
  - alert: MemoryLeakSuspected
    expr: (jvm_memory_bytes_used{area="heap"} / jvm_memory_bytes_max{area="heap"}) > 0.85
    for: 10m
    labels:
      severity: critical
    annotations:
      summary: "JVM堆内存使用率过高 (instance {{ $labels.instance }})"
      description: "堆内存使用率 {{ $value }}, 可能存在内存泄漏"

四、进阶优化建议

1. 动态服务发现：若Tomcat实例通过Kubernetes部署，可使用Prometheus的Kubernetes Service Discovery自动发现Pod。
2. 记录规则（Recording Rules）：对常用PromQL预计算，提升查询效率。例如：
   ```yaml
   rule_files:
   • ‘recording.rules.yml’

recording.rules.yml示例

groups:

• name: tomcat.recording
  rules:
  • record: jobratio
    expr: sum(tomcat_threads_busy) by (job) / sum(tomcat_threads_max) by (job)
    ```

1. 与ELK集成：将Prometheus指标导入Elasticsearch，通过Kibana实现更复杂的日志与指标关联分析。

五、总结

通过Prometheus监控Tomcat运行状态，可实现从线程池到JVM内存的全方位覆盖。关键步骤包括：

1. 配置Tomcat暴露JMX或使用jmx_exporter。
2. 在Prometheus中定义抓取任务。
3. 监控线程、内存、请求等核心指标。
4. 通过Grafana可视化与Alertmanager告警实现主动运维。

实际部署时，建议先在测试环境验证指标采集的准确性，再逐步推广到生产环境。同时，结合业务特点调整告警阈值，避免“告警风暴”影响运维效率。