一、K8s可观测性：为何至关重要？

在K8s集群中，容器化应用的动态性（如自动扩缩容、Pod频繁重启）使得传统监控方式失效。可观测性通过监控（Metrics）、日志（Logging）和追踪（Tracing）三大支柱，帮助开发者快速定位故障、优化资源使用并提升系统稳定性。

• 监控：实时采集集群资源指标（CPU、内存、网络），设置告警规则。
• 日志：集中存储和分析应用日志，支持故障回溯。
• 追踪：跟踪请求在微服务间的调用链（本文暂不深入，后续可扩展）。

案例：某电商应用在K8s上运行，因Pod内存泄漏导致响应变慢。通过监控发现内存使用率持续上升，结合日志定位到具体代码段，最终修复问题。

二、K8s监控体系：从指标到告警

1. 核心监控组件

K8s原生监控依赖Metrics Server，但功能有限。生产环境推荐使用Prometheus + Grafana组合：

• Prometheus：时序数据库，支持多维度数据查询和告警。
• Grafana：可视化仪表盘，直观展示集群状态。

安装示例（Minikube环境）

# 启动Prometheus Operator（通过Helm）
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install prometheus prometheus-community/kube-prometheus-stack
# 访问Grafana
kubectl port-forward svc/prometheus-grafana 3000:80

2. 关键监控指标

• 集群级别：Node资源使用率、Pod数量、API Server延迟。
• 应用级别：自定义指标（如QPS、错误率）。
• 告警规则：示例（Prometheus Alertmanager配置）：

  groups:
  - name: example
    rules:
    - alert: HighCPUUsage
      expr: sum(rate(container_cpu_usage_seconds_total{namespace="prod"}[5m])) > 0.8
      for: 10m
      labels:
        severity: critical
      annotations:
        summary: "High CPU usage in prod namespace"

3. 最佳实践

• 标签设计：为指标添加namespace、pod、container等标签，便于过滤。
• 采样频率：高频指标（如CPU）采样10-15秒，低频指标（如业务指标）采样1分钟。
• 存储优化：使用Prometheus的retention.time参数限制历史数据存储周期。

三、K8s日志管理：集中化与结构化

1. 日志收集方案

K8s日志分为两类：

• 节点日志：/var/log下的系统日志。
• 容器日志：通过stdout/stderr输出，由容器运行时（如Docker）管理。

方案对比

方案	优点	缺点
EFK栈	功能强大，支持全文检索	资源消耗高，配置复杂
Loki + Promtail	轻量级，按标签查询	检索功能较弱
Fluentd + Elasticsearch	企业级支持，插件丰富	运维成本高

推荐方案：Loki + Promtail + Grafana

# Promtail配置示例（采集容器日志）
apiVersion: v1
kind: ConfigMap
metadata:
  name: promtail-config
data:
  promtail.yaml: |
    server:
      http_listen_port: 3101
    positions:
      filename: /tmp/positions.yaml
    clients:
      - url: http://loki:3100/loki/api/v1/push
    scrape_configs:
      - job_name: kubernetes-pods
        kubernetes_sd_configs:
          - role: pod
        relabel_configs:
          - source_labels: [__meta_kubernetes_pod_label_app]
            target_label: app

2. 日志结构化

通过日志格式化工具（如logrus、zap）输出JSON格式日志，便于查询：

// Go示例：结构化日志
logger := logrus.New()
logger.SetFormatter(&logrus.JSONFormatter{})
logger.WithFields(logrus.Fields{
  "event": "order_created",
  "user_id": 123,
}).Info("Order processed")

3. 查询技巧

• Loki查询语法：

  {app="nginx"} |= "error" | json | line_format "{{.msg}} @ {{.timestamp}}"

• Grafana日志面板：结合监控指标和日志，快速定位异常时间点。

四、实战案例：排查Pod崩溃

1. 场景描述

某Pod频繁重启，监控显示内存使用率突增后归零（符合OOMKill特征）。

2. 排查步骤

1. 查看Pod事件：

   kubectl describe pod <pod-name>

   输出中可能包含OOMKilled事件。

2. 查询日志：

   # 通过kubectl直接查看最后100行日志
   kubectl logs --tail=100 <pod-name>
   # 或通过Loki查询

3. 分析监控数据：

   • 在Grafana中查看该Pod的内存使用曲线。
   • 对比内存限制（resources.limits.memory）和实际使用量。

4. 修复方案：

   • 调整内存请求/限制：

     resources:
       requests:
         memory: "256Mi"
       limits:
         memory: "512Mi"

   • 优化应用代码，减少内存泄漏。

五、进阶建议

1. 统一可观测性平台：考虑使用OpenTelemetry标准，统一监控、日志和追踪数据。
2. SRE实践：制定SLO（服务水平目标），如“99%的请求延迟<500ms”，通过监控数据验证。
3. 成本优化：根据监控数据调整资源配额，避免过度分配。

总结

K8s的可观测性是运维高效集群的基础。通过Prometheus + Grafana监控资源指标，结合Loki + Promtail管理日志，开发者可以快速定位问题并优化系统。建议初学者从Minikube环境开始实践，逐步过渡到生产级方案。