一、技术背景与核心价值

在云原生架构中，持久化存储是保障有状态应用稳定运行的关键基础设施。Ceph作为开源分布式存储系统，凭借其高可用性、弹性扩展和统一存储接口（块/文件/对象）特性，成为Kubernetes环境下的理想存储后端。通过集成Ceph块存储（RBD），Kubernetes可实现动态卷供给（Dynamic Provisioning）、快照管理、跨节点数据一致性等高级功能，尤其适用于数据库、中间件等I/O敏感型应用。

1.1 架构优势分析

• 解耦设计：Kubernetes通过CSI（Container Storage Interface）标准接口与Ceph交互，实现存储控制面与数据面的分离
• 资源利用率：Ceph的CRUSH算法实现数据自动均衡，避免热点问题
• 运维效率：动态卷供给机制消除手动创建PV（Persistent Volume）的繁琐操作
• 企业级特性：支持QoS控制、加密存储、跨区域复制等生产级功能

二、对接前环境准备

2.1 Ceph集群部署要求

• 版本兼容性：建议使用Ceph Nautilus（14.2.x）或更高版本，与Kubernetes 1.14+的CSI驱动兼容
• 存储池配置：

  ceph osd pool create kube_rbd_pool 128 128 replicated
  ceph osd pool application enable kube_rbd_pool rbd

• 密钥管理：创建专用客户端用户并授权

  ceph auth get-or-create client.kube mon 'profile rbd' osd 'profile rbd pool=kube_rbd_pool' mgr 'profile rbd pool=kube_rbd_pool'

2.2 Kubernetes节点要求

• 内核参数优化：

  # 修改/etc/sysctl.conf
  vm.dirty_background_ratio = 5
  vm.dirty_ratio = 15
  vm.swappiness = 1

• RBD内核模块加载：

  modprobe rbd
  echo "rbd" > /etc/modules-load.d/rbd.conf

三、CSI驱动部署实践

3.1 组件安装流程

1. 下载官方CSI驱动：

   git clone https://github.com/ceph/ceph-csi.git
   cd ceph-csi/deploy/rbd/kubernetes

2. 配置Secret对象：

   apiVersion: v1
   kind: Secret
   metadata:
     name: csi-rbd-secret
     namespace: kube-system
   stringData:
     userID: kube
     userKey: AQD123...==  # 从ceph auth get输出获取

3. 部署核心组件：

   kubectl apply -f csi-config-map.yaml
   kubectl apply -f csi-rbdplugin-provisioner.yaml
   kubectl apply -f csi-rbdplugin.yaml

3.2 存储类配置详解

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: ceph-block
provisioner: rbd.csi.ceph.com
parameters:
   clusterID: ceph-cluster-id  # 通过ceph mon dump获取fsid
   pool: kube_rbd_pool
   imageFormat: "2"
   imageFeatures: "layering"
   csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
   csi.storage.k8s.io/provisioner-secret-namespace: kube-system
   csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
   csi.storage.k8s.io/node-stage-secret-namespace: kube-system
reclaimPolicy: Delete
allowVolumeExpansion: true

四、动态卷供给实战

4.1 PVC创建示例

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: ceph-block
  resources:
    requests:
      storage: 20Gi

4.2 应用集成方案

apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql
spec:
  selector:
    matchLabels:
      app: mysql
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - name: mysql
        image: mysql:5.7
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: "password"
        volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql
      volumes:
      - name: mysql-data
        persistentVolumeClaim:
          claimName: mysql-pvc

五、高级功能实现

5.1 快照与恢复

# 创建快照类
kubectl apply -f snapshotclass.yaml
# 创建PVC快照
kubectl apply -f pvc-snapshot.yaml
# 从快照恢复
kubectl apply -f restore-pvc.yaml

5.2 拓扑感知调度

通过allowedTopologies参数实现区域感知：

parameters:
  topologyAware: "true"
  allowedTopologies: |
    [
      {
        "segments": {
          "topology.rbd.csi.ceph.com/zone": "zone-a"
        }
      }
    ]

六、故障排查指南

6.1 常见问题诊断

现象	可能原因	解决方案
PVC卡在Pending状态	存储类配置错误	检查StorageClass参数
容器启动失败	RBD镜像未找到	验证pool名称和imageFeatures
性能下降	内核模块未加载	执行modprobe rbd并检查dmesg

6.2 日志收集方法

# CSI驱动日志
kubectl logs -n kube-system csi-rbdplugin-<pod-id> -c driver-registrar
kubectl logs -n kube-system csi-rbdplugin-provisioner-<pod-id> -c csi-provisioner
# Ceph集群状态
ceph -s
ceph osd pool stats kube_rbd_pool

七、生产环境优化建议

1. 性能调优：

   • 调整rbd_cache参数（需内核支持）
   • 配置多路径I/O（当使用iSCSI网关时）

2. 高可用设计：

   • 部署多个CSI节点插件
   • 使用AntiAffinity规则分散Pod

3. 监控方案：

   • Prometheus+Grafana监控Ceph集群健康度
   • 自定义Exporter监控RBD卷性能指标

通过上述技术方案，企业可构建起弹性、可靠的云原生存储基础设施。实际部署时建议先在测试环境验证存储类配置，再逐步推广到生产环境。对于超大规模集群，可考虑使用Ceph的EC（Erasure Coding）池替代复制池以降低存储成本。