第29讲：Ceph集群使用RBD块存储设备与K8S的PV集成

一、技术背景与核心价值

在云原生架构中，Ceph RBD（RADOS Block Device）作为企业级分布式块存储解决方案，与Kubernetes PV（Persistent Volume）的深度集成，能够为容器化应用提供高性能、高可靠的持久化存储能力。这种集成方式解决了以下关键问题：

1. 数据持久化需求：确保Pod重启或迁移时数据不丢失
2. 存储资源动态供给：通过StorageClass实现按需分配
3. 企业级存储特性：支持快照、克隆、多副本等高级功能

二、环境准备与前置条件

2.1 Ceph集群配置要求

• 已部署健康的Ceph集群（至少3个OSD节点）
• 创建专用RBD存储池（如k8s-pool）

  ceph osd pool create k8s-pool 128 128
  rbd pool init k8s-pool

• 生成K8S访问所需的认证密钥

  ceph auth get-or-create client.k8s mon 'allow r' osd 'allow rwx pool=k8s-pool'

2.2 Kubernetes集群要求

• 已部署1.14+版本Kubernetes集群
• 所有节点安装ceph-common工具包
• 配置kubelet的--allow-privileged=true参数

三、详细集成步骤

3.1 创建Kubernetes Secret

将Ceph密钥编码为base64后存入Secret：

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"  
data:
  key: QVFB...（base64编码的ceph密钥）

3.2 定义StorageClass

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ceph-rbd
provisioner: rbd.csi.ceph.com
parameters:
  clusterID: ceph-cluster
  pool: k8s-pool
  imageFormat: "2"
  imageFeatures: layering
  csi.storage.k8s.io/provisioner-secret-name: ceph-secret
  csi.storage.k8s.io/node-stage-secret-name: ceph-secret
reclaimPolicy: Delete
allowVolumeExpansion: true

3.3 创建PersistentVolumeClaim

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ceph-rbd-pvc
spec:
  storageClassName: ceph-rbd
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi

四、高级配置与优化

4.1 多副本配置

通过CRUSH规则实现跨机架数据分布：

ceph osd crush rule create-replicated k8s-rule default host 3

4.2 性能调优参数

parameters:
  mapOptions: "krbd:rxbounce=true"
  mounter: "krbd"
  unmapDelay: "20"

五、故障排查指南

5.1 常见错误及解决方案

错误现象	可能原因	解决方法
rbd: failed to create rbd image	存储池配额不足	检查ceph df并调整配额
multipathd timeout	内核参数未优化	调整/etc/sysctl.conf中的vm.dirty_*参数
Permission denied	密钥不匹配	重新生成并验证Secret

六、生产环境最佳实践

1. 资源隔离：为不同业务创建独立存储池
2. 监控集成：配置Prometheus监控RBD IOPS和延迟
3. 备份策略：定期执行rbd snap create和rbd export
4. 版本兼容性矩阵：
   • Ceph Nautilus+ 对应 Kubernetes 1.17+
   • CSI驱动版本 >= v3.0.0

七、延伸阅读

1. 使用RBD镜像克隆实现快速实例部署
2. 通过RBD Mirroring实现跨集群数据同步
3. 结合Topology实现本地卷优化

通过本文的完整实践路线，开发者可以构建出生产级可用的Ceph RBD与Kubernetes PV集成方案，充分释放分布式存储在云原生环境中的价值。