第29讲：Ceph集群使用RBD块存储设备与K8S的PV集成

一、技术背景与核心价值

在现代云原生架构中，Ceph RBD（RADOS Block Device）作为企业级分布式块存储解决方案，与Kubernetes PV（Persistent Volume）的深度集成，为有状态应用提供了高可靠、高性能的存储支持。这种集成方案具有三大核心优势：

1. 数据持久性保障：RBD的多副本机制确保数据安全
2. 动态供给能力：通过StorageClass实现按需分配存储资源
3. 跨节点共享：支持ReadWriteMany访问模式（需内核支持）

二、前置条件准备

2.1 Ceph集群基础配置

• 已部署正常运行的Ceph集群（建议Luminous及以上版本）
• 创建专门用于K8S的存储池（示例命令）：

  ceph osd pool create kube_pool 128 128
  ceph auth get-or-create client.kube mon 'allow r' osd 'allow rwx pool=kube_pool'

2.2 Kubernetes环境要求

• 所有Worker节点需安装ceph-common工具包
• 内核支持RBD模块（建议4.14+版本）
• 配置kubelet的--allow-privileged=true参数

三、详细集成步骤

3.1 创建Ceph Secret

在K8S中存储Ceph认证信息（base64编码替换实际值）：

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"  
data:
  key: QVFB...（ceph auth get-key client.kube的输出）

3.2 定义StorageClass

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ceph-rbd
provisioner: kubernetes.io/rbd
parameters:
  monitors: 10.0.0.1:6789,10.0.0.2:6789
  pool: kube_pool
  adminId: kube
  adminSecretName: ceph-secret
  userId: kube
  userSecretName: ceph-secret
  fsType: ext4
  imageFormat: "2"
  imageFeatures: layering

3.3 PV/PVC使用示例

静态供给场景：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: ceph-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  rbd:
    monitors:
      - 10.0.0.1:6789
    pool: kube_pool
    image: kube-image
    user: kube
    secretRef:
      name: ceph-secret
    fsType: ext4
    readOnly: false
  persistentVolumeReclaimPolicy: Retain

四、关键问题排查

4.1 常见报错处理

• RBD映射失败：检查内核模块modprobe rbd及节点权限
• 权限拒绝：验证secret内容与Ceph集群auth配置匹配
• 多节点挂载冲突：确认镜像配置了imageFeatures: layering

4.2 性能优化建议

1. 使用CRUSH tunables优化数据分布
2. 为K8S工作负载单独配置OSD组
3. 调整RBD缓存参数：

   rbd_cache = true
   rbd_cache_size = 64MB

五、生产环境最佳实践

1. 监控集成：通过Prometheus采集Ceph和K8S存储指标
2. 备份策略：结合Velero实现PV快照备份
3. 多集群方案：使用CephFS作为跨集群共享存储的补充

六、版本兼容性矩阵

Ceph版本	Kubernetes版本	特性支持
Luminous	v1.14+	基础RBD
Nautilus	v1.18+	拓扑感知
Pacific	v1.22+	CSI驱动

注：建议在新环境优先使用Ceph-CSI驱动程序，可获得更好的生命周期管理能力。

通过本文的详细指导，开发者可以构建出企业级的云原生存储解决方案，有效解决有状态应用在K8S中的存储需求。实际部署时，建议先进行POC验证，再逐步推广到生产环境。