一、多硬盘存储方案概述

在CentOS系统中，通过多块硬盘组建存储阵列可以显著提升数据安全性、读写性能和存储容量。常见的实现方式包括硬件RAID、软件RAID（通过mdadm工具）和LVM（逻辑卷管理）技术。硬件RAID依赖专用控制器，而软件RAID和LVM则完全基于操作系统实现，具有更高的灵活性和成本优势。

1.1 方案选择依据

• 数据安全性要求：RAID 1/5/6提供冗余保护，适合关键业务数据
• 性能需求：RAID 0可提升读写速度，但无数据保护
• 扩展性要求：LVM支持在线扩容，适合动态增长的存储需求
• 预算限制：软件方案无需额外硬件投入

二、软件RAID实现步骤

2.1 准备工作

1. 硬件检查：

   lsblk  # 查看已连接磁盘
   fdisk -l  # 确认磁盘设备名（如/dev/sdb, /dev/sdc）

2. 分区规划（可选）：

   fdisk /dev/sdb  # 创建新分区表
   # 按提示创建主分区，类型设为"FD"（Linux RAID）

2.2 创建RAID阵列

RAID 1（镜像）示例：

mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1

参数说明：

• --level：指定RAID级别
• --raid-devices：参与阵列的磁盘数
• 最后列出所有成员设备

RAID 5（条带化+分布式奇偶校验）示例：

mdadm --create /dev/md0 --level=5 --raid-devices=3 /dev/sdb1 /dev/sdc1 /dev/sdd1

2.3 阵列状态监控

cat /proc/mdstat  # 查看阵列同步进度
mdadm --detail /dev/md0  # 获取详细状态

2.4 持久化配置

1. 保存阵列信息：

   mdadm --detail --scan >> /etc/mdadm.conf

2. 更新initramfs：

   dracut -f  # CentOS 7/8

三、LVM逻辑卷管理

3.1 基础概念

LVM通过将物理卷（PV）组成卷组（VG），再从VG划分逻辑卷（LV），实现：

• 动态扩容/缩容
• 快照功能
• 灵活分配存储空间

3.2 实施步骤

创建物理卷：

pvcreate /dev/md0  # 对RAID设备操作
# 或直接使用物理磁盘：
pvcreate /dev/sdb /dev/sdc

创建卷组：

vgcreate vg_data /dev/md0  # 将单个PV加入VG
# 或组合多个PV：
vgcreate vg_data /dev/sdb /dev/sdc

创建逻辑卷：

lvcreate -L 10T -n lv_data vg_data  # 创建10TB逻辑卷
# 或使用全部可用空间：
lvcreate -l 100%FREE -n lv_data vg_data

格式化与挂载：

mkfs.xfs /dev/vg_data/lv_data  # 推荐XFS文件系统
mkdir /mnt/data
echo "/dev/vg_data/lv_data /mnt/data xfs defaults 0 0" >> /etc/fstab
mount -a

四、高级应用场景

4.1 逻辑卷扩展

1. 扩展物理卷（需有额外磁盘）：

   pvcreate /dev/sdd
   vgextend vg_data /dev/sdd

2. 扩展逻辑卷：

   lvextend -L +5T /dev/vg_data/lv_data  # 增加5TB
   # 对于XFS文件系统：
   xfs_growfs /mnt/data

4.2 逻辑卷快照

lvcreate --size 100G --snapshot --name snap_data /dev/vg_data/lv_data
mount -o ro /dev/vg_data/snap_data /mnt/snapshot

4.3 跨主机共享存储（iSCSI目标）

1. 安装targetcli：

   yum install targetcli-fb

2. 配置iSCSI LUN：

   targetcli
   > /backstores/block create storage_block /dev/vg_data/lv_data
   > /iscsi create iqn.2023-04.com.example:storage.target
   > /iscsi/iqn.2023-04.com.example:storage.target/tpg1/luns create /backstores/block/storage_block
   > /iscsi/iqn.2023-04.com.example:storage.target/tpg1/acls create iqn.2023-04.com.example:client.initator
   > saveconfig
   > exit

五、性能优化建议

1. RAID级别选择：

   • 读写均衡：RAID 10（结合RAID 1+0）
   • 大容量存储：RAID 6（双盘容错）
   • 成本敏感：RAID 5（单盘容错）

2. 文件系统选择：

   • 大文件存储：XFS（支持16EB文件系统）
   • 小文件密集：ext4（更低的元数据开销）

3. I/O调度器调整：

   # 对于SSD/RAID阵列推荐deadline调度器
   echo deadline > /sys/block/sdX/queue/scheduler

4. 多路径配置（适用于SAN环境）：

   yum install device-mapper-multipath
   systemctl enable --now multipathd
   mpathconf --enable

六、故障排查指南

6.1 常见问题处理

1. 阵列降级：

   mdadm --manage /dev/md0 --add /dev/sdd1  # 替换故障盘

2. LVM无法识别：

   pvscan  # 扫描物理卷
   vgscan --mknodes  # 重建设备节点

3. 挂载失败：

   dmesg | grep error  # 查看内核日志
   xfs_repair /dev/vg_data/lv_data  # 修复XFS文件系统

6.2 监控工具推荐

• 基础监控：iostat -x 1（查看I/O延迟）
• LVM专用：lvs -a -o +devices（显示逻辑卷细节）
• RAID监控：mdadm --monitor /dev/md0（设置邮件告警）

七、最佳实践总结

1. 数据保护三原则：

   • 实施定期备份（推荐BorgBackup或Restic）
   • 保持至少一份异地备份
   • 定期测试恢复流程

2. 性能调优建议：

   • 对关键业务应用使用RAID 10
   • 将日志文件与数据文件分离到不同卷组
   • 考虑使用SSD缓存层（如bcache）

3. 维护计划：

   • 每月执行阵列一致性检查
   • 每季度更新固件和内核
   • 每年进行存储架构评审

通过合理组合RAID技术和LVM管理，CentOS系统可以构建出既满足性能需求又具备高可用性的存储解决方案。实际实施时，建议先在测试环境验证配置，再逐步迁移到生产环境。