一、多硬盘存储的技术选型与场景分析

在CentOS系统中配置多硬盘存储时，需根据业务需求选择技术方案。常见的存储架构包括：

1. 硬件RAID：通过主板或独立RAID卡实现，提供高性能和硬件级冗余，但成本较高且灵活性受限。
2. 软件RAID（mdadm）：基于Linux内核的软RAID方案，支持RAID0/1/5/6/10等模式，无需专用硬件，适合预算有限的环境。
3. LVM（逻辑卷管理）：提供动态扩容、快照和灵活的空间分配能力，可与RAID结合使用，构建弹性存储。
4. 分布式存储（如Ceph、GlusterFS）：适用于大规模数据存储和横向扩展场景，但配置复杂度较高。

典型场景：

• 数据库服务器：优先选择RAID10（条带化+镜像）以平衡性能与数据安全。
• 文件服务器：RAID5或RAID6可节省硬盘空间，同时提供单盘或双盘容错。
• 虚拟化环境：LVM+精简配置可实现动态资源分配，避免空间浪费。

二、软件RAID（mdadm）的配置与实战

1. 安装与基础命令

# 安装mdadm工具
yum install mdadm -y
# 查看可用硬盘
lsblk -d -o NAME,ROTA,SIZE,MODEL

ROTA=1表示机械硬盘，ROTA=0为SSD。根据硬盘类型选择RAID级别（如SSD适合RAID0，机械盘适合RAID5/6）。

2. 创建RAID阵列（以RAID5为例）

# 假设使用/dev/sdb、/dev/sdc、/dev/sdd三块盘
mdadm --create /dev/md0 --level=5 --raid-devices=3 /dev/sdb /dev/sdc /dev/sdd
# 查看阵列状态
cat /proc/mdstat
# 输出示例：
# Personalities : [raid6] [raid5] [raid4]
# md0 : active raid5 sdd[3] sdc[1] sdb[0]
#       41908224 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]

3. 阵列管理关键操作

• 故障模拟与恢复：
  ```bash

  标记硬盘为故障

  mdadm /dev/md0 —fail /dev/sdb

从阵列移除硬盘

mdadm /dev/md0 —remove /dev/sdb

添加新硬盘（假设/dev/sde为替换盘）

mdadm /dev/md0 —add /dev/sde

同步阵列（重建过程可通过watch cat /proc/mdstat监控）

- **阵列扩容**（仅限支持在线扩容的RAID级别）：
```bash
# 添加新硬盘到现有阵列
mdadm /dev/md0 --add /dev/sdf
# 扩展阵列容量（需文件系统支持，如XFS或ext4）
mdadm --grow /dev/md0 --raid-devices=4

三、LVM逻辑卷管理的深度实践

1. 初始化物理卷与卷组

# 将RAID设备或普通硬盘初始化为物理卷
pvcreate /dev/md0 /dev/sde
# 创建卷组（VG）
vgcreate vg_data /dev/md0 /dev/sde
# 查看卷组信息
vgdisplay vg_data

2. 逻辑卷（LV）的创建与动态调整

# 创建逻辑卷（LV）
lvcreate -L 10T -n lv_mysql vg_data
# 扩展逻辑卷（在线扩容，无需卸载）
lvextend -L +5T /dev/vg_data/lv_mysql
# 缩减逻辑卷（需先缩减文件系统，存在数据风险）
# 1. 检查文件系统类型（如ext4需先执行resize2fs）
resize2fs /dev/vg_data/lv_mysql 8T
# 2. 缩减LV
lvreduce -L 8T /dev/vg_data/lv_mysql

3. LVM快照与数据保护

# 创建快照（需预留空间）
lvcreate --size 1T --snapshot --name snap_mysql /dev/vg_data/lv_mysql
# 挂载快照（用于备份或恢复）
mount /dev/vg_data/snap_mysql /mnt/backup
# 删除快照（任务完成后）
lvremove /dev/vg_data/snap_mysql

四、文件系统选择与性能优化

1. 常用文件系统对比

文件系统	适用场景	特性
XFS	大文件存储、高并发	支持16EB文件，延迟分配，快照
ext4	通用场景	日志型，支持16TB文件，兼容性好
Btrfs	高级功能需求	写时复制，快照，压缩

2. 格式化与挂载优化

# 格式化为XFS（推荐RAID/LVM场景）
mkfs.xfs -f /dev/vg_data/lv_mysql
# 挂载时启用性能选项
echo "/dev/vg_data/lv_mysql /data xfs defaults,noatime,nobarrier 0 0" >> /etc/fstab
mount -a

• noatime：避免更新文件访问时间，减少磁盘I/O。
• nobarrier：禁用写屏障（需电池备份的RAID卡支持，否则可能损坏数据）。

五、监控与故障排查

1. 关键监控工具

# 磁盘I/O监控
iostat -x 1
# 输出示例：
# Device    r/s   w/s   rkB/s   wkB/s avgrq-sz avgqu-sz   await  svctm  %util
# sda      0.1  10.2    4.0   102.4    20.0     0.05    4.8    0.5    5.2
# RAID阵列健康检查
mdadm --detail /dev/md0
# LVM物理卷状态
pvs -o+pv_used

2. 常见故障处理

• 硬盘离线：

  1. 确认硬盘故障（检查/var/log/messages）。
  2. 替换硬盘后执行mdadm --manage /dev/md0 --add /dev/sdb。
  3. 监控重建进度（cat /proc/mdstat）。

• LVM无法识别：

  1. 检查pvscan是否找到物理卷。
  2. 若VG状态为exported，执行vgimport vg_data。
  3. 激活卷组：vgchange -ay vg_data。

六、企业级部署建议

1. 硬盘选型：

   • 数据库场景：选择企业级SSD（如Intel DC P3700）或15K SAS盘。
   • 冷存储场景：使用高密度大容量硬盘（如8TB+ SATA盘）。

2. RAID级别选择：

   • RAID10：适合I/O密集型应用（如MySQL、MongoDB）。
   • RAID6：适合归档存储，容忍双盘故障。

3. 备份策略：

   • 定期备份LVM快照至异地存储。
   • 结合rsync或BorgBackup实现增量备份。

4. 性能调优：

   • 调整/etc/sysctl.conf中的I/O调度器（如deadline适合RAID）。
   • 启用多队列块设备（mq-deadline或kyber）。

通过合理组合RAID、LVM和文件系统技术，CentOS系统可构建出既高效又可靠的存储解决方案。实际部署时，需根据业务负载、数据安全要求和预算进行权衡，并定期进行压力测试和故障演练，确保存储架构的稳定性。