一、HDFS单机部署概述

HDFS（Hadoop Distributed File System）是Apache Hadoop的核心组件之一，主要用于存储大规模数据集。单机部署模式适用于开发测试、学习研究等场景，无需搭建完整的Hadoop集群即可体验HDFS的核心功能。本文将详细介绍在CentOS 7系统上如何完成HDFS单机版的部署，包括环境准备、软件安装、配置调整及启动验证等关键步骤。

二、环境准备与系统要求

2.1 操作系统选择

推荐使用CentOS 7或更高版本（x86_64架构），该版本对Hadoop生态支持良好且稳定性高。部署前需确保系统已更新至最新状态：

sudo yum update -y

2.2 依赖组件安装

HDFS运行依赖Java环境，需提前安装JDK 8或更高版本。推荐使用OpenJDK：

sudo yum install -y java-1.8.0-openjdk-devel

验证安装结果：

java -version
# 应输出类似：openjdk version "1.8.0_352"

2.3 网络与防火墙配置

关闭SELinux和防火墙以避免权限问题（仅限测试环境）：

sudo systemctl stop firewalld
sudo systemctl disable firewalld
sudo setenforce 0

三、Hadoop安装与配置

3.1 下载与解压

从Apache官网获取Hadoop 3.x稳定版（如3.3.6）：

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzvf hadoop-3.3.6.tar.gz -C /opt/
sudo ln -s /opt/hadoop-3.3.6 /opt/hadoop

3.2 环境变量配置

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

执行source ~/.bashrc使配置生效。

3.3 核心配置文件调整

3.3.1 hadoop-env.sh

设置JAVA_HOME路径：

echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh

3.3.2 core-site.xml

配置HDFS默认访问地址和临时目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

3.3.3 hdfs-site.xml

设置副本数为1（单机模式）：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

四、HDFS启动与验证

4.1 格式化文件系统

首次启动前需格式化NameNode：

hdfs namenode -format
# 看到"Storage directory ... has been successfully formatted"表示成功

4.2 启动HDFS服务

$HADOOP_HOME/sbin/start-dfs.sh
# 验证进程是否运行
jps | grep -E 'NameNode|DataNode|SecondaryNameNode'

4.3 基础操作测试

创建测试目录并上传文件：

hdfs dfs -mkdir /test
hdfs dfs -put $HADOOP_HOME/README.txt /test/
hdfs dfs -ls /test

五、常见问题与解决方案

5.1 权限拒绝错误

现象：Permission denied
解决：检查hadoop.tmp.dir目录权限，确保运行用户有读写权限：

sudo chown -R $(whoami):$(whoami) /opt/hadoop/tmp

5.2 端口冲突

现象：Address already in use
解决：修改core-site.xml中的端口号，或终止占用进程：

netstat -tulnp | grep 9000
kill -9 <PID>

5.3 日志分析

关键日志文件位于$HADOOP_HOME/logs/，推荐使用：

tail -f $HADOOP_HOME/logs/hadoop-$(whoami)-namenode-*.log

六、优化建议

1. 内存配置：在mapred-site.xml中调整JVM堆大小：

   <property>
       <name>mapreduce.map.memory.mb</name>
       <value>1024</value>
   </property>

2. 数据压缩：启用Snappy压缩减少存储空间：

   <property>
       <name>io.compression.codecs</name>
       <value>org.apache.hadoop.io.compress.SnappyCodec</value>
   </property>

3. 监控集成：通过Ganglia或Prometheus监控HDFS指标

七、总结与扩展

通过本文的步骤，读者可在CentOS系统上快速搭建功能完整的HDFS单机环境。此模式适用于：

• 本地开发测试
• Hadoop原理学习
• 小规模数据处理

如需扩展为集群模式，需额外配置：

1. 修改workers文件指定DataNode主机
2. 配置SSH免密登录
3. 调整hdfs-site.xml中的副本数参数

建议定期备份$HADOOP_HOME/etc/hadoop/配置文件，并关注Apache官方安全公告及时升级版本。