CentOS上HDFS单机模式部署指南：从零开始搭建存储环境

引言

HDFS（Hadoop Distributed File System）作为Hadoop生态的核心组件，以其高容错性和可扩展性被广泛应用于大数据存储场景。尽管其分布式特性是优势，但在开发测试或小型项目中，单机模式部署因其轻量级和低资源消耗成为更优选择。本文将详细介绍在CentOS系统上部署HDFS单机模式的完整流程，涵盖环境准备、安装配置、启动验证及常见问题处理，帮助开发者快速搭建本地存储环境。

一、环境准备

1.1 操作系统要求

CentOS 7/8是HDFS部署的常见选择，其稳定性和兼容性经过广泛验证。建议使用CentOS 7.9或CentOS 8.5版本，避免因系统版本过旧导致依赖冲突。部署前需确保系统为最小化安装，减少不必要的服务占用资源。

1.2 Java环境配置

HDFS依赖Java运行环境，需安装OpenJDK 8或11。以OpenJDK 8为例，执行以下命令：

sudo yum install -y java-1.8.0-openjdk-devel

安装完成后，通过java -version验证版本，确保输出包含1.8.0_xxx字样。同时设置JAVA_HOME环境变量，编辑/etc/profile文件，添加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH

执行source /etc/profile使配置生效。

1.3 防火墙与SELinux配置

HDFS默认使用9000（NameNode RPC）和50070（Web UI）端口，需开放这些端口。通过firewall-cmd命令临时开放端口：

sudo firewall-cmd --add-port={9000,50070}/tcp --permanent
sudo firewall-cmd --reload

同时，临时禁用SELinux以避免权限问题：

sudo setenforce 0

长期解决方案是编辑/etc/selinux/config文件，将SELINUX=enforcing改为SELINUX=disabled，并重启系统。

二、Hadoop安装与配置

2.1 下载与解压

从Apache官网下载Hadoop 3.x稳定版本（如3.3.6），推荐使用wget直接下载：

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

解压到/opt目录：

sudo tar -zxvf hadoop-3.3.6.tar.gz -C /opt
sudo mv /opt/hadoop-3.3.6 /opt/hadoop

设置Hadoop环境变量，编辑/etc/profile，添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

执行source /etc/profile使配置生效。

2.2 核心配置文件修改

2.2.1 hadoop-env.sh

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh，设置JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2.2.2 core-site.xml

配置HDFS的默认文件系统URI和NameNode地址：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.2.3 hdfs-site.xml

设置副本数为1（单机模式无需冗余），并指定数据存储目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/data/dfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/data/dfs/name</value>
    </property>
</configuration>

创建数据目录并设置权限：

sudo mkdir -p /opt/hadoop/data/dfs/{name,data}
sudo chown -R $(whoami):$(whoami) /opt/hadoop/data

三、启动与验证

3.1 格式化NameNode

首次启动前需格式化NameNode：

hdfs namenode -format

输出中看到Storage directory /opt/hadoop/data/dfs/name has been successfully formatted表示成功。

3.2 启动HDFS服务

依次启动NameNode和DataNode：

$HADOOP_HOME/sbin/start-dfs.sh

通过jps命令验证进程：

NameNode
DataNode
SecondaryNameNode

3.3 访问Web UI

浏览器访问http://localhost:50070，若看到HDFS管理界面（显示1个Live Node）则部署成功。

四、常见问题处理

4.1 端口冲突

若启动失败，检查端口占用：

netstat -tulnp | grep {9000,50070}

使用kill -9 <PID>终止冲突进程。

4.2 权限不足

若DataNode启动失败，检查数据目录权限：

ls -ld /opt/hadoop/data/dfs/data

确保当前用户有读写权限，必要时执行：

sudo chown -R $(whoami):$(whoami) /opt/hadoop/data

4.3 版本兼容性

Hadoop 3.x与Java 11兼容性更好，若使用Java 11，需在hadoop-env.sh中添加：

export HADOOP_OPTS="--add-opens java.base/java.lang=ALL-UNNAMED"

五、优化建议

5.1 资源限制调整

编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml（需从模板复制），设置内存参数：

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>512</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
</property>

5.2 日志管理

配置$HADOOP_HOME/etc/hadoop/log4j.properties，设置日志级别为INFO，避免过多调试信息。

结论

通过本文的步骤，开发者可在CentOS上快速部署HDFS单机模式，满足本地开发测试需求。实际生产环境中，需根据业务规模调整副本数、块大小等参数，并考虑高可用方案。建议定期备份NameNode元数据（/opt/hadoop/data/dfs/name目录），以防止数据丢失。