Hadoop单机环境搭建指南：从零开始部署与配置

摘要

Hadoop作为分布式计算的基石，其单机环境搭建是学习与实践的起点。本文从系统环境准备、Hadoop安装与配置、环境变量设置、格式化文件系统到运行测试程序，系统化地讲解了Hadoop单机部署的全流程。通过分步解析与代码示例，帮助开发者快速掌握Hadoop核心组件的配置方法，为后续分布式集群搭建奠定基础。

一、环境准备：硬件与软件要求

1.1 硬件配置建议

单机部署Hadoop需满足最低硬件要求：CPU核心数≥2（推荐4核）、内存≥8GB（推荐16GB）、磁盘空间≥50GB（SSD更佳）。虽然Hadoop设计用于分布式环境，但单机模式通过伪分布式配置模拟集群行为，对硬件资源的要求相对较低。

1.2 操作系统选择

推荐使用Linux发行版（如Ubuntu 20.04 LTS或CentOS 7），因其对Hadoop生态支持完善。Windows系统需通过WSL2或Cygwin模拟Linux环境，但可能存在兼容性问题。以Ubuntu为例，需确保系统更新至最新状态：

sudo apt update && sudo apt upgrade -y

1.3 Java环境配置

Hadoop依赖Java运行环境，需安装OpenJDK 8或11。通过以下命令安装并验证：

sudo apt install openjdk-8-jdk -y
java -version  # 应输出OpenJDK版本信息

设置JAVA_HOME环境变量，编辑~/.bashrc文件：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
source ~/.bashrc

二、Hadoop安装与配置

2.1 下载与解压

从Apache官网下载稳定版Hadoop（如3.3.4），解压至指定目录：

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
sudo ln -s /opt/hadoop-3.3.4 /opt/hadoop  # 创建软链接

2.2 核心配置文件修改

2.2.1 hadoop-env.sh配置

编辑/opt/hadoop/etc/hadoop/hadoop-env.sh，指定Java路径：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.2.2 core-site.xml配置

定义HDFS默认名称节点和临时目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

2.2.3 hdfs-site.xml配置

设置副本数为1（单机模式无需冗余）：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

2.2.4 mapred-site.xml配置

指定MapReduce框架为YARN：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.2.5 yarn-site.xml配置

配置YARN资源管理器地址：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

三、环境变量与权限设置

3.1 全局环境变量配置

编辑/etc/profile，添加Hadoop路径：

echo 'export HADOOP_HOME=/opt/hadoop' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

3.2 目录权限调整

创建HDFS临时目录并授权：

sudo mkdir -p /opt/hadoop/tmp
sudo chown -R $(whoami):$(whoami) /opt/hadoop

四、启动与验证

4.1 格式化HDFS文件系统

首次启动前需格式化NameNode：

hdfs namenode -format

输出中应包含Storage directory /opt/hadoop/tmp/dfs/name has been successfully formatted。

4.2 启动Hadoop服务

依次启动HDFS和YARN：

start-dfs.sh  # 启动NameNode/DataNode/SecondaryNameNode
start-yarn.sh # 启动ResourceManager/NodeManager

通过jps命令验证进程：

NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

4.3 运行测试程序

创建HDFS输入目录并上传文件：

hdfs dfs -mkdir /input
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /input

运行WordCount示例：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output

查看结果：

hdfs dfs -cat /output/part-r-00000

五、常见问题与解决方案

5.1 端口冲突

若9000、8088等端口被占用，需修改配置文件中的端口号或终止占用进程：

sudo netstat -tulnp | grep 9000
sudo kill -9 <PID>

5.2 权限拒绝错误

检查/opt/hadoop/tmp目录权限，确保当前用户有读写权限。

5.3 Java版本不兼容

Hadoop 3.x推荐使用Java 8或11，Java 17可能导致兼容性问题。通过java -version确认版本。

六、总结与扩展

Hadoop单机环境搭建是理解分布式计算原理的重要步骤。通过本文的配置，开发者可：

1. 运行MapReduce作业理解数据处理流程；
2. 调试HDFS文件操作；
3. 为后续集群部署积累配置经验。

扩展方向包括：

• 集成Hive/HBase等组件；
• 通过ssh localhost配置实现无密码登录（伪分布式必需）；
• 使用hadoop-daemon.sh单独启动/停止服务。

通过系统化的配置与验证，开发者能够高效完成Hadoop单机环境部署，为大数据学习与实践奠定坚实基础。