Hadoop单机环境搭建全流程解析

一、Hadoop单机环境概述

Hadoop作为分布式计算的标杆框架，其单机模式（Local Mode）是开发者入门学习、功能验证和轻量级数据处理的理想选择。单机模式将Hadoop的核心组件（HDFS、YARN、MapReduce）运行在单个节点上，无需复杂集群配置即可快速体验Hadoop的核心功能。

适用场景：

• Hadoop初学者熟悉核心组件
• 本地开发环境验证数据处理逻辑
• 处理小规模数据集（GB级别）
• 搭建CI/CD流水线中的测试环境

二、环境准备与前置条件

2.1 系统要求

• 操作系统：Linux（推荐Ubuntu 20.04/CentOS 7+）或macOS（需配置Xcode工具链）
• 硬件配置：4GB+内存（推荐8GB），20GB+可用磁盘空间
• 依赖项：
  • Java JDK 8/11（推荐OpenJDK）
  • SSH服务（sudo apt install openssh-server）
  • 基础开发工具（build-essential, wget, tar）

2.2 Java环境配置

# 安装OpenJDK 11
sudo apt update
sudo apt install openjdk-11-jdk -y
# 验证安装
java -version
# 应输出：openjdk version "11.0.xx"
# 设置JAVA_HOME环境变量
echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

三、Hadoop安装包获取与解压

3.1 官方版本选择

推荐使用Hadoop 3.x稳定版（如3.3.6），相比2.x版本在HDFS联邦、YARN资源调度等方面有显著优化。

# 下载Hadoop二进制包
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
# 校验MD5（可选）
md5sum hadoop-3.3.6.tar.gz | grep '预期MD5值'
# 解压到/opt目录
sudo tar -xzvf hadoop-3.3.6.tar.gz -C /opt/
sudo ln -s /opt/hadoop-3.3.6 /opt/hadoop

3.2 环境变量配置

# 编辑.bashrc文件
vim ~/.bashrc
# 添加以下内容
export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# 生效配置
source ~/.bashrc

四、核心配置文件修改

4.1 hadoop-env.sh配置

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
# 取消以下行注释并修改
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true"

4.2 core-site.xml配置

<configuration>
  <!-- 指定HDFS默认文件系统为本地文件系统 -->
  <property>
    <name>fs.defaultFS</name>
    <value>file:///</value>
  </property>
  <!-- 临时目录配置 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop</value>
  </property>
</configuration>

4.3 mapred-site.xml配置

<configuration>
  <!-- 指定MapReduce运行在本地模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
  </property>
  <!-- 本地任务执行器配置 -->
  <property>
    <name>mapreduce.jobtracker.address</name>
    <value>local</value>
  </property>
</configuration>

4.4 hdfs-site.xml配置（可选）

单机模式下可保持默认配置，如需模拟HDFS文件系统：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value> <!-- 单机模式副本数为1 -->
  </property>
</configuration>

五、环境验证与测试

5.1 格式化HDFS（单机模式可选）

# 创建临时目录
sudo mkdir -p /tmp/hadoop
sudo chown -R $USER:$USER /tmp/hadoop
# 格式化（仅当需要模拟HDFS时执行）
hdfs namenode -format

5.2 启动Hadoop服务

# 启动所有服务（单机模式实际只需启动DFS）
$HADOOP_HOME/sbin/start-dfs.sh  # 模拟HDFS时使用
# 或直接使用本地模式（无需启动服务）

5.3 运行示例作业

# 创建测试目录
hadoop fs -mkdir /test_input
# 上传测试文件
echo "Hello Hadoop" > test_file.txt
hadoop fs -put test_file.txt /test_input
# 运行WordCount示例
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar \
wordcount /test_input /test_output
# 查看结果
hadoop fs -cat /test_output/part-r-00000

六、常见问题解决方案

6.1 权限拒绝问题

现象：Permission denied错误
解决：

# 修改HDFS目录权限
hadoop fs -chmod -R 777 /
# 或修改core-site.xml添加：
<property>
  <name>hadoop.http.staticuser.user</name>
  <value>$USER</value>
</property>

6.2 内存不足问题

现象：Java Heap Space错误
解决：修改mapred-site.xml：

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>1024</value>
</property>

6.3 版本兼容性问题

现象：类加载失败
解决：

• 确保Java版本与Hadoop版本匹配（Hadoop 3.x推荐JDK 11）
• 检查HADOOP_HOME环境变量是否指向正确目录

七、性能优化建议

1. 内存配置：在hadoop-env.sh中调整：

   export HADOOP_HEAPSIZE=2048  # 单位MB

2. I/O优化：使用SSD存储临时目录
3. 日志级别：在log4j.properties中设置：

   log4j.logger.org.apache.hadoop=INFO

八、进阶使用场景

8.1 本地模式调试技巧

// 在MapReduce代码中强制使用本地模式
Configuration conf = new Configuration();
conf.set("mapreduce.framework.name", "local");

8.2 与Spark集成

# 设置SPARK_DIST_CLASSPATH
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

九、总结与展望

Hadoop单机模式为开发者提供了低门槛的入门途径，通过本文的详细配置，读者可以：

1. 在30分钟内完成环境搭建
2. 运行标准的MapReduce作业
3. 理解Hadoop核心组件的工作机制

后续可向伪分布式模式（Single Node Cluster）或完全分布式模式演进，建议先掌握单机模式下的数据流和作业调度机制。对于生产环境，需考虑添加高可用（HA）配置、监控系统（如Ganglia）和安全认证（Kerberos）等高级特性。