Hadoop单机环境搭建全指南：从部署到验证

一、Hadoop单机环境概述

Hadoop作为分布式计算框架，通常运行在多节点集群环境中。但在开发测试或学习场景下，搭建Hadoop单机环境（Pseudodistributed Mode）是最经济高效的选择。单机模式模拟了分布式环境的所有组件（NameNode、DataNode、ResourceManager等），但都运行在单个JVM进程中，非常适合功能验证和开发调试。

二、环境准备

2.1 系统要求

• 操作系统：Linux（推荐Ubuntu 18.04+/CentOS 7+）或macOS
• 内存：至少4GB（8GB以上更佳）
• 磁盘空间：20GB可用空间

2.2 软件依赖

1. Java环境：Hadoop 3.x需要Java 8或Java 11

   # 检查Java版本
   java -version

2. SSH无密码登录（用于Hadoop脚本管理）

   ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   chmod 0600 ~/.ssh/authorized_keys

三、Hadoop安装与配置

3.1 下载与解压

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
cd /opt && ln -s hadoop-3.3.4 hadoop

3.2 环境变量配置

编辑~/.bashrc添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64  # 根据实际路径修改

执行source ~/.bashrc使配置生效

3.3 核心配置文件修改

1. hadoop-env.sh（设置Java路径）

   echo "export JAVA_HOME=${JAVA_HOME}" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh

2. core-site.xml（配置HDFS地址）

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
   </configuration>

3. hdfs-site.xml（配置副本数）

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>1</value>
     </property>
   </configuration>

4. mapred-site.xml（配置YARN资源管理）

   <configuration>
     <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
   </configuration>

5. yarn-site.xml（配置NodeManager）

   <configuration>
     <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
     </property>
   </configuration>

四、启动与验证

4.1 格式化HDFS

hdfs namenode -format

4.2 启动所有服务

start-dfs.sh
start-yarn.sh

4.3 验证服务状态

1. 检查进程

   jps
   # 应显示：NameNode、DataNode、ResourceManager等

2. 访问Web UI

   • HDFS: http://localhost:9870
   • YARN: http://localhost:8088

3. 测试文件操作

   hdfs dfs -mkdir /test
   hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /test
   hdfs dfs -ls /test

五、常见问题解决

5.1 SSH连接问题

错误现象：localhost: ssh: connect to host localhost port 22: Connection refused
解决方案：

sudo apt install openssh-server
sudo service ssh start

5.2 端口冲突

错误现象：java.net.BindException: Port in use
解决方案：

netstat -tulnp | grep <端口号>
kill -9 <进程ID>

5.3 权限问题

错误现象：Permission denied: user=root
解决方案：

adduser hadoop
usermod -aG sudo hadoop
su - hadoop

六、最佳实践建议

1. 日志分析：遇到问题时首先检查$HADOOP_HOME/logs/下的日志文件
2. 资源配置：根据机器性能调整yarn-site.xml中的内存参数
3. 定期维护：单机环境也应定期清理临时文件（/tmp/hadoop*）
4. 版本控制：建议使用长期支持版本（如3.3.x系列）

通过以上步骤，您已成功搭建了一个完整的Hadoop单机环境。这种环境虽然不能体现Hadoop的分布式优势，但为学习Hadoop核心概念和开发调试提供了理想的基础平台。