Hadoop单机部署CentOS全攻略：从环境配置到集群模拟

一、单机部署Hadoop的核心价值

Hadoop作为分布式计算的标杆框架，其单机部署模式具有独特的实践意义。在开发测试阶段，单机环境可模拟分布式集群的核心功能，显著降低资源消耗与调试复杂度。相较于完全分布式部署，单机模式无需配置多节点网络通信，却能完整验证MapReduce作业逻辑、HDFS文件操作及YARN资源调度机制。这种轻量级部署方案尤其适合以下场景：

1. 算法原型验证：快速测试分布式算法可行性
2. 教学演示：直观展示Hadoop核心组件工作原理
3. 开发调试：本地复现生产环境问题
4. 持续集成：构建自动化测试环境

二、CentOS系统环境准备

2.1 系统版本选择

推荐使用CentOS 7/8 LTS版本，其稳定性和软件包兼容性经过长期验证。通过cat /etc/redhat-release命令可确认系统版本。需特别注意关闭SELinux（setenforce 0）和防火墙（systemctl stop firewalld），避免安全策略干扰Hadoop服务。

2.2 Java环境配置

Hadoop依赖Java运行环境，建议安装OpenJDK 1.8或11版本。安装步骤如下：

# 安装OpenJDK
sudo yum install java-1.8.0-openjdk-devel
# 验证安装
java -version
# 设置JAVA_HOME环境变量
echo "export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))" >> ~/.bashrc
source ~/.bashrc

2.3 SSH免密登录配置

Hadoop依赖SSH进行节点间通信，单机环境需配置本地免密登录：

# 生成SSH密钥对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 将公钥添加到授权列表
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 修改权限并测试
chmod 600 ~/.ssh/authorized_keys
ssh localhost

三、Hadoop安装与配置

3.1 版本选择策略

推荐使用Hadoop 3.x稳定版本（如3.3.4），其性能优化和功能改进显著。下载二进制包后解压至指定目录：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
ln -s /opt/hadoop-3.3.4 /opt/hadoop

3.2 核心配置文件详解

修改etc/hadoop/目录下的关键配置文件：

hadoop-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>  <!-- 单机模式设为1 -->
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

mapred-site.xml（需从模板复制）：

cp mapred-site.xml.template mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

3.3 环境变量全局配置

echo "export HADOOP_HOME=/opt/hadoop" >> ~/.bashrc
echo "export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin" >> ~/.bashrc
source ~/.bashrc

四、服务启动与验证

4.1 格式化HDFS文件系统

hdfs namenode -format
# 成功标志：... has been successfully formatted ...

4.2 启动HDFS与YARN服务

# 启动HDFS
start-dfs.sh
# 启动YARN
start-yarn.sh
# 验证服务状态
jps
# 应看到NameNode、DataNode、ResourceManager、NodeManager进程

4.3 功能测试

HDFS操作测试：

# 创建目录
hdfs dfs -mkdir /test
# 上传文件
hdfs dfs -put /etc/hosts /test/
# 查看文件
hdfs dfs -ls /test

MapReduce示例运行：

# 运行圆周率计算示例
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 2 5
# 预期输出：Estimated value of Pi is 3.14...

五、常见问题解决方案

5.1 内存不足错误

修改etc/hadoop/mapred-site.xml：

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>1024</value>
</property>

5.2 端口冲突处理

通过netstat -tulnp检查9000（NameNode）、9864（DataNode）、8088（ResourceManager）等端口占用情况，必要时修改配置文件中的端口设置。

5.3 日志分析技巧

关键日志文件位于$HADOOP_HOME/logs/目录，建议配置log4j.properties文件调整日志级别：

log4j.logger.org.apache.hadoop=INFO

六、进阶优化建议

1. 内存配置优化：在hadoop-env.sh中设置HADOOP_HEAPSIZE=2048
2. 数据压缩：在core-site.xml中启用Snappy压缩：

   <property>
   <name>io.compression.codecs</name>
   <value>org.apache.hadoop.io.compress.SnappyCodec</value>
   </property>

3. 监控集成：部署Ganglia或Prometheus监控集群状态
4. 伪分布式扩展：通过修改slaves文件模拟多节点环境

七、总结与展望

单机部署Hadoop为开发测试提供了高效便捷的解决方案，其价值不仅体现在资源节约上，更在于能够快速验证分布式算法的核心逻辑。随着Hadoop 3.x对GPU调度、容器化等特性的支持，单机环境也可作为新技术预研的试验田。建议开发者定期关注Apache Hadoop官方更新，及时应用安全补丁和性能优化。