Hadoop单机部署CentOS：从环境准备到验证测试的完整指南

一、为什么选择CentOS部署Hadoop单机模式？

CentOS作为企业级Linux发行版，具有稳定性高、社区支持完善的特点，尤其适合Hadoop这类大数据框架的部署。单机模式（Standalone Mode）是Hadoop最基础的运行方式，无需HDFS或YARN集群支持，仅需本地文件系统即可运行MapReduce任务。这种模式特别适合以下场景：

• 开发测试：快速验证Hadoop程序逻辑
• 教学演示：展示Hadoop核心机制
• 资源受限环境：仅有一台服务器的临时实验

相比伪分布式模式，单机模式省略了复杂的集群配置，但保留了完整的MapReduce执行能力，是理解Hadoop工作原理的理想起点。

二、环境准备与依赖安装

1. 系统要求与基础环境配置

建议使用CentOS 7或8版本，配置要求如下：

• 内存：至少4GB（建议8GB）
• 磁盘：至少20GB可用空间
• 网络：可访问互联网（用于下载依赖）

执行以下命令更新系统：

sudo yum update -y
sudo reboot

2. 安装Java开发环境

Hadoop 3.x要求Java 8或11，推荐使用OpenJDK：

sudo yum install -y java-11-openjdk-devel
java -version  # 验证安装

设置JAVA_HOME环境变量：

echo "export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))" >> ~/.bashrc
source ~/.bashrc

3. 创建Hadoop专用用户

出于安全考虑，建议创建独立用户：

sudo adduser hadoop
sudo passwd hadoop  # 设置密码
sudo usermod -aG wheel hadoop  # 授予sudo权限
su - hadoop  # 切换用户

三、Hadoop安装与配置

1. 下载与解压Hadoop

从Apache官网获取稳定版（本文以3.3.4为例）：

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz
mv hadoop-3.3.4 ~/hadoop

2. 配置环境变量

编辑~/.bashrc文件：

echo "export HADOOP_HOME=$HOME/hadoop" >> ~/.bashrc
echo "export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin" >> ~/.bashrc
source ~/.bashrc

3. 核心配置文件修改

(1) hadoop-env.sh

设置Java路径（可选，若自动检测失败时）：

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
# 取消注释并修改
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk

(2) core-site.xml

单机模式无需HDFS，但需指定临时目录：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmpdata</value>
    </property>
</configuration>

(3) mapred-site.xml

创建并配置MapReduce运行方式：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>local</value>  <!-- 关键：指定本地模式 -->
    </property>
</configuration>

四、验证部署的正确性

1. 格式化（仅HDFS模式需要，单机模式跳过）

单机模式无需格式化，但需确保临时目录存在：

mkdir -p ~/tmpdata

2. 运行示例程序

Hadoop自带示例程序pi（计算圆周率）：

cd $HADOOP_HOME
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 2 5

参数说明：

• 2：Map任务数
• 5：每个任务的采样数

成功输出示例：

Estimated value of Pi is 3.60000000000000000000

3. 运行WordCount示例

1. 创建输入文件：

   echo "hello world hadoop hello" > input.txt
   mkdir -p ~/wordcount_input
   mv input.txt ~/wordcount_input

2. 执行WordCount：

   bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount ~/wordcount_input ~/wordcount_output

3. 查看结果：

   cat ~/wordcount_output/part-r-00000
   # 预期输出：
   # hello   2
   # hadoop  1
   # world   1

五、常见问题与解决方案

1. 内存不足错误

现象：java.lang.OutOfMemoryError
解决方案：修改mapred-site.xml增加内存限制：

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>512</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
</property>

2. 权限拒绝问题

现象：Permission denied
解决方案：

• 确保对临时目录有写权限
• 使用chmod -R 755 ~/tmpdata调整权限

3. 版本兼容性问题

现象：UnsupportedClassVersionError
原因：Java版本不匹配
解决方案：

# 检查Java版本
java -version
# 若版本不符，安装对应版本或修改HADOOP_JAVA_HOME

六、进阶建议与最佳实践

1. 日志管理：

   • 配置log4j.properties文件（位于$HADOOP_HOME/etc/hadoop）
   • 建议将日志输出重定向到单独文件

2. 性能优化：

   • 单机模式可调整mapreduce.task.io.sort.mb参数（默认512MB）
   • 示例配置：

     <property>
       <name>mapreduce.task.io.sort.mb</name>
       <value>256</value>
     </property>

3. 开发环境集成：

   • 在IDE中配置Hadoop库路径（$HADOOP_HOME/share/hadoop/common等）
   • 使用Maven依赖：

     <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-client</artifactId>
       <version>3.3.4</version>
     </dependency>

七、总结与展望

通过本文的步骤，您已成功在CentOS上部署了Hadoop单机模式。这种部署方式虽然功能有限，但为深入理解Hadoop原理提供了理想平台。后续可考虑：

1. 升级到伪分布式模式（增加HDFS和YARN）
2. 集成HBase或Hive等组件
3. 部署多节点集群

Hadoop的强大之处在于其分布式计算能力，而单机模式正是掌握这种能力的起点。建议开发者先在此环境下充分测试程序逻辑，再迁移到集群环境。