CentOS系统下单机Hadoop环境搭建全攻略

一、环境准备与前置条件

1.1 操作系统选择

单机Hadoop部署推荐使用CentOS 7或CentOS 8系统，这两个版本对Hadoop生态支持良好且长期维护。建议选择Minimal安装模式以减少不必要的依赖冲突。

1.2 系统资源要求

• 内存：至少4GB（建议8GB以上）
• 磁盘空间：至少20GB可用空间
• CPU：双核以上处理器
• 网络：需配置静态IP地址（可通过nmcli命令或修改/etc/sysconfig/network-scripts/ifcfg-ens33实现）

1.3 基础环境配置

# 更新系统包
sudo yum update -y
# 安装必要工具
sudo yum install -y wget curl vim net-tools java-1.8.0-openjdk-devel
# 验证Java环境
java -version
# 应输出类似：openjdk version "1.8.0_302"

二、Hadoop安装与配置

2.1 下载稳定版本

推荐使用Hadoop 3.x系列（如3.3.1），该版本在性能优化和API稳定性方面有显著提升。下载地址：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

2.2 解压与目录规划

# 创建专用目录
sudo mkdir -p /opt/bigdata
sudo tar -xzvf hadoop-3.3.1.tar.gz -C /opt/bigdata
sudo ln -s /opt/bigdata/hadoop-3.3.1 /opt/hadoop

2.3 核心配置文件修改

2.3.1 hadoop-env.sh

vim /opt/hadoop/etc/hadoop/hadoop-env.sh
# 添加以下内容（约第25行）
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

2.3.2 core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

2.3.3 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>  <!-- 单机模式必须设为1 -->
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

三、环境初始化与验证

3.1 格式化HDFS

# 创建必要目录
sudo mkdir -p /opt/hadoop/{tmp,data/{namenode,datanode}}
sudo chown -R $(whoami):$(whoami) /opt/hadoop
# 执行格式化（首次运行必须执行）
/opt/hadoop/bin/hdfs namenode -format
# 成功会显示：Storage directory /opt/hadoop/data/namenode has been successfully formatted

3.2 启动服务

# 启动HDFS
/opt/hadoop/sbin/start-dfs.sh
# 验证进程
jps
# 应看到三个进程：NameNode、DataNode、SecondaryNameNode

3.3 基础功能测试

3.3.1 Web界面访问

• NameNode UI：http://localhost:9870
• DataNode UI：http://localhost:9864

3.3.2 命令行操作

# 创建测试目录
/opt/hadoop/bin/hdfs dfs -mkdir /test
# 上传本地文件
/opt/hadoop/bin/hdfs dfs -put /etc/hosts /test/
# 查看文件列表
/opt/hadoop/bin/hdfs dfs -ls /test

四、常见问题解决方案

4.1 权限拒绝问题

现象：Permission denied错误
解决：

# 修改hdfs-site.xml添加
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>
# 然后重启服务

4.2 端口冲突处理

检查命令：

netstat -tulnp | grep 9000
# 如果被占用可修改core-site.xml中的端口

4.3 内存不足优化

修改mapred-site.xml（如需运行MapReduce）：

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>1024</value>
</property>

五、进阶配置建议

5.1 日志管理优化

# 在log4j.properties中调整
log4j.logger.org.apache.hadoop=INFO,console

5.2 环境变量持久化

# 添加到~/.bashrc
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
source ~/.bashrc

5.3 配置文件版本控制

建议使用git管理配置文件：

cd /opt/hadoop/etc/hadoop
git init
git add .
git commit -m "Initial Hadoop configuration"

六、卸载与重建指南

6.1 完整卸载步骤

# 停止所有服务
/opt/hadoop/sbin/stop-dfs.sh
# 删除数据目录
rm -rf /opt/hadoop/{tmp,data}
# 删除软件目录
rm -rf /opt/hadoop /opt/bigdata/hadoop-3.3.1

6.2 重建最佳实践

1. 使用全新虚拟机实例
2. 严格按照本文档步骤执行
3. 每次修改配置后执行hdfs namenode -format（仅首次需要）

七、性能调优参数

7.1 缓冲区大小优化

<!-- 在hdfs-site.xml中添加 -->
<property>
  <name>dfs.client.read.shortcircuit</name>
  <value>true</value>
</property>
<property>
  <name>dfs.domain.socket.path</name>
  <value>/var/lib/hadoop-hdfs/dn_socket</value>
</property>

7.2 I/O性能优化

# 在/etc/fstab中添加（需root权限）
/dev/sdb1 /opt/hadoop/data ext4 defaults,noatime 0 0

八、安全配置建议

8.1 基础安全设置

# 修改SSH配置
vim /etc/ssh/sshd_config
PermitRootLogin no
PasswordAuthentication no
# 重启服务
systemctl restart sshd

8.2 审计日志配置

<!-- 在core-site.xml中添加 -->
<property>
  <name>hadoop.security.authorization</name>
  <value>true</value>
</property>
<property>
  <name>hadoop.security.authentication</name>
  <value>simple</value>  <!-- 单机模式建议保持simple -->
</property>

九、扩展功能实现

9.1 集成HBase单机版

# 下载HBase
wget https://downloads.apache.org/hbase/2.4.8/hbase-2.4.8-bin.tar.gz
# 配置hbase-site.xml
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/opt/hbase/zookeeper</value>
  </property>
</configuration>

9.2 配置Spark本地模式

# 下载Spark
wget https://downloads.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
# 配置spark-env.sh
export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath)

十、总结与建议

1. 版本兼容性：Hadoop 3.x需要Java 8+，建议使用OpenJDK
2. 资源监控：定期使用jstat监控JVM内存使用
3. 备份策略：重要数据配置HDFS快照功能
4. 升级路径：从2.x升级到3.x需注意API变更（如FileSystem接口）

本指南经过实际环境验证，在CentOS 7.9和CentOS 8.4上均能成功部署。建议初次部署时使用全新虚拟机环境，避免与其他服务产生冲突。对于生产环境部署，需额外考虑高可用配置和监控系统集成。